Subnets.ru

Приветсвую!

Думаю многие сталкивались с подобного рода проблемой.
Работал себе канал, работал и в один прекрасный день захворал
А именно, на SW#1 посыпались флапы:
Oct 12 23:53:35.816: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.xxxx in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:54:45.425: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.xxxx in vlan 10 is flapping between port Gi0/10 and port Gi0/7

Причём происходит это, только после того как канал уходит за 400Мбит/с.
При этом:
show processes cpu history

Код: Выделить всё

    5555566666666665555555555555555555555555444444444466666555
100                                                           
 90                                                           
 80                                                           
 70                                                           
 60                                                           
 50                                                           
 40                                                           
 30                                                           
 20                                                           
 10 ****************************************          ********
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5   
               CPU% per second (last 60 seconds)
                                                             
    44                                                       
    2267565675666756667556576666655567565576555756557665575555
100                                                           
 90                                                           
 80                                                           
 70                                                           
 60                                                           
 50                                                           
 40 **                                                       
 30 **                                                       
 20 **                                                       
 10 ####*#**#**#***##****#***#******##*****#***#*#**##********
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5   
               CPU% per minute (last 60 minutes)
              * = maximum CPU%   # = average CPU%
                                                                         
    1     1    1       1          1                       1               
    5787888888888888888378898888878887777878888787787788877888878877787877
100                                                                       
 90                                                                       
 80                                                                       
 70                                                                       
 60                                                                       
 50                                                                       
 40                                                                       
 30                                                                       
 20 *     *    *                  *                       *               
 10 ***********#**********************************************************
   0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
             0    5    0    5    0    5    0    5    0    5    0    5    0
                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%

Первым делом воспользовался поиском на сайте cisco.com, нашёл:

SW_MATM Messages
This section contains the Mac address table manager messages.

Error Message SW_MATM-4-MACFLAP_NOTIF: Host [enet] in [chars] [dec] is flapping
between port [chars] and port [chars]

Recommended Action The switch found the traffic from the specified host flapping between the specified ports. [enet] is the host MAC address, [chars] [dec] is the switch ID, the first and second [chars] are the ports between which the host traffic is flapping.

Recommended Action Check the network switches for misconfigurations that might cause a data-forwarding loop.

Но это не мой случай.

Поэтому просьба поделиться опытом в решении.

Топология канала


Конфигурация интерфейсов

SW#1

Код: Выделить всё

interface GigabitEthernet0/7
 switchport trunk allowed vlan 10,20
 switchport mode trunk
 switchport nonegotiate
 logging event trunk-status
 logging event bundle-status
 logging event spanning-tree
 spanning-tree portfast trunk
 spanning-tree bpdufilter enable
end

interface GigabitEthernet0/10
 switchport trunk allowed vlan 10,20
 switchport mode trunk
 switchport nonegotiate
 logging event trunk-status
 logging event bundle-status
 logging event spanning-tree
 spanning-tree bpdufilter disable
end

SW#2

Код: Выделить всё

interface GigabitEthernet0/14
 switchport access vlan 10
 switchport mode access
 switchport nonegotiate
 logging event trunk-status
 logging event bundle-status
 logging event spanning-tree
 no cdp enable
 spanning-tree portfast trunk
 spanning-tree bpdufilter enable
end

interface GigabitEthernet0/23
 switchport trunk allowed vlan 10,20
 switchport mode trunk
 switchport nonegotiate
 logging event trunk-status
 logging event bundle-status
 logging event spanning-tree
 spanning-tree bpdufilter disable
end

Коммутатор между собой завязаны оптикой, SFP.
К клиенту смотрит оптика, с двух сторон гигабитные конвертеры.

msergey писал(а):Приветсвую!

и тебе привет

msergey писал(а):Думаю многие сталкивались с подобного рода проблемой.

веришь или нет, лично я первый раз подобное вижу

msergey писал(а):Причём происходит это, только после того как канал уходит за 400Мбит/с.

ты в этом уверен на 100% ?
т.к. flapping between говорит мне о том, что указанный МАС (кстати не обязательно скрывать МАС за "ххх" , он вес равно никому не нужен ) прыгает между портами Gi0/10 и Gi0/7

так кому все же принадлежит данный МАС адрес ? На картинке, которыую ты дал, ты подписал и циску и джуник, но мак то один и тот же, он не может принадлежать обеим системам.
исходя из базы маков вендоров (http://coffer.com/mac_find/) префикс "002159" принадлежит Juniper Networks

судя по сообщению он скачет во vlan 10, ты сам смотрел на SW#1, что данный мак действительно бывает виден на этих портах ? что видно по макам на SW#2 в этот момент ? Он видит данный мак ? За каким своим портом ?
ты уверен, что связи между клиентскими свичами (по обоим сторонам) отсутвтует ? т.к. очень похоже на то, что между ними есть связь.

каких либо косяков в конфигах портов SW#1 и SW#2 я не вижу

msergey писал(а):Причём происходит это, только после того как канал уходит за 400Мбит/с.

ты в этом уверен на 100% ?
т.к. flapping between говорит мне о том, что указанный МАС (кстати не обязательно скрывать МАС за "ххх" , он вес равно никому не нужен ) прыгает между портами Gi0/10 и Gi0/7

Абсолютно, т.к. сейчас всё хорошо.

так кому все же принадлежит данный МАС адрес ? На картинке, которыую ты дал, ты подписал и циску и джуник, но мак то один и тот же, он не может принадлежать обеим системам.
исходя из базы маков вендоров (http://coffer.com/mac_find/) префикс "002159" принадлежит Juniper Networks

Принадлежит он клиентскому Juniper.

судя по сообщению он скачет во vlan 10, ты сам смотрел на SW#1, что данный мак действительно бывает виден на этих портах ?

Вчера, как раз в момент появления флаппов, я пытался увидеть его на Gi0/10, но так и не удалось что странно, может я слишком медленный

что видно по макам на SW#2 в этот момент ? Он видит данный мак ? За каким своим портом ?
ты уверен, что связи между клиентскими свичами (по обоим сторонам) отсутвтует ? т.к. очень похоже на то, что между ними есть связь.

Тут я уверен, это единственный линк между клиентскими коммутаторами и SW#2 молчит в логах. SW#2 получает mac Juniper'а только на порту Gi0/23.

каких либо косяков в конфигах портов SW#1 и SW#2 я не вижу

msergey писал(а):Абсолютно, т.к. сейчас всё хорошо.

то что сейчас все хорошо, далеко не означает, что это при нагрузке только случается, что то другое происходит в этот момент

msergey писал(а):Вчера, как раз в момент появления флаппов, я пытался увидеть его на Gi0/10, но так и не удалось что странно, может я слишком медленный

чудес как известно не бывает, если циска пишет об этом в лог, значит она это точно видит
какой командой ты смотрел ?

msergey писал(а):Тут я уверен, это единственный линк между клиентскими коммутаторам

это разные клиенты ?

msergey писал(а):SW#2 получает mac Juniper'а только на порту Gi0/23.

а если в момент проблемы вырубить порт Gi0/7 на SW#1 ? SW#2 видит этот мак где нить ?

а если в момент проблемы выполнить:

Код: Выделить всё

clear mac address-table dynamic

проблема остается ?

root писал(а):

msergey писал(а):Абсолютно, т.к. сейчас всё хорошо.

то что сейчас все хорошо, далеко не означает, что это при нагрузке только случается, что то другое происходит в этот момент

msergey писал(а):Вчера, как раз в момент появления флаппов, я пытался увидеть его на Gi0/10, но так и не удалось что странно, может я слишком медленный

чудес как известно не бывает, если циска пишет об этом в лог, значит она это точно видит
какой командой ты смотрел ?

Код: Выделить всё

show mac-address-table interface gi0/10
show mac-address-table interface gi0/7
show mac-address-table vlan 10

msergey писал(а):Тут я уверен, это единственный линк между клиентскими коммутаторам

это разные клиенты ?

Один, канал передачи данных, просто отдаю ему вилан.

msergey писал(а):SW#2 получает mac Juniper'а только на порту Gi0/23.

а если в момент проблемы вырубить порт Gi0/7 на SW#1 ? SW#2 видит этот мак где нить ?

а если в момент проблемы выполнить:

Код: Выделить всё

clear mac address-table dynamic

проблема остается ?

Сегодня попробую.

лучше юзай команду:

Код: Выделить всё

show mac address-table address 0021.59c4.xxxx

тогда он будет показывать сразу все ифейсы где он увидит именно этот МАК, т.к. если ты будешь перебирать сам по ифейсам, то ты реально можешь и не увидеть момента когда он прыгает
когда начнется трабл, вводи её ННННое кол-во раз подряд и смотри не прыгает ли мак

msergey писал(а):Один

раз это один и тот же клиент, то как ты можешь быть уверенным что у него нет связи между его свичем и джунипером ?
я бы тогда спросил их админа, как там на счет их связи и если она есть, то как организована и уж не по 10-му ли влану
чудес не бывает, если циска видит это мак с обоих сторон, значит как то он на вторую сторону попадает

ну и глянь в

Код: Выделить всё

sh memory statistics

что там у тя со свободной памятью
вообще большая табла маков на SW#1 ? десятки/сотни/тысячи ?

root писал(а):лучше юзай команду:

Код: Выделить всё

show mac address-table address 0021.59c4.xxxx

тогда он будет показывать сразу все ифейсы где он увидит именно этот МАК, т.к. если ты будешь перебирать сам по ифейсам, то ты реально можешь и не увидеть момента когда он прыгает
когда начнется трабл, вводи её ННННое кол-во раз подряд и смотри не прыгает ли мак

Ага, ей тоже пользуюсь, но вчера не юзал. Сегодня попробую.

msergey писал(а):Один

раз это один и тот же клиент, то как ты можешь быть уверенным что у него нет связи между его свичем и джунипером ?
я бы тогда спросил их админа, как там на счет их связи и если она есть, то как организована и уж не по 10-му ли влану
чудес не бывает, если циска видит это мак с обоих сторон, значит как то он на вторую сторону попадает

Видимо где-то я не правильно выразил мысль.
Я ему отдаю вилан 10, эти два устройства(его коммутаторы Cisco&Juniper) как раз и взаимодействуют по этому вилану, т.е. это канал между ними.
Если имелось ввиду, не связаны ли они еще одним линком(резерв), думаю нет. Так бы мы увидели подобную ситуацию и на SW#2, там нет флаппов.

ну и глянь в

Код: Выделить всё

sh memory statistics

что там у тя со свободной памятью

вроде не сильно нагружен

Код: Выделить всё

                Head    Total(b)     Used(b)     Free(b)   Lowest(b)  Largest(b)
Processor    14DEA70    41031056     8084756    32946300    31420172    31903696
      I/O    3C00000     4186112     1654716     2531396     2440840     2515024
Driver te     C40000     1048576          44     1048532     1048532     1048532

вообще большая табла маков на SW#1 ? десятки/сотни/тысячи ?

Не очень понял вопрос Если речь идёт о переодичности, то вот небольшой кусок:

Код: Выделить всё

Oct 12 23:32:10.858: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:32:28.877: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:33:14.872: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:33:21.046: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:33:54.542: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:34:09.583: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:34:21.260: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:34:40.461: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:35:21.432: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:38:59.335: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:41:14.661: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:43:34.374: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:44:12.660: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7
Oct 12 23:51:04.568: %SW_MATM-4-MACFLAP_NOTIF: Host 0021.59c4.7480 in vlan 10 is flapping between port Gi0/10 and port Gi0/7

msergey писал(а):Ага, ей тоже пользуюсь, но вчера не юзал.

лучше юзать только её, т.к. сразу видно где он видит этот мак по всем ифейсам и если он будет скакать то ты это увидишь

msergey писал(а):как раз и взаимодействуют по этому вилану, т.е. это канал между ними.

ммммм.... тогда он мог закольцевать vlan 10 где то у себя
долго писать пример как он мог это сделать, но мог

msergey писал(а):Если имелось ввиду, не связаны ли они еще одним линком(резерв), думаю нет

именно это и имелось в виду.
в этом случае нуна не "думать", а знать точно и наверняка

msergey писал(а):Так бы мы увидели подобную ситуацию и на SW#2, там нет флаппов.

это конечно странно, но глюки разные бывают, т.к. пока мы не можем объяснить почему так происходит, я не могу сказать почему SW#2 может их не видеть

msergey писал(а):Если речь идёт о переодичности, то вот небольшой кусок:

нет, имелось в виду сколько вообще маков видит свич, т.е. кол-во мак адресов в его базе
по

Код: Выделить всё

show mac address-table

сколько их там ? десятки/сотни/тысячи ?

msergey писал(а):Если речь идёт о переодичности, то вот небольшой кусок:
нет, имелось в виду сколько вообще маков видит свич, т.е. кол-во мак адресов в его базе
по

Код: Выделить всё

show mac address-table

сколько их там ? десятки/сотни/тысячи ?

Total Mac Addresses for this criterion: 437

msergey писал(а):Total Mac Addresses for this criterion: 437

понятно, фигня полная вообщем