Get webhook notifications whenever Network & Infrastructure creates an incident, updates an incident, resolves an incident or changes a component status.
Nous avons un incident sur le plate-forme, nous recherchons l'origine du problème.
Update(s):
Date: 2015-11-18 05:05:02 UTC Nous avons récupérés les traces sur le Vac2 pour Cisco.
Le vac2 est de nouveau en production.
Date: 2015-11-18 00:46:43 UTC vac1 et vac3 sont UP
Date: 2015-11-18 00:31:38 UTC Nous avons de nouveau le crash des 3 VAcs
Date: 2015-11-17 15:45:36 UTC Le vac 1 est de nouveau en production, les 2 linecards sont remplacées
Date: 2015-11-17 14:23:31 UTC Nous isolons VAC1 afin de remplacer les linecards M2
La protection sera gérée par les vac2 et 3 durant la maintenance
Date: 2015-11-17 12:02:35 UTC VAC2 est maintenant à jour.
Date: 2015-11-17 10:30:30 UTC Nous isolons vac2 afin de le mettre a jour.
Date: 2015-11-17 07:48:30 UTC Vac 2 est UP
Date: 2015-11-17 06:31:21 UTC Vac 1 et 3 sont online, nous gardons vac2 off pour le troubleshoot avec Cisco.
Pour le moment, on partira sur un Bug hard sur les carte M2.
On a un doute vu la coincidence sur les 3 chassis en meme temps que se soit hard.
Cependant, nous lançons le RMA pour le vac 1, tout en continuant le troubleshoot.
Date: 2015-11-17 05:08:27 UTC nous avons reloader les carte sur vac1 et 3 , ca a tenu 20 min puis c'est retombe.
Nous sommes actuellement avec le TAC cisco pour troubleshoot
Date: 2015-11-17 03:20:03 UTC le probleme semble se reproduire. Nous investiguons
Date: 2015-11-15 12:54:18 UTC Nous sommes en cours de troubleshooting avec Cisco.
Les logs de loopback failed ne sont pas la root-cause des defaut sur les linecards, mais une conséquence.
Nous continuons les investigations afin de déterminer si la cause est hard ou soft
Date: 2015-11-15 04:45:41 UTC A 3h45 GMT+1, nous avons eu un crash simultané sur les linecards des 3 vacs RBX, SBG et BHS
2015 Nov 15 05:04:11 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:04:11 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.31048
2015 Nov 15 05:06:31 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:3 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:06:31 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.32607
2015 Nov 15 05:07:01 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:07:02 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.468
2015 Nov 15 05:20:43 admin %AUTHPRIV-3-SYSTEM_MSG: pam_aaa:Authentication failed from console - login
2015 Nov 15 05:06:09 admin-vac2 %$ VDC-1 %$ %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Packets lost on the SUP in the transmit direction
2015 Nov 15 05:06:12 admin-vac2 %$ VDC-1 %$ %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:3 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Packets lost on the SUP in the transmit direction
Nous avons reload les linecards.
4h30 GMT+1 , le VAC1 était opérationnel.
5h GMT+1, Le service était totalement rétabli.
Nous allons travailler avec l’équipementier afin de trouver la cause de ce crash et de voir dans quelle mesure il peut se reproduire.