OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
vac
Incident Report for Network & Infrastructure
Resolved
Nous avons un incident sur le plate-forme, nous recherchons l'origine du problème.

Update(s):

Date: 2015-11-18 05:05:02 UTC
Nous avons récupérés les traces sur le Vac2 pour Cisco.

Le vac2 est de nouveau en production.

Date: 2015-11-18 00:46:43 UTC
vac1 et vac3 sont UP

Date: 2015-11-18 00:31:38 UTC
Nous avons de nouveau le crash des 3 VAcs

Date: 2015-11-17 15:45:36 UTC
Le vac 1 est de nouveau en production, les 2 linecards sont remplacées

Date: 2015-11-17 14:23:31 UTC
Nous isolons VAC1 afin de remplacer les linecards M2
La protection sera gérée par les vac2 et 3 durant la maintenance

Date: 2015-11-17 12:02:35 UTC
VAC2 est maintenant à jour.

Date: 2015-11-17 10:30:30 UTC
Nous isolons vac2 afin de le mettre a jour.

Date: 2015-11-17 07:48:30 UTC
Vac 2 est UP

Date: 2015-11-17 06:31:21 UTC
Vac 1 et 3 sont online, nous gardons vac2 off pour le troubleshoot avec Cisco.

Pour le moment, on partira sur un Bug hard sur les carte M2.
On a un doute vu la coincidence sur les 3 chassis en meme temps que se soit hard.

Cependant, nous lançons le RMA pour le vac 1, tout en continuant le troubleshoot.


Date: 2015-11-17 05:08:27 UTC
nous avons reloader les carte sur vac1 et 3 , ca a tenu 20 min puis c'est retombe.
Nous sommes actuellement avec le TAC cisco pour troubleshoot

Date: 2015-11-17 03:20:03 UTC
le probleme semble se reproduire. Nous investiguons

Date: 2015-11-15 12:54:18 UTC
Nous sommes en cours de troubleshooting avec Cisco.
Les logs de loopback failed ne sont pas la root-cause des defaut sur les linecards, mais une conséquence.

Nous continuons les investigations afin de déterminer si la cause est hard ou soft

Date: 2015-11-15 04:45:41 UTC
A 3h45 GMT+1, nous avons eu un crash simultané sur les linecards des 3 vacs RBX, SBG et BHS

2015 Nov 15 05:04:11 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:04:11 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.31048
2015 Nov 15 05:06:31 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:3 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:06:31 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.32607
2015 Nov 15 05:07:01 admin %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Pack
ets lost on the SUP in the transmit direction
2015 Nov 15 05:07:02 admin %VSHD-5-VSHD_SYSLOG_CONFIG_I: Configured from vty by admin on vsh.468
2015 Nov 15 05:20:43 admin %AUTHPRIV-3-SYSTEM_MSG: pam_aaa:Authentication failed from console - login


2015 Nov 15 05:06:09 admin-vac2 %$ VDC-1 %$ %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:4 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Packets lost on the SUP in the transmit direction
2015 Nov 15 05:06:12 admin-vac2 %$ VDC-1 %$ %DIAG_PORT_LB-2-REWRITE_ENGINE_LOOPBACK_TEST_FAIL: Module:3 Test:RewriteEngine Loopback failed 10 consecutive times. Faulty module:Module 1 Error:Loopback test failed. Packets lost on the SUP in the transmit direction


Nous avons reload les linecards.

4h30 GMT+1 , le VAC1 était opérationnel.
5h GMT+1, Le service était totalement rétabli.

Nous allons travailler avec l’équipementier afin de trouver la cause de ce crash et de voir dans quelle mesure il peut se reproduire.
Posted Nov 15, 2015 - 03:32 UTC