OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
rbx-1/rbx-2
Incident Report for Network & Infrastructure
Resolved
Nous avons un probleme de stabilité de 2 routeurs de roubaix.

Feb 15 15:37:49 020g.rbx-2-6k.routers.ovh.net 13714: Feb 15 15:37:48 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:37:49 020g.rbx-2-6k.routers.ovh.net 13715: Feb 15 15:37:48 GMT: %CONST_DIAG-SP-3-HM_TEST_FAIL: Module 8 TestMacNotification consecutive failure count:10


Update(s):

Date: 2008-02-15 17:05:57 UTC
L'incident est terminé.

Date: 2008-02-15 16:50:55 UTC
Nous avons enlevé toute configuration QoS sur les interfaces.
no mls qos trust cos
Et remis toutes les autres configuration TCAM. Les routeurs
fonctionnent correctement.

Nous avons reequilibré le reseau et le lien Paris/Roubaix.

Date: 2008-02-15 15:53:02 UTC
Nous avons encore eu ce genre d'erreur.
Feb 15 16:49:35 GMT: %SIBYTE-DFC1-4-SB_LATE_COLL: Late collision on mac 1 (count: 1)

Nous avons enlevé toutes les configurations liés à TCAM. Les routeurs se sont stabilisés.
Nous avons remis l'une regle après l'autre. L'origine du probleme semble d'être trouvé.
Dés qu'on active QoS sur les routeurs, au bout de 3 secondes ils commencent à planter.



Date: 2008-02-15 15:05:14 UTC
rbx-1 est revenu. pendant le redemarrage de rbx-1, les cartes de rbx-2 ont
commencé à planté.

on redemarre rbx-2

Date: 2008-02-15 14:53:15 UTC
Pas terminé. nous allons redemarrer rbx-1.

Date: 2008-02-15 14:50:05 UTC
L'incident est terminé.

Date: 2008-02-15 14:49:49 UTC
2572 regles access-list font visiblement plantés le routeur. Nous allons nous
rapprocher de Cisco pour voir le probleme en profondeur.

Date: 2008-02-15 14:44:03 UTC
Le probleme vient, comme la derniere fois il y a 3 mois, de filtrage IRC.
Nous avons enlevé le filtrage IRC et redemarré l'une après les autres
les cartes giga sur rbx-1 et rbx-2.

Feb 15 15:34:36 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:34:53 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:35:41 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:36:00 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:36:20 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:36:20 GMT: %CONST_DIAG-SP-3-HM_TEST_FAIL: Module 8 TestMacNotification consecutive failure count:5
11w2d: SP: TestMacNotification[8]: last_busy_percent[11%], Tx_Rate[1074], Rx_Rate[352]
Feb 15 15:36:37 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:36:55 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:37:13 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:37:30 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:37:48 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:37:48 GMT: %CONST_DIAG-SP-3-HM_TEST_FAIL: Module 8 TestMacNotification consecutive failure count:10
11w2d: SP: TestMacNotification[8]: last_busy_percent[11%], Tx_Rate[1888], Rx_Rate[781]
Feb 15 15:38:05 GMT: %DIAG-SP-3-TEST_FAIL: Module 8: TestMacNotification{ID=13} has failed. Error code = 0x1
Feb 15 15:38:05 GMT: %CONST_DIAG-SP-2-HM_MOD_RESET: Resetting Module 8 for software recovery, Reason: Failed TestMacNotification
Posted Feb 15, 2008 - 14:38 UTC