OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
ldn-1-6k
Incident Report for Network & Infrastructure
Resolved
Le routeur est down.

Update(s):

Date: 2010-07-24 22:13:00 UTC
Ca sera fixé avec le routeur collector BGP qui ont été
commandé et doivent arriver sous 5 semaines. On aura
moins de session BGP par routeur et uniquement de BGP
simple.

Date: 2010-07-24 21:38:01 UTC
nous avons remis toutes les sessions sur fra-5. il est stable.

on pense qu'il s'agit d'un probleme de mémoire et de fragmentation
de la mémoire depuis que nous avons mis en place les securisations
via \"london/amsterdam\" et \"paris/frankfurt\". les routeurs ldn, ams
et fra ont consommé de la mémoire à cause de nouvelles informations
et visiblement on arrive à des limites hautes. Il reste 73Mo sur 1Go
sur ldn par exemple, mais seulement 53Mo non fragmenté.



Date: 2010-07-24 20:43:15 UTC
sur ldn-1-6k dans le crashinfo:
Jul 24 19:05:24 GMT: %C6K_PLATFORM-SP-2-PEER_RESET: SP is being reset by the RP


Date: 2010-07-24 20:22:57 UTC
on a isolé toutes les sessions sur fra-5 et coupé tout.
on enregistre la conf et on va le redemarrer.

Date: 2010-07-24 19:55:41 UTC
fra-5 vient de retomber. encore probleme de mémoire. on le redemarre en hard.

Date: 2010-07-24 19:38:35 UTC
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 718: Jul 24 20:37:26 GMT: %SYS-2-MALLOCFAIL: Memory allocation of 64 bytes failed from 0x420B35A8, alignment 8
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 719: Pool: Processor Free: 0 Cause: Not enough free memory
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 720: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 721: -Process= \"Tag Control\", ipl= 0, pid= 278
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 722: -Traceback= 4102AD28 410315F0 420B35B0 420B4960 420BBF90 421EFA60 420BD978 420B7760 420BB770


Date: 2010-07-24 19:37:48 UTC
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 707: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 708: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 709: Jul 24 20:36:58 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF


Date: 2010-07-24 19:37:13 UTC
on va booter carte par carte
fra-5-6k(config)#no power en module 2
fra-5-6k(config)#no power en module 7
fra-5-6k(config)#no power en module 8
fra-5-6k(config)#no power en module 9


Date: 2010-07-24 19:34:00 UTC
Jul 24 21:33:07 160G.rbx-1-6k.routers.ovh.net 48924: Jul 24 20:32:47 GMT: %DIAG-SP-3-TEST_FAIL: Module 9: TestMacNotification{ID=13} has failed. Error code = 0x1


Date: 2010-07-24 19:32:46 UTC
Jul 24 21:32:47 40g.fra-5-6k.routers.chtix.eu 418: Jul 24 20:32:27 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 8 set off (Module Failed SCP dnld)


Date: 2010-07-24 19:32:16 UTC
fra-5: encore quelques problemes:
Jul 24 20:30:53 GMT: %TFIB-SP-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 40E40578 40E40904 40F1664C 40E18AD8 40E19078 40DFF760 40DFFB7C 40DFFE58 40E00AD8
Jul 24 20:31:11 GMT: %TFIB-DFC4-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:14 GMT: %TFIB-DFC1-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:15 GMT: %TFIB-DFC5-7-SCANSABORTED: TFIB scan not completing. MAC string updated.


Date: 2010-07-24 19:31:04 UTC
Nous avons enlevé une modification de queue sur les 10G
pour remettre les anciennes valeurs. On l'a modifié cette
semaine pour augmenter les buffers sur les ports.
Apparament le routeur ne supporte pas correctement
l'option.

Date: 2010-07-24 19:25:03 UTC
fra-5-6k est revenu. il a encore du mal à remettre toutes les cartes.
ams-1-6k est revenu, pareil, il a encore redemarré une carte
ldn-1-6k il s'agit bien d'un plantage, on le fixe en cable serie, en cours de boot
vss-2-6k le proxy arp remis

c'est le pire plantage de la backbone qu'on a jamais eu chez ovh ...
l'effet domino sur les routeurs qui n'ont pas redemarré depuis un
certains temps et qui ont de fragmentation de la RAM.

Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622981: Pool: Processor Free: 30087848 Cause: Memory fragmentation
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622982: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622983: -Process= \"IP RIB Update\", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622984: -Traceback= 4102AD28 41030958 410433E0 413C2D10 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622985: Jul 24 19:21:07 GMT: %FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot/cpu 1/0
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622986: -Process= \"IP RIB Update\", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622987: -Traceback= 413C2DE0 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:46 40g.fra-5-6k.routers.chtix.eu 623015: Jul 24 19:21:11 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF
Jul 24 20:27:34 40g.fra-5-6k.routers.chtix.eu 623147: Jul 24 19:27:15 GMT: %C6KFIB-4-DISABLED: Hardware FIB forwarding disabled, reverting to only software forwarding.

il est temps qu'on mette en place la nouvelle generation de routeurs.
c'est prevu mais qu'en septembre (il faut qu'ils soient disponibles)

Date: 2010-07-24 19:00:53 UTC
proxy arp desactivé sur le vss-2

Date: 2010-07-24 18:54:12 UTC
ams-1 est tombé. le routeur vient de revenir.



Date: 2010-07-24 18:46:23 UTC
On a isolé fra-5.

Date: 2010-07-24 18:28:25 UTC
Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623150: Jul 24 19:27:53 GMT: %FIB-2-FIBDOWN: CEF has been disabled due to a low memory condition.
Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623151: It can be re-enabled by configuring \"ip cef [distributed]\"


Date: 2010-07-24 18:24:11 UTC
fra-5 et th1-1 ont du mal. Pas assez de CPU.
On a desactivé MPLS sur toute la backbone.
Posted Jul 24, 2010 - 18:10 UTC