rssLink RSS for all categories
 
icon_blue
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_orange
icon_red
icon_green
icon_green
icon_blue
icon_red
icon_green
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_red
icon_orange
icon_red
icon_orange
icon_green
icon_green
icon_red
icon_green
icon_blue
icon_green
icon_green
 

FS#4408 — ldn-1-6k

Attached to Project— Reseau Internet et Baies
Incident
Tout le réseau
CLOSED
100%
Le routeur est down.
Date:  Sunday, 25 July 2010, 00:13AM
Reason for closing:  Done
Comment by OVH - Saturday, 24 July 2010, 20:24PM

fra-5 et th1-1 ont du mal. Pas assez de CPU.
On a desactivé MPLS sur toute la backbone.


Comment by OVH - Saturday, 24 July 2010, 20:28PM

Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623150: Jul 24 19:27:53 GMT: %FIB-2-FIBDOWN: CEF has been disabled due to a low memory condition.
Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623151: It can be re-enabled by configuring "ip cef [distributed]"


Comment by OVH - Saturday, 24 July 2010, 20:46PM

On a isolé fra-5.


Comment by OVH - Saturday, 24 July 2010, 20:54PM

ams-1 est tombé. le routeur vient de revenir.


Comment by OVH - Saturday, 24 July 2010, 21:00PM

proxy arp desactivé sur le vss-2


Comment by OVH - Saturday, 24 July 2010, 21:25PM

fra-5-6k est revenu. il a encore du mal à remettre toutes les cartes.
ams-1-6k est revenu, pareil, il a encore redemarré une carte
ldn-1-6k il s'agit bien d'un plantage, on le fixe en cable serie, en cours de boot
vss-2-6k le proxy arp remis

c'est le pire plantage de la backbone qu'on a jamais eu chez ovh ...
l'effet domino sur les routeurs qui n'ont pas redemarré depuis un
certains temps et qui ont de fragmentation de la RAM.

Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622981: Pool: Processor Free: 30087848 Cause: Memory fragmentation
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622982: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622983: -Process= "IP RIB Update", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622984: -Traceback= 4102AD28 41030958 410433E0 413C2D10 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622985: Jul 24 19:21:07 GMT: %FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot/cpu 1/0
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622986: -Process= "IP RIB Update", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622987: -Traceback= 413C2DE0 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:46 40g.fra-5-6k.routers.chtix.eu 623015: Jul 24 19:21:11 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF
Jul 24 20:27:34 40g.fra-5-6k.routers.chtix.eu 623147: Jul 24 19:27:15 GMT: %C6KFIB-4-DISABLED: Hardware FIB forwarding disabled, reverting to only software forwarding.

il est temps qu'on mette en place la nouvelle generation de routeurs.
c'est prevu mais qu'en septembre (il faut qu'ils soient disponibles)


Comment by OVH - Saturday, 24 July 2010, 21:31PM

Nous avons enlevé une modification de queue sur les 10G
pour remettre les anciennes valeurs. On l'a modifié cette
semaine pour augmenter les buffers sur les ports.
Apparament le routeur ne supporte pas correctement
l'option.


Comment by OVH - Saturday, 24 July 2010, 21:32PM

fra-5: encore quelques problemes:
Jul 24 20:30:53 GMT: %TFIB-SP-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 40E40578 40E40904 40F1664C 40E18AD8 40E19078 40DFF760 40DFFB7C 40DFFE58 40E00AD8
Jul 24 20:31:11 GMT: %TFIB-DFC4-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:14 GMT: %TFIB-DFC1-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:15 GMT: %TFIB-DFC5-7-SCANSABORTED: TFIB scan not completing. MAC string updated.


Comment by OVH - Saturday, 24 July 2010, 21:32PM

Jul 24 21:32:47 40g.fra-5-6k.routers.chtix.eu 418: Jul 24 20:32:27 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 8 set off (Module Failed SCP dnld)


Comment by OVH - Saturday, 24 July 2010, 21:34PM

Jul 24 21:33:07 160G.rbx-1-6k.routers.ovh.net 48924: Jul 24 20:32:47 GMT: %DIAG-SP-3-TEST_FAIL: Module 9: TestMacNotification{ID=13} has failed. Error code = 0x1


Comment by OVH - Saturday, 24 July 2010, 21:37PM

on va booter carte par carte
fra-5-6k(config)#no power en module 2
fra-5-6k(config)#no power en module 7
fra-5-6k(config)#no power en module 8
fra-5-6k(config)#no power en module 9


Comment by OVH - Saturday, 24 July 2010, 21:37PM

Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 707: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 708: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 709: Jul 24 20:36:58 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF


Comment by OVH - Saturday, 24 July 2010, 21:38PM

Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 718: Jul 24 20:37:26 GMT: %SYS-2-MALLOCFAIL: Memory allocation of 64 bytes failed from 0x420B35A8, alignment 8
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 719: Pool: Processor Free: 0 Cause: Not enough free memory
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 720: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 721: -Process= "Tag Control", ipl= 0, pid= 278
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 722: -Traceback= 4102AD28 410315F0 420B35B0 420B4960 420BBF90 421EFA60 420BD978 420B7760 420BB770


Comment by OVH - Saturday, 24 July 2010, 21:55PM

fra-5 vient de retomber. encore probleme de mémoire. on le redemarre en hard.


Comment by OVH - Saturday, 24 July 2010, 22:22PM

on a isolé toutes les sessions sur fra-5 et coupé tout.
on enregistre la conf et on va le redemarrer.


Comment by OVH - Saturday, 24 July 2010, 22:43PM

sur ldn-1-6k dans le crashinfo:
Jul 24 19:05:24 GMT: %C6K_PLATFORM-SP-2-PEER_RESET: SP is being reset by the RP


Comment by OVH - Saturday, 24 July 2010, 23:38PM

nous avons remis toutes les sessions sur fra-5. il est stable.

on pense qu'il s'agit d'un probleme de mémoire et de fragmentation
de la mémoire depuis que nous avons mis en place les securisations
via "london/amsterdam" et "paris/frankfurt". les routeurs ldn, ams
et fra ont consommé de la mémoire à cause de nouvelles informations
et visiblement on arrive à des limites hautes. Il reste 73Mo sur 1Go
sur ldn par exemple, mais seulement 53Mo non fragmenté.


Comment by OVH - Sunday, 25 July 2010, 00:13AM

Ca sera fixé avec le routeur collector BGP qui ont été
commandé et doivent arriver sous 5 semaines. On aura
moins de session BGP par routeur et uniquement de BGP
simple.