rssLink RSS for all categories
 
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_red
icon_red
icon_blue
icon_green
icon_green
icon_orange
icon_green
icon_blue
icon_green
icon_red
icon_red
icon_red
icon_green
icon_orange
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_red
 

FS#3322 — ams-1-6k carte 3

Attached to Project— Network and racks
Incident
Entire OVH Network
CLOSED
100%
L'un des 10G d'un de nos fournisseurs de transit (TATA)
flap depuis 14h00 environ. La session BGP se coupe puis
se remet UP, puis se coupe puis se remet UP. Ceci surcharge
beaucoup le routeur ams-1-6k.

Nous venons de couper l'une des 2 sessions avec TATA sur
Amsterdam. L'autre 10G sur Amsterdam avec TATA n'a pas de
probleme.
Date:  Saturday, 22 August 2009, 23:37PM
Reason for closing:  Done
Comment by OVH - Saturday, 22 August 2009, 21:35PM

ams-1-6k-gsw#ping 94.23.122.81

Type escape sequence to abort.
Sending 5, 100-byte ICMP Echos to 94.23.122.81, timeout is 2 seconds:
.....
ams-1-6k-gsw(config-router)#neighbor 94.23.122.81 shutdown

Le router de TATA est mort. On les contacte pour savoir ce qu'il
se passe.


Comment by OVH - Saturday, 22 August 2009, 21:40PM

Le 10G restant de TATA sur Amsterdam sature.
On va inverser le routage entre GBLX/TATA et Londres/Amsterdam.


Comment by OVH - Saturday, 22 August 2009, 21:59PM

Le routage est inversé:
on utilise 2x10G de TATA à Londres au lieu d'Amsterdam
et on utilise 2x10G de GBLX à Amsterdam au lieu de 3x10G à Londres


Comment by OVH - Saturday, 22 August 2009, 22:24PM

fixé.

On regarde avec TATA pour le 10G à Amsterdam.


Comment by OVH - Saturday, 22 August 2009, 22:58PM

Le probleme n'est pas fixé. Apparament le trafic vers var-1-6k est
aussi impacté sur l'un de 2 10G. Le 10G impacté vers var-1-6k est
sur la même carte que TATA. On redemarre la carte 3.


Comment by OVH - Saturday, 22 August 2009, 23:36PM

Suite au redemarrage de la carte 3 le probleme est fixé.

En regardant les logs, la carte 3 n'a pas donné de signe
de problemes. Pourtant elle a commencé à mal router les
packets vers 14h00 et par periode de 1h puis à nouveau
okey pendant 30 minutes puis à nouveau de probleme pendant
1h. Le routeur aurait dû redemarrer la carte lui-même.

C'est un type de probleme pas évident à detecter et fixer
rapidement. Sur http://smokeping.ovh.net on ne voit aucune
degradation dans le service.

On doit reflechir comme detecter de probleme de routage
interne sur ce type de probleme où seulement 4x 10G d'un
routeur ne fonctionnent pas correctement.

Désolé pour le probleme.


Comment by OVH - Saturday, 22 August 2009, 23:37PM

Les 4 10G impacté étaient:

ams-1-6k-gsw#sh inter statu | i Te3/
Te3/1 var-1-6k:Te1/4 connected routed full 10G 10Gbase-LR
Te3/2 vss-1-6k:t1/2/2 connected routed full 10G 10Gbase-LR
Te3/3 teleglobe_1 connected routed full 10G 10Gbase-ER
Te3/4 amsix1 connected routed full 10G 10Gbase-LR