OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
chi-1-n7 <> bhs-g1-a75
Incident
Report for Network & Infrastructure
Resolved
Un lien fibre entre chi-1-n7 et bhs-g1-a75 \"flap\" UP/DOWN. Nous avons isolé la fibre en question et ouvert un billet chez notre fournisseur.
Update(s):
Date: 2016-05-20 19:57:27 UTC
Le traffic s'ecoule sur le port initiale. Pas de CRC. Intervention terminé.
Date: 2016-05-20 19:55:07 UTC
L'optique est remplacer. Nous basculons le traffic sur le port initiale.
Date: 2016-05-20 19:48:31 UTC
Le 10G est sur un port temporaire, pas de CRC. On va bientot shutdown les ports 4x10G et le remplacer.
Date: 2016-05-20 19:41:05 UTC
Le port optique de bhs-g1-a75 semble mort. Il ne suffit pas de remplacer l'optique. Ce port est un 4x10G (MPO) avec d'autre port vers chicago. Nous allons donc utiliser un port temporaire, basculer le traffic sur le port temporaire. Ensuite, couper tout les port de l'optique pour finalement changer l'optique et rebasculer sur le port initiale.
Nous avons assez de capacité donc nous allons procéder à l'intervention dès maintenant.
Date: 2016-05-19 12:51:09 UTC
L'ISSU n'a pas résolu le problème, nous continuons d'investiguer.
Date: 2016-05-13 15:59:14 UTC
Nous avons identifié que le LACP n'est pas punté au CPU de notre équipement chi-1-n7. Le signal a été vérifié dans les sens avec des loops physiques et tout est ok chez notre fournisseur et sur notre transmission optique.
Cela nous indique un problème similaire à ce qui a déjà été traité dans la tache FS#17753 http://travaux.ovh.com/?do=details&id=17753
Nous allons planifier un ISSU de chi-1-n7 pour tenter de résoudre le problème. En attendant l'interface est forcée en shut.
Date: 2016-05-06 10:46:40 UTC
Nous avons temporairement dévié le trafic de notre datacenter de Beauharnois à destination de Palo Alto via Newark.
BHS > CHI > PAL devient BHS > NWK > CHI > PAL.
Une augmentation de latence d'environ 13 ms peut donc être observée :
- BHS <> CHI = 13 ms
- BHS <> NWK = 7 ms
- NWK <> CHI = 22 ms
Update(s):
Date: 2016-05-20 19:57:27 UTC
Le traffic s'ecoule sur le port initiale. Pas de CRC. Intervention terminé.
Date: 2016-05-20 19:55:07 UTC
L'optique est remplacer. Nous basculons le traffic sur le port initiale.
Date: 2016-05-20 19:48:31 UTC
Le 10G est sur un port temporaire, pas de CRC. On va bientot shutdown les ports 4x10G et le remplacer.
Date: 2016-05-20 19:41:05 UTC
Le port optique de bhs-g1-a75 semble mort. Il ne suffit pas de remplacer l'optique. Ce port est un 4x10G (MPO) avec d'autre port vers chicago. Nous allons donc utiliser un port temporaire, basculer le traffic sur le port temporaire. Ensuite, couper tout les port de l'optique pour finalement changer l'optique et rebasculer sur le port initiale.
Nous avons assez de capacité donc nous allons procéder à l'intervention dès maintenant.
Date: 2016-05-19 12:51:09 UTC
L'ISSU n'a pas résolu le problème, nous continuons d'investiguer.
Date: 2016-05-13 15:59:14 UTC
Nous avons identifié que le LACP n'est pas punté au CPU de notre équipement chi-1-n7. Le signal a été vérifié dans les sens avec des loops physiques et tout est ok chez notre fournisseur et sur notre transmission optique.
Cela nous indique un problème similaire à ce qui a déjà été traité dans la tache FS#17753 http://travaux.ovh.com/?do=details&id=17753
Nous allons planifier un ISSU de chi-1-n7 pour tenter de résoudre le problème. En attendant l'interface est forcée en shut.
Date: 2016-05-06 10:46:40 UTC
Nous avons temporairement dévié le trafic de notre datacenter de Beauharnois à destination de Palo Alto via Newark.
BHS > CHI > PAL devient BHS > NWK > CHI > PAL.
Une augmentation de latence d'environ 13 ms peut donc être observée :
- BHS <> CHI = 13 ms
- BHS <> NWK = 7 ms
- NWK <> CHI = 22 ms