OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
sbg-1a/b-n7
Incident
Report for Network & Infrastructure
Resolved
Suite à l'upgrade de sbg-1b-n7 (http://travaux.ovh.net/?do=details&id=17778), nous constatons que le routage intra vlan et inter vlan sur certains blocs semble perturbé.
Nous sommes en cours d'investigation avec Cisco.
Update(s):
Date: 2016-05-13 21:23:04 UTC
Les macs des gateways GLBP sont bien apprises localement et non sur la vPC peer-link en entrée Gateway et non entrée primaire.
Nous avons fixé le problème pour 326 MACs Gateway qui posaient problème à la fois sur le b puis sur le chassis a.
Tout semble rentré dans l'ordre avec un impact minimal.
Cisco nous confirme également le bon fonctionnement de GLBP sur les SVI.
Date: 2016-05-13 20:53:32 UTC
Les shut / no shut des 250 SVI semblent fixer définitivement le problème.
Nous vérifions avec la BU PCC que tout est rentré dans l'ordre et que l'impact est faible.
Nous vérifions en parallèle avec Cisco que les mac sont bien programmées et ne sont plus problématiques sur la vPC
Date: 2016-05-13 20:17:09 UTC
L'opération recommandée par Cisco sans impact ne fonctionne pas. Nous allons devoir shut / no shut les SVI des VLANs qui posent problème, engendrant des coupures sur le routage de certains vlans pendant environ 1min30, le temps que les ARP repartent.
Date: 2016-05-13 20:02:59 UTC
L'intervention va démarrer sur la modification de la configuration vPC sur sbg-1a/b-n7
Date: 2016-05-13 15:12:08 UTC
Nous avons identifié la cause des dysfonctionnements : l'activation du tracking sur GLBP.
La feature est déjà désactivée dans la configuration, afin d'appliquer entièrement le changement, nous devons effectuer une modification rapide de la configuration vPC.
Ce changement sera effectué ce soir à partir de 22h00 CEST.
Date: 2016-05-12 21:27:36 UTC
Le redémarrage des 2 modules a été effectué, cela ne semble pas résoudre le dysfonctionnement constaté.
Nous continuons les investigations avec les constructeur.
Date: 2016-05-12 20:56:01 UTC
Nous avons effectué le redémarrage de 2 cartes sur sbg-1b-n7, nous passons maintenant à sbg-1a-n7.
Date: 2016-05-12 19:29:44 UTC
Suite au troubleshooting avec notre constructeur, il nous est recommandé de redémarrer certaines linecards.
Nous réaliserons cette opération à partir de 22h00 CEST ce soir, les ports seront isolés auparavant afin d'éviter au maximum tout impact.
Nous sommes en cours d'investigation avec Cisco.
Update(s):
Date: 2016-05-13 21:23:04 UTC
Les macs des gateways GLBP sont bien apprises localement et non sur la vPC peer-link en entrée Gateway et non entrée primaire.
Nous avons fixé le problème pour 326 MACs Gateway qui posaient problème à la fois sur le b puis sur le chassis a.
Tout semble rentré dans l'ordre avec un impact minimal.
Cisco nous confirme également le bon fonctionnement de GLBP sur les SVI.
Date: 2016-05-13 20:53:32 UTC
Les shut / no shut des 250 SVI semblent fixer définitivement le problème.
Nous vérifions avec la BU PCC que tout est rentré dans l'ordre et que l'impact est faible.
Nous vérifions en parallèle avec Cisco que les mac sont bien programmées et ne sont plus problématiques sur la vPC
Date: 2016-05-13 20:17:09 UTC
L'opération recommandée par Cisco sans impact ne fonctionne pas. Nous allons devoir shut / no shut les SVI des VLANs qui posent problème, engendrant des coupures sur le routage de certains vlans pendant environ 1min30, le temps que les ARP repartent.
Date: 2016-05-13 20:02:59 UTC
L'intervention va démarrer sur la modification de la configuration vPC sur sbg-1a/b-n7
Date: 2016-05-13 15:12:08 UTC
Nous avons identifié la cause des dysfonctionnements : l'activation du tracking sur GLBP.
La feature est déjà désactivée dans la configuration, afin d'appliquer entièrement le changement, nous devons effectuer une modification rapide de la configuration vPC.
Ce changement sera effectué ce soir à partir de 22h00 CEST.
Date: 2016-05-12 21:27:36 UTC
Le redémarrage des 2 modules a été effectué, cela ne semble pas résoudre le dysfonctionnement constaté.
Nous continuons les investigations avec les constructeur.
Date: 2016-05-12 20:56:01 UTC
Nous avons effectué le redémarrage de 2 cartes sur sbg-1b-n7, nous passons maintenant à sbg-1a-n7.
Date: 2016-05-12 19:29:44 UTC
Suite au troubleshooting avec notre constructeur, il nous est recommandé de redémarrer certaines linecards.
Nous réaliserons cette opération à partir de 22h00 CEST ce soir, les ports seront isolés auparavant afin d'éviter au maximum tout impact.
This incident affected: Infrastructure || SBG (SBG1).