OVHcloud Private Cloud Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
travaux réseau pcc-1a/b-n7 - 19-20/03/12
Scheduled Maintenance
Report for Hosted Private Cloud
Completed
Nous effectuons cette nuit des travaux sur l'infra réseau de PCC. Nous devons remplacer 2 cartes F1 par des M1 afin de pouvoir faire évoluer l'infra en terme de mac. Nous allons pour cela, déplacer certains uplinks sur d'autres cartes et utiliser les M1 uniquemnent pour les liens peer-links (liens de controle entre les switchs) et les uplinks vers les routeurs.
Nous commencons le remplacement des cartes ce soir à partir de 23h30. Nous aurons ensuite une séquence ou nous devrons isoler totalement l'un des 2 switchs de l'infra afin de rétablir la vPC (Virtual PortChannel) sur les nouvelles cartes M1. Nous terminerons par la migration des uplinks.
L'infra PCC étant totalement redondante, nous n'anticipons pas d'impact au niveau de l'accessibilité du service. Les équipes réseau et pcc sont néanmoins mobilisées pour réagir immédiatement en cas de problème au cours de l'intervention.
Update(s):
Date: 2012-03-20 01:36:33 UTC
Les travaux sont terminés. L'infra est dans le fonctionnement normal.
Date: 2012-03-20 01:15:07 UTC
Les basculements d'uplinks sont terminés. Reste la dernière partie des travaux prévus: nous allons faire un reset de la sup5 du pcc-1a sur laquelle un défaut mineur est détecté.
Date: 2012-03-20 00:39:57 UTC
Basculement des uplinks terminé sur pcc-1a. En cours sur pcc-1b
Date: 2012-03-20 00:10:19 UTC
Les checks de l'infra sont toujours en cours.
D'après les premières analyses, le pcc-1b aurait coupé tous ses Po vPC au moment ou le peer-link a été reconnecté. Reste à déterminer pourquoi car ce n'était pas prévu. Nous travaillons avec cisco pour comprendre ce qui s'est passé.
En //, nous terminons les travaux avec le basculement des uplinks sur les nouvelles cartes.
Date: 2012-03-19 23:45:00 UTC
Nous avons réactivé le peer-link mais nous avons eu un imprévu, pour une raison qu'il faudra déterminer les switchs ont échangés leurs roles (primary/secondary) et il en a résulté une coupure du trafic pendant 2min environ sur l'infra.
Nous avons immédiatement réactivés les ports-channels vPC sur pcc-1a. D'un point de vue réseau, l'infra est revenu dans son fonctionnement nominal.
Les checks sur l'infra PCC sont en cours.
Date: 2012-03-19 23:25:03 UTC
le switch pcc-1a-n7 est totalement isolé, on reconfigure le peer-link
Date: 2012-03-19 23:20:36 UTC
Tous les Po vPC sont coupés. On coupe maintenant le peer-link entre les 2 switchs principaux de l'infra pcc, pcc-1a et 1b
Date: 2012-03-19 23:03:08 UTC
Les nouvelles cartes sont en place. On commence à couper manuellement les ports-channels vPC sur pcc-1a-n7
Date: 2012-03-19 22:53:37 UTC
Nous commencons les travaux.
swap des cartes F1 par des M1.
Nous commencons le remplacement des cartes ce soir à partir de 23h30. Nous aurons ensuite une séquence ou nous devrons isoler totalement l'un des 2 switchs de l'infra afin de rétablir la vPC (Virtual PortChannel) sur les nouvelles cartes M1. Nous terminerons par la migration des uplinks.
L'infra PCC étant totalement redondante, nous n'anticipons pas d'impact au niveau de l'accessibilité du service. Les équipes réseau et pcc sont néanmoins mobilisées pour réagir immédiatement en cas de problème au cours de l'intervention.
Update(s):
Date: 2012-03-20 01:36:33 UTC
Les travaux sont terminés. L'infra est dans le fonctionnement normal.
Date: 2012-03-20 01:15:07 UTC
Les basculements d'uplinks sont terminés. Reste la dernière partie des travaux prévus: nous allons faire un reset de la sup5 du pcc-1a sur laquelle un défaut mineur est détecté.
Date: 2012-03-20 00:39:57 UTC
Basculement des uplinks terminé sur pcc-1a. En cours sur pcc-1b
Date: 2012-03-20 00:10:19 UTC
Les checks de l'infra sont toujours en cours.
D'après les premières analyses, le pcc-1b aurait coupé tous ses Po vPC au moment ou le peer-link a été reconnecté. Reste à déterminer pourquoi car ce n'était pas prévu. Nous travaillons avec cisco pour comprendre ce qui s'est passé.
En //, nous terminons les travaux avec le basculement des uplinks sur les nouvelles cartes.
Date: 2012-03-19 23:45:00 UTC
Nous avons réactivé le peer-link mais nous avons eu un imprévu, pour une raison qu'il faudra déterminer les switchs ont échangés leurs roles (primary/secondary) et il en a résulté une coupure du trafic pendant 2min environ sur l'infra.
Nous avons immédiatement réactivés les ports-channels vPC sur pcc-1a. D'un point de vue réseau, l'infra est revenu dans son fonctionnement nominal.
Les checks sur l'infra PCC sont en cours.
Date: 2012-03-19 23:25:03 UTC
le switch pcc-1a-n7 est totalement isolé, on reconfigure le peer-link
Date: 2012-03-19 23:20:36 UTC
Tous les Po vPC sont coupés. On coupe maintenant le peer-link entre les 2 switchs principaux de l'infra pcc, pcc-1a et 1b
Date: 2012-03-19 23:03:08 UTC
Les nouvelles cartes sont en place. On commence à couper manuellement les ports-channels vPC sur pcc-1a-n7
Date: 2012-03-19 22:53:37 UTC
Nous commencons les travaux.
swap des cartes F1 par des M1.