rssLink RSS for all categories
 
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_red
icon_orange
icon_blue
icon_green
icon_green
icon_orange
icon_green
icon_red
icon_green
icon_red
icon_red
icon_orange
icon_green
icon_orange
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_red
 

FS#6506 — travaux réseau pcc-1a/b-n7 - 19-20/03/12

Attached to Project— Dedicated Cloud
Maintenance
Backend / Core
CLOSED
100%
Nous effectuons cette nuit des travaux sur l'infra réseau de PCC. Nous devons remplacer 2 cartes F1 par des M1 afin de pouvoir faire évoluer l'infra en terme de mac. Nous allons pour cela, déplacer certains uplinks sur d'autres cartes et utiliser les M1 uniquemnent pour les liens peer-links (liens de controle entre les switchs) et les uplinks vers les routeurs.
Nous commencons le remplacement des cartes ce soir à partir de 23h30. Nous aurons ensuite une séquence ou nous devrons isoler totalement l'un des 2 switchs de l'infra afin de rétablir la vPC (Virtual PortChannel) sur les nouvelles cartes M1. Nous terminerons par la migration des uplinks.
L'infra PCC étant totalement redondante, nous n'anticipons pas d'impact au niveau de l'accessibilité du service. Les équipes réseau et pcc sont néanmoins mobilisées pour réagir immédiatement en cas de problème au cours de l'intervention.
Date:  Tuesday, 20 March 2012, 02:34AM
Reason for closing:  Done
Additional comments about closing:  Les travaux sont terminés. L'infra est dans le fonctionnement normal.
Comment by OVH - Monday, 19 March 2012, 23:53PM

Nous commencons les travaux.
swap des cartes F1 par des M1.


Comment by OVH - Tuesday, 20 March 2012, 00:03AM

Les nouvelles cartes sont en place. On commence à couper manuellement les ports-channels vPC sur pcc-1a-n7


Comment by OVH - Tuesday, 20 March 2012, 00:20AM

Tous les Po vPC sont coupés. On coupe maintenant le peer-link entre les 2 switchs principaux de l'infra pcc, pcc-1a et 1b


Comment by OVH - Tuesday, 20 March 2012, 00:25AM

le switch pcc-1a-n7 est totalement isolé, on reconfigure le peer-link


Comment by OVH - Tuesday, 20 March 2012, 00:45AM

Nous avons réactivé le peer-link mais nous avons eu un imprévu, pour une raison qu'il faudra déterminer les switchs ont échangés leurs roles (primary/secondary) et il en a résulté une coupure du trafic pendant 2min environ sur l'infra.
Nous avons immédiatement réactivés les ports-channels vPC sur pcc-1a. D'un point de vue réseau, l'infra est revenu dans son fonctionnement nominal.
Les checks sur l'infra PCC sont en cours.


Comment by OVH - Tuesday, 20 March 2012, 01:10AM

Les checks de l'infra sont toujours en cours.
D'après les premières analyses, le pcc-1b aurait coupé tous ses Po vPC au moment ou le peer-link a été reconnecté. Reste à déterminer pourquoi car ce n'était pas prévu. Nous travaillons avec cisco pour comprendre ce qui s'est passé.
En //, nous terminons les travaux avec le basculement des uplinks sur les nouvelles cartes.


Comment by OVH - Tuesday, 20 March 2012, 01:39AM

Basculement des uplinks terminé sur pcc-1a. En cours sur pcc-1b


Comment by OVH - Tuesday, 20 March 2012, 02:15AM

Les basculements d'uplinks sont terminés. Reste la dernière partie des travaux prévus: nous allons faire un reset de la sup5 du pcc-1a sur laquelle un défaut mineur est détecté.