OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
pcc-1a/b-n7
Scheduled Maintenance Report for Hosted Private Cloud
Completed
Nous allons upgrader les cartes supervisor des 2 Nexus 7000 en passant d'une SUP-1 a une SUP-2.

Cette upgrade servira à pouvoir faire du routage sur les Nexus.

Nous commencerons cette maintenance à 00h00 (CEST) ce Mardi 21 Octobre.

Update(s):

Date: 2013-10-24 15:12:33 UTC
tout fait. on est en 6.1. on discute avec cisco pour
savoir pourquoi ça a planté.

Date: 2013-10-24 12:43:16 UTC
go:
on coupe tous les ports sur le A. le trafic
passe sur le B. pas de panne à prevoir.

Date: 2013-10-24 11:51:33 UTC
on coupe tous les ports sur le chassis A qui est en 6.2
pourque le trafic s'ecoule uniquement sur la 6.1.

on va mettre à jour le A pour le passer en 6.1 (à chaud
ou à froid).

on va remettre tous les ports à nouveau et tout devrait
fonctionner comme avant la mise à jour.

on va en suite demarrer la mise à jour à chaud du B vers
la version 6.2 et on va voir s'il nous plante encore la
2eme sup. si oui, on laissera cisco nous fixer ce probleme
le temps qu'il faudra.

Date: 2013-10-24 11:49:33 UTC
oles: je reprends la main sur la maintenance.

Date: 2013-10-24 01:06:32 UTC
Durant la bascule nous avons eu des incidents. Certains N5 ne forwardait plus de trafic vers pcc-1a-n7.

Nous stoppons la mise a jour pour ce soir afin d'investiguer ce problème de forwarding sur les N5.

Date: 2013-10-23 23:38:00 UTC
Nous basculons le trafic sur pcc-1a-n7 afin d'upgrader pcc-1b-n7.

Date: 2013-10-23 22:19:41 UTC
Le trafic est rétablit. Certains ports sont down.

Date: 2013-10-23 22:04:32 UTC
Le N7 est up. Nous rétablissons le trafic.

Date: 2013-10-23 22:01:15 UTC
Le N7 est up. Les linecard bootent.

Date: 2013-10-23 21:57:03 UTC
On redémarre.

Date: 2013-10-23 21:53:01 UTC
Le trafic est basculé.

Nous allons procéder à la mise à jour.

Date: 2013-10-23 21:18:52 UTC
Nous allons mettre a jour les switches a froid.

Nous basculons le trafic sur pcc-1b-n7 afin d'upgrader pcc-1a-n7.

Date: 2013-10-23 02:31:41 UTC
La nouvelle carte n'arrive pas a se synchroniser.

Nous contactons le constructeur.

pcc-1a-n7# 2013 Oct 23 04:27:17 pcc-1a-n7 %SYSMGR-2-GSYNC_SNAPSHOT_SRVFAILED: Service \"spm\" on active supervisor failed to store its snapshot (error-id 0x4048000C).
2013 Oct 23 04:27:17 pcc-1a-n7 %SYSMGR-2-STANDBY_BOOT_FAILED: Standby supervisor failed to boot up.

Date: 2013-10-23 02:27:10 UTC
La nouvelle carte est insérée. Elle se synchronise.

Date: 2013-10-23 02:04:32 UTC
Nous avons recu la nouvelle carte. Nous la changeons.

Date: 2013-10-23 00:11:51 UTC
La carte a un problème. Le constructeur nous renvoi une nouvelle carte.

Date: 2013-10-22 23:16:46 UTC
Une des cartes supervisor reboote en boucle.

Nous stoppons la mise a jour.

Nous ouvrons un ticket chez le constructeur.

Date: 2013-10-22 22:20:07 UTC
La mise a jour commence sur pcc-1a-n7.

1 yes non-disruptive rolling
2 yes non-disruptive rolling
3 yes non-disruptive rolling
4 yes non-disruptive rolling
5 yes non-disruptive reset
6 yes non-disruptive reset
7 yes non-disruptive rolling
8 yes non-disruptive rolling
9 yes non-disruptive rolling
10 yes non-disruptive rolling


Date: 2013-10-22 22:02:37 UTC
Nous démarrons la mise a jour.

Date: 2013-10-22 17:19:34 UTC
Nous allons mettre a jour les N7 afin de voir si ça résout le problème.

Nous commencerons la maintenance a 00h00 (CEST).

Date: 2013-10-22 05:23:47 UTC
Suite à la maintenance, nous constatons une anomalie au niveau du vlan de management de certains hosts (une vingtaine). Après troubelshooting, il ne semble pas que le réseau soit à l'origine du pb. Il s'agirait plutot d'un effet de bord du à la maintenance qui aurait un impact sur ces hosts. Nous continuons le troubleshooting en liaison avec VMware.

Date: 2013-10-22 01:07:55 UTC
Upgrade effectuée

Date: 2013-10-22 00:34:16 UTC
Le N7 est redémarré. Nous ré-appliquons la configuration.


Date: 2013-10-22 00:20:55 UTC
Le N7 est éteint.

Nous changeons les cartes. Le trafic s'écoule via pcc-1a-n7.


Date: 2013-10-22 00:17:48 UTC
Done

Nous allons changer les cartes.

Date: 2013-10-21 23:48:33 UTC
Nous avons changé les optiques et les ports sont up.

Nous basculons le trafic sur pcc-1a-n7 afin d'upgrader pcc-1b-n7.

Date: 2013-10-21 23:17:49 UTC
Le N7 est opérationnel.

Certains ports sont down. Nous regardons pourquoi avant de faire l'autre switch

Date: 2013-10-21 22:33:18 UTC
Le N7 est redémarré. Nous ré-appliquons la configuration.

Date: 2013-10-21 22:23:59 UTC
Cartes changées. Nous redémarrons.

Date: 2013-10-21 22:20:15 UTC
Le N7 est éteint.

Nous changeons les cartes. Le trafic s'écoule via pcc-1b-n7.

Date: 2013-10-21 22:17:49 UTC
Le trafic est basculé.

Nous arrêtons le N7 pour faire l'upgrade.

Date: 2013-10-21 22:00:54 UTC
Nous démarrons la maintenance.

Nous basculons le trafic sur pcc-1b-n7 afin d'upgrader pcc-1a-n7.
Posted Oct 21, 2013 - 07:34 UTC