OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
N5 - EG/MG
Incident Report for Network & Infrastructure
Resolved
Suite a la tache http://travaux.ovh.net/?do=details&id=9566, nous avons des instabilites sur les fex de certains Nexus 5000.

Les Fex disparaisse et ne sont plus attachés aux switches.

Nous prévoyons de downgrader la version afin de revenir a une situation stable.


Update(s):

Date: 2013-10-23 23:31:59 UTC
176.31.230/231: le 2ème spare était finalement le bon et tous les ports sont ups.

Nous sommes revenu à la normale sur tous les switchs.

Date: 2013-10-23 22:54:47 UTC
176.31.230/231: nous rencontrons des difficulés à mettre en ligne le fex de spare
176.31.224/225: switchs stables suite au downgrade

Date: 2013-10-23 22:13:29 UTC
176.31.230/231: downgrade terminé mais nous avons un défaut sur le fex100, nous le remplacons
176.31.224/225: nous observons de nouveau l'instabilité dans la nouvelle version, nous repassons sur l'ancienne version

Date: 2013-10-23 22:08:10 UTC
Meme à la suite du reboot les mac ne sont pas reconnu.
Nous remplaçons ce fex.

Date: 2013-10-23 22:01:05 UTC
Les mac du fex100 des switch gérant le réseau 176.31.230.0/24 ne sont plus vu. nous le redémarrons électriquement.

Date: 2013-10-23 21:16:12 UTC
Les switchs des réseaux 46.105.108/109 et 176.31.228/229 sont maintenant stables et n'observons plus d'anomalies dessus. Nous les laissons fonctionner dans la version actuelle.

176.31.230/231 est en cours de downgrade.

176.31.224/225 est en cours de d'upgrade à froid.

Date: 2013-10-23 21:04:11 UTC
Nous commencons l'intervention sur les switchs des réseaux suivants:

176.31.230
176.31.231
46.105.108
46.105.109


Date: 2013-10-23 17:31:10 UTC
Les switchs des réseaux 176.31.226 et 227 sont remplacés.

Nous intervenons de nouveau ce soir à partir de 23h sur les switchs des réseaux suivants afin de les stabiliser:

* downgrade:
176.31.228
176.31.229
176.31.230
176.31.231
46.105.108
46.105.109

Nous effectuerons également un upgrade à froid sur les switchs de ces réseaux:
176.31.224
176.31.225

Coupure de trafic de 10-15min environ à prévoir.

Date: 2013-10-23 16:53:50 UTC
Nous avons remplacé le premier n5 sur les réseau 176.31.226 et 227, tous les fexs sont up. Nous remplaçons le deuxième.

Date: 2013-10-23 16:38:31 UTC
Le remplacement du 1er switch de la paire est en cours. Nous avons 2 fex offlines.

Date: 2013-10-23 15:48:13 UTC
La paire de switch gérant les réseaux 176.31.226 et 227 est de nouveau instable. Nous allons avancer l'opération de remplacement par des spares que nous envisagions pour ce soir et le faire immédiatement.
Chacun des 2 switchs sera arrêté et les fex (ou sont connectés les serveurs) migrées sur un spare de même config.

Date: 2013-10-23 14:52:26 UTC
done.
Nous allons redémarrer un switch du réseau 176.31.226.0/24 et 176.31.227.0/24.

Date: 2013-10-23 14:39:18 UTC
done.
Nous allons redémarrer un switch du réseau 176.31.228.0/24 et 176.31.229.0/24.

Date: 2013-10-23 13:47:28 UTC
Nous allons redémarrer un switch du réseau 46.105.108.0/24 et 46.105.109.0/24.

Date: 2013-10-23 13:24:06 UTC
Done

Date: 2013-10-23 12:41:52 UTC
Nous allons redémarrer les switches 1 apres l'autre des reseaux 46.105.106.0/24 et 46.105.107.0/24
Posted Oct 23, 2013 - 12:41 UTC