OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
178.33.62/24
Scheduled Maintenance Report for Network & Infrastructure
Completed
Actuellement ce réseau utilise des Nexus 5010. Nous allons les changer pour mettre en place des switchs plus performant, des Nexus 5548.

Update(s):

Date: 2013-04-11 22:08:16 UTC
L'upgrade est terminée mais n'a pas permis de fixer les problèmes sur le vlan ipmi et le netboot des vracks.

Au niveau de l'IPMI, nous avons mis en place un workaround et nous sommes dans le fonctionnement normal.
Les problèmes de netboot pour les clients vracks subsistent pour le moment. Nous continuer les investigations avec les ingénieurs de chez Cisco.

Date: 2013-04-11 21:33:18 UTC
Nous allons redémarrer le 2ème switch afin de continuer la mise à jour. Le trafic vers le réseau 178.33.62 sera impacté pendant qq minutes.

Date: 2013-04-11 21:30:38 UTC
Nous reprenons l'upgrade de la plate-forme.

Date: 2013-04-11 19:14:36 UTC
L'upgrade a chaud s'étant mal passé, nous sommes un état ou l'un des switch est upgradé et l'autre non. Les FEX et le switch primary continuent de tourner l'ancienne release.

Si l'upgrade à chaud échoue de nouveau sur le 2ème switch, il y a un risque de downtime plus long car les images de la nouvelle release devront être downloadées par le switch sur tous les FEX. Nous allons donc repousser la suite de l'upgrade à plus tard dans la soirée afin de limiter l'impact client.

Nous programmons la suite de l'intervention à 23h00.

Date: 2013-04-11 18:37:41 UTC
L'upgrade ISSU s'est mal déroulée et le trafic vers les serveurs a été impacté.

sw-n5-62.249# sh install all failure-reason
Install has failed. Return code 0x40930039 (aborting due to failed upgrade)

L'infra est maintenant up mais dans un état dégradée.


Date: 2013-04-11 18:28:26 UTC
L'ensemble des FEX est passé offline:

100 FEX0100 Offline Sequence N2K-C2232PP-10GE SSI15420EDH
101 FEX0101 Offline N2K-C2232PP-10GE SSI15410357
102 FEX0102 Offline N2K-C2232PP-10GE SSI15410358
103 FEX0103 Offline Sequence N2K-C2232PP-10GE SSI15420EHQ
104 FEX0104 Offline N2K-C2232PP-10GE SSI15500JLL
105 FEX0105 Offline N2K-C2232PP-10GE SSI15460ARY
106 FEX0106 Offline Sequence N2K-C2232PP-10GE SSI15460AXP
107 FEX0107 Offline N2K-C2232PP-10GE SSI160700NJ
111 FEX0111 Offline N2K-C2248TP-1GE SSI154706RN


Date: 2013-04-11 18:15:22 UTC
Nous avons également des problèmes de netboot pour les clients vracks.

Après concertation avec Cisco, nous allons upgrader le software sur cette paire.

Date: 2013-04-11 10:29:14 UTC
Suite a la mise a jour, nous avons des problèmes d'ipmi.

Nous investiguons.

Date: 2013-04-11 01:18:08 UTC
Effectue
Posted Apr 11, 2013 - 01:09 UTC