OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Noeud de transmission optique Bruxelles - 26/11
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous intervenons cette nuit sur le POP de Bruxelles. En raison d'une réorganisation de ce batiment, nous allons déplacer l'ensemble du noeud de transmission optique dwdm Infinera dans une autre salle.

Ce noeud se trouve sur les routes Roubaix <> Amsterdam et Roubaix <> Francfort (et bientot Gravelines <> Francfort). Toutes ces routes étant protégés, il n'y a pas de coupure d'impact vers ces destinations. Le seul trafic impacté sera celui dropé localement à Bruxelles. Le trafic BNIX sera donc rerouté pendant la durée des travaux (donc changement de route mais pas de coupure). L'interco voix avec Belgacom sera par contre indisponible et nous nous en excusons.

Nous démarrons les travaux à partir de 21h. L'impact sur le trafic de Bruxelles commencera à partir de 22h environ.

Update(s):

Date: 2014-11-27 12:16:59 UTC
Finalement, nous avons eu un nouveau contre-temps et l'alignement de la dernière fibre vers Francfort aura duré presque 3h en raison de problème de cablage entre le batiment de level3 et le datacenter voisin par lequel chemine la fibre. Les gestionnaires des différents batiments ainsi que le fournisseur de la fibre ont donc collaboré pour vérifier chaque patch panel intermédiaire.
Le compteur s'arrête donc à 15h d'intervention sur site pour notre team sur le terrain. Bravo à eux.

Le noeud optique fonctionne maintenant de nouveau normalement. Les 40G de capa manquant entre Roubaix et Strasbourg sont maintent de nouveau opérationnels.

Date: 2014-11-27 09:33:45 UTC
Nous avons fixé le pb de la carte DLM.

Le problème de cablage au niveau de la paire de fibre vers Francfort a été identifié. Nous serons de nouveau aligné d'ici quelques minutes.

Date: 2014-11-27 09:19:55 UTC
Nous rétablissons le trafic IP vers BNIX.

Date: 2014-11-27 09:18:41 UTC
Toutes la capa vers Bruxelles est maintenant opérationnelle. Seule la ligne vers Francfort n'est pas encore remontée suite a des problèmes avec la migration de la paire de fibre sur le site.

Le noeud optique est prêt et entièrement alimenté/cablé mais nous suspectons l'une DLM (module de ligne) vers Francfort d'être défectueux. Nous travaillons avec Infinera pour confirmer cette hypothèse. Si c'est le cas, il faudra le remplacer.

En raison de ces travaux, nous avons toujours 2x20G down entre Roubaix et Strasbourg (puisque ce sont des circuits qui passent par Francfort). Les liens restants sont congestionnés et donc le trafic interne Roubaix<>Strasbourg dégradé pour le moment (packet loss).

L'équipe sur place est à pied d'oeuvre depuis 12h non-stop (sans compter le temps de préparation). On envoie la relève depuis Roubaix au cas ou la résolution des derniers problèmes nécessiterait de rester sur le site encore plus longtemps.

Date: 2014-11-27 07:37:10 UTC
statut à 8h36:

- reconnecter les circuits 10G Roubaix<>Bruxelles EN COURS -> 20G de capa sont UP sur les 40G. Le routeur et tous les équipements IP sur Bruxelles sont de nouveau en ligne.

Date: 2014-11-27 07:24:35 UTC
statut à 8h24:

- reconnecter la 2ème ligne optique vers Roubaix DONE
- démarrer au moins l'une des 2 cartes transpondeurs desservant le POP de Bruxelles DONE
- remonter la ligne DONE
- reconnecter les circuits 10G Roubaix<>Bruxelles EN COURS

Date: 2014-11-27 06:59:07 UTC
Le chassis #3 est en train de démarrer. Son déménagement physique a pris plus de temps que prévu. D'ici quelques minutes, les cartes vont commencer à booter. Les étapes restantes pour pouvoir rétablir le service sont:
- reconnecter la 2ème ligne optique vers Roubaix
- démarrer au moins l'une des 2 cartes transpondeurs desservant le POP de Bruxelles
- remonter la ligne
- reconnecter les circuits 10G Roubaix<>Bruxelles

Le temps pour compléter ces étapes dépendra beaucoup des aléas rencontrés mais nous pensons pouvoir rétablir le service à Bruxelles d'ici 1h s'il n'y pas de nouveau problème majeur. Nous avons déjà dépassé de beaucoup la fenêtre de maintenance prévue et nous nous en excusons. Notre équipe sur place fait le maximum en ce moment. Nous allons continuer à vous tenir informés de l'avancé des travaux.



Date: 2014-11-27 04:39:17 UTC
Nous avons des difficultés sur place. Les travaux avancent mais pas aussi vite que prévu à cause de divers problèmes : alimentation électrique sur les nouveaux emplacements, problèmes mécaniques avec les baies, nettoyage des fibres plus long qu'anticipé (il faut passer chaque connecteur au fiberscope, sorte de microscope électroniue, pour valider la qualité).

Nous avons 2 chassis sur les 3 d'activé et 2 lignes sur 4 up (vers Amsterdam et Roubaix sur 100G cohérent). Le gros des difficultés est a priori derrière nous et on pense pouvoir remonter le chassis #3 et la 2ème ligne vers Roubaix d'ici 1h / 1h30 environ. C'est à ce moment que nous pourrons remettre en ligne le routeur de Bruxelles.

Date: 2014-11-26 22:00:57 UTC
Les lignes optiques sur Bruxelles viennent d'être déconnectés. Les équipements IPs sur Bruxelles sont totalement isolés. Le déplacement des chassis Infinera principaux commence.

Date: 2014-11-26 21:46:20 UTC
Nous allons rerouter le trafic BNIX vers d'autres chemins.

Date: 2014-11-26 21:32:41 UTC
Notre équipe est sur place et prépare l'intervention avec celles de Interoute et Level3. Nous mettons bien évidemment tout en oeuvre pour diminuer le downtime au maximum.

Nous avons actuellement 1h de retard environ sur le planning prévu. Les dernières préparatifs sont en cours.
Posted Nov 26, 2014 - 15:02 UTC