OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
BHS réseau
Incident Report for Network & Infrastructure
Resolved
Nous avons actuellement les 10 liens entre Montréal et Beauharnois down.

Le trafic s'écoule par les liens Newark <> Beauharnois. Nous contactons notre fournisseur de fibre afin de trouver l'origine du problème.

Nous suspectons une coupure de fibre.

Update(s):

Date: 2015-05-28 12:46:37 UTC
Les 3 paires de fibre sont UP. Nous avons eu 1h40
de très grosses perturbations. C'était plus long
que prevu. La soudure des autres tubes continuent
mais nous ne sommes plus impactés.

Nous sommes désolés pour l'incident. On continue
de travailer sur la fibre 2) et 3) qui nous permettront
d'avoir une securisation totale entre BHS et Montreal
ainsi que BHS et New York.

Date: 2015-05-28 12:30:17 UTC
MTL/NWK Level3 20x10G UP

Date: 2015-05-28 12:27:52 UTC
MTL/BHS 2x100G est UP.

Date: 2015-05-28 12:27:03 UTC
Notre lien BHS/MTL de 6x100G est UP.

Date: 2015-05-28 12:25:51 UTC
La soudure n'est pas de bonne qualité. On doit la
refaire. On coupe tout, on respire et on recommence.

La soudure est en cours. L'une des fibres de notre
tube est UP. On recoit le signale de BHS à MTL. On
attend dans l'autre sens.

Date: 2015-05-28 11:55:22 UTC
Durant les travaux, la connexion est très très fortement
degradée :( On perd des packets

Packets Pings
Host Loss% Snt Last Avg Best Wrst StDev
1. p19-55-6k.fr.eu 0.5% 392 2.1 19.7 0.2 279.1 51.0
2. p19-2-6k.fr.eu 0.0% 392 1.8 14.4 0.2 219.2 38.7
3. th2-g1-a9.fr.eu 0.0% 392 1.0 1.0 0.6 34.0 1.8
4. rbx-g1-a9.fr.eu 0.0% 392 4.5 4.9 4.2 11.3 0.9
5. ldn-1-6.uk.eu 99.7% 392 104.6 104.6 104.6 104.6 0.0
6. nwk-1-6k.nj.us 0.0% 392 76.7 76.7 76.5 83.9 0.6
7. mtl-1-6k.qc.ca 0.0% 392 84.0 93.5 83.8 265.8 31.1
8. bhs-g1-6k.qc.ca 7.2% 392 138.9 139.8 138.6 155.6 1.4
9. bhs-3a-a9.qc.ca 4.9% 391 140.7 141.0 139.0 163.1 2.3
10. bhs.proof.ovh.net 5.4% 391 141.8 141.7 141.0 150.5 1.1




Date: 2015-05-28 11:54:40 UTC
On prevoit la fin des travaux dans quelques minutes.

Date: 2015-05-28 11:49:18 UTC
Les travaux continuent. On soude, on soude ...

Date: 2015-05-28 10:46:19 UTC
La coupure franche a démarré.

Date: 2015-05-28 07:24:04 UTC
L'installation du nouveau câble est commencée. Les fusionneurs s’apprêtent
à insérer la nouvelle fibre dans les boîtiers. Suivra ensuite la préparation
du câble. Nous estimons qu'une coupure franche aura lieu vers 5:00AM (11H00)

Date: 2015-05-28 07:19:01 UTC
Bonjour,
Notre Datacentre à BHS est en train de vivre une
situation très délicate au niveau du réseau. Nous
avons 4 chemins de fibres optiques qui connectent
le Datancentre au Monde:

1) BHS vers Montreal par le Nord. Le lien est UP
et nous avons 3 paires de fibres: vers Montreal,
vers New York (nous avons 600G de capacité)
et vers Level3 (qui nous fournit 200G de capacité
vers New York)
2) BHS vers Montreal par le Sud qui n’est pas encore
UP. La construction du chemin a pris du retard
dans la réserve indienne. Nous aurons 3 paires
de fibres sur ce chemin en juillet 2015
3) BHS vers New York par le Sud, lui non plus n’est
pas encore UP. Les autorisations des travaux sur
la frontière Canada/USA sont particulièrement
longes à avoir. 3 ans. La date de mise en service:
septembre 2015
4) Un backup de backup MTL/BHS est UP mais avec
une faible capacité disponible (10G).

Hier soir, une voiture a cassé dans l’un des poteaux
sur le chemin BHS/MTL par le Nord. La fibre optique
a été endommagée: 2 paires de fibres sur 3 sont DOWN.
La 3eme fibre optique, vers Level3, est toujours UP.

L’endroit de l’incident a été identifié et les équipes qui
maintiennent le câble sont en train de travailler pour
repasser une nouveau câble de 96 FO sur le 300m.
Ils en ont pour 12H de travail.

Vers 7-8AM (13H-14H) nous allons commencer la
maintenance du câble: on va couper les fibres qui
restent UP pour les souder sur le nouveau câble.
Afin de réduire le temps de soudure nous avons 2
équipes sont en place de 2 côtés du câble. On prévoit
30 minutes pour couper et ressouder notre tube de
fibres dans lequel nous avons nos 3 paires de fibres.
Durant cette intervention le Datacentre restera connecté
mais uniquement par le backup de backup et donc
la connexion sera très fortement dégradée.

Nous allons poster les informations supplémentaires
avant le début des travaux.

Amicalement
Octave Klaba
CTO


Date: 2015-05-28 04:23:38 UTC
Réparation d'urgence nécessaire - une coupure est nécessaire, nous sommes en relation avec les équipes sur le terrain pour minimiser la maintenance qui est estimée à 30 minutes. Pendant cette opération, la connectivité sera très dégradée.

Date: 2015-05-28 02:29:35 UTC
Les techniciens sont maintenant sur place et recherche la fibre endommagé

Date: 2015-05-28 00:56:25 UTC
Il s'agit bien d'un incident sur un cable mais il ne s'agit pas d'une coupure franche. Plusieurs fibres sont touchées mais pas l'ensemble du cable.
Comme il reste des paires disponibles, la réparation du cable n'est pas envisagée dans l'immédiat. Le mainteneur va déplacer les liens impactés vers d'autres paires en bon état. On peut donc espérer un rétablissement des liens BHS <> Montreal sous quelques heures. Pas d'ETA précis à ce stade cependant.
Posted May 27, 2015 - 21:17 UTC