OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Appels entrants
Incident Report for Web Cloud
Resolved
Il y a un incident en cours sur 3 de nos interconnexions avec l'opérateur historique.

Les appels entrants sur le réseau OVH sont impactés.

Nous vous tenons informés de l'évolution de la situation sur cette tâche.

Update(s):

Date: 2015-10-20 15:10:17 UTC
L’intervention est terminée.
Les équipes d’Orange ont finalisé le recâblage des 2700 paires.

Nous avons réactivé les E1 de signalisation (COC) sur la partie cuivre.
Nous conservons aussi la configuration des COC sur la partie fibre des interconnections.
Nous sommes de retour à la valeur nominale de ces interconnections.

En parallèle, nous poursuivons la mise en place des nouvelles interconnections IP
et entrons en phase de déploiement des liaisons. La date de mise
en production est prévu pour février 2016.

Date: 2015-10-19 13:18:45 UTC
Nous avons récupéré 90% de la partie cuivre des 3 interconnections.
Orange prévoit la fin du recâblage pour ce soir.


Date: 2015-10-19 10:28:59 UTC
Nous observons la remontée d'une partie des interconnections.
Un point est en cours avec Orange sur les avancées de l'intervention.


Date: 2015-10-16 13:14:29 UTC
Orange nous informe que les travaux de recâblage vont continuer ce week-end et lundi.


Date: 2015-10-12 10:39:14 UTC
D’après les feedbacks de nos clients, l'incident est terminé
depuis 11h45 environ.

Merci aux équipes d'Ovh et d'Orange pour ce workaround. Nous
continuons à surveiller et travailler avec Orange pour remettre
en marche les E1 sur le cuivre. On regarde aussi pour accélérer
la mise en place des 2 nouvelles interco IP qui vont se terminer
sur 2 DC à Paris (TH2 et GSW). On va essayer d'ajouter une 3eme
pour la terminer à RBX.

Date: 2015-10-12 10:38:56 UTC
Orange confirme la reprise du trafic sur les trois intercos et qu'il n'y a plus de rejet constaté.


Date: 2015-10-12 09:56:24 UTC
La troisième interco est up.

Date: 2015-10-12 09:10:23 UTC
La seconde interco est up.
Nous avons assez de capacité pour prendre la totalité des appels entrants.

Date: 2015-10-12 09:03:21 UTC
La première interco est remontée sur la partie fibre.
Nous avons récupéré 60% de l'interco.
On arrive maintenant a prendre 80% de la charge.
Nous sommes en train de remonter les deux autres intercos sur le même principe.

Date: 2015-10-12 07:59:30 UTC
Concernant les paires de cuivre:
un câble 2700 paires a été coupé entre 2 chambres dans un Boulevard entre
Paris 19 et Paris 11.
Le câble étant coupé très court en sortie de chambre, il est impossible
de le recâbler. Il est nécessaire de le déposer puis de tirer un nouveau
câble. Compte tenu de la nécessité de réapprovisionner ce câble, de la pose
mais surtout du recâblage de toutes les paires, le délai de rétablissement
sera au mieux de 72 h, soit une réparation effective jeudi soir.

De notre côté, on est en train de configurer les intercos
afin qu'elles utilisent que la fibre optique.

Date: 2015-10-12 07:33:35 UTC
Après la réunion de ce matin avec Orange, nous
avons mis en place un plan d'action qui devrait
permettre la fin de l'incident avant midi.

version longe:
Les 3 interco sont configurées sur le cuivre et
la fibre optique, en même temps. Sauf que la
signalisation de 3 interco est restée configuré
sur les E1 cuivre. C'est historique. Du coup les
3 interco sont down, même si les E1 qui passent
par la fibre optique sont UP

Nous allons créer les E1 signalisation (COC) sur
la fibre optique. Ceci nous permettra de récupérer
les 3 interco avec les capacités E1 sur la fibre
optique.

Sur les cuivres nous avons 1/6 de nos capacités
et 5/6 sur la fibre optique. Et donc dés que la
Sig est configurée sur la fibre optique, on devrait
avoir assez de capacité pour ne plus perdre des
appels en entrée.

Il faut 1H pour Orange et 1H pour Ovh pour configurer
1 Sig. On en a 3. 3H de boulot. Voilà. C'est parti.



Date: 2015-10-11 08:26:02 UTC
Aujourd'hui, Dimanche, on attend pas de news d'Orange.
Les travaux ont été arretés hier et vont reprendre
demain Lundi.

A partir de Lundi matin, on va entrer dans la zone de
turbulances. Avec Orange, on espere negocier un workaround
et on espere qu'ils vont l'appliquer rapidement. Il s'agit
d'ecouler la voix via SFR. On ne sait pas si Orange voudra
le faire et pourra le configurer rapidement.

Autrement, on doit attendre la fin de travaux qui risquent
de prendre entre 3 à 5 jours. oui .. jours ..

On fait le maximum pour accelerer la resolution du probleme.

Historiquement, Orange impose beaucoup de contraintes sur
les intercos. Après des années de collaboration, nous avons
reussit d'avoir une redondance suivante: si 1 des 4 interco
est DOWN, aucun impact sur la production. Aujourd'hui nous
avons un probleme sur 3 interco sur 4 ce qui n'a jamais été
envisagé. Erreur. On aurait dû acheminer les interco dans 3 DC
differents à Paris. Debut janvier, nous allons ajouter 2 interco
avec Orange sur 2 DC. On change aussi le SS7 vers IP et donc
on n'aura plus de problemes de capacité. Chaque interco aura
la capacité de prendre tous les appels. On va ajouter une 3eme
interco à Lille afin de créer une redondance suplementaire.

Date: 2015-10-10 16:42:20 UTC
Le bilan de l'intervention n'est pas bon.
Le travail de recablage est beaucoup plus important que prévu et l'estimation de la résolution est repoussé au milieu de la semaine prochaine (!).
Le prochain bilan sur le recablage nous sera communiqué lundi dans la journée.

Nous étudions donc plusieurs alternatives en coopération avec l'opérateur historique pour gérer la charge des appels entrants de la semaine.
Entre autres bascules d’interconnexion pour ecouter le trafic vers Ovh à travers SFR avec qui nous avons
pas mal de capacité.
Nous vous ferons part des actions prises dès confirmation lundi matin.





Date: 2015-10-10 13:31:18 UTC
L'intervention est toujours en cours suite à l'acte de vandalisme.
Orange indique que l'incident est très important et que ces équipes sont mobilisés.
Il n'est pas spécifié d'ETA concernant le rétablissement à cette heure.
Des points réguliers de suivi sont prévus cet après-midi.


Date: 2015-10-10 07:33:38 UTC
Nous avons 4 liens vers les 3 infrastructures
differentes d'Orange. 3 PRO à Paris. Chaque
POP est independant et assure acheminement
des appels vers nos infrastructures. Lorsqu'un
lien est DOWN, le PRO d'Orange doit renvoyer
l'appel vers un autre PRO et ainsi suite jusqu'à
ce que l'appel aboutit sur le PRO qui est connecté
vers nos infrastructures.

On s'appercoit que ceci ne fonctionne pas bien
et certains appels n'aboutissent pas. C'est
possible que l'appel arrive sur l'un de 3 PRO
qui a le lien DOWN, renvoit l'appel vers un autre
PRO. Ce 2eme PRO sur le chemin a aussi le lien
DOWN et donc renvoit l'appel au PRO suivant.
Sauf qu'il doit le renvoyer vers le 1er PRO qui
lui coupe l'appel puisqu'il a déjà vu l'appel.
En bref, la configuration que nous avons fonctionne
bien avec 1 PRO DOWN sur 3 mais pas avec 2 PRO DOWN
sur 3.


Date: 2015-10-10 07:28:54 UTC
On attend les feedbacks de l'Opérateur sur l'avancement
des travaux.

Date: 2015-10-09 18:10:17 UTC
Orange doit encore intervenir demain matin pour un retour à la normale.
La capacité actuelle est largement suffisante pour tenir la charge du week-end.





Date: 2015-10-09 15:58:33 UTC
Le pic d'appel retombe, le nombre d'appels est suffisamment faible pour être encaissé.

L'opérateur est toujours en train d'intervenir sur place.

Date: 2015-10-09 14:41:31 UTC
Le vol de paires de cuivre dans le quartier de paris 19
est à l'origine du probleme. Nous avons 4 interconnexions
entre Orange et Ovh, dont 3 sur le cuivre et 1 sur la
fibre optique. L'interco sur la fibre est UP et les 3 sur
le cuivre ont été vandalisées. On manque 30% de capacité
pour prendre tous les appels entrants. Nous sommes en fin
de la journée et à partir de 17h30 environ, le nombre
d'appels va être suffisamment faible pour être encaissé
en mode dégradé.

Orange intervient sur place pour remettre en place les
paires de cuivre nécessaire à l'interconnexion. Ca va prendre
quelques heures.

En parallèle, une double interconnexion en IP est en cours
de la création entre Orange et Ovh, une vers TH2 et une
vers GSW.

Date: 2015-10-09 14:05:32 UTC
L'opérateur vient d'initier une intervention sur place.

Date: 2015-10-09 13:59:20 UTC
Le problème à été identifié par les équipes de l'opérateur.

Il impacte le secteur de nos datacentres.

Ils mettent tout en oeuvre pour le résoudre dans les plus brefs délais.

Date: 2015-10-09 12:23:17 UTC
L'expertise est en cours au niveau de l'opérateur historique.

3 de nos 4 interconnexions avec lui sont impactées.

Date: 2015-10-09 10:43:52 UTC
Nous sommes en contact avec l'opérateur historique pour la résolution de l'incident.

Le traffic entrant est assuré par deux de nos autres interconnexions.
Posted Oct 09, 2015 - 10:18 UTC
This incident affected: VoIP || Core Network.