OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Collect IP Orange National
Incident Report for Web Cloud
Resolved
Nous rencontrons des pertes de paquets sur certains acces clients sur la porte de collect IP Orange National sur le LNS de Roubaix. Un ticket a été ouvert chez l'opérateur.

Update(s):

Date: 2014-09-30 09:56:58 UTC
La solution de contournement mise en place au début de l’été a montré son efficacité. Elle permet donc à nos clients impactés d’utiliser leur ligne normalement.

Nous fermons donc la tâche.

Néanmoins, nous poursuivons activement notre travail de résolution de l’incident à la source avec Orange sur la quinzaine d’accès impactés. Une équipe d’un prestataire Orange va être dédiée pour
identifier la cause source et résoudre l’incident.


Date: 2014-08-12 10:02:43 UTC
La possibilité de créer une seconde ligne techniquement raccordable sur DSLAM-GE a été refusée par les équipes techniques d’Orange qui ne sont pas en mesure de forcer le raccordement sur les DSLAM-GE.

Nous relançons ce jour le devis qui ne nous est pas parvenu.

Date: 2014-07-09 14:25:17 UTC
Suite à la réunion interne d'Orange mardi 08/07, les conclusions sont les
suivantes :

Le ND sur lequel les tests ont été menés est résolu grâce au changement de
la carte de conversion IP/ATM.

Cela n'a pas permis d'identifier la cause source du problème.



Orange sollicite l'intervention d'experts nationaux dont l'objectif sera
d'identifier la cause source afin de trouver une solution globale et pas
individuelle. Un devis sera transmis à OVH fin juillet pour un début des
travaux fin aout, début septembre.



Au vu des délais, OVH demande une intervention manuelle sur les ND en packet
loss.

Nous évaluons la possibilité de créer une 2nde ligne sur les ND possiblement
raccordables sur DSLAM-GE et de forcer le raccordement sur ces DSLAM-GE.
Cette option concernera presque 70% des ND concernés et les clients
conserveront aussi leur ligne actuelle.

Attention le résultat n'est pas garanti.

Orange nous fera un retour sur cette option, dans la seconde partie de la
semaine prochaine.



Entre temps, chaque ND concerné peut gérer sa limitation de débit via le
manager v6 : configuration>xDSL>Gestion du débit. Cela augmente la fluidité
de la connexion.


Date: 2014-06-30 09:53:21 UTC
Nous avons relancé Orange la semaine dernière et nous avons tenté de prendre un rendez vous téléphonique afin de tirer les conclusions de la premiere résolution.

Cependant, Orange souhaite réaliser un point en interne et ce point se fera que le 8 juillet.

Nous sommes donc en attente de leur point avant de continuer nos investigations communes.

Date: 2014-06-19 08:58:17 UTC
Nous avons mené sur les deux dernières semaines de nouveaux tests en collaboration avec Orange sur la ligne d'un client qui connait du packet loss.
Notre client a installé les outils de diagnostic demandés par Orange sur sa machine et mis en place les conditions de test demandées : les graphs indiquent du packet loss.
Mardi après-midi, un technicien entreprise Orange a mené des tests durant 4 heures et a :
- Mis hors de cause la boucle locale
- Détecté que le problème se trouvait en fait plus en amont sur la partie ATM entre le DSLAM et le BAS.
Orange a dû basculer une carte entière de l'équipement ATM sur une autre carte.
Le problème a disparu d'après les tests d'Orange et ceux d'OVH.
Les tests du client sont en cours de finalisation avec des premiers résultats encourageants.


Date: 2014-06-06 08:01:20 UTC
Compte rendu de la conférence téléphonique avec Orange de jeudi.
Étaient présents un expert Orange DSLAM et un expert ATM.

Tests menés sur une ligne avec packet loss.
OVH se connecte sur le PC du client et constate, uniquement lorsque la ligne reçoit du trafic des pertes de paquets qui conduisent à un échec du téléchargement.
Orange niveau DSLAM et ATM ne voient AUCUNE anomalie.

De plus, lors des packets loss, l’expert Orange indique que le système de gestion de congestion au niveau du DSLAM est inactif car le trafic est en deçà de leur limite.
Ce point est donc mis hors de cause.

Conclusion Orange
Pas de pertes constatées. Les investigations sont suspendues.
Néanmoins, Orange propose de dédier un expert national qui mènera à nouveau des tests, sur devis.
OVH attend ce devis prévu d’ici quelques semaines.

En parallèle, OVH sollicite Orange pour avancer sur le drop de paquet détecté par Orange au niveau des compteurs de leur BAS.

Nous maintenons la solution de contournement sur les lignes affectées par le problème.


Date: 2014-05-27 16:34:01 UTC
Les retours sur l'application de la solution de contournement sont positifs.
En effet les résultats ne montrent quasiment plus aucune perte de paquet après application du débit de synchronisation en amont sur le LNS pour éviter que ce soit le DSLAM qui le fasse.
Nous le déployons sur les lignes impactés par le packet loss remontées par ticket incident.

Concernant Orange, un expert \"accès\" a été désigné pour intégrer le groupe de travail.
Rendez-vous est pris pour le Jeudi 5 Juin pour une conférence téléphonique afin de continuer d'avancer vers une résolution complète du problème.




Date: 2014-05-23 17:28:27 UTC
Ci-joint le compte rendu de la réunion de travail avec Orange sur le packet Loss.

1- La baisse de synchronisation d’Orange n’a eu aucun impact.
2- OVH a identifié un client qui remplit les conditions requises à savoir un ND avec packet loss et un sans sur le même DSLAM.
3- OVH et Orange se sont accordés sur un ensemble de test qui permet de vérifier si une ligne est sujette au problème.
On génère 30Mbps UDP vers l’abonné et on vérifie si la connexion reste stable
(il peut y avoir de la perte de paquets mais pas de coupure complète).
4- La liste des modems compatibles n’est plus d’actualité pour le moment.

Après cette journée de test en collaboration avec Orange sur une ligne à vide sujette au packet loss, voici le résultat :

La première étape a consisté à isoler avec précision les conditions qui amènent à la coupure de la connexion.
On constate que lorsque la ligne est fortement congestionnée (par exemple lancement de téléchargement en TCP ou plusieurs téléchargements en simultané),
on aboutit systématiquement à une perte de connexion totale au niveau IP, de quelques secondes à chaque fois et par intervalle irrégulier.
Comme on peut le visualiser sur la trace suivante :

[...]
[ 3] 267.0-268.0 sec 1.80 MBytes 15.1 Mbits/sec 0.204 ms 1270/ 2553 (50%)
[ 3] 268.0-269.0 sec 1.85 MBytes 15.5 Mbits/sec 0.249 ms 1236/ 2553 (48%)
[ 3] 269.0-270.0 sec 1.83 MBytes 15.3 Mbits/sec 0.251 ms 1229/ 2532 (49%)
[ 3] 270.0-271.0 sec 1.78 MBytes 14.9 Mbits/sec 0.288 ms 1279/ 2548 (50%)
[ 3] 271.0-272.0 sec 1.86 MBytes 15.6 Mbits/sec 0.376 ms 1243/ 2569 (48%)
[ 3] 272.0-273.0 sec 1.84 MBytes 15.4 Mbits/sec 0.214 ms 1243/ 2555 (49%)
[ 3] 273.0-274.0 sec 1.71 MBytes 14.4 Mbits/sec 0.184 ms 1145/ 2368 (48%)
[ 3] 274.0-275.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 275.0-276.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 276.0-277.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 277.0-278.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 278.0-279.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 279.0-280.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 280.0-281.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 281.0-282.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 282.0-283.0 sec 0.00 Bytes 0.00 bits/sec 0.184 ms 0/ 0 (-nan%)
[ 3] 283.0-284.0 sec 1.34 MBytes 11.2 Mbits/sec 0.217 ms 24736/25692 (96%)
[ 3] 284.0-285.0 sec 1.70 MBytes 14.2 Mbits/sec 0.176 ms 163/ 2373 (49%)
[ 3] 285.0-286.0 sec 1.98 MBytes 16.6 Mbits/sec 0.213 ms 1322/ 2731 (48%)
[ 3] 286.0-287.0 sec 1.82 MBytes 15.3 Mbits/sec 0.220 ms 1250/ 2549 (49%)
[ 3] 287.0-288.0 sec 1.84 MBytes 15.4 Mbits/sec 0.178 ms 1228/ 2541 (48%)
[ 3] 288.0-289.0 sec 1.85 MBytes 15.5 Mbits/sec 0.185 ms 1242/ 2563 (48%)
[ 3] 289.0-290.0 sec 1.85 MBytes 15.5 Mbits/sec 0.216 ms 1232/ 2549 (48%)
[...]

La conséquence pour l’utilisateur peut être un échec du téléchargement en cours.

La deuxième étape consiste à trouver une solution temporaire que l’on peut mettre en place sur nos propres équipements.
Nous appliquons une QoS sur la session PPP de la ligne test au niveau du LNS pour limiter en amont le trafic vers l’abonné.
La congestion éventuelle est ainsi gérée au niveau du LNS et non plus sur le backbone Orange.
Le test va se poursuivre ce week-end et on évaluera lundi l’impact sur le packet loss.

D’autre part, lundi un interlocuteur accès (DSLAM) Orange va être désigné pour intégrer le groupe de travail.
La prochaine séance sera définie ce lundi.


Date: 2014-05-21 17:53:05 UTC
Suite au point du téléphonique de ce soir, les prochaines actions sont :

1- Orange baisse momentanément la synchronisation du 0x xx xx xx xx qui
rencontre du paquet loss sur serveur ftp Oleane.

2- OVH identifie un client avec un ND qui rencontre du paquet loss, un
ND qui n'en rencontre pas (autre que FT si possible) et lui demande son
accord pour mener à nouveau des tests.

3- OVH propose un ensemble de test à Orange afin qu'une version
*validée* par les deux parties soit prête lors de la prochaine conf call.

4- OVH et Orange définissent une liste de modems avec lesquels des
tests seront menés. Cette liste doit être prête pour la prochaine conf call.

5- Orange suspend la piste d'analyse de la liste de ND transmise par
OVH afin de se concentrer sur ces nouvelles actions.

L'objectif est de s'accorder sur des tests que les deux parties jugeront
incontestables et de s'assurer que les déplacements éventuels sur site
seront gérés par un interlocuteur qui suit le projet coté Orange. Nous ne
pouvons pas impliquer à nouveau des clients qui se déplaceraient pour des
rendez-vous annulés ou des tests incomplets.

Le prochain point se fera vendredi matin à 10.30.


Date: 2014-05-20 17:22:36 UTC
Voici le résultat du point téléphonique mené ce jour avec Orange sur la
résolution de packet Loss.

Orange nous a rappelé le résultat des tests réalisés qui montrent du packet
loss sur notre serveur FTP, un serveur FTP indépendant mais pas sur le
serveur FTP Oleane. Orange émet des doutes sur les serveurs FTP utilisés.

Chacun d'entre nous doit mener les actions suivantes qui seront discutés
mercredi soir.

Orange doit nous rapporter le résultat des analyses de la liste des ND
transmis

Orange doit mener des tests à partir de la connexion client

OVH va mener des tests sur le serveur FTP d'Oleane, pour confirmer ou pas
leur diagnostic

En parallèle des BAS, une nouvelle piste a été identifiée : celle de
routeurs défaillants. Un interlocuteur réseau Orange et OVH se joindront au
point de demain.


Date: 2014-05-07 10:50:07 UTC
Orange est à nouveau intervenue chez notre client pour faire des tests complémentaires.
A chaque intervention, les tests réalisés complètent les précédents et de nouveaux interlocuteurs sont ajoutés dans la boucle.

En parallèle, Orange a effectué des tests en labo de téléchargement FTP en ATM et en GE (Giga Ethernet). Dans les deux cas, du gel dans le téléchargement (perte de paquets) est constaté.
Orange indique que le problème peut se situer sur leur BAS ou sur les serveurs de téléchargement OVH (ce qu’OVH conteste).
D’autre part, Orange a aussi fait des tests de ping et constate parfois une absence de réponse. Cependant Orange indique que la réponse au ping de la machine est non prioritaire et ne tient donc pas compte de ce test.

Les prochaines actions listées par Orange sont
-OVH doit fournir une liste exhaustive des clients avec packet Loss (déjà fait).
-Orange recherche un point commun aux ND de cette liste.
-Orange va monter un serveur de test de téléchargement pour ne pas utiliser celui d’OVH.
-Orange met ses équipes QoS dans la boucle
-Orange va faire une nouvelle maquette en labo plus conforme à la réalité terrain et relancer les tests.

Le dysfonctionnement est complexe à analyser ce qui explique les différentes interventions.

Date: 2014-05-06 10:11:39 UTC
Nous avons été contacté par le service réseau collect IP de chez Orange afin de travailler ensemble.

Apres plusieurs tests, l'ingénieur de chez Orange n'a pas réussi à reproduire le bug sur le réseau Orange.

Nous avons convenu un nouveau rendez vous sur site chez un client afin d'utiliser sa ligne qui subit un packet loss afin d'analyser et d'étudier l'acces.

Date: 2014-05-05 11:10:43 UTC
La semaine dernière, Orange a géré le changement de BAS mais aucun impact n'a été constaté sur le packet loss.

En accord avec Orange, nous avons ouverts deux tickets incidents pour deux clients différents avec packet loss. Orange planifie des interventions.

D'autre part et sur la demande d'Orange, nous avons établi une liste d'accès avec et sans packet loss. Cette liste contient nombre d'informations telles que BAS de rattachement.
Notre interlocuteur Orange est en train de l'analyser et de tester ces accès.

Une relance a été faite ce jour.

Enfin, lundi dernier la porte Nationale de Paris a été ouverte. Elle est fonctionnelle et sert désormais de back up mais n'aura pas d'incidence sur le problème de packet loss, vu que le LNS est hors de cause.

Date: 2014-04-25 10:00:59 UTC
Voici les résultats du Rdv d'hier au cours duquel étaient présents
le responsable Orange et son technicien, le responsable incident XDSL OVH et notre technicien, le Responsable technique de notre client et son technicien ainsi que des ingénieurs Orange sur le site de Rennes.

L'intervention a été menée au NRA.
Les actions réalisées sont :
- 2 changements de plots sur la ligne testée.
- Branchement d'une LiveBox avec identifiant ORANGE directement sur la réglette.
- Changement du LAC FT.
- Changement du LNS FT.

A l'issu des différents tests, nous avons constaté que le soucis de packet loss était toujours présent après chaque action.
- La boucle locale et les équipements OVH sont hors de cause.
- Le souci est bien présent sur connexion ORANGE de bout en bout.

Le remplacement du BAS a été fait par un BAS du même modèle.
Un remplacement par un autre modèle est planifié.

Nous appelons Orange ce jour pour valider une date d'intervention pour le changement du BAS et planifier la suite des opérations.


Date: 2014-04-24 10:38:27 UTC
Suite au rendez-vous commun la semaine dernière qui a permis à Orange de constater le packet loss et de mettre le LNS OVH hors de cause,
un nouveau rendez-vous commun est prévu ce jour sur le site du client en collecte Orange, afin de pousser les tests avec les ingénieurs réseaux d'Orange.
Orange profitera de l'intervention pour investiguer sur son réseau : analyser plus en détail la session montée pour la débugger.
Nous en serons plus après ce rendez vous.


Date: 2014-04-23 22:20:00 UTC
tous les clients regionale sont up sur lns-1-rbx, migration complété.

Date: 2014-04-23 22:09:47 UTC
on va commencer couper la port régionale sur lab et le basculement sur lns-1-rbx...

Date: 2014-04-23 22:01:27 UTC
On va commencer la préparation de migration..

Date: 2014-04-23 10:28:22 UTC
On rapport le travaux pour ce soir.

Date: 2014-04-22 13:44:31 UTC
Ce soir vers 0:00 nous allons remettre la porte de Roubaix-Regionale sur le LNS de production.

Date: 2014-04-16 12:40:03 UTC
Nous avons eu un retour concernant l'investigation conjointe avec Orange. En utilisant une livebox ainsi qu'un compte PPP Orange, le problème persiste. Le LNS OVH et la porte de collecte sont hors de cause. Le problème est bien localisé sur le réseau Orange. Orange continue ses investigations avec les ingénieurs de la supervision.

Concernant la nouvelle porte de collecte nous avons une date de mise en service début mai. Il nous faut pour cela un rendez vous commun.

Date: 2014-04-14 10:50:17 UTC
Trois actions sont en cours :

- Orange poursuit ses investigations de son côté et conjointement avec OVH. En effet, un RDV conjoint FT et OVH est planifié demain chez un client qui subit du packet loss. Les tests vont être faits simultanément par les deux opérateurs avec nos équipements respectifs. La comparaison des résultats va préciser le diagnostic.

- On poursuit l’analyse des clients qui ont été migrés de la porte de Roubaix vers le LNS de labo. Les premiers résultats n’étaient pas probants. (Attention, tous les clients de Roubaix n’ont pas été migrés.)

- La commande de la nouvelle porte de collecte suit son cours. On relance ce jour.


Date: 2014-04-08 22:43:38 UTC
sessions de FT regionale sont up sur le LNS du labo.

Date: 2014-04-08 22:03:13 UTC
On va commencer l’opération...

Date: 2014-04-08 10:04:34 UTC
Ce soir nous allons basculer la porte de Roubaix sur le LNS du labo en direct (sans passer par le LNS de Roubaix). Le but est de mettre hors de cause le LNS de Roubaix.

Date: 2014-04-03 15:39:04 UTC
Hier nous avons fait le point avec Orange a propos du packet loss. Ils ont réussi a voir et capturer sur un acces avec une perte au niveau de leur BAS de 20% des paquets IP.

Cependant, cette détection est hasardeuse et depuis ils n'arrivent pas a reproduire le probleme. Afin d'avoir plus d'éléments, Orange et nous meme monitorons l'ensemble des acces sur le DSLAM ou a été vu le probleme afin d'en déterminer la cause.

Nous continuons nos investigations de facon conjointe. Actuellement aucuns elements probant n'a été trouvés.

Date: 2014-03-31 13:44:06 UTC
Nous avons eu un retour de la part d'Orange, ils n'arrivent pas a identifier le probleme sur leur réseau. De notre coté nous avons changé de carte du LNS ainsi que les optiques. Sur le transports entre Orange et OVH nous n'avons pas d'erreurs. Nous avons également un ticket ouvert avec le constructeur mais les tests n'ont rien donnés de concluant.

Chez Orange, il y a eu une escalade du probleme packet loss. Ils doivent revenir vers nous cette semaine.

Concernant la nouvelle porte, nous n'avons pas de retour pour la prise de rendez vous. Nous attendons Orange. Nous espérons l'ouvrir dans les deux prochaines semaines.

Date: 2014-03-19 23:46:51 UTC
migration fait avec success, clients up sur la nouvelle carte.

Date: 2014-03-19 23:04:12 UTC
On va commencer le migration////

Date: 2014-03-19 15:47:18 UTC
Dans le cadre de la recherche d'une solution sur la perte des packets, ce soir vers 0h00, nous allons basculer la collecte FT vers une autre carte sur le LNS de Roubaix.
Une perte de connexion de quelques minutes est à prévoir.



Date: 2014-03-18 12:19:21 UTC
Nous relancons Orange sur ce sujet.

Date: 2014-03-12 13:37:09 UTC
Nous avons eu un retour de la part d'Orange.

Actuellement l'équipe réseau et infrastructure d'Orange commence les investigations de maniere approfondies, afin d'analyser ce probleme.

Nous attendons leur retour pour la fin de semaine.

Date: 2014-03-10 15:27:52 UTC
Nous avons relancé Orange concernant leur avancement dans leur investigation. Nous attendons leur retour.

Date: 2014-03-07 10:38:59 UTC
Les informations ont bien été remontées a Orange. Ils investiguent de leur coté. Nous aurons un retour milieu de semaine prochaine.

Date: 2014-03-06 14:16:29 UTC
Suite a notre échange avec Orange, nous allons travailler avec eux sur une liste de ND remonté afin d'approfondir les problemes.

Actuellement, il analyse les sessions PPP de ces clients sur leur réseau; Et nous leur remontons les informations de synchronisation.

Date: 2014-03-05 11:45:20 UTC
Nous avons un entretien avec Orange jeudi 6 afin de travailler avec eux sur les problemes.

Date: 2014-03-04 15:11:05 UTC
Nous n'avons pas eu de retour de la part d'Orange, nous relançons.

Date: 2014-02-28 13:41:53 UTC
Nous avons réalisé durant les derniers jours différents tests à partir du LNS.

Nous ouvrons un ticket chez Orange, pour les problemes de packet loss.

Date: 2014-02-24 23:47:50 UTC
Nous allons continuer de monitorer les acces demain dans la journée.

Date: 2014-02-24 23:46:34 UTC
La mise a jour du LNS est fini. Voir l'intervention FS#10312. Les clients reviennent sur le LNS.

Date: 2014-02-24 23:04:07 UTC
https://travaux.ovh.net/?do=details&id=10312

Date: 2014-02-24 19:01:13 UTC
Nous allons profiter du reboot des cartes de controle du LNS de Roubaix pour mettre à jour le chassis. L' intervention reste prévu le 25 février 2014.

Date: 2014-02-24 12:53:02 UTC
Il y a encore des problemes de perte de paquets. Ce soir nous allons réaliser un reboot des cartes de controle du LNS. Cela aura pour effet de couper toutes les sessions PPP, Orange et également SFR. L'intervention est prévue pour le 25 février 2014 à 01:00.

Date: 2014-02-22 06:36:35 UTC
Les sessions sont revenues. Nous monitorons aujourd'hui les connexions, actuellement tout semble ok.

Date: 2014-02-22 06:14:22 UTC
Nous allons redémarrer la carte de collect Orange National

Date: 2014-02-21 18:00:09 UTC
Orange ne détecte pas de probleme de son coté. Nous allons redémarrer la carte de la collecte Orange National sur le LNS de Roubaix le 22 février à 5:00.

Date: 2014-02-21 14:23:22 UTC
Le ticket a été pris en compte par Orange.
Posted Feb 21, 2014 - 14:11 UTC
This incident affected: Internet Access || FTTH.