OVHcloud Web Hosting Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Appels entrants
Incident
Report for Web Cloud
Resolved
Bonjour,
Nous rencontrons des perturbations sur les appels entrants provenant de nos interconnexions. Nous avons identifié la cause du dysfonctionnement, nous mettons tout en œuvre pour rétablir la situation.
Tous les services de notre plateforme établissant des appels externes sont impactés :
- Lignes VoIP
- Trunk SIP
- Carrier SIP
- ...
Nous vous tenons informé via cette tâche.
Update(s):
Date: 2020-08-20 07:47:19 UTC
Voici un peu plus de détails sur le déroulé des informations :
Le 19 août à 10h15, nous avons déployé une mise à jour mineure sur notre système de routage des appels entrants pour préparer la migration du système téléphonique du support OVH. Cette mise à jour a marqué le début d'une perturbation totale des appels entrants.
En effet, un cluster de machine (appelé Edge) est sollicité pour chaque appels entrants pour pouvoir les router correctement. De ce fait, la totalité des appels en provenance de tous les opérateurs nationaux et internationaux était impliqués par ce problème.
L'atmosphère de confusion avec les problèmes de liens réseaux avec Orange, nous a malheureusement retardé dans la qualification précise du problème.
Le rollback de la mise à jour dans un premier temps, n'a pas amélioré la situation.
L'emballement système, différents symptômes, que nous avons essayé de remédier dans un second temps, nous a amené vers des fausses pistes.
Nous avons ensuite vérifié chaque changement de configurations précédentes, pour finalement identifier un reliquat de configuration qui n'avait jamais été mis en production.
Le déploiement de 10h10 a embarqué cette configuration fautive dans la mise à jour.
La configuration fautive a été modifié, puis un nouveau déploiement a résolu la situation à 11:55.
Suite à cette expérience difficile, nous révisons nos procédures de mise à jour.
Date: 2020-08-19 12:53:24 UTC
Ce matin nous avons déployé une mise à jour de configuration mineure sur notre système de routage des appels entrants.
Cette mise à jour a engendré une perturbation totale du routage des appels entrants.
Le rollback de cette mise à jour n'a pas permis de résoudre la situation.
Un reliquat d'une configuration précédente qui n'avait jamais été mise en production suite à une erreur humaine, a été aussi implémenté suite au déploiement.
Nous avons identifier tardivement cette modification de configuration qui induisait un changement dans le formatage des requêtes de routages.
La suppression de cette configuration fautive a permis de rétablir le service.
Date: 2020-08-19 10:17:40 UTC
La situation est à nouveau stable, les appels s'écoulent à nouveau correctement.
Date: 2020-08-19 10:02:37 UTC
Il reste des instabilités sur l'acheminement des appels, nous faisons le nécessaire afin de rétablir la situation au plus vite.
Date: 2020-08-19 09:58:18 UTC
Nous avons un piste positive, le routage des appels entrants se déroule pour le moment correctement.
Nous continuons néanmoins les investigations, pour s'assurer de la stabilité du service.
Nous rencontrons des perturbations sur les appels entrants provenant de nos interconnexions. Nous avons identifié la cause du dysfonctionnement, nous mettons tout en œuvre pour rétablir la situation.
Tous les services de notre plateforme établissant des appels externes sont impactés :
- Lignes VoIP
- Trunk SIP
- Carrier SIP
- ...
Nous vous tenons informé via cette tâche.
Update(s):
Date: 2020-08-20 07:47:19 UTC
Voici un peu plus de détails sur le déroulé des informations :
Le 19 août à 10h15, nous avons déployé une mise à jour mineure sur notre système de routage des appels entrants pour préparer la migration du système téléphonique du support OVH. Cette mise à jour a marqué le début d'une perturbation totale des appels entrants.
En effet, un cluster de machine (appelé Edge) est sollicité pour chaque appels entrants pour pouvoir les router correctement. De ce fait, la totalité des appels en provenance de tous les opérateurs nationaux et internationaux était impliqués par ce problème.
L'atmosphère de confusion avec les problèmes de liens réseaux avec Orange, nous a malheureusement retardé dans la qualification précise du problème.
Le rollback de la mise à jour dans un premier temps, n'a pas amélioré la situation.
L'emballement système, différents symptômes, que nous avons essayé de remédier dans un second temps, nous a amené vers des fausses pistes.
Nous avons ensuite vérifié chaque changement de configurations précédentes, pour finalement identifier un reliquat de configuration qui n'avait jamais été mis en production.
Le déploiement de 10h10 a embarqué cette configuration fautive dans la mise à jour.
La configuration fautive a été modifié, puis un nouveau déploiement a résolu la situation à 11:55.
Suite à cette expérience difficile, nous révisons nos procédures de mise à jour.
Date: 2020-08-19 12:53:24 UTC
Ce matin nous avons déployé une mise à jour de configuration mineure sur notre système de routage des appels entrants.
Cette mise à jour a engendré une perturbation totale du routage des appels entrants.
Le rollback de cette mise à jour n'a pas permis de résoudre la situation.
Un reliquat d'une configuration précédente qui n'avait jamais été mise en production suite à une erreur humaine, a été aussi implémenté suite au déploiement.
Nous avons identifier tardivement cette modification de configuration qui induisait un changement dans le formatage des requêtes de routages.
La suppression de cette configuration fautive a permis de rétablir le service.
Date: 2020-08-19 10:17:40 UTC
La situation est à nouveau stable, les appels s'écoulent à nouveau correctement.
Date: 2020-08-19 10:02:37 UTC
Il reste des instabilités sur l'acheminement des appels, nous faisons le nécessaire afin de rétablir la situation au plus vite.
Date: 2020-08-19 09:58:18 UTC
Nous avons un piste positive, le routage des appels entrants se déroule pour le moment correctement.
Nous continuons néanmoins les investigations, pour s'assurer de la stabilité du service.
This incident affected: VoIP || Core Network.