OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Centrale telephonique
Incident Report for Web Cloud
Resolved
Un incident est en cours sur la centrale téléphonique.

Update(s):

Date: 2013-12-19 17:39:29 UTC
Nous avons adapté la configuration de nos équipements suite à des remontés de
retour de sonnerie blanche.

Date: 2013-12-19 09:11:33 UTC
Nous atteignons les 50,000 lignes sur la nouvelle infrastructure a, soit juste en dessous de l'objectif des 30% d'utilisation.
Nous allons donc démarrer les migrations sur la nouvelle infrastructure b et préparons aussi la mise ne place de la troisième infrastructure.

Date: 2013-12-17 13:58:31 UTC
La nouvelle infrastructure b est en production dans le cluster.

Date: 2013-12-11 16:37:30 UTC
La synchronisation s'est terminée avec succès. Les actions demandées depuis le manager sont en cours de résorption.

Date: 2013-12-11 15:42:31 UTC
Nous procédons à l'étape de synchronisation du cluster.

Il est possible de voir une latence de plusieurs minutes dans
les changements des configurations des lignes depuis le
manager pendant cette phase.

Date: 2013-12-05 18:36:44 UTC
Nous démarrons la synchronisation des données entre les équipements.

Date: 2013-11-22 13:18:48 UTC
Nous démarrons la configuration et la validation du nouvel équipement.

Date: 2013-11-20 16:01:23 UTC
Nous avons reçu la seconde infrastructure du nouveau cluster. Nous effectuerons l'installation physique cette nuit.

Date: 2013-11-14 10:37:23 UTC
Les migrations continuent. Une seconde nouvelle infrastructure arrive cette semaine et va être ajouté au cluster. Ce qui nous permettra de finaliser les migrations avec les limitations d'utilisation par infrastructure que nous avons défini.

Date: 2013-11-07 09:27:13 UTC
Le patch est en place sur a nouvelle infrastructure. Tous les problèmes cités précédemment on été corrigé : marque blanche, easy/mini pabx en mode //, redirection numéro SVA. Nous préparons de nouvelles migrations.

Date: 2013-11-06 15:26:07 UTC
Nous allons aussi cette nuit mettre en place une nouvelle version de la gateway SIP sur la nouvelle infrastructure.
Cette version corrige les problèmes rencontrés sur certaines configurations avec renvoi inconditionnel.


Date: 2013-11-06 15:06:14 UTC
Nous préparons la migration des lignes individuelles MGCP sur la nouvelle infrastructure cette nuit.

Date: 2013-11-05 22:38:16 UTC
La maintenance est terminée.

Date: 2013-11-05 22:26:49 UTC
Nous entamons l'application du patch.

Date: 2013-11-05 16:07:44 UTC
Nous allons mettre en place un patch permettant de corriger certains problèmes de
supervision sur l'ancienne infrastructure.

Nous mettrons en place ce patch cette nuit.

Date: 2013-11-04 18:51:38 UTC
Nous avons détecté et corrigé un problème avec les lignes Suisses sur la nouvelle infrastructure.

Date: 2013-10-30 17:46:00 UTC
Le problème spécifique à la redirection DDI vers une ligne sur la nouvelle infrastructure est corrigé.

Date: 2013-10-30 14:52:17 UTC
Nous travaillons à la résolution des derniers bugs détectés sur la nouvelle infrastructure : pas de marque blanche, pb d'appel sur des configurations spécifiques DDI et
easy/mini pabx en mode //, redirection numéro SVA. Tous les lignes concernées sont automatiquement migrées sur l'ancienne infrastructure par un robot en attendant la résolution complète.

En parallèle nous mettons en place la seconde nouvelle infrastructure pour poursuivre la migration.


Date: 2013-10-24 23:58:12 UTC
La nouvelle configuration est en place.

Date: 2013-10-24 23:32:09 UTC
Nous mettons à jour la configuration de l'infrastructure dans un but d'optimisation.
Les nouveaux appels ne seront pas possible pendant quelques secondes lors du rechargement, aucun impact pour les communications en cours.

Date: 2013-10-22 19:53:52 UTC
Nous avons corrigé le problème d'appel d'une ligne sur la nouvelle infrastructure vers un cloudIvr ou cloudHunting.
Concernant les quelques remontées pour des problèmes d'appels d'une ligne sur la nouvelle infrastructure vers un numéro porté ou redirection DDI, nous allons effectuer une resynchronisation des bases.

Date: 2013-10-21 13:22:32 UTC
Nous avons amélioré nos règles de filtrage du traffic, notamment les mauvais packets sur le MGCP. Cela apporte une amélioration significative de la gestion du traffic MGCP.


Date: 2013-10-21 12:20:49 UTC
Les lignes impactées ont été migré et le SIP relancé sur les modems.

Date: 2013-10-21 11:33:31 UTC
Nous avons des remontées sur des problèmes de fonctionnement des redirections DDI pour les lignes migrées sur la nouvelle infrastructure.
Nous faisons la migration inverse pour ces cas et cherchons une solution, comme l'utilisation du cloudHunting pour les redirects.

Date: 2013-10-19 22:24:47 UTC
La migration est terminée.

Date: 2013-10-19 22:02:20 UTC
Nous migrons les lignes individuelles.

Date: 2013-10-19 16:48:08 UTC
Nous allons effectuer la migration des lignes individuelles compatibles sur la nouvelle infrastructure cette nuit, lorsqu'il n'y aura plus d'appel. Les postes se réenregistreront lors de leur prochaine demande Un reboot du poste peut accélérer ce réenregistrement si besoin.

Date: 2013-10-19 15:23:04 UTC
Nous préparons la migration des lignes individuelles compatibles.

Date: 2013-10-19 11:13:49 UTC
Les appels entrant/sortant vers OVH et externe ainsi que toutes les fonctionnalitées (répondeur/renvois/plages horaires/rejet/busy/...) sont pleinement opérationnelles. Nous surveillons la stabilité des infrastructures.

Date: 2013-10-19 10:34:38 UTC
Les appels passent correctement en entrant et sortant. Nous poussons les tests.

Date: 2013-10-19 10:25:23 UTC
Nous redémarrons les services.

Date: 2013-10-19 10:21:03 UTC
Nous avons mis en place une nouvelle configuration. Nous surveillons la stabilité.

Date: 2013-10-19 09:26:54 UTC
Nous testons d'autres paramètres pour améliorer la stabilité.

Date: 2013-10-19 09:05:29 UTC
Nous avons des remontés d'erreurs d'appels. Correspondant occupé, appel entrant impossible. Nous investiguons.

Date: 2013-10-19 08:20:14 UTC
Concernant l’éventuel problème sur le renvoi d'appel
ou le répondeur, nous l'avons fixé en mettant en
place une version du gateway SIP plus ancienne. Tout
doit donc fonctionne sans problème.

Date: 2013-10-19 01:45:14 UTC
Les SIP modems sont reloadés. Nous surveillons la stabilité de la nouvelle infra.

Date: 2013-10-19 01:18:31 UTC
100% des lignes sont migrées, nous forçons le reload du SIP sur les modems.

Date: 2013-10-19 00:45:46 UTC
50% des lignes sont migrées.

Date: 2013-10-18 23:13:39 UTC
Nous migrons les lignes SIP xDSL sur la nouvelle infrastructure.

Date: 2013-10-18 23:01:15 UTC
Les tests avec le correctif sont pour pour le moment concluant. Nous continuons les tests.



Date: 2013-10-18 22:23:01 UTC
Nous testons un correctif sur la nouvelle infra pour les redirections d'appels et renvoi vers les répondeurs.

Date: 2013-10-18 22:18:28 UTC
Nous redémarrons la machine de secours, le but est de réinitialiser tous les services et la mémoire de la machine.

Date: 2013-10-18 19:39:12 UTC
Les tests du manager et des appels se sont effectués avec succès,
nous vérifions l'intégrité des données entre les deux infrastructures.

Date: 2013-10-18 19:13:57 UTC
Nous poursuivons les tests sur
toutes les lignes adsl internes du parc ainsi
que sur les lignes individuelles, non compatible
avec les transferts d'appels.

Nous entamons également les tests sur les
fonctionnalités du manager afin de limiter
les effets de bord.

Date: 2013-10-18 18:33:33 UTC
C'est trop ! Depuis 1 an nous avons une nouvelle infrastructure
du constructeur qui a été commandée, et configurée mais qui
n'est toujours pas en production à cause d'un bug mineur (le
renvoi d'appel ne fonctionne pas parfaitement bien). Le patch
qui doit fixer le problème n'est toujours pas developpé. On ne
peut plus attendre: nous allons basculer les clients SIP
d'ADSL BOX d'Ovh sur cette nouvelle infrastructure comme
c'était prevu de longe date. Ceci déchargera l'infra principale
qui visible est surchargée (alors qu'on tourne à 10% de specs
tech du constructeur).

On est en train de faire les dernières vérifications avant
la reconfiguration de packets SIP venant de BOX ADSL d'Ovh.
On se donne cette nuit et ce week-end pour restabiliser
l'infrastructure et éviter de nouvelles pannes.

En parallèle, on est en train de regarder pour mettre
en place 2 nouvelles infrastructures en plus (on aura donc 4)
et réduire le nombre des clients par infra. On sait que tout
fonctionne parfaitement bien avec moins de 100000 lignes par
infra. Avec une marge de sécurité, le nouveau objectif est
de descendre à moins de 30000 lignes par infra. Avec cette
ligne les problèmes n'existeront plus.

C'est parti ! La nuit sera longe ..

Date: 2013-10-18 16:19:22 UTC
Un crash de la gateway MGCP a provoqué des instabilités sur le SIP. Le problème est en analyse chez le constructeur.
Tous les afficheurs des postes MGCP ont été réinitialisé.

Date: 2013-10-18 15:18:31 UTC
Nous avons désactivé la sonde.

Date: 2013-10-18 15:12:24 UTC
Nous relançons les affichages des MGCP.

Date: 2013-10-18 15:11:02 UTC
Nous avons rencontré un problème similaire à celui d'hier, malgré le changement des paramètres de la sonde.

Les lignes SIP sont remontées, les lignes MGCP sont en cours.
Posted Oct 18, 2013 - 14:52 UTC
This incident affected: VoIP || Core Network.