rssLink RSS for all categories
 
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_red
icon_green
icon_green
icon_green
icon_green
icon_red
icon_orange
icon_green
icon_green
icon_red
icon_green
icon_green
icon_green
icon_blue
icon_red
 

FS#49211 — Contact Center Solution CCS - SVI - FA & FAX

Attached to Project— VoIP
Incident
Backend / Core
CLOSED
100%
Nous rencontrons un incident sur notre solution CCS impactant l'ensemble des numéros et files d'attente configurées.
Cela impacte également les SVI et FA.

Nous vous tenons informés via cette tâche de l'évolution de la situation.


Date:  Thursday, 25 February 2021, 02:09AM
Reason for closing:  Done
Comment by OVH - Tuesday, 23 February 2021, 07:46AM

Un incident hardware a impacté le serveur en charge du partage de la configuration.
Le redémarrage de ce serveur a enclenché une analyse RAID qui nécessite une dizaine de minutes de traitement.

Prochaine mise à jour avant 8H00.


Comment by OVH - Tuesday, 23 February 2021, 07:59AM

Le serveur est revenu avec un état de RAID dégradé, les services ne peuvent pas être remontés dans l'état actuel.
Nous procédons à une reconstruction.

Prochaine mise à jour avant 8H30.


Comment by OVH - Tuesday, 23 February 2021, 08:35AM

Nous travaillons toujours avec l'équipe storage afin de procéder à la restauration des données.
Pour le moment il reste dans un état dégradé.


Comment by OVH - Tuesday, 23 February 2021, 09:08AM

Nous travaillons toujours au rétablissement des services.
Un backup de la nuit va être déployé sur un pool de disques neufs pour remplacer l'ensemble.


Comment by OVH - Tuesday, 23 February 2021, 09:40AM

L'équipe storage prépare le montage du backup. Nous le configurons en parallèle sur nos serveurs qui l'utiliseront.
Nous espérons un rétablissement du service dans une heure.

Nous continuons de vous tenir informés de l'évolution


Comment by OVH - Tuesday, 23 February 2021, 10:30AM

Nous rencontrons des difficultés à monter le filer sur nos serveurs. Nous continuons à travailler avec l'équipe storage pour rétablir le service au plus vite.


Comment by OVH - Tuesday, 23 February 2021, 10:31AM

Nous continuons de travailler sur le montage du backup.
Nous vous informerons dès que les serveurs commenceront à reprendre du service.


Comment by OVH - Tuesday, 23 February 2021, 10:52AM

Le filer de backup est UP nous relançons les services.


Comment by OVH - Tuesday, 23 February 2021, 11:31AM

Les services reviennent progressivement.


Comment by OVH - Tuesday, 23 February 2021, 14:53PM

Le service d'envoi de faxs est également impacté, les investigations sont en cours.


Comment by OVH - Tuesday, 23 February 2021, 20:49PM

L'incident étant stabilisé voila un compte-rendu de la situation.

Quand nous avons déployé la bêta de CSS (Files d'appels simples/experts) initialement l'infrastructure a été pensée comme telle :
- plusieurs briques qui gèrent la partie SIP et l’intelligence des files (gestion des agents par exemple)
- un serveur de stockage avec les dialplans et les sons de CCS

L'utilisation d'un serveur de stockage unique, nous permet de changer les briques de signalisations, monter en charge et migrer des lots de numéros sans vous impacter
Ce serveur de stockage est redondé avec un backup qui est synchronisé toutes les nuits à 1:00.

Nous sommes restés sur cette architecture en rajoutant des serveurs quand c'était nécessaire.

L'incident du 23/02 matin a mis du temps a être résolu pour plusieurs raisons :
- L'équipe storage a tout essayé pour éviter de restaurer le backup et avoir un trou de quelques heures dans les données
- Lorsque le serveur de stockage de backup a été monté, nous avons eu un souci de configuration empêchant de monter sur les machines les volumes

A présent la situation est stabilisée, mais nous continuons à travailler pour remettre en place les backups pour les éventuelles pannes à venir.

Il y a maintenant 1 an, nous avons lancé un projet de refonte globale de notre infra (Infra V2).
Notre offre Carrier SIP, Conference, la future infra Belge et nos nouvelles interco s'appuient sur cette architecture.
CCS est cours de migration depuis 1 mois et la migration devrait être terminée fin avril sur cette nouvelle infra.
Cette version s'appuie sur les produits OVH à haute dispo (Object Storage, Kubernetes, etc...) qui nous permettra beaucoup plus de souplesse pour la montée en charge.


Comment by OVH - Wednesday, 24 February 2021, 16:57PM

Bonjour,

Cette nuit, le 24 Février, nous repassons les serveurs sur le filer principal. Pas d'impact à prévoir sur les services.
L'évolution de l'intervention sera indiquée sur cette tâche.


Comment by OVH - Thursday, 25 February 2021, 00:15AM

L'intervention démarre.
Nous préparons les machines à appeler le filer principal. En parallèle l'équipe storage prépare le filer et la synchronisation des données.


Comment by OVH - Thursday, 25 February 2021, 01:11AM

La migration est en cours, certaines latences peuvent être observées durant la migraiton. Estimation de 15 min.


Comment by OVH - Thursday, 25 February 2021, 01:38AM

La migration est terminée avec succès.
Nous continuons de contrôler qu'il n'y ai pas d'effets de bord.


Comment by OVH - Thursday, 25 February 2021, 02:09AM

L'intervention est terminée.