rssLink RSS for all categories
 
icon_orange
icon_green
icon_red
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_green
icon_blue
icon_green
icon_green
icon_green
icon_red
icon_orange
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_red
 

FS#31954 — HA Infrastructure voix

Attached to Project— VoIP
Maintenance
Backend / Core
CLOSED
100%
Bonjour,

Un important correctif de gestion de la haute disponibilité de nos clusters nous a été livré par notre constructeur. Ce module corrige un bug que nous avons rencontré à deux reprises, pouvant provoquer une bascule de cluster inopinée.

Afin de vous assurer un service stable, et une gestion de la haute disponibilité sans failles nous allons déployer ce correctif sur l'ensemble de l'infrastructure. L'intervention comporte plusieurs étapes :

- Appliquer le correctif sur le cluster passif
- Appliquer le correctif sur le cluster actif
- Relancer le module de haute disponibilité sur le cluster actif

La relance du module provoquera une perturbation de quelques secondes sur le service concerné. Nous serons sur le pont afin d'assurer une reprise du trafic en douceur et sans impacts pour votre service.

Les dates d'intervention sont :

- C4 : Nuit du 11 Juin 2018 au 12 Juin 2018 à partir de 23h30 -> DONE
- C5B / C5C : Nuit du 12 Juin 2018 au 13 Juin 2018 à partir de 23h30 -> DONE
- C5D / Proxy Abonnés 1 : Nuit du 13 Juin 2018 au 14 Juin 2018 à partir de 23h30 -> DONE
- Proxy Abonnés 2 / Proxy Abonnés 3 : Nuit du 18 Juin 2018 au 19 Juin 2018 à partir de 00h00 -> DONE
- Proy interco 1 et 2 : Nuit du 19 Juin 2018 au 20 Juin 2018 à partir de 23h30 -> DONE
- C5A : Nuit du 20 au 21 Juin 2018 à partir de 2h -> DONE
- Base de données 1 : Nuit du 25 au 26 Juin 2018 à partir de 23h30 -> DONE
- Base de données 2 : Nuit du 26 au 27 Juin 2018 à partir de 23h30 -> DONE
- Base de données 3 : Nuit du 27 au 28 Juin 2018 à partir de 23h30 -> DONE
- Base de données 4 : Nuit du 28 au 29 Juin 2018 à partir de 23h30 -> DONE

Nous vous tenons informé via cette tâche du bon déroulement des interventions.
Date:  Friday, 29 June 2018, 00:56AM
Reason for closing:  Done
Additional comments about closing:  All done !
Comment by OVH - Monday, 11 June 2018, 23:54PM

Bonsoir,

Nous démarrons par le C4.
Pas d'impact à prévoir pour le moment, nous installons le correctif sans relancer le module.


Comment by OVH - Tuesday, 12 June 2018, 00:17AM

Tout est prêt sur le C4, nous temporisons l'intervention afin d'être un peu plus dans le creux d'appels.

Nous préparons en parallèle le cluster C5A.


Comment by OVH - Tuesday, 12 June 2018, 00:53AM

Nous relançons sur le C4. Le service sera impacté durant quelques secondes avec des difficultés à emmètre / recevoir des appels.


Comment by OVH - Tuesday, 12 June 2018, 01:03AM

Le cluster C4 est mis à jour. Nous avons eu un redémarrage d'une lame, nous analysons les logs afin de comprendre la raison.

Le service est opérationnel.


Comment by OVH - Tuesday, 12 June 2018, 01:11AM

Le comportement obtenu sur le cluster C4 n'est pas normal. Nous préférons annuler l'intervention pour C5A ce soir, et nous contactons notre constructeur afin de vérifier les logs générés.

Nous vous tenons informé via cette tâche dés que nous avons un retour. Le service est pleinement opérationnel.


Comment by OVH - Wednesday, 13 June 2018, 00:02AM

Bonsoir,

Nous reprenons les interventions. Nous démarrons par le cluster C5B.


Comment by OVH - Wednesday, 13 June 2018, 00:16AM

Le correctif est appliqué sur les deux cluster. Nous allons relancer le module sur l'actif. Les appels entrants et sortants peuvent être perturbés durant quelques secondes.


Comment by OVH - Wednesday, 13 June 2018, 00:26AM

Le correctif est déployé sur l'actif. Tout se passe comme prévu, nous vérifions actuellement les téléphones MGCP.

En parallèle nous maintenons la surveillance des logs afin de s'assurer que tout se déroule comme il faut.


Comment by OVH - Wednesday, 13 June 2018, 00:37AM

Rien à signaler depuis le déploiement du correctif. La vérification et correction des MGCP est toujours en cours.


Comment by OVH - Wednesday, 13 June 2018, 00:55AM

Pendant que le traitement sur les MGCP se fait, nous relançons le module sur le passif. Pas d'impact à prévoir.


Comment by OVH - Wednesday, 13 June 2018, 00:57AM

Le passif est à présent sur le dernier correctif. Le cluster HA est rétablit sur C5B.

Le traitement des MGCP est toujours en cours, nous préparons ne parallèle l'intervention sur C5C.


Comment by OVH - Wednesday, 13 June 2018, 01:28AM

Le traitement des MGCP est maintenant terminé sur C5B ! Le service est pleinement fonctionnel, nous attaquons maintenant le cluster C5C.


Comment by OVH - Wednesday, 13 June 2018, 01:35AM

Le module va être relancé sur l'actif de C5C. Les appels sortants et entrants peuvent êtres perturbés durant quelques secondes.


Comment by OVH - Wednesday, 13 June 2018, 01:39AM

Le module est relancé, le service est fonctionnel. Nous surveillons la reprise, et lançons le traitement sur les MGCP.


Comment by OVH - Wednesday, 13 June 2018, 02:04AM

C'est terminé pour C5C. Tout s'est bien passé pour ces deux infras.


Comment by OVH - Wednesday, 13 June 2018, 23:57PM

Bonsoir,

Nous démarrons l'intervention. Nous débutons par le premier proxy d'accès. Pas d'impact à prévoir a cet instant.


Comment by OVH - Thursday, 14 June 2018, 00:17AM

Nous allons relancer le module sur le proxy, les enregistrements des téléphones seront perturbés durant quelques secondes.


Comment by OVH - Thursday, 14 June 2018, 00:19AM

Le module a été correctement relancé. Le traitement des enregistrements reprend normalement, nous surveillons l'activité.


Comment by OVH - Thursday, 14 June 2018, 00:36AM

Nous relaçons le module sur le passif, pas d'impact à prévoir.


Comment by OVH - Thursday, 14 June 2018, 01:00AM

Tout s'est bien passé pour notre proxy.

Nous démarrons maintenant l'intervention sur C5D. Pas d'impact à prévoir, nous préparons le correctif.


Comment by OVH - Thursday, 14 June 2018, 01:15AM

Tout est prêt sur C5D. Nous allons relancer le module. Des difficultés à recevoir ou émettre les appels durant les prochaines secondes sont possibles.


Comment by OVH - Thursday, 14 June 2018, 01:16AM

La relance du module sur l'actif a été effectuée : tout s'est bien passé. L'impact a été très faible, le traitement sur les MGCP est terminé.

Nous relançons le module sur le passif.


Comment by OVH - Thursday, 14 June 2018, 01:17AM

Le cluster C5D est terminé. Nous surveillons les logs et le comportement du service.


Comment by OVH - Thursday, 14 June 2018, 01:36AM

C'est terminé pour ce soir, tout est ok : le service est pleinement fonctionnel.


Comment by OVH - Tuesday, 19 June 2018, 00:15AM

Bonsoir,

Intervention sur nos deux derniers proxy d'accès cette nuit.

Nous commençons par notre proxy numéro 2 : intervention en cours sur le passif. Pas d’impact sur le service.


Comment by OVH - Tuesday, 19 June 2018, 00:29AM

Nous allons relancer le module de gestion du HA sur le proxy d'abonnés numéro 2. Les enregistrements sur ce proxy peuvent êtres perturbés durant quelques secondes.


Comment by OVH - Tuesday, 19 June 2018, 00:32AM

La relance du module a été faite est s'est bien passée ! Les sessions remontent progressivement sur le proxy. Tout se passe comme prévu.
Nous surveillons que la reprise s'effectue correctement avant de relancer le passif.


Comment by OVH - Tuesday, 19 June 2018, 00:54AM

Nous relançons le module sur le passif. Pas d'impact à prévoir sur le service.

Nous préparons en parallèle l'intervention sur le troisième proxy.


Comment by OVH - Tuesday, 19 June 2018, 00:58AM

La relance du module sur le passif a été effectuée avec succès sur le proxy 2.

Le proxy 3 est prêt à être relancé, nous attendons la fin de la reprise des dernières sessions sur le proxy 2.


Comment by OVH - Tuesday, 19 June 2018, 01:24AM

Tout est bon pour le proxy 2.

Nous relançons le module sur l'actif du proxy 3. Les enregistrements sur ce proxy peuvent êtres perturbés durant quelques secondes.


Comment by OVH - Tuesday, 19 June 2018, 01:26AM

L'actif a été relancé, tout se passe comme prévu. Les sessions remontent.

Une fois cette étape terminée, nous relancerons le passif afin de rétablir le cluster HA.


Comment by OVH - Tuesday, 19 June 2018, 01:36AM

Le module va être relancé sur le proxy 3 afin de rétablir le HA. Pas d'impact à prévoir.


Comment by OVH - Tuesday, 19 June 2018, 01:38AM

Le module a correctement été relancé sur le passif du proxy 3.
L'intervention est terminée pour cette nuit, les sessions ont repris sur les deux proxy et le HA est rétablit.

La suite demain, sur nos deux proxys d'interconnexions à partir de 23h30.


Comment by OVH - Wednesday, 20 June 2018, 00:25AM

Bonsoir,

Nous allons démarrer l'intervention sur les proxys d'interconnexions. Nous avons décalé l'heure de démarrage afin de limiter l'impact.
Lors de la relance du module, les appels établis ou en cours d'établissement pourront être perturbés.

Nous démarrons par le proxy d'interconnexions 1. Pas d'impact pour le moment.


Comment by OVH - Wednesday, 20 June 2018, 00:39AM

Relance du module sur l'actif. Perturbations sur les appels établis depuis ou vers certaines interconnexions à prévoir durant quelques secondes.


Comment by OVH - Wednesday, 20 June 2018, 00:48AM

La relance s'est bien passé le service est de nouveau fonctionnel après une coupure de quelques secondes sur ce proxy.

Nous appliquons le correctif sur le passif, pour rétablir le cluster HA.


Comment by OVH - Wednesday, 20 June 2018, 00:52AM

La relance a été effectuée sur le passif, le cluster a maintenant retrouvé son HA.

Nous attaquons le second proxy d'interconnexions.


Comment by OVH - Wednesday, 20 June 2018, 00:59AM

Nous allons relancer le module sur le passif. Perturbations sur les appels établis depuis ou vers certaines interconnexions à prévoir durant quelques secondes.


Comment by OVH - Wednesday, 20 June 2018, 01:01AM

Équipement actif du proxy d'interconnexions 2 relancé. Nous attaquons le passif, pas d'impact à prévoir.


Comment by OVH - Wednesday, 20 June 2018, 01:08AM

Nous relançons le passif, pas d'impact à prévoir.


Comment by OVH - Wednesday, 20 June 2018, 01:09AM

Cluster HA de nouveau opérationnel sur le second proxy d'interconnexions.

L'intervention est terminée pour cette nuit.


Comment by OVH - Wednesday, 20 June 2018, 14:20PM

Bonjour,

Nous décalons l'intervention de ce 20 Juin à un peu plus tard dans la nuit afin de limiter au maximum l'impact sur le service.


Comment by OVH - Thursday, 21 June 2018, 02:17AM

Bonsoir,

L'intervention va démarrer sur C5A. Pas d'impact : nous préparons le correctif sur le cluster puis le module sera relancé.


Comment by OVH - Thursday, 21 June 2018, 02:54AM

Nous allons relancer le module sur l'actif. Perturbations durant quelques secondes sur l'émission et la réception d'appels.


Comment by OVH - Thursday, 21 June 2018, 02:56AM

Le module a été relancé et le service reprend. Tout se passe bien.
Nous vérifions la reprise des MGCP.


Comment by OVH - Thursday, 21 June 2018, 03:00AM

La reprise des MGCP en état instable est en cours. L'opération devrait être terminé d'ici 5 min.
Tout se passe comme prévu sur le cluster.


Comment by OVH - Thursday, 21 June 2018, 03:18AM

Le module a été relancé sur le passif.

Le module est à jour sur C5A, le HA est rétablit.


Comment by OVH - Monday, 25 June 2018, 23:32PM

Bonsoir,

Nous allons opérer ce soir sur la base de données liée à C5A. Nous démarrons par le cluster actif.


Comment by OVH - Monday, 25 June 2018, 23:37PM

Correctif appliqué sur le cluster actif. Nous vérifions les logs.


Comment by OVH - Monday, 25 June 2018, 23:54PM

Tout est ok, nous relançons le passif. Aucun impact sur le service à signaler.


Comment by OVH - Tuesday, 26 June 2018, 00:00AM

Le correctif a été appliqué sur le passif également. Le cluster HA est rétablit sur DB1.

Prochaine intervention dans la nuit du 26 au 27 Juin à partir de 23h30.


Comment by OVH - Wednesday, 27 June 2018, 00:04AM

Bonsoir,

Nous démarrons l'intervention sur DB2, associée à C5B. Pas d'impact à prévoir. Nous commençons par l'actif.


Comment by OVH - Wednesday, 27 June 2018, 00:09AM

Le correctif est appliqué sur l'actif, nous passons au cluster passif.


Comment by OVH - Wednesday, 27 June 2018, 00:19AM

Intervention réalisée avec succès. Prochaine intervention la nuit du 27 au 28 Juin.


Comment by OVH - Thursday, 28 June 2018, 00:19AM

Bonsoir,

Nous démarrons l'intervention sur DB3, associée à C5C. Pas d'impact à prévoir. Nous commençons par l'actif.


Comment by OVH - Thursday, 28 June 2018, 00:34AM

Le correctif est appliqué sur l'actif, nous passons au cluster passif.


Comment by OVH - Thursday, 28 June 2018, 00:50AM

Intervention réalisée avec succès. Prochaine intervention la nuit du 28 au 29 Juin.


Comment by OVH - Friday, 29 June 2018, 00:31AM

Bonsoir,

Nous démarrons l'intervention sur DB4, associée à C5D. Pas d'impact à prévoir. Nous commençons par l'actif.


Comment by OVH - Friday, 29 June 2018, 00:43AM

Le correctif est appliqué sur l'actif, nous passons au cluster passif.


Comment by OVH - Friday, 29 June 2018, 00:55AM

Tout s'est bien déroulé, le cluster HA est rétabli.