OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Paris Datacenter P19 - Electrical - UPS4
Incident
Report for Network & Infrastructure
Resolved
Nous avons des difficultées a joindre l'UPS. Nous investiguons.
We have some difficulties to contact the UPS. We investigate.
Update(s):
Date: 2019-07-05 19:43:11 UTC
Ce jeudi 4 juillet 2019, une faible part de vos services (web-hosting et e-mail) a vu leur fonctionnement interrompu ou altéré durant environ une heure, suite au dysfonctionnement électrique au sein du datacenter parisien P19.
À 10 h 49, l’un des tableaux électriques de P19 entre en disjonction. Très rapidement, nous soupçonnons l’UPS4 d’en être à l’origine, ce dernier ne retrouvant pas son fonctionnement nominal.
Nos équipes enquêtent, dans le strict respect des procédures en vigueur face à ce type de situation afin de garantir leur propre sécurité.
Dans le même temps, nous isolons électriquement l’UPS4, tandis que des équipements sont recâblés vers d’autres UPS au sein du datacenter.
Entre 11 h 53 et 12 h 08, les services impactés reviennent alors à la normale, soit environ une heure après les premières perturbations.
--------
Une expertise poussée de l’UPS4 est alors menée durant l’après-midi, en lien direct avec les experts envoyés sur place à notre demande par le fournisseur.
À 23 h 43, une remise en service en environnement contrôlé est effectuée à des fins de test, toujours en lien avec les équipes de notre fournisseur, présentes sur place. Les résultats de ce test confirment alors que l’UPS4 est responsable de la disjonction constatée.
Vendredi 5 juillet, suite aux différents résultats obtenus et après concertation avec notre fournisseur, nous avons pris la décision de procéder au remplacement complet de l’UPS4.
Ce remplacement donnera lieu à l’ouverture d’une tâche travaux de maintenance.
Aussi, nous reviendrons vers vous sur l’aspect « services » de cet incident via un post-mortem dédié.
-----------------------------------------------------------------
On Thursday, July 4, 2019, a small part of your services (web-hosting and e-mail) had their operation interrupted or altered during around an hour, following the electrical malfunction in Paris datacenter P19.
At 10:49am, one of P19's electrical panels went offline. Very quickly, we suspect that the root cause came from UPS4, because it didn’t return to its normal operation.
Our teams investigated, in strict compliancy with the procedures for this type of situation in order to guarantee their own safety.
During this period, we electrically isolate the UPS4, and we cabled some equipment to other UPS devices inside the datacenter.
Between 11:53am and 12:08pm, the impacted services came back to normal, approximately one hour after the disruption.
--------
We conducted an in-depth expertise during the afternoon, in direct contact with the supplier experts sent on site at our request.
At 11:43pm, in a secured environment we switched on the UPS for testing purposes, always in conjunction with our supplier's teams on site. The results of this test confirm that UPS4 is responsible for the disjunction.
On Friday 5 July, following the various results obtained and after consultation with our supplier, we decided to completely replace the UPS4.
In order to perform this replacement, we will open of a maintenance work task.
Moreover, we will come back to you on the \"services\" aspect of this incident via a dedicated post-mortem.
Date: 2019-07-04 23:12:48 UTC
Après audit, nous avons constaté un défaut de l'UPS.
Nous l'avons donc isolé et travaillons étroitement avec le fournisseur pour sa remise en service.
After audit, we identified a defect on the UPS.
Therefore, we isolated it and we are working closely with the supplier for its reactivation.
Date: 2019-07-04 10:34:10 UTC
Main impacts / Impacts principaux :
- Site commercial - API - Manager - Services in Paris (P19) DC ( http://travaux.ovh.net/?do=details&id=39371 )
- P19 WEB (003, 006) + SQL ( http://travaux.ovh.net/?do=details&id=39374 )
- Accés comptes//livraisons des mails ( http://travaux.ovh.net/?do=details&id=39373 )
We have some difficulties to contact the UPS. We investigate.
Update(s):
Date: 2019-07-05 19:43:11 UTC
Ce jeudi 4 juillet 2019, une faible part de vos services (web-hosting et e-mail) a vu leur fonctionnement interrompu ou altéré durant environ une heure, suite au dysfonctionnement électrique au sein du datacenter parisien P19.
À 10 h 49, l’un des tableaux électriques de P19 entre en disjonction. Très rapidement, nous soupçonnons l’UPS4 d’en être à l’origine, ce dernier ne retrouvant pas son fonctionnement nominal.
Nos équipes enquêtent, dans le strict respect des procédures en vigueur face à ce type de situation afin de garantir leur propre sécurité.
Dans le même temps, nous isolons électriquement l’UPS4, tandis que des équipements sont recâblés vers d’autres UPS au sein du datacenter.
Entre 11 h 53 et 12 h 08, les services impactés reviennent alors à la normale, soit environ une heure après les premières perturbations.
--------
Une expertise poussée de l’UPS4 est alors menée durant l’après-midi, en lien direct avec les experts envoyés sur place à notre demande par le fournisseur.
À 23 h 43, une remise en service en environnement contrôlé est effectuée à des fins de test, toujours en lien avec les équipes de notre fournisseur, présentes sur place. Les résultats de ce test confirment alors que l’UPS4 est responsable de la disjonction constatée.
Vendredi 5 juillet, suite aux différents résultats obtenus et après concertation avec notre fournisseur, nous avons pris la décision de procéder au remplacement complet de l’UPS4.
Ce remplacement donnera lieu à l’ouverture d’une tâche travaux de maintenance.
Aussi, nous reviendrons vers vous sur l’aspect « services » de cet incident via un post-mortem dédié.
-----------------------------------------------------------------
On Thursday, July 4, 2019, a small part of your services (web-hosting and e-mail) had their operation interrupted or altered during around an hour, following the electrical malfunction in Paris datacenter P19.
At 10:49am, one of P19's electrical panels went offline. Very quickly, we suspect that the root cause came from UPS4, because it didn’t return to its normal operation.
Our teams investigated, in strict compliancy with the procedures for this type of situation in order to guarantee their own safety.
During this period, we electrically isolate the UPS4, and we cabled some equipment to other UPS devices inside the datacenter.
Between 11:53am and 12:08pm, the impacted services came back to normal, approximately one hour after the disruption.
--------
We conducted an in-depth expertise during the afternoon, in direct contact with the supplier experts sent on site at our request.
At 11:43pm, in a secured environment we switched on the UPS for testing purposes, always in conjunction with our supplier's teams on site. The results of this test confirm that UPS4 is responsible for the disjunction.
On Friday 5 July, following the various results obtained and after consultation with our supplier, we decided to completely replace the UPS4.
In order to perform this replacement, we will open of a maintenance work task.
Moreover, we will come back to you on the \"services\" aspect of this incident via a dedicated post-mortem.
Date: 2019-07-04 23:12:48 UTC
Après audit, nous avons constaté un défaut de l'UPS.
Nous l'avons donc isolé et travaillons étroitement avec le fournisseur pour sa remise en service.
After audit, we identified a defect on the UPS.
Therefore, we isolated it and we are working closely with the supplier for its reactivation.
Date: 2019-07-04 10:34:10 UTC
Main impacts / Impacts principaux :
- Site commercial - API - Manager - Services in Paris (P19) DC ( http://travaux.ovh.net/?do=details&id=39371 )
- P19 WEB (003, 006) + SQL ( http://travaux.ovh.net/?do=details&id=39374 )
- Accés comptes//livraisons des mails ( http://travaux.ovh.net/?do=details&id=39373 )