rssLink RSS for all categories
 
icon_orange
icon_green
icon_green
icon_red
icon_red
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_green
icon_blue
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_green
icon_orange
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_red
 

FS#29536 — Datacenter Gravelines

Attached to Project— Datacenters
Incident
Gravelines
CLOSED
100%
Nous rencontrons un défaut sur la distribution électrique, plusieurs salles sont impactées.
Nos équipes sont sur place pour corriger la situation.

Plus de détails à venir.


We are encountering an issue on the electrical distribution in Gravelines, more than one room is impacted.
Our teams are on site to resolve the issue.

More details to come.
Date:  Friday, 09 February 2018, 13:19PM
Reason for closing:  Done
Comment by OVH - Wednesday, 24 January 2018, 01:12AM

Suite au défaut électrique détaillé dans ce ticket : http://travaux.ovh.net/?do=details&id=29534
Voici ce qui est impacté :
G126A17, 19, 22 ,24
G126B09, 14
G127B14, 15, 16, 17, 18, 19
G118A02, 03, 07, 08, 13, 14, 15, 17, 19, 20, 21
G118B03, 14, 20, 21, 22
G133A03, 04, 06, 07, 08, 11, 12, 13, 16, 17, 18, 19
G133B06, 10
G125B06, 08, 19, 20, 21, 22

Toute la rangée G125A

Dont les équipements réseau suivant :
gra1-32b-n56
gra1-29b-n56
gra1-111-n56-vrack
gra1-sdagg20a/b-a72

Au total 1510 serveurs.

Les équipes sont toutes mobilisées pour intervenir sur les serveurs.
Des équipements réseaux sont d'ores et déjà remis en ligne.


Comment by OVH - Wednesday, 24 January 2018, 01:14AM

Following the event described here: http://travaux.ovh.net/?do=details&id=29534

The following rooms were impacted:
G126A17, 19, 22, 24
G126B09, 14
G127B14, 15, 16, 17, 18, 19
G118A02, 03, 07, 08, 13, 14, 15, 17, 19, 20, 21
G118B03, 14, 20, 21, 22
G133A03, 04, 06, 07, 08, 11, 12, 13, 16, 17, 18, 19
G133B06, 10
G125B06, 08, 19, 20, 21, 22
G125A02 through 22

Including the following network equipments:
gra1-32b-n56
gra1-29b-n56
gra1-111-n56-vrack
gra1-sdagg20a/b-a72

Counting up to 1510 servers.

All our teams are mobilized to resolve the issue as fast as possible.
The network equipments are being brought back up now.


Comment by OVH - Wednesday, 24 January 2018, 02:53AM

Nos experts sur place ont ByPass l'onduleur en défaut afin de pouvoir réalimenté les différentes salles géré par cet onduleur.

Actuellement 570 serveurs en pannes.

Nos équipes font le maximum pour remettre en services les serveurs.


Comment by OVH - Wednesday, 24 January 2018, 03:20AM

Our experts bypassed the defective UPS in order to power the rooms powered by the UPS.

570 servers still down.

Our teams are working to bring those servers back up as fast as they can.


Comment by OVH - Wednesday, 24 January 2018, 03:38AM

Actually : 367 servers down.


Comment by OVH - Wednesday, 24 January 2018, 04:26AM

169 serveur left.


Comment by OVH - Wednesday, 24 January 2018, 05:03AM

Bonjour,
Dans le datacentre GRA, nous avons plusieurs dizaines
d'onduleurs (UPS). L'un de ces UPS, UPS7, a eu un
défaut important à 23h02. En cas de défaut, l'onduleur
automatiquement prend la décision de s'isoler du réseau
électrique en laissant passer le courant entre le TGBT
et les baies, en direct, en mode "by-pass".

A 23h02, l'UPS7 s'est donc isolé en laissant alimenter
les baies par le TGBT en direct, sans l'onduleur. Mais
le défaut sur l'onduleur étant important, l'opération
de l'isolation a provoqué la disjonction du TGBT lui-même.

L'UPS7 alimente plusieurs containers en voie B. Il n'y
a pas eu de conséquence sur tous ces containers puisqu'un
autre onduleur UPS8 continuait à alimenter ces containers
via la voie A. Nous avons eu un impact sur la rangée B dans
3 containers, G117, G125, G126. L'ensemble de serveurs
qui se situent dans la rangée B de ces 3 containers ont
ont été impactés durant la panne.

Nous n'avons pas voulu remettre en route le TGBT sans
avoir fait un diagnostique profond du réseau électrique
derrière le TGBT qui a disjoncté. On peut avoir différents
"root cause" de la disjonction et on voulait s'assurer
que la "root cause" se situait bien dans l'onduleur.

L'expert est arrivé sur le site 0h40. L'inspection a
durée 1h30, nous avons vérifié l'ensemble du réseau
électrique. Nous avons remis en route progressivement
le TGBT entre 2h17 et 2h38. Les services qui sont en
train d'être remis en route.

Depuis 2 ans, dans l'ensemble de nos datacentres nous
déployons le standard électrique basé sur 2 arrivées
électriques totalement redondés par baie. Lors de cet
incident, 4 containers ont continué à fonctionner sans
souci. Par contre jusqu'au 2015, 50% des infrastructures
ont été déployées suivant un autre standard basé sur une
seule arrivée électrique par baie. Cet autre standard
nous ne utilisons plus depuis 2015. En novembre 2017,
nous avons pris la décision de recenser toutes les baies
dans l'ensemble de nos datacentres qui ont été déployées
suivant cet autre standard. Nous allons upgrader le
réseau électrique dans ces baies pour avoir partout chez
Ovh uniquement le standard basé sur 2 arrivées électrique.
Ce sont des travaux très lourds qui vont commencer bientôt
et vont consister à déployer des nouveaux TGBT/UPS dans
certains anciens datacentres et déployer une 2eme arrivée
électrique dans chaque baie qui n'a qu'une arrivée électrique.
Le réseau électrique de la rangée B de containers G117, G125,
G126 sera upgradé lors de ces travaux qui seront menés
dans quelques mois.

Nous sommes vraiment désolés pour cette panne.

Amicalement
Octave


Comment by OVH - Wednesday, 24 January 2018, 05:20AM

109 server left.


Comment by OVH - Wednesday, 24 January 2018, 06:40AM

95 Server left


Comment by OVH - Wednesday, 24 January 2018, 07:10AM

89 Server left


Comment by OVH - Wednesday, 24 January 2018, 08:19AM

78 Server left


Comment by OVH - Wednesday, 24 January 2018, 09:17AM

69 Server left


Comment by OVH - Wednesday, 24 January 2018, 10:22AM

61 Server left


Comment by OVH - Wednesday, 24 January 2018, 11:21AM

53 server left


Comment by OVH - Wednesday, 24 January 2018, 12:02PM

47 Server left


Comment by OVH - Wednesday, 24 January 2018, 12:59PM

38 servers left


Comment by OVH - Wednesday, 24 January 2018, 14:14PM

29 servers left


Comment by OVH - Wednesday, 24 January 2018, 15:11PM

20 Servers Left


Comment by OVH - Wednesday, 24 January 2018, 16:15PM

16 Servers Left


Comment by OVH - Wednesday, 24 January 2018, 17:45PM

15 Servers Left


Comment by OVH - Wednesday, 24 January 2018, 18:12PM

9 Servers Left


Comment by OVH - Wednesday, 24 January 2018, 19:37PM

Last affected server has just been fixed