rssLink RSS for all categories
 
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_red
icon_green
icon_orange
icon_green
icon_green
icon_green
icon_blue
icon_orange
icon_blue
icon_green
icon_green
icon_orange
icon_red
icon_orange
icon_green
icon_green
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_green
icon_red
 

FS#31383 — ralentissement p19

Attached to Project— Web Hosting / CloudDB
Incident
P19 / All clusters
CLOSED
100%
Nous constatons des ralentissement sur les cluster de p19 nous investiguons
Date:  Friday, 27 April 2018, 19:24PM
Reason for closing:  Done
Additional comments about closing:  L’ensemble des clusters est de nouveau opérationnel depuis 17h43, tous les services ont retrouvé leur niveau de performance nominal.

Voici quelques éléments concernant cet incident :

• 2018/04/27 09:30 CET : une attaque démarre, cette dernière n’est pas immédiatement détectée par nos anti-ddos et HIDS.

• 2018/04/27 10:30 CET : la surconsommation CPU liée à cette attaque provoque une surcharge électrique de 3 baies.

• 2018/04/27 11:00 CET : nos équipes corrigent ce problème de charge, les 3 baies sont alors remontées, les machines commencent à être redémarrées.

• 2018/04/27 12:30 CET : 80 % des machines sont opérationnelles.

• 2018/04/27 13:15 CET : l'ensemble des clusters est remonté. Cependant certaines machines présentent toujours de fortes instabilités. Les systèmes de répartition de charge d’OVH permettent de distribuer le trafic entrant afin de rétablir un niveau de performance satisfaisant.

• 2018/04/27 15:00 CET : plusieurs clusters sont de nouveau impactés par l'attaque. Des actions additionnelles sont mises en place via nos différents systèmes HIDS et anti-ddos.

• 2018/04/27 16:30 CET : l'attaque est mitigée, la charge des clusters diminue et les machines commencent à être remontées.

• 2018/04/27 17:43 CET : tous les clusters et l’ensemble des machines sont de nouveaux opérationnels.
Comment by OVH - Friday, 27 April 2018, 13:10PM

Nous avons un souci sur 7 baies à P19. Nous sommes en train de fixer la situation.


Comment by OVH - Friday, 27 April 2018, 13:59PM

De forts ralentissements ont été ressentis, voire dans certains cas des indisponibilités, sur les clusters suivants :

cluster002 (90) / cluster003 (240) / cluster005 (720) / cluster006 (media) / cluster011 (300gp) / cluster13 (20gp) / cluster014 (start) / cluster015 (mp) / cluster017

La situation est revenue à la normale à 13h15.


Comment by OVH - Friday, 27 April 2018, 15:19PM

Le problème semble persister, nous investiguons.


Comment by OVH - Friday, 27 April 2018, 16:19PM

Nous stabilisons l'ensemble des clusters encore impactés :

cluster003 / cluster005 / cluster006 / cluster011 / cluster013


Comment by OVH - Friday, 27 April 2018, 17:05PM

Dernier cluster006 en cours de résolution