rssLink RSS for all categories
 
icon_orange
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_red
icon_green
icon_green
icon_green
icon_blue
icon_orange
icon_red
icon_green
icon_blue
icon_red
icon_red
icon_green
icon_red
icon_red
icon_blue
icon_orange
icon_green
icon_green
icon_red
icon_green
icon_blue
icon_green
icon_green
 

FS#38976 — filerz152

Attached to Project— Web Hosting / CloudDB
Maintenance
Cluster026
In progress
70%
Plusieurs tâches ont été ouvertes concernant les incidents sur ce filerz, nous allons maintenant utiliser cette tâche comme référence, et réaliser le suivi des opérations dans celle-ci.

-- Résumé de la situation ---

Le 31 mai, nous avons identifié des instabilités et une dégradation des performances sur ce filerz. Après investigation, nous avons identifié des disques physiques anormalement lents sur ce filerz. Nous avons mis en place des actions visant à restaurer les performances sur ces disques.

Le 5 juin, ces actions n’ayant pas permis de retrouver le niveau de performance escompté, le remplacement des disques identifiés a été réalisé. Ce remplacement est possible grâces aux mécanismes de réplication de données sur plusieurs disques que nous utilisons sur nos filerz. La reconstruction de cette réplication est en actuellement en cours, et n’impacte que faiblement les performances globales du filerz.

Afin d’accélérer cette reconstruction, nous avons par la suite effectué plusieurs maintenances visant à optimiser le processus et à déplacer une partie des données. Ces maintenances ont pu avoir des impacts momentanés sur les performances du filerz.

La maintenance principale a eu lieu dans la nuit de mardi 11/06 (19h36) à mercredi 12/06. Nous avons initié un déplacement massif des données ayant pour objectif de réduire la quantité de données sur le filer, afin d’accélérer le processus de réplication. Cependant l’impact sur les performances étant bien trop élevé, nous avons décidé de stopper le processus initié lors de cette maintenance, mercredi, à 11h46.

En parallèle des optimisations, nous avons déplacé une partie des données au fur et à mesure afin diminuer le nombre de clients sur ce filer, ce qui aura pour conséquence d’accélérer le processus de réplication.


--- Les actions en cours ---

A ce jour, toutes les optimisations ont été réalisées. Le processus de reconstruction est toujours en cours, et nous continuons de déplacer certaines données afin d’accélérer le processus de réplication. Durant cette période, l’impact sur les performances sera minime.


--- Suivi des actions ---

Nous mettrons à jours cette tâche régulièrement afin de vous tenir informé de l’avancée du processus de réplication.

Comment by OVH - Wednesday, 12 June 2019, 19:03PM

La reconstruction est toujours en cours. L’estimation actuelle de fin de reconstruction est d’environ 10 jours.
Nous continuons de déplacer des ressources vers d'autres filerz avant d'eventuellement migrer à chaud le reste du filerz lorsque suffisamment de ressource auront été récupérées. Ces actions devraient nous permettre de réduire le temps d'intervention sur les 10 jours estimés.

Ses actions se font à chaud mais de légers ralentissements peuvent être constatés ponctuellement.


Comment by OVH - Thursday, 13 June 2019, 17:38PM

reconstruction a 41.23% ETA 10 jours


Comment by OVH - Friday, 14 June 2019, 08:41AM

reconstruction a 44.68% ETA 10 jours


Comment by OVH - Monday, 17 June 2019, 17:10PM

Reconstruction a 64.35% ETA 7 jours


Comment by OVH - Tuesday, 18 June 2019, 09:11AM

Reconstruction 69.03% ETA 6 jours


Comment by OVH - Wednesday, 19 June 2019, 12:19PM

Reconstruction 75.94% done ETA 4 jours 1/2