rssLink RSS for all categories
 
icon_blue
icon_green
icon_red
icon_red
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_blue
icon_green
icon_green
icon_green
icon_blue
icon_orange
icon_green
icon_green
icon_blue
icon_red
icon_green
icon_green
icon_red
icon_orange
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_green
 

FS#38976 — filerz152

Attached to Project— Web Hosting / CloudDB
Maintenance
Cluster026
CLOSED
100%
Plusieurs tâches ont été ouvertes concernant les incidents sur ce filerz, nous allons maintenant utiliser cette tâche comme référence, et réaliser le suivi des opérations dans celle-ci.

-- Résumé de la situation ---

Le 31 mai, nous avons identifié des instabilités et une dégradation des performances sur ce filerz. Après investigation, nous avons identifié des disques physiques anormalement lents sur ce filerz. Nous avons mis en place des actions visant à restaurer les performances sur ces disques.

Le 5 juin, ces actions n’ayant pas permis de retrouver le niveau de performance escompté, le remplacement des disques identifiés a été réalisé. Ce remplacement est possible grâces aux mécanismes de réplication de données sur plusieurs disques que nous utilisons sur nos filerz. La reconstruction de cette réplication est en actuellement en cours, et n’impacte que faiblement les performances globales du filerz.

Afin d’accélérer cette reconstruction, nous avons par la suite effectué plusieurs maintenances visant à optimiser le processus et à déplacer une partie des données. Ces maintenances ont pu avoir des impacts momentanés sur les performances du filerz.

La maintenance principale a eu lieu dans la nuit de mardi 11/06 (19h36) à mercredi 12/06. Nous avons initié un déplacement massif des données ayant pour objectif de réduire la quantité de données sur le filer, afin d’accélérer le processus de réplication. Cependant l’impact sur les performances étant bien trop élevé, nous avons décidé de stopper le processus initié lors de cette maintenance, mercredi, à 11h46.

En parallèle des optimisations, nous avons déplacé une partie des données au fur et à mesure afin diminuer le nombre de clients sur ce filer, ce qui aura pour conséquence d’accélérer le processus de réplication.


--- Les actions en cours ---

A ce jour, toutes les optimisations ont été réalisées. Le processus de reconstruction est toujours en cours, et nous continuons de déplacer certaines données afin d’accélérer le processus de réplication. Durant cette période, l’impact sur les performances sera minime.


--- Suivi des actions ---

Nous mettrons à jours cette tâche régulièrement afin de vous tenir informé de l’avancée du processus de réplication.

Date:  Monday, 12 August 2019, 11:55AM
Reason for closing:  Done
Comment by OVH - Wednesday, 12 June 2019, 19:03PM

La reconstruction est toujours en cours. L’estimation actuelle de fin de reconstruction est d’environ 10 jours.
Nous continuons de déplacer des ressources vers d'autres filerz avant d'eventuellement migrer à chaud le reste du filerz lorsque suffisamment de ressource auront été récupérées. Ces actions devraient nous permettre de réduire le temps d'intervention sur les 10 jours estimés.

Ses actions se font à chaud mais de légers ralentissements peuvent être constatés ponctuellement.


Comment by OVH - Thursday, 13 June 2019, 17:38PM

reconstruction a 41.23% ETA 10 jours


Comment by OVH - Friday, 14 June 2019, 08:41AM

reconstruction a 44.68% ETA 10 jours


Comment by OVH - Monday, 17 June 2019, 17:10PM

Reconstruction a 64.35% ETA 7 jours


Comment by OVH - Tuesday, 18 June 2019, 09:11AM

Reconstruction 69.03% ETA 6 jours


Comment by OVH - Wednesday, 19 June 2019, 12:19PM

Reconstruction 75.94% done ETA 4 jours 1/2


Comment by OVH - Thursday, 20 June 2019, 07:42AM

Reconstruction à 81.06% done ETA 3 jours 1/2


Comment by OVH - Friday, 21 June 2019, 10:25AM

Reconstruction à 87.36% done ETA 2jours


Comment by OVH - Monday, 24 June 2019, 10:15AM

La reconstruction s'est finalisée correctement :

------------------------------------
scan: resilvered 2.97T in 400h4m with 0 errors on Sat Jun 22 06:50:04 2019
------------------------------------

On a néanmoins un impact au niveaux de l’accès au filerz dés qu'on lance l’opération de backup, on va donc continuer a déplacer des clients jusqu’à atteindre des performances optimales.


Comment by OVH - Monday, 15 July 2019, 17:35PM

Notre monitoring a detecté un souci de temps de réponse au niveau du filerz a partir du 15/072019 16:10

Nous sommes en train d'investiguer.


Comment by OVH - Monday, 15 July 2019, 17:54PM

Le service est stable depuis 17:20

Un effet de board était la coupure de la raation des backups lancé il y a quelques jours en tache de fond,
On va devoir relancer l'opération de backup, l'impact sera limité.


Comment by OVH - Monday, 12 August 2019, 11:55AM

L'opération de sauvegarde est terminée depuis le week-end dernier, et la sauvegarde incrémentale quotidienne s'est correctement déroulée cette nuit.
Retour à la normale donc pour ce filerz.