OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
filerz152
Scheduled Maintenance Report for Web Cloud
Completed
Plusieurs tâches ont été ouvertes concernant les incidents sur ce filerz, nous allons maintenant utiliser cette tâche comme référence, et réaliser le suivi des opérations dans celle-ci.

-- Résumé de la situation ---

Le 31 mai, nous avons identifié des instabilités et une dégradation des performances sur ce filerz. Après investigation, nous avons identifié des disques physiques anormalement lents sur ce filerz. Nous avons mis en place des actions visant à restaurer les performances sur ces disques.

Le 5 juin, ces actions n’ayant pas permis de retrouver le niveau de performance escompté, le remplacement des disques identifiés a été réalisé. Ce remplacement est possible grâces aux mécanismes de réplication de données sur plusieurs disques que nous utilisons sur nos filerz. La reconstruction de cette réplication est en actuellement en cours, et n’impacte que faiblement les performances globales du filerz.

Afin d’accélérer cette reconstruction, nous avons par la suite effectué plusieurs maintenances visant à optimiser le processus et à déplacer une partie des données. Ces maintenances ont pu avoir des impacts momentanés sur les performances du filerz.

La maintenance principale a eu lieu dans la nuit de mardi 11/06 (19h36) à mercredi 12/06. Nous avons initié un déplacement massif des données ayant pour objectif de réduire la quantité de données sur le filer, afin d’accélérer le processus de réplication. Cependant l’impact sur les performances étant bien trop élevé, nous avons décidé de stopper le processus initié lors de cette maintenance, mercredi, à 11h46.

En parallèle des optimisations, nous avons déplacé une partie des données au fur et à mesure afin diminuer le nombre de clients sur ce filer, ce qui aura pour conséquence d’accélérer le processus de réplication.


--- Les actions en cours ---

A ce jour, toutes les optimisations ont été réalisées. Le processus de reconstruction est toujours en cours, et nous continuons de déplacer certaines données afin d’accélérer le processus de réplication. Durant cette période, l’impact sur les performances sera minime.


--- Suivi des actions ---

Nous mettrons à jours cette tâche régulièrement afin de vous tenir informé de l’avancée du processus de réplication.


Update(s):

Date: 2019-08-12 09:55:18 UTC
L'opération de sauvegarde est terminée depuis le week-end dernier, et la sauvegarde incrémentale quotidienne s'est correctement déroulée cette nuit.
Retour à la normale donc pour ce filerz.

Date: 2019-07-15 15:54:52 UTC
Le service est stable depuis 17:20

Un effet de board était la coupure de la raation des backups lancé il y a quelques jours en tache de fond,
On va devoir relancer l'opération de backup, l'impact sera limité.

Date: 2019-07-15 15:35:06 UTC
Notre monitoring a detecté un souci de temps de réponse au niveau du filerz a partir du 15/072019 16:10

Nous sommes en train d'investiguer.

Date: 2019-06-24 08:15:07 UTC
La reconstruction s'est finalisée correctement :

------------------------------------
scan: resilvered 2.97T in 400h4m with 0 errors on Sat Jun 22 06:50:04 2019
------------------------------------

On a néanmoins un impact au niveaux de l’accès au filerz dés qu'on lance l’opération de backup, on va donc continuer a déplacer des clients jusqu’à atteindre des performances optimales.

Date: 2019-06-21 08:25:10 UTC
Reconstruction à 87.36% done ETA 2jours

Date: 2019-06-20 05:42:01 UTC
Reconstruction à 81.06% done ETA 3 jours 1/2

Date: 2019-06-19 10:19:44 UTC
Reconstruction 75.94% done ETA 4 jours 1/2

Date: 2019-06-18 07:11:31 UTC
Reconstruction 69.03% ETA 6 jours

Date: 2019-06-17 15:10:12 UTC
Reconstruction a 64.35% ETA 7 jours

Date: 2019-06-14 06:41:54 UTC
reconstruction a 44.68% ETA 10 jours

Date: 2019-06-13 15:38:31 UTC
reconstruction a 41.23% ETA 10 jours

Date: 2019-06-12 17:03:48 UTC
La reconstruction est toujours en cours. L’estimation actuelle de fin de reconstruction est d’environ 10 jours.
Nous continuons de déplacer des ressources vers d'autres filerz avant d'eventuellement migrer à chaud le reste du filerz lorsque suffisamment de ressource auront été récupérées. Ces actions devraient nous permettre de réduire le temps d'intervention sur les 10 jours estimés.

Ses actions se font à chaud mais de légers ralentissements peuvent être constatés ponctuellement.
Posted Jun 11, 2019 - 18:19 UTC
This scheduled maintenance affected: Web Hosting || Datacenter GRA (Cluster002, Cluster003, Cluster006, Cluster007, Cluster011, Cluster012, Cluster013, Cluster014, Cluster015, Cluster017, Cluster020, Cluster021, Cluster023, Cluster024, Cluster025, Cluster026, Cluster027, Cluster028, Cluster029, Cluster030, Cluster031).