OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
tete-3036
Incident Report for Hosted Private Cloud
Resolved
Les tetes master et slave ne répondent plus.
Une intervention est en cours.

Update(s):

Date: 2014-12-10 14:48:56 UTC
Les logs ont été remontés et mettent en évidence une bascule master -> slave à 4h37 suite à un défaut hardware côté master.

Le slave a freezé lors de l'import des pools et le cluster s'est retrouvé dans une situation inédite ou master et slave étaient injoignables et le basculement commencé mais pas terminé.

Il a fallu analyser la situation datastore par datastore et également vérifier l'état de chaque lien SAS, tout ceci a pris du temps, au prix de l'intégrité des données.

Les datastores ont été indisponibles de 4h37 à 6h32.

Il n'y a pas eu d'impacts sur l’intégrité des données.

Nous renforçons les checks qui sont effectués lors du process de basculement. Egalement nous renforçons les tests de simulation d'import sur les têtes slave pour prévenir les cas ou le slave n'est pas apte à 100% à prendre le relais en cas de défaut côté master.

Date: 2014-12-10 05:32:57 UTC
Nous investigons sur les causes de la panne.

Date: 2014-12-10 05:32:41 UTC
Le service est rétabli.

Date: 2014-12-10 05:19:51 UTC
Les datastores suivant sont impactés :

pcc-000594
pcc-000595
pcc-000596
pcc-000597
pcc-000598
pcc-000599
pcc-000600
pcc-000604
pcc-000605
pcc-000670
pcc-000677
Posted Dec 10, 2014 - 05:13 UTC
This incident affected: VMware Private Cloud || RBX (Compute).