rssLink RSS for all categories
 
icon_blue
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_red
icon_red
icon_green
icon_green
icon_red
icon_green
icon_red
icon_green
icon_green
icon_red
icon_red
icon_green
icon_red
icon_green
icon_green
icon_orange
icon_blue
icon_orange
icon_blue
icon_green
icon_blue
icon_red
icon_green
 

FS#6329 — Upgrade Leclerc

Attached to Project— Dedicated Cloud
Amélioration
Backend / Core
CLOSED
100%
Nous allons upgrader tous les datastores des clients pcc pour utiliser la technologie hybrid.

Des disques ssd vont être ajoutés dans chacun des leclerc où va être stocké le cache écriture.
Les données vont continuer à être stockés sur des disques classiques, dédiés par client.

Cela va permettre d'améliorer sensiblement les performances (et les latences) en écriture.
Cette upgrade est prévue sans impact pour le client final et sans aucune reconfiguration de sa
part.

Dans un premier temps nous allons reorganiser les disques utilisés sur les leclerc pour permettre
d'insérer ces nouveaux disques ssd.

Ensuite nous allons redémarrer la tête maitre puis la tête esclave de chaque leclerc pour mettre
à jour la configuration des controleurs de disques. Ce changement de configuration est nécessaire
pour assurer la consistence des données lors d'un basculement futur entre les 2 têtes.

Enfin nous allons configurer les disques ssd pour les utiliser en cache des datastores existants.

Date:  Thursday, 29 March 2012, 18:13PM
Reason for closing:  Done
Additional comments about closing:  Tous les stockages ont été migré.
Comment by OVH - Sunday, 05 February 2012, 17:03PM

La réorganisation des disques utilisé est terminée. Nous avons libéré les emplacements
nécessaires pour permettre l'insertion des nouveaux disques ssd.
La première étape de l'intervention est terminée.

Nous allons étaler la seconde étape (changement de configuration) sur deux nuits cette semaine.
C'est l'opération la plus sensible. Nous avons la procédure déjà couchée sur papier mais
la task force sera aussi là pour réagir en cas de problème.


Comment by OVH - Monday, 06 February 2012, 23:43PM

Nous démarrons la seconde étape cette nuit.
Début des opérations prévu vers minuit.


Comment by OVH - Tuesday, 07 February 2012, 03:55AM

1/3 des têtes ont été redémarrées avec la nouvelle configuration.
La procédure de basculement manuel est encore perfectible pour éviter quelques accrocs au niveau des umount/mount/share entre ZFS et NFS.

Nous poursuivons les upgrades la nuit prochaine.



Comment by OVH - Tuesday, 07 February 2012, 23:48PM

Nous allons commencer les upgrades dans 20 minutes.

Nous avons amélioré la procédure de basculement pour avoir une reprise plus rapide par service.
Nous avons aussi ajouté des sondes pour avoir l'état des vm et du datastore avant pendant et
après l'intervention.


Comment by OVH - Wednesday, 08 February 2012, 00:26AM

Le basculement du premier leclerc se passe correctement.
Les sondes des vm et des datastores sont au vert.
Nous continuons le basculement des leclerc suivants.


Comment by OVH - Wednesday, 08 February 2012, 04:07AM

80% des basculements prévus ont été effectués.
Nous continuons.


Comment by OVH - Wednesday, 08 February 2012, 04:58AM

Lors du rebasculement de tete-42 slave vers tete-42 master, le master a planté pendant l'import.
3 datastores se trouvaient dessus: pcc-001095, pcc-001096 et pcc-001097.
Nous avons crée les tickets avec les clients concernés et nous avons redemarré les vms impactés.

Nous allons corriger le hardware de tete-42 master avant de le remettre en service.
Nous laissons les datastores concernés en service sur le slave.


Comment by OVH - Wednesday, 08 February 2012, 05:31AM

Nous avons terminé les upgrade de configuration des tetes leclerc.
2 tetes sont restés sur les slaves (tete-42 et tete-150).
Nous allons vérfier le matériel des masters avant de les remettre au service.
La partie la plus sensible des upgrades est terminée.

Prochaine étape: insertion des ssd que nous allons effectuer demain dans la journée.


Comment by OVH - Wednesday, 22 February 2012, 11:39AM

Nous commençons les ajouts des cache ssd dans les stockages.
NB: à chaque ajout de cache, nous envoyons un mail pour prévenir le client concerné du changement.


Comment by OVH - Thursday, 23 February 2012, 01:11AM

Aujourd'hui, nous avons upgradé environ 1/3 des stockages des clients pcc.
Nous continuons à partir de demain.


Comment by OVH - Friday, 24 February 2012, 10:48AM

Hier jeudi, nous avons continué les upgrades, et il y a environ 50% des stockages qui sont désormais migrés.


Comment by OVH - Monday, 27 February 2012, 20:54PM

Après cette journée d'upgrades, nous en sommes à environ 70% d'avancement.

En parallèle, nous avons prévenu par e-mail les quelques clients qui ne pourront pas être migrés à chaud et pour lesquels le stockage doit remplacé par un nouveau.


Comment by OVH - Thursday, 08 March 2012, 19:58PM

Les upgrades continuent doucement.
A l'heure actuelle, environ 75% de l'ensemble des stockages de l'infrastructure ont été migré.

Les quelques stockages qui ne pouvaient pas être basculé à chaud ont été remplacé par des stockages hybrides.


Comment by OVH - Thursday, 22 March 2012, 19:20PM

Environ 80 % de l'infrastructure est basculée.


Comment by OVH - Thursday, 29 March 2012, 15:04PM

A ce jour, environ 95% des stockages ont été basculé.
Nous travaillons sur les quelques derniers qui restent.