rssLink RSS for all categories
 
icon_orange
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_red
icon_green
icon_green
icon_green
icon_blue
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_green
icon_red
icon_green
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_green
 

FS#5096 — mise à jour du pCC

Attached to Project— Reseau Internet et Baies
Maintenance
Tout le réseau
CLOSED
100%
Nous allons mettre à jour le software sur les équipements
reseaux du pCC.

Ceci nous permettra de tester le bon (ou le mauvais)
fonctionnement du reseau. On doit avoir encore quelques
reglages à ajouter.

Nous commencons par le coeur du reseau.
Date:  Tuesday, 08 February 2011, 18:27PM
Reason for closing:  Done
Comment by OVH - Wednesday, 02 February 2011, 11:36AM

Le côté A en cours ...


Comment by OVH - Wednesday, 02 February 2011, 11:37AM

Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
1 yes non-disruptive rolling
2 yes non-disruptive rolling
5 yes non-disruptive reset
6 yes non-disruptive reset



Images will be upgraded according to following table:
Module Image Running-Version(pri:alt) New-Version Upg-Required
------ ---------- ---------------------------------------- -------------------- ------------
1 lc-d-n7k 5.1(1) 5.1(2) yes
1 lc-d-n7k 5.1(1) 5.1(2) yes
1 bios v1.10.13(03/15/10): v1.10.13(03/15/10) v1.10.14(04/02/10) yes
2 lc-d-n7k 5.1(1) 5.1(2) yes
2 lc-d-n7k 5.1(1) 5.1(2) yes
2 bios v1.10.13(03/15/10): v1.10.13(03/15/10) v1.10.14(04/02/10) yes
5 system 5.1(1) 5.1(2) yes
5 kickstart 5.1(1) 5.1(2) yes
5 bios v3.22.0(02/20/10): v3.22.0(02/20/10) v3.22.0(02/20/10) no
5 cmp 5.1(1) 5.1(1) no
5 cmp-bios 02.01.05 02.01.05 no
6 system 5.1(1) 5.1(2) yes
6 kickstart 5.1(1) 5.1(2) yes
6 bios v3.22.0(02/20/10): v3.22.0(02/20/10) v3.22.0(02/20/10) no
6 cmp 5.1(1) 5.1(1) no
6 cmp-bios 02.01.05 02.01.05 no


Comment by OVH - Wednesday, 02 February 2011, 12:08PM

Mod Sw Hw
--- -------------- ------
1 5.1(1) 1.0
2 5.1(1) 1.0
5 5.1(1) 1.8
6 5.1(2) 1.8

"Switching over onto standby".

64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=50 ttl=250 time=4.28 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=51 ttl=250 time=4.27 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=52 ttl=250 time=4.25 ms

64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=55 ttl=250 time=1008 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=56 ttl=250 time=475 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=57 ttl=250 time=4.38 ms

et pas de coupure dans le service

Mod Sw Hw
--- -------------- ------
1 5.1(2) 1.0
2 5.1(2) 1.0
5 5.1(2) 1.8
6 5.1(2) 1.8


Comment by OVH - Wednesday, 02 February 2011, 12:09PM

Le côté A du coeur est terminé.

On demarre le côté B du coeur


Comment by OVH - Wednesday, 02 February 2011, 12:56PM

fait.

On va attaquer les baies:
côté A


Comment by OVH - Wednesday, 02 February 2011, 13:00PM

Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
1 yes non-disruptive reset
100 yes non-disruptive rolling
101 yes non-disruptive rolling
102 yes non-disruptive rolling
103 yes non-disruptive rolling
104 yes non-disruptive rolling
105 yes non-disruptive rolling
106 yes non-disruptive rolling
107 yes non-disruptive rolling
108 yes non-disruptive rolling
109 yes non-disruptive rolling
110 yes non-disruptive rolling
111 yes non-disruptive rolling



Images will be upgraded according to following table:
Module Image Running-Version New-Version Upg-Required
------ ---------- ---------------------- ---------------------- ------------
1 system 5.0(2)N1(1) 5.0(2)N2(1) yes
1 kickstart 5.0(2)N1(1) 5.0(2)N2(1) yes
1 bios v1.3.0(09/08/09) v1.3.0(09/08/09) no
100 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
101 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
102 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
103 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
104 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
105 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
106 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
107 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
108 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
109 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
110 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
111 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
1 power-seq v1.2 v1.2 no


Comment by OVH - Wednesday, 02 February 2011, 13:01PM

2011 Feb 2 13:00:05 pcc-10b-n5 %VPC-2-VPC_ISSU_START: Peer vPC switch ISSU start, locking configuration
2011 Feb 2 13:02:49 pcc-10b-n5 %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update in progress.
2011 Feb 2 13:02:59 pcc-10b-n5 %SATCTRL-FEX101-2-SATCTRL_IMAGE: FEX101 Image update in progress.
2011 Feb 2 13:03:09 pcc-10b-n5 %SATCTRL-FEX102-2-SATCTRL_IMAGE: FEX102 Image update in progress.
2011 Feb 2 13:03:18 pcc-10b-n5 %VPC-2-VPC_ISSU_END: Peer vPC switch ISSU end, unlocking configuration
Feb 2 13:04:51 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:28 CET: %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error
Feb 2 13:05:13 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:50 CET: %SATCTRL-FEX102-2-SATCTRL_IMAGE: FEX102 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error
Feb 2 13:05:21 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:58 CET: %SATCTRL-FEX101-2-SATCTRL_IMAGE: FEX101 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error


Comment by OVH - Wednesday, 02 February 2011, 16:09PM

A n'a pas fini le boot de FEX. La mise à jour à chaud ne fonctionne pas.
On va mettre à jour le côté B.

2011 Feb 2 15:55:50 pcc-10a-n5 %VPC-2-VPC_ISSU_START: Peer vPC switch ISSU start, locking configuration
2011 Feb 2 15:59:25 pcc-10a-n5 %VPC-2-VPC_ISSU_END: Peer vPC switch ISSU end, unlocking configuration
2011 Feb 2 15:59:31 pcc-10a-n5 %VPC-2-PEER_KEEP_ALIVE_RECV_FAIL: In domain 156, VPC peer keep-alive receive has failed
2011 Feb 2 16:06:17 pcc-10a-n5 %SATCTRL-FEX109-2-SATCTRL: FEX-109 Module 1: Cold boot
2011 Feb 2 16:06:32 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 109 is online
2011 Feb 2 16:06:32 pcc-10a-n5 %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-109 On-line
2011 Feb 2 16:06:36 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 109 is online
2011 Feb 2 16:05:45 pcc-10a-n5 %SATCTRL-FEX106-2-SATCTRL: FEX-106 Module 1: Cold boot
2011 Feb 2 16:07:01 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 106 is online
2011 Feb 2 16:07:01 pcc-10a-n5 %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-106 On-line
2011 Feb 2 16:07:03 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 106 is online
[...]

Les ports ont coupé.

Les serveurs ont basculé sur la 2ème carte reseau avec une coupure de 60 secondes.


Comment by OVH - Wednesday, 02 February 2011, 16:26PM

UP.

Pas terrible.

En gros, les Nexus 5000 avec les FEX ne sont pas ISSU en double attach.
Le N5 qui est à jour avec la version recente ne peut pas mettre à jour
le FEX avec cette version puisque l'autre N5 a toujours la version
precedente.

Nous allons donc tester une mise à jour en simple attach. Pour cela on
va couper l'un de 2 côtés, puis faire la mise à jour du côté qui reste
en fonctionnement. On va voir si c'est ISSU.


Comment by OVH - Wednesday, 02 February 2011, 18:22PM

La merde.

Le 2ème couple N5 a été mis à jour avec plein de panne.
L'ISSU sur le N5 avec les FEX c'est peut etre dans 2 ans.

Bon, on va faire autrement le 3ème couple:
on coupe tous les ports sur les 2 N5. Puis on les mets à jours.


Comment by OVH - Wednesday, 02 February 2011, 20:01PM

Nous avons la methode:
comme chaque host est connecté sur 2 reseaux A et B. et chaque reseau est
en double attach. On coupe le port A du serveur et on met à jour
le double attach A. d'abord le 1er N5 A puis quand il est up, le 2ème
N5 A. une fois que le 1er double N5 est à jour, on reactive le port.
et on peut faire la même opération sur le port B. Ainsi, il n'y a pas
de coupure dans le service pCC.


Comment by OVH - Monday, 07 February 2011, 15:48PM

Nous allons tester une autre methode sur les 2 double-N5 restant.