OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
mise à jour du pCC
Scheduled Maintenance Report for Network & Infrastructure
Completed
Nous allons mettre à jour le software sur les équipements
reseaux du pCC.

Ceci nous permettra de tester le bon (ou le mauvais)
fonctionnement du reseau. On doit avoir encore quelques
reglages à ajouter.

Nous commencons par le coeur du reseau.

Update(s):

Date: 2011-02-07 14:48:26 UTC
Nous allons tester une autre methode sur les 2 double-N5 restant.

Date: 2011-02-02 19:01:23 UTC
Nous avons la methode:
comme chaque host est connecté sur 2 reseaux A et B. et chaque reseau est
en double attach. On coupe le port A du serveur et on met à jour
le double attach A. d'abord le 1er N5 A puis quand il est up, le 2ème
N5 A. une fois que le 1er double N5 est à jour, on reactive le port.
et on peut faire la même opération sur le port B. Ainsi, il n'y a pas
de coupure dans le service pCC.

Date: 2011-02-02 17:22:34 UTC
La merde.

Le 2ème couple N5 a été mis à jour avec plein de panne.
L'ISSU sur le N5 avec les FEX c'est peut etre dans 2 ans.

Bon, on va faire autrement le 3ème couple:
on coupe tous les ports sur les 2 N5. Puis on les mets à jours.

Date: 2011-02-02 15:26:32 UTC
UP.

Pas terrible.

En gros, les Nexus 5000 avec les FEX ne sont pas ISSU en double attach.
Le N5 qui est à jour avec la version recente ne peut pas mettre à jour
le FEX avec cette version puisque l'autre N5 a toujours la version
precedente.

Nous allons donc tester une mise à jour en simple attach. Pour cela on
va couper l'un de 2 côtés, puis faire la mise à jour du côté qui reste
en fonctionnement. On va voir si c'est ISSU.

Date: 2011-02-02 15:09:12 UTC
A n'a pas fini le boot de FEX. La mise à jour à chaud ne fonctionne pas.
On va mettre à jour le côté B.

2011 Feb 2 15:55:50 pcc-10a-n5 %VPC-2-VPC_ISSU_START: Peer vPC switch ISSU start, locking configuration
2011 Feb 2 15:59:25 pcc-10a-n5 %VPC-2-VPC_ISSU_END: Peer vPC switch ISSU end, unlocking configuration
2011 Feb 2 15:59:31 pcc-10a-n5 %VPC-2-PEER_KEEP_ALIVE_RECV_FAIL: In domain 156, VPC peer keep-alive receive has failed
2011 Feb 2 16:06:17 pcc-10a-n5 %SATCTRL-FEX109-2-SATCTRL: FEX-109 Module 1: Cold boot
2011 Feb 2 16:06:32 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 109 is online
2011 Feb 2 16:06:32 pcc-10a-n5 %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-109 On-line
2011 Feb 2 16:06:36 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 109 is online
2011 Feb 2 16:05:45 pcc-10a-n5 %SATCTRL-FEX106-2-SATCTRL: FEX-106 Module 1: Cold boot
2011 Feb 2 16:07:01 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 106 is online
2011 Feb 2 16:07:01 pcc-10a-n5 %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-106 On-line
2011 Feb 2 16:07:03 pcc-10a-n5 %PFMA-2-FEX_STATUS: Fex 106 is online
[...]

Les ports ont coupé.

Les serveurs ont basculé sur la 2ème carte reseau avec une coupure de 60 secondes.

Date: 2011-02-02 12:01:00 UTC
2011 Feb 2 13:00:05 pcc-10b-n5 %VPC-2-VPC_ISSU_START: Peer vPC switch ISSU start, locking configuration
2011 Feb 2 13:02:49 pcc-10b-n5 %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update in progress.
2011 Feb 2 13:02:59 pcc-10b-n5 %SATCTRL-FEX101-2-SATCTRL_IMAGE: FEX101 Image update in progress.
2011 Feb 2 13:03:09 pcc-10b-n5 %SATCTRL-FEX102-2-SATCTRL_IMAGE: FEX102 Image update in progress.
2011 Feb 2 13:03:18 pcc-10b-n5 %VPC-2-VPC_ISSU_END: Peer vPC switch ISSU end, unlocking configuration
Feb 2 13:04:51 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:28 CET: %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error
Feb 2 13:05:13 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:50 CET: %SATCTRL-FEX102-2-SATCTRL_IMAGE: FEX102 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error
Feb 2 13:05:21 pcc-10b-n5.routers.ovh.net : 2011 Feb 02 13:04:58 CET: %SATCTRL-FEX101-2-SATCTRL_IMAGE: FEX101 Image update failed [/isan/plugin_img/fexth.bin]: File transfer error


Date: 2011-02-02 12:00:26 UTC
Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
1 yes non-disruptive reset
100 yes non-disruptive rolling
101 yes non-disruptive rolling
102 yes non-disruptive rolling
103 yes non-disruptive rolling
104 yes non-disruptive rolling
105 yes non-disruptive rolling
106 yes non-disruptive rolling
107 yes non-disruptive rolling
108 yes non-disruptive rolling
109 yes non-disruptive rolling
110 yes non-disruptive rolling
111 yes non-disruptive rolling



Images will be upgraded according to following table:
Module Image Running-Version New-Version Upg-Required
------ ---------- ---------------------- ---------------------- ------------
1 system 5.0(2)N1(1) 5.0(2)N2(1) yes
1 kickstart 5.0(2)N1(1) 5.0(2)N2(1) yes
1 bios v1.3.0(09/08/09) v1.3.0(09/08/09) no
100 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
101 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
102 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
103 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
104 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
105 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
106 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
107 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
108 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
109 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
110 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
111 fexth 5.0(2)N1(1) 5.0(2)N2(1) yes
1 power-seq v1.2 v1.2 no


Date: 2011-02-02 11:56:16 UTC
fait.

On va attaquer les baies:
côté A

Date: 2011-02-02 11:09:10 UTC
Le côté A du coeur est terminé.

On demarre le côté B du coeur

Date: 2011-02-02 11:08:11 UTC
Mod Sw Hw
--- -------------- ------
1 5.1(1) 1.0
2 5.1(1) 1.0
5 5.1(1) 1.8
6 5.1(2) 1.8

\"Switching over onto standby\".

64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=50 ttl=250 time=4.28 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=51 ttl=250 time=4.27 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=52 ttl=250 time=4.25 ms

64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=55 ttl=250 time=1008 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=56 ttl=250 time=475 ms
64 bytes from pcc-1a-n7.routers.ovh.net (178.33.123.249): icmp_seq=57 ttl=250 time=4.38 ms

et pas de coupure dans le service

Mod Sw Hw
--- -------------- ------
1 5.1(2) 1.0
2 5.1(2) 1.0
5 5.1(2) 1.8
6 5.1(2) 1.8


Date: 2011-02-02 10:37:33 UTC
Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
1 yes non-disruptive rolling
2 yes non-disruptive rolling
5 yes non-disruptive reset
6 yes non-disruptive reset



Images will be upgraded according to following table:
Module Image Running-Version(pri:alt) New-Version Upg-Required
------ ---------- ---------------------------------------- -------------------- ------------
1 lc-d-n7k 5.1(1) 5.1(2) yes
1 lc-d-n7k 5.1(1) 5.1(2) yes
1 bios v1.10.13(03/15/10): v1.10.13(03/15/10) v1.10.14(04/02/10) yes
2 lc-d-n7k 5.1(1) 5.1(2) yes
2 lc-d-n7k 5.1(1) 5.1(2) yes
2 bios v1.10.13(03/15/10): v1.10.13(03/15/10) v1.10.14(04/02/10) yes
5 system 5.1(1) 5.1(2) yes
5 kickstart 5.1(1) 5.1(2) yes
5 bios v3.22.0(02/20/10): v3.22.0(02/20/10) v3.22.0(02/20/10) no
5 cmp 5.1(1) 5.1(1) no
5 cmp-bios 02.01.05 02.01.05 no
6 system 5.1(1) 5.1(2) yes
6 kickstart 5.1(1) 5.1(2) yes
6 bios v3.22.0(02/20/10): v3.22.0(02/20/10) v3.22.0(02/20/10) no
6 cmp 5.1(1) 5.1(1) no
6 cmp-bios 02.01.05 02.01.05 no



Date: 2011-02-02 10:36:48 UTC
Le côté A en cours ...
Posted Feb 02, 2011 - 10:05 UTC