OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Upgrade nexus PCC
Scheduled Maintenance
Report for Network & Infrastructure
Completed
# edit 25 mars
Les upgrades de cette semaine se sont bien passée, aucun downtime n'a été constaté.
Nous pouvons donc sereinement prévoir en semaines 13 une upgrade en masse du parc de nexus pcc, sur toute les zone.
- BHS
- RBX2a
- RBX2b
- SBG
Les maintenance débuteront le mercredi 30 mars, et seront effectuées de nuit, entre 22h et 6h heure locale.
######
Nous devons mettre a jour l'ensemble du parc de switch et routeur sur le PCC pour se conformer au exigence de PCI-DSS.
Nous débutons semaine prochaine sur BHS
Les switchs qui seront upgradés sont:
mardi 22 mars a partir de 8h CET
host: bhs-20/21-n5
storage: bhs-101-n5
###
mercredi 23 mars a partir de 8h CET
vrack: bhs1-103a/b-n56
###
jeudi 24 mars a partir de 8h CET
host: bhs-22/23-n5
storage: bhs-103-n5
vendredi 25 mars a partir de 8h CET
vrack: bhs4-105a/b-n56
Aucun downtime prévu, soit nous pouvons isoler les switchs pour l'upgrade, soit nous faisons de l'ISSU (non-disruptif)
Update(s):
Date: 2016-05-03 20:11:34 UTC
pcc-120-n5 est à jour, nous passons à pcc-129-n5
Date: 2016-05-03 20:01:09 UTC
Nous lançons la procédure de mise à jour sur pcc-120-n5.
Date: 2016-05-03 13:29:35 UTC
2upgrades sw storage PCC se sont ajoutées a la liste:
pcc-129-n5
pcc-120-n5
Ils seront fait ce soir a partir de 22h CET
Date: 2016-04-30 12:06:14 UTC
Toutes les Upgrades switch nexus PCC ( sw d'access N5/N6) ont été effectuées.
Date: 2016-04-13 03:33:57 UTC
All done pour cette nuit
Les sw hosts de SBG + RBX2b sont terminés, il ne reste que des sw host + storage sur RBX2A , ainsi que les sw VRACK sur toutes les zones
rbx2b-209-n56 - done
rbx2b-207-n56 - done
rbx2b-205-n56 - done
sbg-203-n5 - done
pcc-21-n5 - done
pcc-22-n5 - done
pcc-23-n5 - done
pcc-24-n5 - done
pcc-26-n5 - done
pcc-27-n5 - done
pcc-28-n5 - done
pcc-204-n5 - done
Les maintenances reprendront dans la nuit de jeudi a vendredi.
Date: 2016-03-31 20:17:58 UTC
Nous allons démarrer la 3eme vague d'upgrade des SW PCC. Nous avons au programme:
- 14 switchs hosts
- 30 switchs stockages
Date: 2016-03-31 20:16:39 UTC
sbg-204-n56 en cours d'isolation
Date: 2016-03-30 08:22:27 UTC
bhs-24-n5 : done : remise en prod par PCC
Date: 2016-03-30 07:56:19 UTC
bhs-27-n56 : done, remise en prod en cours
bhs-24-n5 : upgrade doing
Date: 2016-03-30 07:37:05 UTC
bhs1-103a/b-n6-vrack: KeepAlive reconf done sans douleurs
bhs-27-n56 : reste 4 fexs a isoler
Date: 2016-03-30 07:23:54 UTC
bhs-27-n56 en cours d'isolation
en // nous mettons au propre la configuration du keepalive sur bhs1-103a/b-n6-vrack sur les port de mgmt en back-to-back, pas d'impact
Date: 2016-03-30 07:08:17 UTC
bhs-26-n56 : done, prod back dessus
bhs-27-n56 : isolation d'ici qq minute
Date: 2016-03-30 06:47:04 UTC
bhs-26-n56 ne revient pas apres le reboot...nous investiguons, pas d'impact sur la production.
Le service tourne sur bhs-27
Date: 2016-03-30 06:27:59 UTC
bhs-24-n5 : standby
bhs-26-n5 : upgrade doing
All storage BHS done !
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
bhs-104-n5 : done
bhs-106-n5 : done
bhs-108-n5 : done
bhs-110-n5 : done
Date: 2016-03-30 06:04:41 UTC
bhs-108-n5 : doing
bhs-110-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
bhs-104-n5 : done
bhs-106-n5 : done
Date: 2016-03-30 05:51:03 UTC
bhs-104-n5 : doing
bhs-106-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
Date: 2016-03-30 05:40:06 UTC
Standby sur les hosts, une anomalie a été détectée par PCC, pas d'impact, mais il faut fixer avant de lance les upgrades
bhs-24-n5 : standby
bhs-26-n5 : standby
bhs-100-n5 : doing
bhs-102-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 05:35:02 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 04:48:37 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-109-n5 : standby
bhs-111-n5 : standby
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 04:37:32 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-107-n5 : maj en cours
bhs-105-n5 : Done
Date: 2016-03-30 04:22:28 UTC
Nous débutons les maj sur BHS
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-105-n5 : maj en cours
bhs-107-n5 : maj en cours
Date: 2016-03-25 09:58:37 UTC
Le port flap sur le MGMT sur le bhs1-103, il faut qu'on fixe avant de migrer le keep-alive
On est hors timeframe pour faire la modif de KA, on reporte.
En revanche, nous pouvons travailler sur le port de mgmt et fixer les flap
prochaine session mercredi prochain.
Date: 2016-03-25 08:32:35 UTC
bhs4-105a/b est up and running !
Nous passons au fix licence / vpc keep-alive sur bhs1-103
Date: 2016-03-25 08:01:33 UTC
Upgrade okay sur le 105a , nous commençons sur le 105b
Date: 2016-03-25 07:47:34 UTC
le sw est up, les fexs sont en cours de boot
Date: 2016-03-25 07:35:35 UTC
L'install est lancée sur bhs4-105a
Les serveurs sont en port-channel, le trafic sera forwardé par le 105b
Date: 2016-03-25 07:23:55 UTC
Nous debutons l'upgrade sur bhs4-105a/b-n56-vrack
Date: 2016-03-24 13:59:24 UTC
Demain nous upgradons le 2nd couple de sw vrack BHS: bhs4-105a/b-n56 ( ISSU / non disruptif )
et nous fixons également le keepalive/licence L3 sur le 1er couple: bhs1-103a/b-n56
Date: 2016-03-24 13:56:37 UTC
bhs-21 est okay, up and running
Date: 2016-03-24 11:26:52 UTC
bhs-21 en cours d'upgrade
Date: 2016-03-24 11:22:47 UTC
bhs-23 up and running
bhs-21 est tjs en cours d'investigation par la Team PCC
Date: 2016-03-24 10:22:20 UTC
bhs-23 install done, les fex remontent
Date: 2016-03-24 09:55:03 UTC
bhs-103-n5 upgraded
bhs-23 est isolé, nous attendons le go de la team PCC
Date: 2016-03-24 09:32:17 UTC
bhs-22 est up and running, pcc isole le bhs-23-n5.
bhs-21 tjs en cours
on debute l'upgrade du bhs-103-n5 ( il y a uniquement des tete B dessus, qui sont les slave)
Date: 2016-03-24 08:32:29 UTC
bhs-22 est upgraded, tout les fex online, la team PCC va no shut les interfaces vers les serveurs
bhs-21 est quasi pret , il reste le pcc master dessus, PCC regarde pour l'isoler
Date: 2016-03-24 07:28:25 UTC
bhs-22 est isolé, nous allons débuter l'upgrade, le trafic est forwarde par bhs-23
En // nous isolons le bhs-21 ( le trafic sera forwarde par bhs-20)
Date: 2016-03-24 06:55:45 UTC
nous commençons l'isolation de bhs-22-n5
Date: 2016-03-23 13:55:39 UTC
bhs-21 sera fait demain en même temps que 22 et 23
Date: 2016-03-22 09:28:45 UTC
On reporte bhs-21 a demain, nous avons trouver un bug dans le monitoring des hosts.
Pcc doit fixer ce jour pour pouvoir avancer.
Date: 2016-03-22 09:20:58 UTC
done pour le 101
Software
BIOS: version 3.6.0
Power Sequencer Firmware:
Module 1: v3.0
Module 2: v2.0
Microcontroller Firmware: version v1.2.0.1
QSFP Microcontroller Firmware:
Module not detected
CXP Microcontroller Firmware:
Module not detected
kickstart: version 7.1(3)N1(2a)
system: version 7.1(3)N1(2a)
Date: 2016-03-22 09:19:40 UTC
touch: cannot touch `/var/lock/s
/isan/bin/muxif_config: fex vlan id: -f,4042
Set name-type for VLAN subsystem. Should be visible in /proc/net/vlan/config
Added VLAN with VID == 4042 to IF -:muxif:-
Continuing with installation process, please wait.
The login will be disabled until the installation is completed.
Performing supervisor state verification.
[####################] 100% -- SUCCESS
Supervisor non-disruptive upgrade successful.
Date: 2016-03-22 09:17:37 UTC
go go go !
Images will be upgraded according to following table:
Module Image Running-Version New-Version Upg-Required
------ ---------------- ---------------------- ---------------------- ------------
1 system 7.1(1)N1(1) 7.1(3)N1(2a) yes
1 kickstart 7.1(1)N1(1) 7.1(3)N1(2a) yes
1 bios v3.6.0(05/09/2012) v3.6.0(05/09/2012) no
1 power-seq v3.0 v3.0 no
1 SFP-uC v1.0.0.0 v1.0.0.0 no
3 power-seq v2.0 v2.0 no
1 microcontroller v1.2.0.1 v1.2.0.1 no
Do you want to continue with the installation (y/n)? [n] y
Install is in progress, please wait.
Performing runtime checks.
[####################] 100% -- SUCCESS
Notifying services about the upgrade.
Date: 2016-03-22 09:12:33 UTC
ISSU sur bhs-101 en cours
bhs-101-n5-pcc# install all system n5000-uk9.7.1.3.N1.2a.bin kickstart n5000-uk9-kickstart.7.1.3.N1.2a.bin
Verifying image bootflash:/n5000-uk9-kickstart.7.1.3.N1.2a.bin for boot variable \"kickstart\".
[# ] 0%
Date: 2016-03-22 09:03:24 UTC
Nous constatons une perte de connectivité sur 3 hosts sur le fex100, la team pcc regarde pourquoi ça ne fait pas le switchover ( rollback ).
En attendant, nous passons a bhs-101-n5
Date: 2016-03-22 08:29:39 UTC
tout est UP sur le bhs-20
nous demarrons le bhs-21, le service sera Up via le bhs-20-n5 durant la maintenance
Date: 2016-03-22 08:04:55 UTC
bhs-20-n5-pcc# sh fex
FEX FEX FEX FEX Fex
Number Description State Model Serial
------------------------------------------------------------------------
100 fex100 Online N2K-C2248TP-1GE SSI16220DBY
101 fex101 Connected N2K-C2248TP-1GE SSI15500EEB
102 fex102 Online N2K-C2248TP-1GE SSI161003HJ
103 fex103 Online N2K-C2232TM-10GE SSI15310J3A
104 fex104 Online N2K-C2232TM-10GE SSI153501JN
105 fex105 Connected N2K-C2248TP-1GE SSI16060LE9
106 fex106 Connected N2K-C2232TM-E-10GE SSI17130B2W
107 fex107 Online N2K-C2232TM-10GE SSI16020F5E
108 fex108 Connected N2K-C2232TM-E-10GE SSI17130B8R
109 fex109 Connected N2K-C2248TP-E-1GE SSI16370ACD
110 fex110 Connected N2K-C2248TP-1GE SSI15510VQC
Date: 2016-03-22 08:02:26 UTC
Il est up
bhs-20-n5-pcc# sh fex
bhs-20-n5-pcc#
bhs-20-n5-pcc#
bhs-20-n5-pcc# sh module
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ---------------------- -----------
1 32 O2 32X10GE/Modular Universal Platfo N5K-C5548UP-SUP active *
3 0 O2 Non L3 Daughter Card N55-DL2 ok
Mod Sw Hw World-Wide-Name(s) (WWN)
--- -------------- ------ ---------------------------------------------------
1 7.1(3)N1(2a) 1.0 --
3 7.1(3)N1(2a) 1.0 --
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 547f.ee9b.d948 to 547f.ee9b.d967 FOC161724Y4
3 0000.0000.0000 to 0000.0000.000f FOC16170FWA
bhs-20-n5-pcc# sh fex
FEX FEX FEX FEX Fex
Number Description State Model Serial
------------------------------------------------------------------------
100 fex100 Connected N2K-C2248TP-1GE SSI16220DBY
101 fex101 Connected N2K-C2248TP-1GE SSI15500EEB
102 fex102 Connected N2K-C2248TP-1GE SSI161003HJ
103 fex103 Connected N2K-C2232TM-10GE SSI15310J3A
104 fex104 Connected N2K-C2232TM-10GE SSI153501JN
105 fex105 Connected N2K-C2248TP-1GE SSI16060LE9
106 fex106 Connected N2K-C2232TM-E-10GE SSI17130B2W
107 fex107 Connected N2K-C2232TM-10GE SSI16020F5E
108 fex108 Connected N2K-C2232TM-E-10GE SSI17130B8R
109 fex109 Connected N2K-C2248TP-E-1GE SSI16370ACD
110 fex110 Connected N2K-C2248TP-1GE SSI15510VQC
bhs-20-n5-pcc#
Date: 2016-03-22 07:56:59 UTC
fex preloaded, le sw reload.
The system is going down for reboot NOW!
Date: 2016-03-22 07:47:30 UTC
Do you want to continue with the installation (y/n)? [n] y
Install is in progress, please wait.
Performing runtime checks.
[####################] 100% -- SUCCESS
Setting boot variables.
[####################] 100% -- SUCCESS
Performing configuration copy.
[####################] 100% -- SUCCESS
Pre-loading modules.
[This step might take upto 20 minutes to complete - please wait.]
[*Warning -- Please do not abort installation/reload or powercycle fexes*]
[# ] 0%
Date: 2016-03-22 07:47:26 UTC
c'est p
bhs-20-n5-pcc# install all system n5000-uk9.7.1.3.N1.2a.bin kickstart n5000-uk9-kickstart.7.1.3.N1.2a.bin force
Installer is forced disruptive
Verifying image bootflash:/n5000-uk9-kickstart.7.1.3.N1.2a.bin for boot variable \"kickstart\".
[# ] 0%
Date: 2016-03-22 07:10:02 UTC
Nous débutons la maintenance sur bhs-20-n5
le switch est en cours d'isolation par la team PCC ( le service est actif via bhs-21-n5 )
Les upgrades de cette semaine se sont bien passée, aucun downtime n'a été constaté.
Nous pouvons donc sereinement prévoir en semaines 13 une upgrade en masse du parc de nexus pcc, sur toute les zone.
- BHS
- RBX2a
- RBX2b
- SBG
Les maintenance débuteront le mercredi 30 mars, et seront effectuées de nuit, entre 22h et 6h heure locale.
######
Nous devons mettre a jour l'ensemble du parc de switch et routeur sur le PCC pour se conformer au exigence de PCI-DSS.
Nous débutons semaine prochaine sur BHS
Les switchs qui seront upgradés sont:
mardi 22 mars a partir de 8h CET
host: bhs-20/21-n5
storage: bhs-101-n5
###
mercredi 23 mars a partir de 8h CET
vrack: bhs1-103a/b-n56
###
jeudi 24 mars a partir de 8h CET
host: bhs-22/23-n5
storage: bhs-103-n5
vendredi 25 mars a partir de 8h CET
vrack: bhs4-105a/b-n56
Aucun downtime prévu, soit nous pouvons isoler les switchs pour l'upgrade, soit nous faisons de l'ISSU (non-disruptif)
Update(s):
Date: 2016-05-03 20:11:34 UTC
pcc-120-n5 est à jour, nous passons à pcc-129-n5
Date: 2016-05-03 20:01:09 UTC
Nous lançons la procédure de mise à jour sur pcc-120-n5.
Date: 2016-05-03 13:29:35 UTC
2upgrades sw storage PCC se sont ajoutées a la liste:
pcc-129-n5
pcc-120-n5
Ils seront fait ce soir a partir de 22h CET
Date: 2016-04-30 12:06:14 UTC
Toutes les Upgrades switch nexus PCC ( sw d'access N5/N6) ont été effectuées.
Date: 2016-04-13 03:33:57 UTC
All done pour cette nuit
Les sw hosts de SBG + RBX2b sont terminés, il ne reste que des sw host + storage sur RBX2A , ainsi que les sw VRACK sur toutes les zones
rbx2b-209-n56 - done
rbx2b-207-n56 - done
rbx2b-205-n56 - done
sbg-203-n5 - done
pcc-21-n5 - done
pcc-22-n5 - done
pcc-23-n5 - done
pcc-24-n5 - done
pcc-26-n5 - done
pcc-27-n5 - done
pcc-28-n5 - done
pcc-204-n5 - done
Les maintenances reprendront dans la nuit de jeudi a vendredi.
Date: 2016-03-31 20:17:58 UTC
Nous allons démarrer la 3eme vague d'upgrade des SW PCC. Nous avons au programme:
- 14 switchs hosts
- 30 switchs stockages
Date: 2016-03-31 20:16:39 UTC
sbg-204-n56 en cours d'isolation
Date: 2016-03-30 08:22:27 UTC
bhs-24-n5 : done : remise en prod par PCC
Date: 2016-03-30 07:56:19 UTC
bhs-27-n56 : done, remise en prod en cours
bhs-24-n5 : upgrade doing
Date: 2016-03-30 07:37:05 UTC
bhs1-103a/b-n6-vrack: KeepAlive reconf done sans douleurs
bhs-27-n56 : reste 4 fexs a isoler
Date: 2016-03-30 07:23:54 UTC
bhs-27-n56 en cours d'isolation
en // nous mettons au propre la configuration du keepalive sur bhs1-103a/b-n6-vrack sur les port de mgmt en back-to-back, pas d'impact
Date: 2016-03-30 07:08:17 UTC
bhs-26-n56 : done, prod back dessus
bhs-27-n56 : isolation d'ici qq minute
Date: 2016-03-30 06:47:04 UTC
bhs-26-n56 ne revient pas apres le reboot...nous investiguons, pas d'impact sur la production.
Le service tourne sur bhs-27
Date: 2016-03-30 06:27:59 UTC
bhs-24-n5 : standby
bhs-26-n5 : upgrade doing
All storage BHS done !
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
bhs-104-n5 : done
bhs-106-n5 : done
bhs-108-n5 : done
bhs-110-n5 : done
Date: 2016-03-30 06:04:41 UTC
bhs-108-n5 : doing
bhs-110-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
bhs-104-n5 : done
bhs-106-n5 : done
Date: 2016-03-30 05:51:03 UTC
bhs-104-n5 : doing
bhs-106-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
bhs-100-n5 : done
bhs-102-n5 : done
Date: 2016-03-30 05:40:06 UTC
Standby sur les hosts, une anomalie a été détectée par PCC, pas d'impact, mais il faut fixer avant de lance les upgrades
bhs-24-n5 : standby
bhs-26-n5 : standby
bhs-100-n5 : doing
bhs-102-n5 : doing
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 05:35:02 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-109-n5 : Done
bhs-111-n5 : Done
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 04:48:37 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-109-n5 : standby
bhs-111-n5 : standby
bhs-107-n5 : Done
bhs-105-n5 : Done
Date: 2016-03-30 04:37:32 UTC
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-107-n5 : maj en cours
bhs-105-n5 : Done
Date: 2016-03-30 04:22:28 UTC
Nous débutons les maj sur BHS
bhs-24-n5 : isolation en cours par PCC
bhs-26-n5 : isolation en cours par PCC
bhs-105-n5 : maj en cours
bhs-107-n5 : maj en cours
Date: 2016-03-25 09:58:37 UTC
Le port flap sur le MGMT sur le bhs1-103, il faut qu'on fixe avant de migrer le keep-alive
On est hors timeframe pour faire la modif de KA, on reporte.
En revanche, nous pouvons travailler sur le port de mgmt et fixer les flap
prochaine session mercredi prochain.
Date: 2016-03-25 08:32:35 UTC
bhs4-105a/b est up and running !
Nous passons au fix licence / vpc keep-alive sur bhs1-103
Date: 2016-03-25 08:01:33 UTC
Upgrade okay sur le 105a , nous commençons sur le 105b
Date: 2016-03-25 07:47:34 UTC
le sw est up, les fexs sont en cours de boot
Date: 2016-03-25 07:35:35 UTC
L'install est lancée sur bhs4-105a
Les serveurs sont en port-channel, le trafic sera forwardé par le 105b
Date: 2016-03-25 07:23:55 UTC
Nous debutons l'upgrade sur bhs4-105a/b-n56-vrack
Date: 2016-03-24 13:59:24 UTC
Demain nous upgradons le 2nd couple de sw vrack BHS: bhs4-105a/b-n56 ( ISSU / non disruptif )
et nous fixons également le keepalive/licence L3 sur le 1er couple: bhs1-103a/b-n56
Date: 2016-03-24 13:56:37 UTC
bhs-21 est okay, up and running
Date: 2016-03-24 11:26:52 UTC
bhs-21 en cours d'upgrade
Date: 2016-03-24 11:22:47 UTC
bhs-23 up and running
bhs-21 est tjs en cours d'investigation par la Team PCC
Date: 2016-03-24 10:22:20 UTC
bhs-23 install done, les fex remontent
Date: 2016-03-24 09:55:03 UTC
bhs-103-n5 upgraded
bhs-23 est isolé, nous attendons le go de la team PCC
Date: 2016-03-24 09:32:17 UTC
bhs-22 est up and running, pcc isole le bhs-23-n5.
bhs-21 tjs en cours
on debute l'upgrade du bhs-103-n5 ( il y a uniquement des tete B dessus, qui sont les slave)
Date: 2016-03-24 08:32:29 UTC
bhs-22 est upgraded, tout les fex online, la team PCC va no shut les interfaces vers les serveurs
bhs-21 est quasi pret , il reste le pcc master dessus, PCC regarde pour l'isoler
Date: 2016-03-24 07:28:25 UTC
bhs-22 est isolé, nous allons débuter l'upgrade, le trafic est forwarde par bhs-23
En // nous isolons le bhs-21 ( le trafic sera forwarde par bhs-20)
Date: 2016-03-24 06:55:45 UTC
nous commençons l'isolation de bhs-22-n5
Date: 2016-03-23 13:55:39 UTC
bhs-21 sera fait demain en même temps que 22 et 23
Date: 2016-03-22 09:28:45 UTC
On reporte bhs-21 a demain, nous avons trouver un bug dans le monitoring des hosts.
Pcc doit fixer ce jour pour pouvoir avancer.
Date: 2016-03-22 09:20:58 UTC
done pour le 101
Software
BIOS: version 3.6.0
Power Sequencer Firmware:
Module 1: v3.0
Module 2: v2.0
Microcontroller Firmware: version v1.2.0.1
QSFP Microcontroller Firmware:
Module not detected
CXP Microcontroller Firmware:
Module not detected
kickstart: version 7.1(3)N1(2a)
system: version 7.1(3)N1(2a)
Date: 2016-03-22 09:19:40 UTC
touch: cannot touch `/var/lock/s
/isan/bin/muxif_config: fex vlan id: -f,4042
Set name-type for VLAN subsystem. Should be visible in /proc/net/vlan/config
Added VLAN with VID == 4042 to IF -:muxif:-
Continuing with installation process, please wait.
The login will be disabled until the installation is completed.
Performing supervisor state verification.
[####################] 100% -- SUCCESS
Supervisor non-disruptive upgrade successful.
Date: 2016-03-22 09:17:37 UTC
go go go !
Images will be upgraded according to following table:
Module Image Running-Version New-Version Upg-Required
------ ---------------- ---------------------- ---------------------- ------------
1 system 7.1(1)N1(1) 7.1(3)N1(2a) yes
1 kickstart 7.1(1)N1(1) 7.1(3)N1(2a) yes
1 bios v3.6.0(05/09/2012) v3.6.0(05/09/2012) no
1 power-seq v3.0 v3.0 no
1 SFP-uC v1.0.0.0 v1.0.0.0 no
3 power-seq v2.0 v2.0 no
1 microcontroller v1.2.0.1 v1.2.0.1 no
Do you want to continue with the installation (y/n)? [n] y
Install is in progress, please wait.
Performing runtime checks.
[####################] 100% -- SUCCESS
Notifying services about the upgrade.
Date: 2016-03-22 09:12:33 UTC
ISSU sur bhs-101 en cours
bhs-101-n5-pcc# install all system n5000-uk9.7.1.3.N1.2a.bin kickstart n5000-uk9-kickstart.7.1.3.N1.2a.bin
Verifying image bootflash:/n5000-uk9-kickstart.7.1.3.N1.2a.bin for boot variable \"kickstart\".
[# ] 0%
Date: 2016-03-22 09:03:24 UTC
Nous constatons une perte de connectivité sur 3 hosts sur le fex100, la team pcc regarde pourquoi ça ne fait pas le switchover ( rollback ).
En attendant, nous passons a bhs-101-n5
Date: 2016-03-22 08:29:39 UTC
tout est UP sur le bhs-20
nous demarrons le bhs-21, le service sera Up via le bhs-20-n5 durant la maintenance
Date: 2016-03-22 08:04:55 UTC
bhs-20-n5-pcc# sh fex
FEX FEX FEX FEX Fex
Number Description State Model Serial
------------------------------------------------------------------------
100 fex100 Online N2K-C2248TP-1GE SSI16220DBY
101 fex101 Connected N2K-C2248TP-1GE SSI15500EEB
102 fex102 Online N2K-C2248TP-1GE SSI161003HJ
103 fex103 Online N2K-C2232TM-10GE SSI15310J3A
104 fex104 Online N2K-C2232TM-10GE SSI153501JN
105 fex105 Connected N2K-C2248TP-1GE SSI16060LE9
106 fex106 Connected N2K-C2232TM-E-10GE SSI17130B2W
107 fex107 Online N2K-C2232TM-10GE SSI16020F5E
108 fex108 Connected N2K-C2232TM-E-10GE SSI17130B8R
109 fex109 Connected N2K-C2248TP-E-1GE SSI16370ACD
110 fex110 Connected N2K-C2248TP-1GE SSI15510VQC
Date: 2016-03-22 08:02:26 UTC
Il est up
bhs-20-n5-pcc# sh fex
bhs-20-n5-pcc#
bhs-20-n5-pcc#
bhs-20-n5-pcc# sh module
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ---------------------- -----------
1 32 O2 32X10GE/Modular Universal Platfo N5K-C5548UP-SUP active *
3 0 O2 Non L3 Daughter Card N55-DL2 ok
Mod Sw Hw World-Wide-Name(s) (WWN)
--- -------------- ------ ---------------------------------------------------
1 7.1(3)N1(2a) 1.0 --
3 7.1(3)N1(2a) 1.0 --
Mod MAC-Address(es) Serial-Num
--- -------------------------------------- ----------
1 547f.ee9b.d948 to 547f.ee9b.d967 FOC161724Y4
3 0000.0000.0000 to 0000.0000.000f FOC16170FWA
bhs-20-n5-pcc# sh fex
FEX FEX FEX FEX Fex
Number Description State Model Serial
------------------------------------------------------------------------
100 fex100 Connected N2K-C2248TP-1GE SSI16220DBY
101 fex101 Connected N2K-C2248TP-1GE SSI15500EEB
102 fex102 Connected N2K-C2248TP-1GE SSI161003HJ
103 fex103 Connected N2K-C2232TM-10GE SSI15310J3A
104 fex104 Connected N2K-C2232TM-10GE SSI153501JN
105 fex105 Connected N2K-C2248TP-1GE SSI16060LE9
106 fex106 Connected N2K-C2232TM-E-10GE SSI17130B2W
107 fex107 Connected N2K-C2232TM-10GE SSI16020F5E
108 fex108 Connected N2K-C2232TM-E-10GE SSI17130B8R
109 fex109 Connected N2K-C2248TP-E-1GE SSI16370ACD
110 fex110 Connected N2K-C2248TP-1GE SSI15510VQC
bhs-20-n5-pcc#
Date: 2016-03-22 07:56:59 UTC
fex preloaded, le sw reload.
The system is going down for reboot NOW!
Date: 2016-03-22 07:47:30 UTC
Do you want to continue with the installation (y/n)? [n] y
Install is in progress, please wait.
Performing runtime checks.
[####################] 100% -- SUCCESS
Setting boot variables.
[####################] 100% -- SUCCESS
Performing configuration copy.
[####################] 100% -- SUCCESS
Pre-loading modules.
[This step might take upto 20 minutes to complete - please wait.]
[*Warning -- Please do not abort installation/reload or powercycle fexes*]
[# ] 0%
Date: 2016-03-22 07:47:26 UTC
c'est p
bhs-20-n5-pcc# install all system n5000-uk9.7.1.3.N1.2a.bin kickstart n5000-uk9-kickstart.7.1.3.N1.2a.bin force
Installer is forced disruptive
Verifying image bootflash:/n5000-uk9-kickstart.7.1.3.N1.2a.bin for boot variable \"kickstart\".
[# ] 0%
Date: 2016-03-22 07:10:02 UTC
Nous débutons la maintenance sur bhs-20-n5
le switch est en cours d'isolation par la team PCC ( le service est actif via bhs-21-n5 )