OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
Routers Newark, NJ, USA
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Nous allons remplacer le chassis 7706 par un chassis 7710 afin d'ajouter 2 cartes 12x100G sur nwk-5-n7 et doubler la capacité de l'ensemble nwk-5-n7 / nwk-5-a9 à 1,6Tbps.
Cette opération va avoir lieu le mercredi 08/10 à partir de 5h00 GMT+2, soit 11.00pm heure locale (EDT)
Les peerings BGP et l'OSPF seront isolés pendant la maintenance. Le trafic s'écoulera sur le couple nwk-1-a9 / nwk-1-n7 qui sera remplacé également le lendemain même heure.
Update(s):
Date: 2016-10-21 21:58:28 UTC
All done !
Date: 2016-10-21 20:41:00 UTC
traffic UP, nous avons qq ports avec du CRC => nous checkons
Date: 2016-10-21 20:12:02 UTC
Nous avons actuellement des CRC sur un lien entre BHS-G1-A75 et NWK-1-N7, mais à l'heure actuelle nous n'avons pas assez de capacité pour isoler ce lien. Nous devons attendre la fin de l'intervention sur NWK-5-N7 pour procéder à l'isolation de cette fibre.
Date: 2016-10-21 19:44:52 UTC
Fan 3 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 3 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 3 EPLD upgrade is successful.
EPLD Upgrade Completed.
Module Type Upgrade-Result
------ ---- --------------
1 FAN Success
2 FAN Success
3 FAN Success
nwk-5-n7#
Date: 2016-10-21 19:38:15 UTC
Starting Fan Module 2 EPLD Upgrade
Fan 2 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 2 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 2 EPLD upgrade is successful.
Starting Fan Module 3 EPLD Upgrade
Fan 3 (1 of 2) : Fan Controller [Programming ] : 50.00% ( 67829 of 135658 total bytes)
Date: 2016-10-21 19:30:26 UTC
Starting Fan Module 1 EPLD Upgrade
Fan 1 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 1 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 1 EPLD upgrade is successful.
Starting Fan Module 2 EPLD Upgrade
Date: 2016-10-21 19:22:38 UTC
n7 up
Nous upgradons les EPLB sur le nouveau chassis ( ici les FAN )
Compatibility check:
Module Type Upgradable Impact Reason
------ ---- ---------- ---------- ------
1 LC Yes disruptive Module Upgradable
2 LC Yes disruptive Module Upgradable
5 SUP Yes disruptive Module Upgradable
6 SUP Yes disruptive Module Upgradable
7 LC Yes disruptive Module Upgradable
8 LC Yes disruptive Module Upgradable
9 LC Yes disruptive Module Upgradable
10 LC Yes disruptive Module Upgradable
1 Xbar Yes disruptive Module Upgradable
2 Xbar Yes disruptive Module Upgradable
3 Xbar Yes disruptive Module Upgradable
4 Xbar Yes disruptive Module Upgradable
5 Xbar Yes disruptive Module Upgradable
6 Xbar Yes disruptive Module Upgradable
1 FAN Yes disruptive Module Upgradable
2 FAN Yes disruptive Module Upgradable
3 FAN Yes disruptive Module Upgradable
Retrieving EPLD versions... Please wait.
Images will be upgraded according to following table:
Module Type EPLD Running-Version New-Version Upg-Required
------ ---- ------------- --------------- ----------- ------------
1 LC Power Manager SPI 1.007 1.007 No
1 LC IO SPI 0.031 0.031 No
1 LC SFP SPI 1.003 1.003 No
2 LC Power Manager SPI 1.007 1.007 No
2 LC IO SPI 0.031 0.031 No
2 LC SFP SPI 1.003 1.003 No
5 SUP Power Manager SPI 20.000 20.000 No
6 SUP Power Manager SPI 20.000 20.000 No
7 LC Power Manager SPI 1.008 1.008 No
7 LC IO SPI 0.021 0.021 No
8 LC Power Manager SPI 1.008 1.008 No
8 LC IO SPI 0.021 0.021 No
9 LC Power Manager SPI 1.008 1.008 No
9 LC IO SPI 0.021 0.021 No
10 LC Power Manager SPI 1.008 1.008 No
10 LC IO SPI 0.021 0.021 No
1 Xbar Power Manager 1.003 1.003 No
2 Xbar Power Manager 1.003 1.003 No
3 Xbar Power Manager 1.003 1.003 No
4 Xbar Power Manager 1.003 1.003 No
5 Xbar Power Manager 1.003 1.003 No
6 Xbar Power Manager 1.003 1.003 No
1 FAN Fan Controller (1) 0.005 0.006 Yes
1 FAN Fan Controller (2) 0.005 0.006 Yes
2 FAN Fan Controller (1) 0.005 0.006 Yes
2 FAN Fan Controller (2) 0.005 0.006 Yes
3 FAN Fan Controller (1) 0.005 0.006 Yes
3 FAN Fan Controller (2) 0.005 0.006 Yes
The above modules require upgrade.
Date: 2016-10-21 19:15:20 UTC
Le châssis est up électriquement ( ~20min+ pour faire le swap )
Recâblage des fibre en cours
Date: 2016-10-21 18:44:15 UTC
le router est isoler, nous coupons le chassis.
Date: 2016-10-21 18:25:10 UTC
Nous débutons l'intervention par isoler l'asr
Date: 2016-10-21 14:55:15 UTC
Le nouveau châssis est arrivé sur site, nos préparons l'intervention a partir de 20h CEST
Date: 2016-10-20 23:12:06 UTC
Le reload ne fixe pas. Nos divers tests hardware indiquent que le chassis en slot 7 présente un défaut qui l'empêche de communiquer correctement avec la fabric n°2 / xbar.
Nous avons remis en service le couple sans la linecard 7 est vérifions avec Cisco quand nous pouvons organiser le RMA du chassis tout neuf :(
Date: 2016-10-20 22:48:21 UTC
Nous suspectons un defaut physique dans le slot 7 du chassis :(
Nous reloadons nw-5-n7 afin de vérifier que c'est le chassis qui pose problème.
Date: 2016-10-20 21:36:35 UTC
Le problème de la xbar/fabric 2 provient uniquement d'un défaut sur la linecard 7.
Nous avons remis la fabric d'origine et remplacons la carte 7.
Date: 2016-10-20 21:25:07 UTC
Nous remplacons la fabric défectueuse avant de tenter un nouvel upgrade de la carte 7.
Date: 2016-10-20 08:41:53 UTC
Les ports sont bougés, la weathermap est à jour. Nous avons désormais une capacité de 3,2Tbps de routage sur le POP de Newark
Nous lancons les RMA pour une carte 12x100G et la XBAR / Fabric qui pose problème.
Nous les remplacerons demain.
Date: 2016-10-20 07:20:09 UTC
Nous avons désormais 1,6T de capacité sur l'ensemble nwk-1-n7 / nwk-1-a9.
Nous avons une fabric HS sur nwk-5-n7 (confirmé, malgré l'OIR) et un port HS sur la linecard 8 (malgré l'OIR).
Nous allons bouger les ports un par un des cartes 7 et 8 sur 9 et 10 pour que le RMA soit plus aisé.
Date: 2016-10-20 05:07:07 UTC
nwk-1-a9 et nwk-1-n7 sont mis à jour dans la dernière version
nous passons à l'upgrade des EPLD sur le n7
Date: 2016-10-20 04:11:10 UTC
nwk-1-a9 est en cours de mise à jour
nwk-1-n7 vient d'être remplacé, nous le rallumons pour procéder à sa mise à jour et reload de sa config.
Date: 2016-10-20 03:15:45 UTC
Le routeur nwk-1-a9 est isolé, nous remplacons nwk-1-n7 par un 7710 avec 48x100G.
Nous lancons la mise à jour de nwk-1-a9
Date: 2016-10-20 02:49:57 UTC
Nous allons isolé nwk-1-n7 et nwk-1-a9 afin de procéder à leur remplacement et mise à jour.
Date: 2016-10-19 15:24:36 UTC
Nous avons désormais 1,5T de capacité sur l'ensemble nwk-5-n7 / nwk-5-a9.
Nous avons une fabric HS sur nwk-5-n7 et un port HS + un upgrade EPLD qui ne passe pas, nous allons faire les OIR cette nuit avant de partir sur un RMA.
Date: 2016-10-19 06:41:09 UTC
Nous avons remis en service le routeur malgré :
- un port HS sur une linecard de nwk-5-n7
- un upgrade EPLD failed sur le module 7 de nwk-5-n7
Nous allons investiguer ces 2 points avec Cisco dans la journée et également vérifier certains couts OSPF qui ont provoqué des saturations pendant la migration de nwk-5-*
Date: 2016-10-19 05:38:10 UTC
nwk-5-a9 est à jour dans la dernière version stable
nous sommes en train d'upgrader les EPLD sur nwk-5-n7
Date: 2016-10-19 05:19:20 UTC
nwk-5-a9 redémarre
Date: 2016-10-19 05:16:24 UTC
Les FPD sont upgradés sur les RSP de nwk-5-a9. Les upgrades des FPD des LC ont démarrés.
L'ISSU de nwk-5-n7 est toujours en cours.
Date: 2016-10-19 04:47:40 UTC
nwk-5-n7 est désormais remplacé par un 7710. Nous mettons à jour ce dernier.
La mise à jour de nwk-5-a9 est également en cours.
Date: 2016-10-19 03:31:06 UTC
Le routeur est isolé nous coupons nwk-5-n7 pour son remplacement
Date: 2016-10-19 02:48:22 UTC
Nous isolons nwk-5-a9 pour démarrer la maintenance.
Cette opération va avoir lieu le mercredi 08/10 à partir de 5h00 GMT+2, soit 11.00pm heure locale (EDT)
Les peerings BGP et l'OSPF seront isolés pendant la maintenance. Le trafic s'écoulera sur le couple nwk-1-a9 / nwk-1-n7 qui sera remplacé également le lendemain même heure.
Update(s):
Date: 2016-10-21 21:58:28 UTC
All done !
Date: 2016-10-21 20:41:00 UTC
traffic UP, nous avons qq ports avec du CRC => nous checkons
Date: 2016-10-21 20:12:02 UTC
Nous avons actuellement des CRC sur un lien entre BHS-G1-A75 et NWK-1-N7, mais à l'heure actuelle nous n'avons pas assez de capacité pour isoler ce lien. Nous devons attendre la fin de l'intervention sur NWK-5-N7 pour procéder à l'isolation de cette fibre.
Date: 2016-10-21 19:44:52 UTC
Fan 3 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 3 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 3 EPLD upgrade is successful.
EPLD Upgrade Completed.
Module Type Upgrade-Result
------ ---- --------------
1 FAN Success
2 FAN Success
3 FAN Success
nwk-5-n7#
Date: 2016-10-21 19:38:15 UTC
Starting Fan Module 2 EPLD Upgrade
Fan 2 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 2 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 2 EPLD upgrade is successful.
Starting Fan Module 3 EPLD Upgrade
Fan 3 (1 of 2) : Fan Controller [Programming ] : 50.00% ( 67829 of 135658 total bytes)
Date: 2016-10-21 19:30:26 UTC
Starting Fan Module 1 EPLD Upgrade
Fan 1 (1 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Fan 1 (2 of 2) : Fan Controller [Verifying ] : 100.00% ( 135658 of 135658 total bytes)
Waiting for Module to come online.
Fan Module 1 EPLD upgrade is successful.
Starting Fan Module 2 EPLD Upgrade
Date: 2016-10-21 19:22:38 UTC
n7 up
Nous upgradons les EPLB sur le nouveau chassis ( ici les FAN )
Compatibility check:
Module Type Upgradable Impact Reason
------ ---- ---------- ---------- ------
1 LC Yes disruptive Module Upgradable
2 LC Yes disruptive Module Upgradable
5 SUP Yes disruptive Module Upgradable
6 SUP Yes disruptive Module Upgradable
7 LC Yes disruptive Module Upgradable
8 LC Yes disruptive Module Upgradable
9 LC Yes disruptive Module Upgradable
10 LC Yes disruptive Module Upgradable
1 Xbar Yes disruptive Module Upgradable
2 Xbar Yes disruptive Module Upgradable
3 Xbar Yes disruptive Module Upgradable
4 Xbar Yes disruptive Module Upgradable
5 Xbar Yes disruptive Module Upgradable
6 Xbar Yes disruptive Module Upgradable
1 FAN Yes disruptive Module Upgradable
2 FAN Yes disruptive Module Upgradable
3 FAN Yes disruptive Module Upgradable
Retrieving EPLD versions... Please wait.
Images will be upgraded according to following table:
Module Type EPLD Running-Version New-Version Upg-Required
------ ---- ------------- --------------- ----------- ------------
1 LC Power Manager SPI 1.007 1.007 No
1 LC IO SPI 0.031 0.031 No
1 LC SFP SPI 1.003 1.003 No
2 LC Power Manager SPI 1.007 1.007 No
2 LC IO SPI 0.031 0.031 No
2 LC SFP SPI 1.003 1.003 No
5 SUP Power Manager SPI 20.000 20.000 No
6 SUP Power Manager SPI 20.000 20.000 No
7 LC Power Manager SPI 1.008 1.008 No
7 LC IO SPI 0.021 0.021 No
8 LC Power Manager SPI 1.008 1.008 No
8 LC IO SPI 0.021 0.021 No
9 LC Power Manager SPI 1.008 1.008 No
9 LC IO SPI 0.021 0.021 No
10 LC Power Manager SPI 1.008 1.008 No
10 LC IO SPI 0.021 0.021 No
1 Xbar Power Manager 1.003 1.003 No
2 Xbar Power Manager 1.003 1.003 No
3 Xbar Power Manager 1.003 1.003 No
4 Xbar Power Manager 1.003 1.003 No
5 Xbar Power Manager 1.003 1.003 No
6 Xbar Power Manager 1.003 1.003 No
1 FAN Fan Controller (1) 0.005 0.006 Yes
1 FAN Fan Controller (2) 0.005 0.006 Yes
2 FAN Fan Controller (1) 0.005 0.006 Yes
2 FAN Fan Controller (2) 0.005 0.006 Yes
3 FAN Fan Controller (1) 0.005 0.006 Yes
3 FAN Fan Controller (2) 0.005 0.006 Yes
The above modules require upgrade.
Date: 2016-10-21 19:15:20 UTC
Le châssis est up électriquement ( ~20min+ pour faire le swap )
Recâblage des fibre en cours
Date: 2016-10-21 18:44:15 UTC
le router est isoler, nous coupons le chassis.
Date: 2016-10-21 18:25:10 UTC
Nous débutons l'intervention par isoler l'asr
Date: 2016-10-21 14:55:15 UTC
Le nouveau châssis est arrivé sur site, nos préparons l'intervention a partir de 20h CEST
Date: 2016-10-20 23:12:06 UTC
Le reload ne fixe pas. Nos divers tests hardware indiquent que le chassis en slot 7 présente un défaut qui l'empêche de communiquer correctement avec la fabric n°2 / xbar.
Nous avons remis en service le couple sans la linecard 7 est vérifions avec Cisco quand nous pouvons organiser le RMA du chassis tout neuf :(
Date: 2016-10-20 22:48:21 UTC
Nous suspectons un defaut physique dans le slot 7 du chassis :(
Nous reloadons nw-5-n7 afin de vérifier que c'est le chassis qui pose problème.
Date: 2016-10-20 21:36:35 UTC
Le problème de la xbar/fabric 2 provient uniquement d'un défaut sur la linecard 7.
Nous avons remis la fabric d'origine et remplacons la carte 7.
Date: 2016-10-20 21:25:07 UTC
Nous remplacons la fabric défectueuse avant de tenter un nouvel upgrade de la carte 7.
Date: 2016-10-20 08:41:53 UTC
Les ports sont bougés, la weathermap est à jour. Nous avons désormais une capacité de 3,2Tbps de routage sur le POP de Newark
Nous lancons les RMA pour une carte 12x100G et la XBAR / Fabric qui pose problème.
Nous les remplacerons demain.
Date: 2016-10-20 07:20:09 UTC
Nous avons désormais 1,6T de capacité sur l'ensemble nwk-1-n7 / nwk-1-a9.
Nous avons une fabric HS sur nwk-5-n7 (confirmé, malgré l'OIR) et un port HS sur la linecard 8 (malgré l'OIR).
Nous allons bouger les ports un par un des cartes 7 et 8 sur 9 et 10 pour que le RMA soit plus aisé.
Date: 2016-10-20 05:07:07 UTC
nwk-1-a9 et nwk-1-n7 sont mis à jour dans la dernière version
nous passons à l'upgrade des EPLD sur le n7
Date: 2016-10-20 04:11:10 UTC
nwk-1-a9 est en cours de mise à jour
nwk-1-n7 vient d'être remplacé, nous le rallumons pour procéder à sa mise à jour et reload de sa config.
Date: 2016-10-20 03:15:45 UTC
Le routeur nwk-1-a9 est isolé, nous remplacons nwk-1-n7 par un 7710 avec 48x100G.
Nous lancons la mise à jour de nwk-1-a9
Date: 2016-10-20 02:49:57 UTC
Nous allons isolé nwk-1-n7 et nwk-1-a9 afin de procéder à leur remplacement et mise à jour.
Date: 2016-10-19 15:24:36 UTC
Nous avons désormais 1,5T de capacité sur l'ensemble nwk-5-n7 / nwk-5-a9.
Nous avons une fabric HS sur nwk-5-n7 et un port HS + un upgrade EPLD qui ne passe pas, nous allons faire les OIR cette nuit avant de partir sur un RMA.
Date: 2016-10-19 06:41:09 UTC
Nous avons remis en service le routeur malgré :
- un port HS sur une linecard de nwk-5-n7
- un upgrade EPLD failed sur le module 7 de nwk-5-n7
Nous allons investiguer ces 2 points avec Cisco dans la journée et également vérifier certains couts OSPF qui ont provoqué des saturations pendant la migration de nwk-5-*
Date: 2016-10-19 05:38:10 UTC
nwk-5-a9 est à jour dans la dernière version stable
nous sommes en train d'upgrader les EPLD sur nwk-5-n7
Date: 2016-10-19 05:19:20 UTC
nwk-5-a9 redémarre
Date: 2016-10-19 05:16:24 UTC
Les FPD sont upgradés sur les RSP de nwk-5-a9. Les upgrades des FPD des LC ont démarrés.
L'ISSU de nwk-5-n7 est toujours en cours.
Date: 2016-10-19 04:47:40 UTC
nwk-5-n7 est désormais remplacé par un 7710. Nous mettons à jour ce dernier.
La mise à jour de nwk-5-a9 est également en cours.
Date: 2016-10-19 03:31:06 UTC
Le routeur est isolé nous coupons nwk-5-n7 pour son remplacement
Date: 2016-10-19 02:48:22 UTC
Nous isolons nwk-5-a9 pour démarrer la maintenance.