OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
RBX1 reseau interne
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Dans le cadre de
http://travaux.ovh.net/?do=details&id=9215
nous allons changer l'AREA OSPF de tous
les petits routeurs à RBX1.
Update(s):
Date: 2013-08-30 13:17:57 UTC
all done
Date: 2013-08-30 12:39:29 UTC
l'ancien reseau RBX/GRA coupé. le trafic s'ecoule
bien entre les DCs à travers le nouveau reseau
interne.
Date: 2013-08-30 12:31:52 UTC
fait
l'ancien reseau SBG/RBX coupé. la mitigation par le VAC2
à SBG et VAC3 à BHS arrive bien sur les serveurs
hébergés sur RBX1. yes :)
les packets de SBG à RBX passent bien sur le nouveau
reseau interne.
Date: 2013-08-30 12:18:52 UTC
fait.
on peut maintenant isoler le reseau interne
de la backbone.
Date: 2013-08-30 12:10:30 UTC
La configuration est terminée. Nous n'avons eu aucun
soucis.
Nous allons maintenant isoler RBX1 de la backbone
comme tous les autres routeurs de DCs.
Date: 2013-08-30 08:51:48 UTC
On va terminer la reconfiguration de 42 routeurs
restant. Pour cela, on va directement mettre la
configuration BGP puis on coupera l'OSPF apres
les verifications.
Date: 2013-08-30 00:30:05 UTC
Sur RBX1 nous avons une configuration de reseau
très particuliere qui se base sur 2 routeurs de RBX1
rbx-1-6k et rbx-2-6k. Ces 2 routeurs gere l'interco
d'environ 120-130 petits routeurs. C'est une archi
qui date de 2006 que nous n'avons qu'à RBX1 et la
particularité de cette configuration rendait toutes
les mise en place de nouveaux services complexes
(le VAC, le vrack etc). Il fallait qu'on simplifie
cette configuration en attendant de remplacer tous
ces routeurs par 4 gros, comme dans tous les autres
DC (les 4 routeurs sont arrivés il y a 2 semaines
et on pense faire la migration de RBX1 fin septembre).
On savait la simplification de cette configuration
allait avoir l'impact sur la disponibilité sur DC RBX1
et on savat qu'on allait devoir changer quelques
routeurs par les spares. On a donc preferé faire
l'inter dans la journée où nous avons le maximum
des staffs pour intervenir rapidement sur le hard.
et ça n'a pas loupé. Nous avons finalement dû virer
l'OSPF completement et mettre que le BGP.
88 routeurs ont été reconfigurés et il en reste encore 42.
On pourra pousser la configuration definitive sur
ces 42 derniers routeurs sans generer de pannes
nouvelles puis apres retirer l'ancienne conf. Après
le coup on se dit qu'on aurait dû faire ça dés le depart ..
Le probleme de RBX1 a impacté 2 autre routeurs qui
s'occupent du vrack 1.0 et qui n'ont pas été mis à jour
il y a 2-3 mois. Avec un uptime de plusieurs années
et les problemes d'aujourd'hui, nous avons eu la
fragmentation de la RAM et nous avons dû les redemarrer.
Les autres DC n'ont pas été impactés. Le probleme
concernait le DC RBX1 rt une partie de la soirée
le vrack 1.0 / IP LB. Le VAC1 ne fonctionnait pas
correctement durant une periode.
Nous sommes désolés pour la panne generées et sa durée.
Date: 2013-08-29 22:09:33 UTC
Le reseau interne est remonté. Le reseau RBX1 est stable.
Date: 2013-08-29 21:48:08 UTC
La communicaaion entre les routeurs de RBX
ne passe plus par le reseau interne mais
par la backbone. On regarde pour fixer ce
probleme.
Date: 2013-08-29 21:07:22 UTC
c'est UP sur au moins un routeur sur 2. L'OSPF est
coupé. et tout refonctionne mais sur le BGP.
Date: 2013-08-29 21:00:53 UTC
il nous reste 2 routeurs à remonter.
Date: 2013-08-29 19:38:35 UTC
nous allons remplacer l'OSPF par le BGP pour
accelerer la fin des travaux.
Date: 2013-08-29 18:13:44 UTC
on a fini les routeurs du 1er vlan (80 routeurs)
mais l'inter ne se passe pas comme prevue.
les process OSPF ne veulent plus remonter. on
est en train de simplifier la configuration pour
eviter d'annocer tous les LSA puis redemarrer
les routeurs qui ont planté. on a déjà quelques
routeurs UP. mais il reste beaucoup à faire.
Date: 2013-08-29 16:28:26 UTC
rbx-7/8/9/10/11/12/14/15/16/17-m1/m2: done
il y a de la casse dans les cartes. sur rbx-14, rbx-4, rbx-3.
on remplace par les spares.
Date: 2013-08-29 15:17:29 UTC
rbx-3/4/5/6-m1/m2 done
http://travaux.ovh.net/?do=details&id=9215
nous allons changer l'AREA OSPF de tous
les petits routeurs à RBX1.
Update(s):
Date: 2013-08-30 13:17:57 UTC
all done
Date: 2013-08-30 12:39:29 UTC
l'ancien reseau RBX/GRA coupé. le trafic s'ecoule
bien entre les DCs à travers le nouveau reseau
interne.
Date: 2013-08-30 12:31:52 UTC
fait
l'ancien reseau SBG/RBX coupé. la mitigation par le VAC2
à SBG et VAC3 à BHS arrive bien sur les serveurs
hébergés sur RBX1. yes :)
les packets de SBG à RBX passent bien sur le nouveau
reseau interne.
Date: 2013-08-30 12:18:52 UTC
fait.
on peut maintenant isoler le reseau interne
de la backbone.
Date: 2013-08-30 12:10:30 UTC
La configuration est terminée. Nous n'avons eu aucun
soucis.
Nous allons maintenant isoler RBX1 de la backbone
comme tous les autres routeurs de DCs.
Date: 2013-08-30 08:51:48 UTC
On va terminer la reconfiguration de 42 routeurs
restant. Pour cela, on va directement mettre la
configuration BGP puis on coupera l'OSPF apres
les verifications.
Date: 2013-08-30 00:30:05 UTC
Sur RBX1 nous avons une configuration de reseau
très particuliere qui se base sur 2 routeurs de RBX1
rbx-1-6k et rbx-2-6k. Ces 2 routeurs gere l'interco
d'environ 120-130 petits routeurs. C'est une archi
qui date de 2006 que nous n'avons qu'à RBX1 et la
particularité de cette configuration rendait toutes
les mise en place de nouveaux services complexes
(le VAC, le vrack etc). Il fallait qu'on simplifie
cette configuration en attendant de remplacer tous
ces routeurs par 4 gros, comme dans tous les autres
DC (les 4 routeurs sont arrivés il y a 2 semaines
et on pense faire la migration de RBX1 fin septembre).
On savait la simplification de cette configuration
allait avoir l'impact sur la disponibilité sur DC RBX1
et on savat qu'on allait devoir changer quelques
routeurs par les spares. On a donc preferé faire
l'inter dans la journée où nous avons le maximum
des staffs pour intervenir rapidement sur le hard.
et ça n'a pas loupé. Nous avons finalement dû virer
l'OSPF completement et mettre que le BGP.
88 routeurs ont été reconfigurés et il en reste encore 42.
On pourra pousser la configuration definitive sur
ces 42 derniers routeurs sans generer de pannes
nouvelles puis apres retirer l'ancienne conf. Après
le coup on se dit qu'on aurait dû faire ça dés le depart ..
Le probleme de RBX1 a impacté 2 autre routeurs qui
s'occupent du vrack 1.0 et qui n'ont pas été mis à jour
il y a 2-3 mois. Avec un uptime de plusieurs années
et les problemes d'aujourd'hui, nous avons eu la
fragmentation de la RAM et nous avons dû les redemarrer.
Les autres DC n'ont pas été impactés. Le probleme
concernait le DC RBX1 rt une partie de la soirée
le vrack 1.0 / IP LB. Le VAC1 ne fonctionnait pas
correctement durant une periode.
Nous sommes désolés pour la panne generées et sa durée.
Date: 2013-08-29 22:09:33 UTC
Le reseau interne est remonté. Le reseau RBX1 est stable.
Date: 2013-08-29 21:48:08 UTC
La communicaaion entre les routeurs de RBX
ne passe plus par le reseau interne mais
par la backbone. On regarde pour fixer ce
probleme.
Date: 2013-08-29 21:07:22 UTC
c'est UP sur au moins un routeur sur 2. L'OSPF est
coupé. et tout refonctionne mais sur le BGP.
Date: 2013-08-29 21:00:53 UTC
il nous reste 2 routeurs à remonter.
Date: 2013-08-29 19:38:35 UTC
nous allons remplacer l'OSPF par le BGP pour
accelerer la fin des travaux.
Date: 2013-08-29 18:13:44 UTC
on a fini les routeurs du 1er vlan (80 routeurs)
mais l'inter ne se passe pas comme prevue.
les process OSPF ne veulent plus remonter. on
est en train de simplifier la configuration pour
eviter d'annocer tous les LSA puis redemarrer
les routeurs qui ont planté. on a déjà quelques
routeurs UP. mais il reste beaucoup à faire.
Date: 2013-08-29 16:28:26 UTC
rbx-7/8/9/10/11/12/14/15/16/17-m1/m2: done
il y a de la casse dans les cartes. sur rbx-14, rbx-4, rbx-3.
on remplace par les spares.
Date: 2013-08-29 15:17:29 UTC
rbx-3/4/5/6-m1/m2 done