OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
rbx1-3a/b-a9, rbx1-4a/b-vr et rbx1-5a/b-vr
Scheduled Maintenance
Report for Network & Infrastructure
Completed
Dans la continuité des interventions de migration de rbx1-3a/b-a9 vers rbx1-4a/b-vr et rbx1-5a/b-vr:
http://travaux.ovh.net/?do=details&id=19336
http://travaux.ovh.net/?do=details&id=17552
http://travaux.ovh.net/?do=details&id=18034
Nous allons migrer les réseaux suivants Mercredi 17 Août à partir de 7h:
91.121.201.0/24
91.121.203.0/24
91.121.205.0/24
91.121.207.0/24
87.98.217.0/24
87.98.219.0/24
91.121.1.0/24
91.121.3.0/24
91.121.5.0/24
91.121.7.0/24
91.121.9.0/24
91.121.11.0/24
91.121.13.0/24
91.121.15.0/24
91.121.17.0/24
91.121.19.0/24
91.121.21.0/24
91.121.23.0/24
91.121.25.0/24
91.121.27.0/24
91.121.29.0/24
91.121.31.0/24
91.121.65.0/24
91.121.67.0/24
91.121.69.0/24
91.121.71.0/24
91.121.73.0/24
91.121.75.0/24
91.121.77.0/24
91.121.79.0/24
91.121.81.0/24
91.121.83.0/24
91.121.85.0/24
91.121.87.0/24
91.121.89.0/24
91.121.91.0/24
91.121.93.0/24
91.121.95.0/24
91.121.97.0/24
91.121.99.0/24
91.121.101.0/24
91.121.103.0/24
91.121.105.0/24
91.121.107.0/24
91.121.109.0/24
91.121.111.0/24
91.121.113.0/24
91.121.115.0/24
91.121.117.0/24
91.121.119.0/24
91.121.121.0/24
91.121.123.0/24
91.121.133.0/24
91.121.135.0/24
91.121.137.0/24
91.121.139.0/24
91.121.141.0/24
91.121.143.0/24
91.121.145.0/24
91.121.147.0/24
91.121.149.0/24
91.121.151.0/24
91.121.153.0/24
91.121.155.0/24
91.121.156.0/24
91.121.157.0/24
91.121.158.0/24
91.121.159.0/24
91.121.160.0/24
91.121.161.0/24
91.121.162.0/24
91.121.163.0/24
91.121.164.0/24
91.121.165.0/24
91.121.166.0/24
91.121.167.0/24
91.121.168.0/24
91.121.169.0/24
91.121.170.0/24
91.121.171.0/24
91.121.172.0/24
91.121.173.0/24
91.121.174.0/24
91.121.175.0/24
91.121.176.0/24
91.121.177.0/24
91.121.178.0/24
91.121.179.0/24
91.121.180.0/24
91.121.181.0/24
91.121.182.0/24
91.121.183.0/24
91.121.184.0/24
91.121.185.0/24
91.121.208.0/24
91.121.209.0/24
91.121.210.0/24
91.121.211.0/24
91.121.220.0/24
91.121.221.0/24
91.121.222.0/24
91.121.223.0/24
213.251.184.0/24
213.251.185.0/24
213.251.186.0/24
213.251.187.0/24
91.121.192.0/24
91.121.193.0/24
91.121.194.0/24
91.121.195.0/24
91.121.196.0/24
91.121.197.0/24
91.121.198.0/24
91.121.199.0/24
Une coupure de quelques secondes sera observée lors du passage d'HSRP vers VRRP.
Update(s):
Date: 2016-11-24 15:20:29 UTC
Nous fermons la tache travaux en attendant de reprendre les migrations.
Date: 2016-08-18 04:18:57 UTC
Il n'y a plus de faux-positif sur les serveurs.
Date: 2016-08-18 03:11:38 UTC
Les vlans sont rollback sur le a9 en HSRP
Il reste des faux-positif dans le monitoring, nous cherchons la cause car les srv ping depuis les machines SLA.
Date: 2016-08-18 01:12:58 UTC
Nous constatons des problèmes de monitoring depuis 1h20 am, nous pensons que le rbx1-5b-vr ne fait pas correctement le rôle du proxy-arp.
Nous procédons au rollback vrrp -> hsrp sur le A9.
Quelques secondes de coupure sont à prévoir par Vlan le temps de la bascule.
Date: 2016-08-17 16:34:26 UTC
L'ensemble du trafic est désormais géré par les ASR, seul le proxy-arp est assuré par rbx1-5b-vr.
Nous avons constaté qu'avec l'augmentation de trafic suite à la migration, les interfaces se sont mises à flapper.
Maintenant que le trafic est assuré par les ASR, ça ne devrait plus flapper et le monitoring devrait rester stable le temps qu'on troubleshoot.
Date: 2016-08-17 14:22:11 UTC
Nous sommes toujours confrontés à des problèmes de monitoring. Les interfaces qui flappaient continuent de flapper.
Nous avons donc été contraint de repasser les ASR en Master VRRP et de garder le proxy-arp sur les vRouters afin de ne plus avoir de fausses alarmes.
Il semblerait y avoir une différence au niveau hardware qui pourrait causer ces coupures de cartes réseaux.
Nous recherchons la source et faisons le nécessaire afin d'éviter la remontée de fausses alarmes.
Date: 2016-08-17 10:55:08 UTC
La migration est terminée.
Des coupures ont pu être observées dûes vraisemblablement à un problème de version d'un des couples de switches au-dessus ou de la version des drivers réseaux sur les vRouters.
Les interfaces vers un des couples de vRouters se sont mis à flapper.
En downgradant les drivers d'un des couples de vRouters dans la même version que ceux installés sur le couple qui ne posait pas de problèmes, les flap ont céssés.
Nous allons investiguer sur la root cause.
Veuillez nous excuser pour la gène occasionnée.
Date: 2016-08-17 05:05:45 UTC
Nous commençons la migration.
http://travaux.ovh.net/?do=details&id=19336
http://travaux.ovh.net/?do=details&id=17552
http://travaux.ovh.net/?do=details&id=18034
Nous allons migrer les réseaux suivants Mercredi 17 Août à partir de 7h:
91.121.201.0/24
91.121.203.0/24
91.121.205.0/24
91.121.207.0/24
87.98.217.0/24
87.98.219.0/24
91.121.1.0/24
91.121.3.0/24
91.121.5.0/24
91.121.7.0/24
91.121.9.0/24
91.121.11.0/24
91.121.13.0/24
91.121.15.0/24
91.121.17.0/24
91.121.19.0/24
91.121.21.0/24
91.121.23.0/24
91.121.25.0/24
91.121.27.0/24
91.121.29.0/24
91.121.31.0/24
91.121.65.0/24
91.121.67.0/24
91.121.69.0/24
91.121.71.0/24
91.121.73.0/24
91.121.75.0/24
91.121.77.0/24
91.121.79.0/24
91.121.81.0/24
91.121.83.0/24
91.121.85.0/24
91.121.87.0/24
91.121.89.0/24
91.121.91.0/24
91.121.93.0/24
91.121.95.0/24
91.121.97.0/24
91.121.99.0/24
91.121.101.0/24
91.121.103.0/24
91.121.105.0/24
91.121.107.0/24
91.121.109.0/24
91.121.111.0/24
91.121.113.0/24
91.121.115.0/24
91.121.117.0/24
91.121.119.0/24
91.121.121.0/24
91.121.123.0/24
91.121.133.0/24
91.121.135.0/24
91.121.137.0/24
91.121.139.0/24
91.121.141.0/24
91.121.143.0/24
91.121.145.0/24
91.121.147.0/24
91.121.149.0/24
91.121.151.0/24
91.121.153.0/24
91.121.155.0/24
91.121.156.0/24
91.121.157.0/24
91.121.158.0/24
91.121.159.0/24
91.121.160.0/24
91.121.161.0/24
91.121.162.0/24
91.121.163.0/24
91.121.164.0/24
91.121.165.0/24
91.121.166.0/24
91.121.167.0/24
91.121.168.0/24
91.121.169.0/24
91.121.170.0/24
91.121.171.0/24
91.121.172.0/24
91.121.173.0/24
91.121.174.0/24
91.121.175.0/24
91.121.176.0/24
91.121.177.0/24
91.121.178.0/24
91.121.179.0/24
91.121.180.0/24
91.121.181.0/24
91.121.182.0/24
91.121.183.0/24
91.121.184.0/24
91.121.185.0/24
91.121.208.0/24
91.121.209.0/24
91.121.210.0/24
91.121.211.0/24
91.121.220.0/24
91.121.221.0/24
91.121.222.0/24
91.121.223.0/24
213.251.184.0/24
213.251.185.0/24
213.251.186.0/24
213.251.187.0/24
91.121.192.0/24
91.121.193.0/24
91.121.194.0/24
91.121.195.0/24
91.121.196.0/24
91.121.197.0/24
91.121.198.0/24
91.121.199.0/24
Une coupure de quelques secondes sera observée lors du passage d'HSRP vers VRRP.
Update(s):
Date: 2016-11-24 15:20:29 UTC
Nous fermons la tache travaux en attendant de reprendre les migrations.
Date: 2016-08-18 04:18:57 UTC
Il n'y a plus de faux-positif sur les serveurs.
Date: 2016-08-18 03:11:38 UTC
Les vlans sont rollback sur le a9 en HSRP
Il reste des faux-positif dans le monitoring, nous cherchons la cause car les srv ping depuis les machines SLA.
Date: 2016-08-18 01:12:58 UTC
Nous constatons des problèmes de monitoring depuis 1h20 am, nous pensons que le rbx1-5b-vr ne fait pas correctement le rôle du proxy-arp.
Nous procédons au rollback vrrp -> hsrp sur le A9.
Quelques secondes de coupure sont à prévoir par Vlan le temps de la bascule.
Date: 2016-08-17 16:34:26 UTC
L'ensemble du trafic est désormais géré par les ASR, seul le proxy-arp est assuré par rbx1-5b-vr.
Nous avons constaté qu'avec l'augmentation de trafic suite à la migration, les interfaces se sont mises à flapper.
Maintenant que le trafic est assuré par les ASR, ça ne devrait plus flapper et le monitoring devrait rester stable le temps qu'on troubleshoot.
Date: 2016-08-17 14:22:11 UTC
Nous sommes toujours confrontés à des problèmes de monitoring. Les interfaces qui flappaient continuent de flapper.
Nous avons donc été contraint de repasser les ASR en Master VRRP et de garder le proxy-arp sur les vRouters afin de ne plus avoir de fausses alarmes.
Il semblerait y avoir une différence au niveau hardware qui pourrait causer ces coupures de cartes réseaux.
Nous recherchons la source et faisons le nécessaire afin d'éviter la remontée de fausses alarmes.
Date: 2016-08-17 10:55:08 UTC
La migration est terminée.
Des coupures ont pu être observées dûes vraisemblablement à un problème de version d'un des couples de switches au-dessus ou de la version des drivers réseaux sur les vRouters.
Les interfaces vers un des couples de vRouters se sont mis à flapper.
En downgradant les drivers d'un des couples de vRouters dans la même version que ceux installés sur le couple qui ne posait pas de problèmes, les flap ont céssés.
Nous allons investiguer sur la root cause.
Veuillez nous excuser pour la gène occasionnée.
Date: 2016-08-17 05:05:45 UTC
Nous commençons la migration.
This scheduled maintenance affected: Infrastructure || RBX (RBX1).