OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
vss-2-6k
Incident Report for Network & Infrastructure
Resolved
Suite aux travaux sur le vss-2-6k,
http://travaux.ovh.com/?do=details&id=4440

nous allons lui changer la
configuration. Il faudra redemarrer le routeur. Ca va prendre
entre 15 et 30 minutes, le temps que tous les services reviennent.

Update(s):

Date: 2010-08-11 00:50:47 UTC
On tourne le vss-2 en SXI4 et vss-1 en SXI3

Date: 2010-08-11 00:47:02 UTC
Par contre si on entre tous les coupes ARP (ip / mac)
en dure dans la configuration du vss-2 (sans le vss)

vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 346496 199544 1736 9.27% 10.86% 7.00% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 347292 199971 1736 12.55% 11.00% 7.10% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 348988 201194 1734 8.71% 11.00% 7.29% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 349636 201672 1733 6.07% 10.60% 7.27% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 349824 201835 1733 6.07% 10.60% 7.27% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 352136 203472 1730 5.67% 9.90% 7.39% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 352236 203582 1730 5.67% 9.90% 7.39% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 352644 203863 1729 4.95% 9.22% 7.33% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 353312 204440 1728 6.31% 8.99% 7.31% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 353424 204536 1727 6.31% 8.99% 7.31% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 354572 206110 1720 4.00% 7.54% 7.11% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 354652 206216 1719 4.39% 7.29% 7.06% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 354716 206331 1719 4.39% 7.29% 7.06% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 355460 207418 1713 6.07% 7.35% 7.08% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 355620 207676 1712 3.91% 7.08% 7.03% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 355780 207846 1711 4.39% 6.86% 6.99% 0 ARP Input

On tourne à 7%.

La même chose sur le vss-1 ne donne aucun changement.


Date: 2010-08-11 00:45:10 UTC
Au même moment

vss-1 est en configuration vss sur 2 chassis

vss-1-6k#sh mac address-table count
MAC Entries for all vlans :
Dynamic Address Count: 15335
Static Address (User-defined) Count: 203
Total MAC Addresses In Use: 15538
Total MAC Addresses Available: 98304

vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323435524 945282146 2457 14.13% 9.71% 9.00% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323435736 945282250 2457 5.67% 9.39% 8.95% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323435912 945282352 2457 5.67% 9.39% 8.95% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323436364 945282523 2457 6.23% 9.14% 8.90% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323439488 945283857 2457 8.15% 8.44% 8.75% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323439592 945283919 2457 5.83% 8.23% 8.70% 0 ARP Input
vss-1-6k#sh proc cpu sorted 5se | i \\ ARP Inpu
11 2323455304 945290219 2457 12.20% 8.58% 8.76% 0 ARP Input

On tourne à 8.7% du CPU en moyenne

et le vss-2 (qui n'est plus en configuration vss):

vss-2-6k#sh mac address-table count
MAC Entries for all vlans :
Dynamic Address Count: 13852
Static Address (User-defined) Count: 219
Total MAC Addresses In Use: 14071
Total MAC Addresses Available: 98304

vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 357252 209768 1703 4.00% 5.60% 6.65% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 358652 211589 1695 3.51% 4.92% 6.37% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 358972 212102 1692 3.51% 4.69% 6.28% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 359112 212350 1691 3.27% 4.58% 6.22% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 366596 220474 1662 8.23% 4.50% 5.51% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 366708 220685 1661 4.23% 4.47% 5.48% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 366808 220868 1660 3.67% 4.41% 5.45% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 366924 221085 1659 3.67% 4.41% 5.45% 0 ARP Input
vss-2-6k#sh proc cpu sorted 5se | i \\ ARP Input
11 369844 225498 1640 3.19% 3.69% 4.98% 0 ARP Input
vss-2-6k#

on tourne à moins de 5% du CPU et ça diminue toujours.

Date: 2010-08-11 00:43:03 UTC
La consquence: BGP fonctionne mieux sans le VSS. il ne prend
pas de CPU et ne le monopolise pas.

Au niveau des ARP, la charge CPU est nettement inférieur à
ce qu'on avait avant. En plus, si on retire les couples
ARP de la configuration en hard, le CPU est encore moins
chargé. Du coup nous avons testé cette configuration sur
le vss-1 qui est encore en confoguration vss et ça ne
donne pas du tout de resultat.
http://travaux.ovh.com/?do=details&id=4462

Date: 2010-08-11 00:20:26 UTC
4637 packets transmitted, 1388 received, 70% packet loss, time 4678932ms
oles@ping:~$ echo \"(4637-1388)/60\" | bc -l
54.15000000000000000000

on l'a fait 54 minutes. pas terrible.

Date: 2010-08-10 23:59:43 UTC
Le renommage des interfaces est terminé. Les uplinks vers les baies sont remontés et le trafic reprend.

Date: 2010-08-10 23:59:16 UTC
Le boot a été.
La mise en place de la configuration n'a pas été. Nous avons
dû remodifier plusieurs fois la configuration. En vss la
configuration accepte jusqu'à 512 port channels. En configuration
sans vss, c'est bridé à 256. Nous avons dû rechanger toute la
conf de ports.

La carte 6 est morte. On la remplace.

Aug 11 01:37:06 20g.vss-2-6k.routers.ovh.net 8887: Aug 10 23:36:48.434:
%SYS-DFC6-5-RESTART: System restarted --

Aug 11 01:37:18 20g.vss-2-6k.routers.ovh.net 8888: Aug 11 00:36:54 GMT:
%DIAG-SP-6-RUN_MINIMUM: Module 6: Running Minimal Diagnostics...

Aug 11 01:37:24 20G.ldn-1-6k.routers.ovh.net 38635: Aug 11 00:37:06 GMT:
%BGP-4-MAXPFX: No. of prefix received from 198.32.176.20 (afi 0) reaches
15289, max 20000
Aug 11 01:37:32 20g.vss-2-6k.routers.ovh.net 8889: Aug 11 00:37:14 GMT:
%PM_SCP-SP-1-LCP_FW_ERR: System resetting module 6 to recover from
error: Linecard received system exception. Errcode =
Aug 11 01:37:32 20g.vss-2-6k.routers.ovh.net 8890: Aug 11 00:37:14 GMT:
%OIR-SP-3-PWRCYCLE: Card in module 6, is being power-cycled 'Off (Module
Reset due to exception or user request)'
Aug 11 01:37:32 20g.vss-2-6k.routers.ovh.net 8891: .Aug 11 00:37:14 GMT:
%XDR-6-XDRIPCNOTIFY: Message not sent to slot 6/0 (6) because of IPC
error queue flush. Disabling linecard. (Expected during linecard OIR or
system reloads)


Date: 2010-08-10 23:52:23 UTC
Le redémarrage du chassis #1 en standalone ne s'est pas passé comme prévu. Dans cette config, il n'est plus possible d'utiliser les numéros de PortChannel > 256 ce qui était le cas des uplinks vers les switchs dans les baies. Nous sommes donc en train de renommer ces Po pour utiliser des numéros
Parallèlement à ce problème, la carte #6 ne reboote pas correctement, vraisemblablement à cause d'un pb hard. Nous la remplacons par la carte #6 du chassis #2 qui est maintenant offline.


Date: 2010-08-10 22:59:32 UTC
5 4 3 2 1 ... go
Posted Aug 10, 2010 - 22:44 UTC