OVHcloud Private Cloud Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
rbx-s6-6k rbx-s5-6k
Incident Report for Hosted Private Cloud
Resolved
Nos systèmes de monitoring ont remonté des pertes de réseaux sur les routeurs rbx-s6-6k et rbx-s5-6k du private Cloud.

Nous investiguons.

Update(s):

Date: 2013-04-19 14:46:04 UTC
Nous avons maintenant du loss sur les interfaces de la carte 11, nous la remplacons.

Date: 2013-04-19 13:38:13 UTC
le routeur ne veut plus router en OSPF.
la conf est bonne. on change la sup. pareil.
on reflechit.
on reflechit.
on va manger.
on vide la conf et on reapplique une conf minimale. pareil.
on reflechit.
on vide la conf encore et on applique la conf ultra minimaliste. ça remarche. OSPF marche !
on reapplique tout le reste de la conf. ça marche.
on coupe l'OSPF. ça ne marche plus.
saloperie.
on cherche le diff entre la conf minimaliste et ultra minimaliste.
mais c'est quoi cette commande ???
mls rate-limit unicast cef receive 10000 100
ça ne vient pas de chez nous.
saloperie
le routeur l'a ajouté quand il a passé le CEF en software.
sans prevenir. et comme avant de redemarrer le routeur on
a enregistré la conf ..
saloperie.

no mls rate-limit unicast cef receive 10000 100
wr me

on reboot pour la forme ..

Date: 2013-04-19 11:49:18 UTC
lors qu'on change une sup, l'application de la conf
ne se fait pas entierement. il faut rebooter 2 fois.

rbx-s6-6k#sh mls cef maximum-routes

Reload scheduled for 19:30:11 GMT Thu Jun 19 2003 (in 4 minutes and 22 seconds)
Reload reason: FIB Protocol Allocation mismatchFIB TCAM maximum routes :
=======================
Current :-
-------
IPv4 + MPLS - 512k (default)
IPv6 + IP Multicast - 256k (default)




Date: 2013-04-19 09:50:14 UTC
On va rebooter le routeur et lui rejouer la configuration.

Date: 2013-04-19 09:48:41 UTC
visiblement lors de la mise à jour du routeur
les commandes max-routes ont été pas prises en
compte.

rbx-s6-6k#sh mls cef maximum-routes
FIB TCAM maximum routes :
=======================
Current :-
-------
IPv4 + MPLS - 512k (default)
IPv6 + IP Multicast - 256k (default)



Date: 2013-04-19 09:46:53 UTC
on n'arrive pas à reproduire le probleme. c'est normal
parce qu'il n'y a pas de probleme. on est loin de
saturer la CEF ..

Apr 19 10:34:18 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.12 Up
Apr 19 10:34:18 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.13 Up
Apr 19 10:34:18 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.11 Up
Apr 19 10:34:18 GMT: %BGP-5-ADJCHANGE: neighbor 2001:41D0::1024 Up


Date: 2013-04-19 09:45:46 UTC
Apr 19 11:00:46 rbx-s6-6k.fr.eu 50595: Apr 19 10:00:19 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.12 Up
Apr 19 11:01:47 rbx-s6-6k.fr.eu 50606: Apr 19 10:01:22 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.13 Up
Apr 19 11:03:32 rbx-s6-6k.fr.eu 50614: Apr 19 10:03:07 GMT: %MLSCEF-SP-4-FIB_EXCEPTION_THRESHOLD: Hardware CEF entry usage is at 95% capacity for IPv4 unicast protocol.
Apr 19 11:03:32 rbx-s6-6k.fr.eu 50615: Apr 19 10:03:07 GMT: %MLSCEF-DFC12-4-FIB_EXCEPTION_THRESHOLD: Hardware CEF entry usage is at 95% capacity for IPv4 unicast protocol.
Apr 19 11:03:32 rbx-s6-6k.fr.eu 50616: Apr 19 10:03:07 GMT: %MLSCEF-DFC11-4-FIB_EXCEPTION_THRESHOLD: Hardware CEF entry usage is at 95% capacity for IPv4 unicast protocol.
Apr 19 11:03:32 rbx-s6-6k.fr.eu 50617: Apr 19 10:03:08 GMT: %MLSCEF-DFC10-4-FIB_EXCEPTION_THRESHOLD: Hardware CEF entry usage is at 95% capacity for IPv4 unicast protocol.
Apr 19 11:03:34 rbx-s6-6k.fr.eu 50620: Apr 19 10:03:09 GMT: %MLSCEF-DFC9-4-FIB_EXCEPTION_THRESHOLD: Hardware CEF entry usage is at 95% capacity for IPv4 unicast protocol.
Apr 19 11:09:27 rbx-s6-6k.fr.eu 50629: Apr 19 10:09:02 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.13 Down Admin. shutdown
Apr 19 11:11:04 rbx-s6-6k.fr.eu 51583: Apr 19 10:10:36 GMT: %BGP-5-ADJCHANGE: neighbor 94.23.122.12 Down Admin. shutdown


Date: 2013-04-19 09:32:30 UTC
suite à la remise en place de session BGP
avec tous les RR, le routeur rbx-s6 a passé
le routage en software. nous l'avons isolé.
Posted Apr 19, 2013 - 09:25 UTC