OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
vss-8a-6k
Incident
Report for Network & Infrastructure
Resolved
Le routeur vss-8a-6k ne répond plus. Nous investiguons.
Update(s):
Date: 2016-03-25 17:36:35 UTC
Après 8h d'intervention ! Ca y est ! vss-8a-6k assure la redondance et le partage de charge de nouveau !
Notre outil de monitoring ne nous indique pas de problème, à part un peu de loss lors de la remise en route des sessions BGP.
Date: 2016-03-25 17:20:04 UTC
Les VLANS sont up, l'OSPF est up et les sessions BGP sont remise en service. Nous contrôlons.
Date: 2016-03-25 17:01:02 UTC
Nous remontons les VLANS un par un
Date: 2016-03-25 16:47:30 UTC
Les confs sont désormais resynchronisées, nous allons rallumer les VLANS un par un .
Date: 2016-03-25 15:04:46 UTC
Le chassis reping, nous avons rallumé les uplinks afin de vérifier la configuration.
Date: 2016-03-25 14:53:16 UTC
Le chassis est boooté nous sommes en train de remplacer 2 LCs qui posent problème et repoussons la config avant de rallumer les uplinks puis les vlans un par un.
Date: 2016-03-25 13:22:33 UTC
Le chassis est remplacé, nous le bootons avec la SUP pour vérifier la config
System Bootstrap, Version 8.5(3)
Copyright (c) 1994-2008 by cisco Systems, Inc.
Cat6k-Sup720/SP processor with 1048576 Kbytes of main memory
Date: 2016-03-25 12:17:50 UTC
Malgré nos tentatives de remplacer les LC HS et après remplacement de la SUP, le chassis crashe toujours.
%Software-forced reload
Early Notification of crash condition..
22:15:11 UTC Sat Jun 10 2000: Breakpoint exception, CPU signal 23, PC = 0x42B05154
--------------------------------------------------------------------
Possible software fault. Upon reccurence, please collect
crashinfo, \"show tech\" and contact Cisco Technical Support.
--------------------------------------------------------------------
-Traceback= 42B05154 42B02C94 42761E60 42761E8C 425716EC 425F1948 425F19A4 40ABAE54 40ABBD24 40ABBC44 40ABCA18 426DC510 426CDF74 426CE190 42AF7804
$0 : 00000000, AT : 44F00000, v0 : 444A0000, v1 : 00000000
a0 : 48153E2C, a1 : 0000F100, a2 : 00000000, a3 : 00000000
t0 : 00000020, t1 : 3400F101, t2 : 3400C100, t3 : FFFF00FF
t4 : 42AF7FE0, t5 : 5000DAB0, t6 : 00000000, t7 : 00003D2A
s0 : 00000000, s1 : 44D40000, s2 : 5047E26C, s3 : 0000001F
s4 : 5047E26C, s5 : 4853EC58, s6 : 00000000, s7 : 08FC78C8
t8 : 08028FEC, t9 : 00000000, k0 : 00000000, k1 : 00000000
gp : 44EF84A8, sp : 5000DBB0, s8 : 00000000, ra : 42B02C94
EPC : 42B05154, ErrorEPC : FCEBAFBF, SREG : 3400F103
MDLO : 00000000, MDHI : 00000000, BadVaddr : 00000000
DATA_START : 0x4485CB10
Cause 00000824 (Code 0x9): Breakpoint exception
Nous allons remplacer le chassis vss-8a-6k et réinsérer les linecards car le backplane semble affecté.
Date: 2016-03-25 10:13:38 UTC
Nous avons 3 linecards qui ne démarrent plus, nous allons redémarrer le chassis complétement pour tenter de récupérer les linecards.
Date: 2016-03-25 09:53:54 UTC
Les linecards restartent petit à petit.
En revanche, les ports physiques ne sont plus configurés, nous allons redescendre la configuration des uplinks.
Date: 2016-03-25 09:43:28 UTC
System returned to ROM by s/w reset at 09:33:36 UTC Fri Mar 25 2016 (SP by bus error at PC 0x417CC168, address 0x0)
Le routeur a crashé. Nous vérifions que tout revient à la normale.
Update(s):
Date: 2016-03-25 17:36:35 UTC
Après 8h d'intervention ! Ca y est ! vss-8a-6k assure la redondance et le partage de charge de nouveau !
Notre outil de monitoring ne nous indique pas de problème, à part un peu de loss lors de la remise en route des sessions BGP.
Date: 2016-03-25 17:20:04 UTC
Les VLANS sont up, l'OSPF est up et les sessions BGP sont remise en service. Nous contrôlons.
Date: 2016-03-25 17:01:02 UTC
Nous remontons les VLANS un par un
Date: 2016-03-25 16:47:30 UTC
Les confs sont désormais resynchronisées, nous allons rallumer les VLANS un par un .
Date: 2016-03-25 15:04:46 UTC
Le chassis reping, nous avons rallumé les uplinks afin de vérifier la configuration.
Date: 2016-03-25 14:53:16 UTC
Le chassis est boooté nous sommes en train de remplacer 2 LCs qui posent problème et repoussons la config avant de rallumer les uplinks puis les vlans un par un.
Date: 2016-03-25 13:22:33 UTC
Le chassis est remplacé, nous le bootons avec la SUP pour vérifier la config
System Bootstrap, Version 8.5(3)
Copyright (c) 1994-2008 by cisco Systems, Inc.
Cat6k-Sup720/SP processor with 1048576 Kbytes of main memory
Date: 2016-03-25 12:17:50 UTC
Malgré nos tentatives de remplacer les LC HS et après remplacement de la SUP, le chassis crashe toujours.
%Software-forced reload
Early Notification of crash condition..
22:15:11 UTC Sat Jun 10 2000: Breakpoint exception, CPU signal 23, PC = 0x42B05154
--------------------------------------------------------------------
Possible software fault. Upon reccurence, please collect
crashinfo, \"show tech\" and contact Cisco Technical Support.
--------------------------------------------------------------------
-Traceback= 42B05154 42B02C94 42761E60 42761E8C 425716EC 425F1948 425F19A4 40ABAE54 40ABBD24 40ABBC44 40ABCA18 426DC510 426CDF74 426CE190 42AF7804
$0 : 00000000, AT : 44F00000, v0 : 444A0000, v1 : 00000000
a0 : 48153E2C, a1 : 0000F100, a2 : 00000000, a3 : 00000000
t0 : 00000020, t1 : 3400F101, t2 : 3400C100, t3 : FFFF00FF
t4 : 42AF7FE0, t5 : 5000DAB0, t6 : 00000000, t7 : 00003D2A
s0 : 00000000, s1 : 44D40000, s2 : 5047E26C, s3 : 0000001F
s4 : 5047E26C, s5 : 4853EC58, s6 : 00000000, s7 : 08FC78C8
t8 : 08028FEC, t9 : 00000000, k0 : 00000000, k1 : 00000000
gp : 44EF84A8, sp : 5000DBB0, s8 : 00000000, ra : 42B02C94
EPC : 42B05154, ErrorEPC : FCEBAFBF, SREG : 3400F103
MDLO : 00000000, MDHI : 00000000, BadVaddr : 00000000
DATA_START : 0x4485CB10
Cause 00000824 (Code 0x9): Breakpoint exception
Nous allons remplacer le chassis vss-8a-6k et réinsérer les linecards car le backplane semble affecté.
Date: 2016-03-25 10:13:38 UTC
Nous avons 3 linecards qui ne démarrent plus, nous allons redémarrer le chassis complétement pour tenter de récupérer les linecards.
Date: 2016-03-25 09:53:54 UTC
Les linecards restartent petit à petit.
En revanche, les ports physiques ne sont plus configurés, nous allons redescendre la configuration des uplinks.
Date: 2016-03-25 09:43:28 UTC
System returned to ROM by s/w reset at 09:33:36 UTC Fri Mar 25 2016 (SP by bus error at PC 0x417CC168, address 0x0)
Le routeur a crashé. Nous vérifions que tout revient à la normale.
This incident affected: Infrastructure || RBX (RBX4).