OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
p19-v2-6k
Incident Report for Network & Infrastructure
Resolved
Le routeur à redémarré suite à un crash soft.

Update(s):

Date: 2016-03-04 02:59:27 UTC
all done !


Date: 2016-03-03 23:36:28 UTC
nous débutons le recâblage sur V2

Date: 2016-03-03 16:53:39 UTC
Le châssis est stable, nous allons migrer les serveurs et equipement voip vers le 6k a partir de minuit

Date: 2016-03-02 23:44:46 UTC
all done, v2 est de nouveau UP

Date: 2016-03-02 23:14:31 UTC
Nous débutons l'intervention.

Date: 2016-03-02 21:02:29 UTC
Le chassis a été remplacé ce jour.
A partir de minuit nous allons le remettre en prod uniquement le L3 ospf/bgp pour redonder p19-v1-6k
On garde le L2 (interco des équipements) + glbp/hsrp en active sur v1 pour le traffic sortant .

Nous resterons dans ces configuration 24h afin de valider la stabilité du châssis.
Ensuite nous pourrons rebasculer les serveur/équipements en dual attached sur v1/v2

Date: 2016-03-02 05:10:59 UTC
Tout est UP
Nous avons receptionner le chassis de spare, mais il est trop tard pour se lancer dans le swap.



Date: 2016-03-02 04:22:49 UTC
mod 3 en cours

Date: 2016-03-02 01:50:12 UTC
nous migrons le mod 1 et 2 sur le nouveau switch

Date: 2016-03-02 00:37:03 UTC
après investigation, il semble que le problème vienne du châssis en lui même.
Nous avons ouvert le case pour le remplacement.

En attendant la reception, nous allons mettre en place un switch temporaire pour connecter tout les serveurs/interco du p19-v2 dessus.
Le v2 sera donc isolé, peut importe donc s'il crash de nouveau, et il sera plus facile de le remplacer.



Date: 2016-03-01 20:19:10 UTC
le routeur a re-crashé

on doit avoir une linecard hs dans le lot

Date: 2016-03-01 19:46:43 UTC
tout semble okay, checked avec la team VOIP

Date: 2016-03-01 19:35:56 UTC
la sup est remplacé, le routeur est up

Date: 2016-03-01 18:55:54 UTC
8:49:19.632 FW[Mod 05]: sso_set_reg: ERR sso 3: reg 0x05 value 0x09 rc 0x80
18:49:19.632 FW[Mod 05]: sso_set_reg_direct: ERR sso 3: reg 0x48 value 0x00 rc 0x80

00:02:06: SP: fabric_scp_set_channel_preemph: failed. Status 0x80, dest slot 5, chan 0, to_linecard 0
*Mar 1 00:00:02.327: DaughterBoard (Distributed Forwarding Card 3)

Firmware compiled 19-Jan-12 11:10 by integ Build [100]
Mar 1 17:50:29.096: %SYS-DFC2-5-RESTART: System restarted --
Cisco IOS Software, c6lc2 Software (c6lc2-SP-M), Version 12.2(33)SXI11, RELEASE SOFTWARE (fc2)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2013 by Cisco Systems, Inc.
Compiled Fri 15-Feb-13 17:18 by prod_rel_team
*Mar 1 00:00:02.347: DaughterBoard (Distributed Forwarding Card 3)

Firmware compiled 19-Jan-12 11:10 by integ Build [100]
Mar 1 17:50:29.304: %SYS-DFC1-5-RESTART: System restarted --
Cisco IOS Software, c6lc2 Software (c6lc2-SP-M), Version 12.2(33)SXI11, RELEASE SOFTWARE (fc2)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2013 by Cisco Systems, Inc.
Compiled Fri 15-Feb-13 17:18 by prod_rel_team
*Mar 1 00:00:02.319: DaughterBoard (Distributed Forwarding Card 3)

Firmware compiled 19-Jan-12 11:10 by integ Build [100]
Mar 1 17:50:29.712: %SYS-DFC3-5-RESTART: System restarted --
Cisco IOS Software, c6lc2 Software (c6lc2-SP-M), Version 12.2(33)SXI11, RELEASE SOFTWARE (fc2)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2013 by Cisco Systems, Inc.
Compiled Fri 15-Feb-13 17:18 by prod_rel_team
Mar 1 17:50:29.104: DFC2: Currently running ROMMON from F1 region
Mar 1 17:50:29.716: DFC3: Currently running ROMMON from S (Gold) region
Mar 1 17:50:29.312: DFC1: Currently running ROMMON from S (Gold) region
Queued messages:
Mar 1 18:59:16 GMT: %SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

Mar 1 18:59:16 GMT: %CPU_MONITOR-3-PEER_EXCEPTION: CPU_MONITOR peer has failed due to exception , reset by [5/0]
*** System received a Software forced crash ***
signal= 0x17, code= 0x24, context= 0x46ae20c4
PC = 0x42af803c, SP = 0x44d45328, RA = 0x416c15a0
Cause Reg = 0x00003820, Status Reg = 0x34008002


Nous remplaçons la sup
Posted Mar 01, 2016 - 18:18 UTC