rssLink RSS for all categories
 
icon_blue
icon_green
icon_red
icon_orange
icon_red
icon_green
icon_green
icon_orange
icon_red
icon_orange
icon_green
icon_green
icon_green
icon_red
icon_orange
icon_red
icon_blue
icon_blue
icon_orange
icon_red
icon_green
icon_red
icon_red
icon_blue
icon_orange
icon_green
icon_green
icon_green
icon_green
icon_blue
icon_green
icon_green
 

FS#1762 — upgrade: th2-1-6k/th1-1-6k

Attached to Project— Reseau Internet et Baies
Maintenance
Tout le réseau
CLOSED
100%
Nous allons mettre à jour le routeur th2-1-6k et th1-1-6k pour passer
sur les nouvelles cartes BXL et fixer le bug dans la version IOS que
nous avons en production:

Nov 5 17:42:55 GMT: %PM_SCP-SP-2-LCP_FW_ERR_INFORM: Module 2 is experiencing the following error: Interrupt counters cumulative, (10s critical/noncritical): ROINT[0]: totalcalls=1, aricjacrc=1. ROINT[1]: totalcalls=1914, p2necc1=65, ecc2=1913, argospktin=1, (172/63). JAINT[0]: total=7, drri0=1, drri1=7, (6/0). JAINT[1]: total=1, drri1=1.
Nov 5 17:42:55 GMT: %PM_SCP-SP-1-LCP_FW_ERR_POWERDOWN: Module 2 will be powered down due to firmware error: RO[1] (1834 ecc2 int in the last 10s).
Nov 5 17:42:55 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 2 set off (excessive interrupt)

Date:  Thursday, 29 November 2007, 01:43AM
Reason for closing:  Done
Comment by OVH - Tuesday, 06 November 2007, 00:13AM

Nous devons aussi changer une carte 10G et la carte sup720 vers les
models BXL qui ont plus de mémoires que les versions actuels.


Comment by OVH - Tuesday, 06 November 2007, 00:55AM

Nous allons mettre à jour th2-1-6k. C'est parti.


Comment by OVH - Tuesday, 06 November 2007, 01:16AM

Le routeur est revenu sur la nouvelle version d'IOS.

La carte a toujours des problemes. Nous allons faire un tour à Paris cette
nuit pour regler le probleme définitivement (au besoins on changera la
carte directement).


Comment by OVH - Tuesday, 06 November 2007, 07:45AM

Nous avons changé la carte et visiblement tout est à nouveau
en fonctionnement. Nous avons profité de l'interversion pour
changer une autre carte 10G et la carte sup720.

Le routeur est à nouveau opérationel à 100%


Comment by OVH - Wednesday, 07 November 2007, 07:01AM

Th1 est passé en configuration BXL aussi. Nous avons changé une carte 10G
et la SUP720 puis mis à jour IOS.

Par contre le chassis du routeur semble ne pas fonctionner correctement
avec les nouvelles cartes 10G. Nous allons devoir le remplacer la semaine
prochaine une nuit.


Comment by OVH - Tuesday, 13 November 2007, 00:24AM

Nous allons changer le chassis de th1 cette nuit. Debut des opérations
à 1H du matin. Ca devrait prendre 20 minutes. Pendant ce temps là le
trafic passera par d'autres routeurs et les transits.


Comment by OVH - Tuesday, 13 November 2007, 00:51AM

c'est parti


Comment by OVH - Tuesday, 13 November 2007, 02:24AM

marche pas. nous avons changé le chassis, basculé les cartes,
changé les positions dans les chassis. changé la sup720 et
nous avons toujours le probleme sur le slot 4 avec
Nov 13 01:49:08 th1-1-6k.routers.ovh.net 1077: Nov 13 01:49:06 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 4 set off (Fabric channel errors)

Demain/Mercredi nous allons preparer un nouveau chassis avec tout bien
testé et basculer tout le routeur en état de marche. On va
l'avoir !


Comment by OVH - Wednesday, 14 November 2007, 00:38AM

Nous allons preparer cette nuit la routeur identique à th1
et tester la conf dans ce routeur. Si tout passe on remplacera
tout routeur entier et pas une carte par carte.


Comment by OVH - Friday, 16 November 2007, 00:57AM

Nous avons mis au point un chassis qui marche avec les
cartes qu'il faut. Nous allons regarder en profondeur
dans la semaine pourquoi les autres ne marchent pas.
Mais il semble que ça soit lié aux alimentaions qui
ne fonctionnent pas correctement et aux états de cartes
qui ne s'effacent pas après le redemarrage (la carte
reste en défaut même si tout va bien).

Sous 5 minutes nous allons changer le chassis de th1.


Comment by OVH - Friday, 16 November 2007, 04:23AM

Le chassis a été changée. Il marche. 2 chassis ont
été cassés + 2 sup720 + 1 alim. Mais la situation
n'est pas encore stable. On surveille.


Comment by OVH - Friday, 16 November 2007, 04:29AM

Il y a un probleme au niveau de routage interne. On vient
d'arreter un vlan de routage interne en vue de futurs
changements.


Comment by OVH - Friday, 16 November 2007, 05:13AM

Le routeur pose encore des problemes. Nous sommes en cours de
reboot.


Comment by OVH - Friday, 16 November 2007, 05:25AM

La carte 3 et 4 continuent à poser des problemes sur le nouveau
chassis. Elles bootent mais commencer à faire des trucs bizarres
sur les communications interne du Cisco. Nous avons rebooté le
routeur sans la carte 3 e 4. Le foncionnement est correct, mais
nous ne pouvons pas finaliser nos travaux sur le ring.


Comment by OVH - Sunday, 18 November 2007, 15:53PM

Le routeur th1 a coupé toutes les sessions BGP qui ne sont
pas avec Ovh (non internal BGP) parce qu'il ne ping plus
les IP exterieure (!!).

Nous le rebootons.


Comment by OVH - Sunday, 18 November 2007, 21:32PM

Le routeur a crashé et nous avons dû reintervenir dans le
datacentre th1 pour changer une fois encore le chassis.
Nous avons mis un chassis 6506 au lieu de 6509. C'est l'ancien
chassis rdb-2-6k et donc il est "bon", "verifié", "testé" et
"fonctionnant" ... ou alors il faut revoir le vocabulaire.

8 minutes pour changer le chassis. On commence à avoir l'habitude
de th1-1-6k.

Pour l'instant le routeur fonctionne avec la carte 3 et 4 en prime.
On attend 2 heures avant de repartir.

Merci la greve et les bouchons incroyables sur Paris ...


Comment by OVH - Wednesday, 28 November 2007, 23:10PM

Nous allons mettre en place le lien DWDM entre le routeur
th1-1-6k et th2-1-6k. Pour cela nous allons couper le lien
actuellement en production puis le passer en DWDM.

Il n'y a pas de panne à prevoir. Le routage se faisant de
maniere redondante.

Debut des travaux dans 15 minutes à 0h30 environ. Fin vers
2h00 du matin.


Comment by OVH - Thursday, 29 November 2007, 01:43AM

Les 4x10G sont en production.