RSS pour toutes les categoriés
FS#1762 — upgrade: th2-1-6k/th1-1-6k
Concerne le projet— Reseau Internet et Baies
| Maintenance | |
| tout le reseau | |
| Close | |
 |
Nous allons mettre à jour le routeur th2-1-6k et th1-1-6k pour passer
sur les nouvelles cartes BXL et fixer le bug dans la version IOS que
nous avons en production:
Nov 5 17:42:55 GMT: %PM_SCP-SP-2-LCP_FW_ERR_INFORM: Module 2 is experiencing the following error: Interrupt counters cumulative, (10s critical/noncritical): ROINT[0]: totalcalls=1, aricjacrc=1. ROINT[1]: totalcalls=1914, p2necc1=65, ecc2=1913, argospktin=1, (172/63). JAINT[0]: total=7, drri0=1, drri1=7, (6/0). JAINT[1]: total=1, drri1=1.
Nov 5 17:42:55 GMT: %PM_SCP-SP-1-LCP_FW_ERR_POWERDOWN: Module 2 will be powered down due to firmware error: RO[1] (1834 ecc2 int in the last 10s).
Nov 5 17:42:55 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 2 set off (excessive interrupt)
Date: jeudi, 29 novembre 2007, 01:43sur les nouvelles cartes BXL et fixer le bug dans la version IOS que
nous avons en production:
Nov 5 17:42:55 GMT: %PM_SCP-SP-2-LCP_FW_ERR_INFORM: Module 2 is experiencing the following error: Interrupt counters cumulative, (10s critical/noncritical): ROINT[0]: totalcalls=1, aricjacrc=1. ROINT[1]: totalcalls=1914, p2necc1=65, ecc2=1913, argospktin=1, (172/63). JAINT[0]: total=7, drri0=1, drri1=7, (6/0). JAINT[1]: total=1, drri1=1.
Nov 5 17:42:55 GMT: %PM_SCP-SP-1-LCP_FW_ERR_POWERDOWN: Module 2 will be powered down due to firmware error: RO[1] (1834 ecc2 int in the last 10s).
Nov 5 17:42:55 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 2 set off (excessive interrupt)
Raison de clôture: Done
Nous devons aussi changer une carte 10G et la carte sup720 vers les
models BXL qui ont plus de mémoires que les versions actuels.
Nous allons mettre à jour th2-1-6k. C'est parti.
Le routeur est revenu sur la nouvelle version d'IOS.
La carte a toujours des problemes. Nous allons faire un tour à Paris cette
nuit pour regler le probleme définitivement (au besoins on changera la
carte directement).
Nous avons changé la carte et visiblement tout est à nouveau
en fonctionnement. Nous avons profité de l'interversion pour
changer une autre carte 10G et la carte sup720.
Le routeur est à nouveau opérationel à 100%
Th1 est passé en configuration BXL aussi. Nous avons changé une carte 10G
et la SUP720 puis mis à jour IOS.
Par contre le chassis du routeur semble ne pas fonctionner correctement
avec les nouvelles cartes 10G. Nous allons devoir le remplacer la semaine
prochaine une nuit.
Nous allons changer le chassis de th1 cette nuit. Debut des opérations
à 1H du matin. Ca devrait prendre 20 minutes. Pendant ce temps là le
trafic passera par d'autres routeurs et les transits.
c'est parti
marche pas. nous avons changé le chassis, basculé les cartes,
changé les positions dans les chassis. changé la sup720 et
nous avons toujours le probleme sur le slot 4 avec
Nov 13 01:49:08 th1-1-6k.routers.ovh.net 1077: Nov 13 01:49:06 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 4 set off (Fabric channel errors)
Demain/Mercredi nous allons preparer un nouveau chassis avec tout bien
testé et basculer tout le routeur en état de marche. On va
l'avoir !
Nous allons preparer cette nuit la routeur identique à th1
et tester la conf dans ce routeur. Si tout passe on remplacera
tout routeur entier et pas une carte par carte.
Nous avons mis au point un chassis qui marche avec les
cartes qu'il faut. Nous allons regarder en profondeur
dans la semaine pourquoi les autres ne marchent pas.
Mais il semble que ça soit lié aux alimentaions qui
ne fonctionnent pas correctement et aux états de cartes
qui ne s'effacent pas après le redemarrage (la carte
reste en défaut même si tout va bien).
Sous 5 minutes nous allons changer le chassis de th1.
Le chassis a été changée. Il marche. 2 chassis ont
été cassés + 2 sup720 + 1 alim. Mais la situation
n'est pas encore stable. On surveille.
Il y a un probleme au niveau de routage interne. On vient
d'arreter un vlan de routage interne en vue de futurs
changements.
Le routeur pose encore des problemes. Nous sommes en cours de
reboot.
La carte 3 et 4 continuent à poser des problemes sur le nouveau
chassis. Elles bootent mais commencer à faire des trucs bizarres
sur les communications interne du Cisco. Nous avons rebooté le
routeur sans la carte 3 e 4. Le foncionnement est correct, mais
nous ne pouvons pas finaliser nos travaux sur le ring.
Le routeur th1 a coupé toutes les sessions BGP qui ne sont
pas avec Ovh (non internal BGP) parce qu'il ne ping plus
les IP exterieure (!!).
Nous le rebootons.
Le routeur a crashé et nous avons dû reintervenir dans le
datacentre th1 pour changer une fois encore le chassis.
Nous avons mis un chassis 6506 au lieu de 6509. C'est l'ancien
chassis rdb-2-6k et donc il est "bon", "verifié", "testé" et
"fonctionnant" ... ou alors il faut revoir le vocabulaire.
8 minutes pour changer le chassis. On commence à avoir l'habitude
de th1-1-6k.
Pour l'instant le routeur fonctionne avec la carte 3 et 4 en prime.
On attend 2 heures avant de repartir.
Merci la greve et les bouchons incroyables sur Paris ...
Nous allons mettre en place le lien DWDM entre le routeur
th1-1-6k et th2-1-6k. Pour cela nous allons couper le lien
actuellement en production puis le passer en DWDM.
Il n'y a pas de panne à prevoir. Le routage se faisant de
maniere redondante.
Debut des travaux dans 15 minutes à 0h30 environ. Fin vers
2h00 du matin.
Les 4x10G sont en production.