RSS for all categories
FS#4490 — route reflector IPv4
Attached to Project— Reseau Internet et Baies
| Maintenance | |
| Tout le réseau | |
| CLOSED | |
 |
Nous allons simplifier les configurations sur le reseau
en mettant en place 3 routeurs refletor qui vont prendre
et centraliser toutes les annonces BGP de tous les
routeurs de notre backbone, recalculer la meilleur
route puis redistribuer la table BGP sur tous les
routeurs. On devrait gagner en performance BGP et en
fiabilitée sur les coupures de fibre optiques.
Date: Saturday, 25 September 2010, 18:08PMen mettant en place 3 routeurs refletor qui vont prendre
et centraliser toutes les annonces BGP de tous les
routeurs de notre backbone, recalculer la meilleur
route puis redistribuer la table BGP sur tous les
routeurs. On devrait gagner en performance BGP et en
fiabilitée sur les coupures de fibre optiques.
Reason for closing: Done
On doit recevoir les 3 ASR 1000 fin août.
En attandant on teste cette fonctionalité sur le Nexus 7000.
Le nexus 7000 ne permet de le faire. Il n'a que 256Mo de RAM
dans un contexte et ne peut donc pas prendre plusieurs sessions
BGP full route pour les recalculer. Il plante.
2010 Aug 19 20:08:43 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 5 Up
2010 Aug 19 20:11:15 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 2 Up
2010 Aug 19 20:11:41 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 4 Up
2010 Aug 19 20:12:58 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Up
2010 Aug 19 20:13:32 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Up
2010 Aug 19 20:14:17 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 8 Up
2010 Aug 19 20:15:23 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 7 Up
2010 Aug 19 20:17:18 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 0 Up
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-3-ATTRID_OP: bgp-16276 [7084] Failed to find attribute ID
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-3-NOMEMORY: bgp-16276 [7084] Could not allocate Attr entry, attr id
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-2-PEERSHALTED: bgp-16276 [7084] BGP all internal peers shutdown due to no memory condition (Error in sof
t reconfig processing of prefix)
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 4 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 6 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 7 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 10 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 35 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 92 Down - out of resource error
2010 Aug 19 20:18:01 rbx-97-n7-routing %BGP-5-ADJCHANGE: bgp-16276 [7084] (default) neighbor 98 Down - out of resource error
# sh proc mem shared | i "urib "
Component Shared Memory Size Used Available Ref
Address (kbytes) (kbytes) (kbytes) Count
urib 0X52DD0000 256000* 21974 234026 16
Uniquement 256Mo de RAM. Avec la licence qui debride les fonctionalités XL
Feature Ins Lic Status Expiry Date Comments
Count
--------------------------------------------------------------------------------
SCALABLE_SERVICES_PKG Yes - In use Never -
TRANSPORT_SERVICES_PKG No - Unused -
LAN_ADVANCED_SERVICES_PKG Yes - In use Never -
LAN_ENTERPRISE_SERVICES_PKG Yes - In use Never -
--------------------------------------------------------------------------------
Et le contexte au max:
vdc routing id 2
limit-resource u4route-mem minimum 250 maximum 250
rbx-97-n7# conf t
Enter configuration commands, one per line. End with CNTL/Z.
rbx-97-n7(config)# vdc routing id 2
rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum ?
<1-250> Minimum route memory value
rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum 250 maximum ?
<1-250> Maximum route memory value
rbx-97-n7(config-vdc)# limit-resource u4route-mem minimum 250 maximum ^C
rbx-97-n7(config-vdc)#
Que 256Mo de RAM possible pour prendre toutes les routes. Ce n'est pas
ce que dit le site cisco.com (2Go de RAM sur la carte XL et 4Go sur la
sup) mais bon ... du marketing.
Alors la conclusion est simple: Nexus 7000 n'est pas utilisable chez Ovh.
On a pris un bon vieux 6509 en BXL et nous avons reussi
à monter toutes les sessions BGP de tous les routeurs.
Ca tient à la limite de la mémoire disponible: 1Go.
rf-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 468A6CD0 896865072 850757364 46107708 9822828 10606192
I/O 8000000 67108864 21991872 45116992 44793952 44512252
Il faut 850Mo pour prendre toutes les infos de peers. Il reste 46Mo :)
Le routeur ne fait que ça. En attandant d'avoir les ASR 1000.
1 4 16276 4876914 117339 30402640 23 0 14:12:37 349852
2 4 16276 16905742 117333 30402640 0 0 14:06:13 431448
3 4 16276 18926841 117333 30402640 68 0 14:06:55 432619
4 4 16276 9158 140329 30402640 0 0 14:21:59 21415
6 4 16276 4694 140309 30402640 0 0 14:21:37 13029
8 4 16276 58 139558 30402640 0 0 00:55:08 3
1 4 16276 24580 116550 30402640 0 0 00:45:29 90369
3 4 16276 16063720 117316 30402640 0 0 13:49:16 432643
4 4 16276 4607205 117315 30402640 31 0 13:48:20 431427
5 4 16276 446715 117340 30402640 0 0 14:13:59 432622
6 4 16276 9738 140281 30402640 0 0 14:23:32 14880
7 4 16276 1320 119767 30402640 0 0 14:19:55 1285
8 4 16276 7998676 117334 30402640 0 0 14:07:23 432647
9 4 16276 6852706 117340 30402640 58 0 14:13:30 432622
0 4 16276 374696 117345 30402640 1 0 14:19:01 432622
1 4 16276 6332102 117315 30402640 29 0 13:48:46 423315
0 4 16276 21704 116549 30402640 0 0 00:44:18 97863
1 4 16276 16261554 117335 30402640 57 0 14:08:12 432621
4 4 16276 12933397 117314 30402640 0 0 13:47:49 430017
5 4 16276 5040207 117354 30402640 16 0 14:27:05 432612
2 4 16276 4328253 117361 30402734 10 0 14:24:32 432603
3 4 16276 16765697 117344 30402734 73 0 14:07:43 432621
4 4 16276 444294 117351 30402734 0 0 14:14:32 432626
5 4 16276 17336635 117324 30402734 11 0 13:47:09 431202
6 4 16276 18485 116558 30402734 0 0 00:44:05 90377
7 4 16276 20318 116557 30402734 0 0 00:43:56 0
8 4 16276 6001 140301 30402734 0 0 14:20:48 7499
Oh yeah ! :)
rf-1-6k#sh ip route summary
IP routing table name is Default-IP-Routing-Table(0)
IP routing table maximum-paths is 32
Route Source Networks Subnets Overhead Memory (bytes)
connected 0 2 144 288
static 0 0 0 0
ospf 16276 13 239 36144 38332
Intra-area: 245 Inter-area: 6 External-1: 1 External-2: 0
NSSA External-1: 0 NSSA External-2: 0
bgp 16276 138410 294176 31146192 62368012
External: 0 Internal: 432586 Local: 0
internal 5489 12009932
Total 143912 294417 31182480 74416564
Removing Queue Size 0
On va mettre en place la configuration sur vie-1-6k
VIX fonctione sur 193.203.0.0/24 qui est un reseau privé.
Pour une raison inconnu VIX annonce ce reseau sur Internet.
Le trafic a été detourné. Nous avons filtré les annonces
pour eviter d'avoir 193.203.0.0/24 dans le BGP.
On va ajouter pra-1-6k dans le collector
Aucun probleme.
On passe à var-1-6k
Aucun probleme.
On passe à mil-1-6k
Aucun probleme
On passe à zur-1-6k
TIX annonce aussi 194.42.48.0/24 en public. On va le contacter aussi.
lyo-1-6k fait
on passe à mar-1-6k
mar-1-6k fait
mad-1-6k fait.
On arrete là pou aujourd'hui. On va regarder si tout marche déjà bien.
rf-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 468A6CD0 896865072 846133672 50731400 9822828 10606192
I/O 8000000 67108864 21958860 45150004 43552040 44200284
50Mo libre. On avance dans la simplification du BGP :)
Nous avons reçu les ASR 1000.
rf-2-a1#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 2C085008 1821505244 160192080 1661313164 1660142120 1658947932
lsmpi_io 98BE21D0 6295088 6294120 968 968 968
2Go de RAM ... !?
http://www.cisco.com/en/US/products/ps9343/prod_models_comparison.html
on avait dit 4Go !? WTF ???
Nous avons mis en place rf-2-a1. Les sessions sont en cours
de montage avec tous les routeurs de la backbone.
Aug 24 21:53:44 UTC: %PLATFORM-4-ELEMENT_WARNING: R0/0: smand: ESP/0: Committed Memory value 311% exceeds warning level 310%
La configuration rf-1 et rf2 est pareil.
On va pouvoir continuer la mise en place de route reflector
dés demain sur les routeurs plus compliqués en terme de
configuration. Pas mal de choses à verifier.
On passe à p19-52
fait
P19-57
fait
p19-2
p19-7
ams-1-6k
crash
http://travaux.ovh.com/?do=details&id=4511
ldn-1-6k#sh mem stat
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 44B199D0 927852080 879716120 48135960 33992048 26522704
I/O 8000000 67108864 11968016 55140848 50129760 54998488
partant ?
Aug 26 15:03:41 20G.ldn-1-6k.routers.ovh.net 73683: Aug 26 14:03:17 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF
on attaque fra-5. 175Mo de RAM dispo.
fait.
bru-1
fait
on va basculer le rf-1 sur le nouveau hardware.
On met en place le 3ème rf.
tous les m1/m2 sont dans les 3 routes reflectors.
on continue avec le th1
fait.
th2
th2 fait
gsw-1 fait
gsw-2 fait
rbx-1 fait
rbx-2 fait
on va couper les annonces de routeurs m1/m2 à roubaix1 vers rbx-1
c'est les 3 routeurs reflector qui vont reprendre les annonces.
Nous avons terminé les travaux par les basculements
vers les routes reflector de ip failover à p19, roubaix1
et dc1/gsw au niveau du housing.
http://travaux.ovh.com/?do=details&id=4563
http://travaux.ovh.com/?do=details&id=4562
http://travaux.ovh.com/?do=details&id=4561
Désormais toute la backbone tourne dans la configuration
"route reflector".
Il reste:
- les reecritures de BGP vers OPSF au niveau de certaines
interfaces
- passer IPv6 sur la configuration "route reflector".
On va inserer les routes OSPF dans le reseau.
c'est fait.
On va enlever les mêmes routes de BGP.
vss-2 fait.
vss-1 fait.
vss-3 fait.
rbx-99 cloud computing
fait
Les travaux sur le reflector IPv4 sont terminés.
On va commencer les travaux sur l'IPv6.
On va nettoyer toutes les sessions BGP inutiles.
fini.
Nous avons toujours les messages d'erreurs sur les 3 routes collectos:
Sep 25 13:51:50 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:02:00 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:12:10 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:22:20 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:32:30 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:42:40 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 14:52:50 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 15:03:00 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Sep 25 15:13:10 UTC: %PLATFORM-3-ELEMENT_CRITICAL: R0/0: smand: ESP/0: Committed Memory value 323% exceeds critical level 320%
Il s'agit probablement d'un bug repertorié chez cisco CSCtd83822
CSCtd83822
Increasing memory usage of `reflector.sh' and `droputil.sh' process may occur on the ASR 1000 Router Series.
Workaround: None
https://supportforums.cisco.com/thread/2040810?decorator=print&displayFullThread=true
http://www.cisco.com/en/US/docs/ios/ios_xe/2/release/notes/rnasr21.html