OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Referencement Google
Scheduled Maintenance Report for Network & Infrastructure
Completed
http://travaux.ovh.net/?do=details&id=2850

Certains clients nous remontent des soucis dans le référencement de leur site Web (principalement hébergé sur 90plan) par le robot de Google.
Nous sommes en contact avec Google afin de résoudre le problème rapidement.



Update(s):

Date: 2009-02-21 10:16:57 UTC
Bonjour,
Ce matin, je ne sais plus à quelle heure, vers 4h/7h, j'ai passé pas mal
de temps sur l'infra. Je devais repondre à Google à leur question
concernant ce probleme et donc je devais sniffer les packets venant de
Google. J'ai mis en place une petite infra parallele qui permettait
d'isoler certains trafic qui m'interessait. Et dans un espece de travail
mecanique, j'ai un eclaire ! :) Je pense que le probleme est fixé mais il
faudra me le confirmer.

Le reseau de Google-Bot se trouve sur le reseau 66.249.64.0/20
c'est à dire que les requetes viennent des IP comprises entre
66.249.64.0 jusqu'à 66.249.79.0. L'info vient de Google directement.

Alors pour verifier que le trafic n'a aucun probleme de routage,
je fais le traceroute vers 66.249.64.1

# traceroute 66.249.64.1
traceroute to 66.249.64.1 (66.249.64.1), 30 hops max, 40 byte packets
1 p19-52-6k.routers.ovh.net (213.186.33.159) 0.528 ms * 0.460 ms
2 10G.p19-7-6k.routers.ovh.net (213.186.32.229) 4.345 ms * 4.400 ms
3 80G.gsw-1-6k.routers.ovh.net (213.186.32.146) 0.921 ms * 0.939 ms
4 * 160G.rbx-1-6k.routers.ovh.net (213.186.32.226) 4.438 ms *
5 20g.ldn-1-6k.routers.ovh.net (91.121.131.14) 9.555 ms 8.543 ms 8.703 ms
6 195.66.224.125 (195.66.224.125) 8.116 ms 8.218 ms 8.218 ms
7 209.85.252.42 (209.85.252.42) 99.860 ms 198.540 ms 24.930 ms
8 72.14.232.134 (72.14.232.134) 14.487 ms 14.335 ms 15.087 ms

Parfait, le trafic passe par le peering que nous avons avec Google
sur Linx à Londres. En effet, on echange avec Google via plusieurs
points de peering le trafic Ovh/Google sans passer par les reseaux
intermediaires. Ainsi, on sait gerer correctement la qualité de la
bande passante.

Puis ce matin j'ai preparé l'infra pour pousser les recherches avec
Google. C'est à dire qu'on devait faire une conferance telephonique
pour lancer le sniffage de reseau en même temps sur 2 côtés du reseau,
1 côté chez Ovh et 1 côté chez Google, afin de voir le trafic entre
213.186.33.87 et 66.249.71.132. J'ai isolé ce trafic sur un serveur.
On voit bien le probleme. Des SYN_RECV. Les connexions qui ne s'initient
pas. D'après les tcpdump le serveur a bien renvoyé la reponse, mais
visiblement elle n'est pas arrivé chez Google (d'où l'interet de faire
un sniffage du trafic de 2 côtés pour voir si le packet est arrivé
ou pas) ou arrivé mais pas traité.

tcp 0 0 213.186.33.87:80 66.249.71.132:57989 SYN_RECV -
tcp 0 0 213.186.33.87:80 66.249.71.132:41944 SYN_RECV -
tcp 0 0 213.186.33.87:80 66.249.71.132:51322 SYN_RECV -
tcp 0 0 213.186.33.87:80 66.249.71.132:34181 SYN_RECV -
tcp 0 0 213.186.33.87:80 66.249.71.132:64581 SYN_RECV -
tcp 0 0 213.186.33.87:80 66.249.71.132:57926 TIME_WAIT -
tcp 0 0 213.186.33.87:80 66.249.71.132:36323 ESTABLISHED16809/httpd
tcp 0 0 213.186.33.87:80 66.249.71.132:58735 TIME_WAIT -
tcp 0 0 213.186.33.87:80 66.249.71.132:60452 TIME_WAIT -
tcp 0 0 213.186.33.87:80 66.249.71.132:42122 ESTABLISHED13852/httpd
tcp 0 5076 213.186.33.87:80 66.249.71.132:42926 ESTABLISHED13880/httpd
tcp 0 0 213.186.33.87:80 66.249.71.132:52890 ESTABLISHED13893/httpd

Puis j'ai recommencé à bidouiler tout ça dés le debut. Alors le
traceroute vers 66.249.71.132 ... euhhh !!! mais ça ne passe pas
du tout par le peering !

# traceroute 66.249.71.132
traceroute to 66.249.71.132 (66.249.71.132), 30 hops max, 40 byte packets
1 p19-52-6k.routers.ovh.net (213.186.33.159) 76.319 ms 1.346 ms *
2 10G.p19-7-6k.routers.ovh.net (213.186.32.229) 0.697 ms * 1.366 ms
3 80G.gsw-1-6k.routers.ovh.net (213.186.32.146) 0.727 ms * 1.126 ms
4 30G.gblx.gsw-1-6k.routers.ovh.net (213.186.32.129) 64.899 ms 2.419 ms 22.152 ms
5 prs-b4-link.telia.net (213.248.98.121) 4.651 ms 0.690 ms 0.710 ms
6 prs-bb2-pos7-1-0.telia.net (213.248.65.225) 0.734 ms 0.755 ms prs-bb2-link.telia.net (80.91.251.115) 0.810 ms
7 ffm-bb1-link.telia.net (80.91.251.211) 13.921 ms ffm-bb2-link.telia.net (80.91.248.66) 13.868 ms ffm-bb1-link.telia.net (80.91.249.44) 13.556 ms
8 ffm-b7-link.telia.net (80.91.251.234) 16.978 ms ffm-b7-link.telia.net (80.91.254.249) 16.114 ms ffm-b7-link.telia.net (80.91.254.93) 40.008 ms
9 google-ic-127674-ffm-b7.c.telia.net (213.248.89.38) 11.863 ms google-ic-120086-ffm-b7.c.telia.net (80.239.193.138) 10.445 ms google-ic-127674-ffm-b7.c.telia.net (213.248.89.38) 11.037 ms
10 209.85.255.176 (209.85.255.176) 10.421 ms 10.816 ms 10.924 ms
11 209.85.248.94 (209.85.248.94) 10.468 ms 209.85.248.182 (209.85.248.182) 13.709 ms 209.85.248.94 (209.85.248.94) 10.655 ms
12 72.14.233.62 (72.14.233.62) 49.830 ms 72.14.236.220 (72.14.236.220) 84.729 ms 72.14.233.62 (72.14.233.62) 16.619 ms
13 209.85.248.216 (209.85.248.216) 90.979 ms 66.249.95.130 (66.249.95.130) 15.939 ms 209.85.248.216 (209.85.248.216) 90.365 ms
14 216.239.43.192 (216.239.43.192) 84.545 ms 216.239.48.69 (216.239.48.69) 106.081 ms 216.239.43.192 (216.239.43.192) 92.575 ms
15 72.14.232.215 (72.14.232.215) 103.599 ms 216.239.43.113 (216.239.43.113) 86.230 ms 72.14.232.213 (72.14.232.213) 105.414 ms
16 209.85.255.140 (209.85.255.140) 84.439 ms 209.85.253.145 (209.85.253.145) 110.868 ms 209.85.253.141 (209.85.253.141) 107.008 ms
17 66.249.94.235 (66.249.94.235) 90.593 ms crawl-66-249-71-132.googlebot.com (66.249.71.132) 103.812 ms 66.249.94.235 (66.249.94.235) 91.209 ms

Ce trafic passe par Ovh > Global Crossing > Telia > Google !
Visiblement Google ne nous annonce pas correctement leur reseau et
certain trafic de certains Google-Bot ne passe pas par le peering,
mais passe par nos fournisseurs de transit qui sont respectivement
Global Crossing et Telia.

Allez, c'est peut etre ça. Je change le routage pour passer par
Level3:

# traceroute 66.249.71.132
traceroute to 66.249.71.132 (66.249.71.132), 30 hops max, 40 byte packets
1 p19-52-6k.routers.ovh.net (213.186.33.159) 3.199 ms * 0.343 ms
2 10G.p19-7-6k.routers.ovh.net (213.186.32.229) 0.451 ms * 0.439 ms
3 80G.gsw-1-6k.routers.ovh.net (213.186.32.146) 6.046 ms * 0.761 ms
4 80G.gsw-2-6k.routers.ovh.net (213.186.32.157) 0.856 ms * 16.011 ms
5 30G.level3.gsw-2-6k.routers.ovh.net (213.251.130.46) 0.624 ms 0.659 ms 0.607 ms
6 ae-31-53.ebr1.Paris1.Level3.net (4.68.109.94) 1.131 ms ae-32-54.ebr2.Paris1.Level3.net (4.68.109.126) 3.033 ms ae-31-53.ebr1.Paris1.Level3.net (4.68.109.94) 0.997 ms
7 ae-1-100.ebr1.Paris1.Level3.net (4.69.133.81) 1.229 ms ae-2.ebr1.London2.Level3.net (4.69.133.94) 18.888 ms ae-1-100.ebr1.Paris1.Level3.net (4.69.133.81) 10.115 ms
8 ae-48-108.ebr2.London2.Level3.net (4.69.141.130) 12.567 ms ae-2.ebr1.London2.Level3.net (4.69.133.94) 8.121 ms ae-48-108.ebr2.London2.Level3.net (4.69.141.130) 8.112 ms
9 ae-48-108.ebr2.London2.Level3.net (4.69.141.130) 14.475 ms ae-2.ebr1.London1.Level3.net (4.69.132.146) 23.074 ms 16.676 ms
10 ae-2.ebr1.London1.Level3.net (4.69.132.146) 17.775 ms ae-11-53.car1.London1.Level3.net (4.68.116.79) 13.682 ms ae-2.ebr1.London1.Level3.net (4.69.132.146) 18.119 ms
11 195.50.118.210 (195.50.118.210) 8.541 ms ae-11-55.car1.London1.Level3.net (4.68.116.143) 13.279 ms 195.50.118.210 (195.50.118.210) 11.747 ms
12 209.85.255.76 (209.85.255.76) 8.390 ms 8.642 ms 8.878 ms
13 209.85.255.76 (209.85.255.76) 8.832 ms 216.239.43.192 (216.239.43.192) 76.984 ms 209.85.255.76 (209.85.255.76) 8.829 ms
14 216.239.43.113 (216.239.43.113) 118.566 ms 79.183 ms 216.239.43.192 (216.239.43.192) 83.801 ms
15 216.239.43.113 (216.239.43.113) 79.510 ms 209.85.255.140 (209.85.255.140) 76.517 ms 76.822 ms
16 209.85.255.138 (209.85.255.138) 76.792 ms 209.85.255.140 (209.85.255.140) 76.808 ms 76.730 ms
17 72.14.238.138 (72.14.238.138) 97.820 ms 66.249.94.235 (66.249.94.235) 83.811 ms 72.14.238.138 (72.14.238.138) 100.617 ms
18 72.14.238.138 (72.14.238.138) 99.065 ms 209.85.254.243 (209.85.254.243) 97.850 ms 96.594 ms
19 209.85.254.243 (209.85.254.243) 96.374 ms 209.85.253.141 (209.85.253.141) 99.899 ms 209.85.254.243 (209.85.254.243) 97.130 ms
20 209.85.253.137 (209.85.253.137) 105.056 ms 107.068 ms crawl-66-249-71-132.googlebot.com (66.249.71.132) 100.052 ms

Et là, je n'ai plus aucun probleme sur le serveur. On recoit les packets
de Google et on les renvoit. Google recoit et la connexion demarre. Plus
du tout de SYN_RECV !

Le probleme venant donc de là. Probablement une saturation de reseau.
A notre niveau Ovh/Global Crossing il n'y a pas de probleme, on utilise
à fond les liens sans les saturer. Peut-etre un probleme de peering entre
Global Crossing/Telia (très probable) ou Telia/Google (je doute). Je
ne sais pas pour l'instant mais je vais poser les questions aux 2 opérateurs.

Et donc comme Google nous annonce certains reseau Google-Bot sur le
peering et d'autre sur le transit qui ne fonctionnaient pas bien, certains
sites ont été bien parcouru par des Google-Bot via le peering et
d'autres via le transit. Et donc certains sites ont été mal indéxés
et d'autre aucun probleme !

Si on regarde quel Google-Bot avaient de problemes pour acceder à
nos sites:

66.249.64.0 peering linx
66.249.65.0 global crossing/telia, level3 maintenant
66.249.66.0 global crossing/telia, level3 maintenant
66.249.67.0 global crossing/telia, level3 maintenant
66.249.68.0 peering linx
66.249.69.0 peering linx
66.249.70.0 global crossing/telia, level3 maintenant
66.249.71.0 global crossing/telia, level3 maintenant
66.249.72.0 global crossing/telia, level3 maintenant
66.249.73.0 global crossing/telia, level3 maintenant
66.249.74.0 peering linx
66.249.75.0 peering linx
66.249.76.0 peering linx
66.249.77.0 peering linx
66.249.78.0 peering linx
66.249.79.0 peering linx

Bravo ! Pour debuger ce probleme là, il faut connaitre l'infrastructure
d'Ovh sur les bouts de doigts, l'infra de Google, le fonctionnement des
Google-Bots et j'en passe les meilleurs ...

Alors si on se pose des questions dans tout genre, posons nous les jusqu'au
bout en chercheant les reponses.

Car ceci n'explique pas pourquoi le probleme a apparu sur certains
sites à des momemnts differents et pendant une durée de temps
differente et sur certains sites il n'y a aucun probleme !?

En analysant les logs web d'un important site, on peut voir d'où
venait les requetes de Google-Bot vers l'hébergement Start.

Octobre 2008
12 66.249-67.0/24
12 66.249-70.0/24
12 66.249-73.0/24
24 66.249-71.0/24
12012 66.249-65.0/24
16056 66.249-66.0/24
31967 66.249-72.0/24

Novembre 2008
9 66.249-70.0/24
10 66.249-73.0/24
12 66.249-67.0/24
42 66.249-71.0/24
10286 66.249-65.0/24
27432 66.249-66.0/24
38755 66.249-72.0/24

Decembre 2008
31 66.249-66.0/24
32 66.249-73.0/24
68 66.249-71.0/24
496 66.249-72.0/24
11858 66.249-65.0/24
66042 66.249-70.0/24
81207 66.249-67.0/24

Janvier 2009
1 66.249-70.0/24
15 66.249-65.0/24
16 66.249-66.0/24
21 66.249-72.0/24
47 66.249-71.0/24
33156 66.249-73.0/24
85690 66.249-67.0/24

Fevrier 2009
4 66.249-66.0/24
5 66.249-70.0/24
12 66.249-67.0/24
18 66.249-72.0/24
19 66.249-65.0/24
4438 66.249-73.0/24
83542 66.249-71.0/24

Donc les IP de Google-Bot bougent dans le temps. Mais, si on regarde les
annonces de Google à Ovh sur le peering, le trafic ne passe pas par le
peering. Je n'ai pas d'historique d'annonces BGP de Google vers Ovh donc
je ne peux pas l'affimer plus, mais je pense que le probleme de trafic
entre Global Crossing et Telia n'est pas recent. Mais probablement avant
le mois de Janvier Google annoncait à Ovh, tout le reseau. Et si en janvier
Google avait modifié les annonces, et peut etre plusieurs fois, ceci expliquerait
pourquoi certains sites ont vu le probleme à des dates differentes et certains
sites n'ont rien vu du tout. Car étant donné que les IP de Google-Bot changent,
un moment ou l'autre certains Google-Bot passaient par le peering encore et
d'autre déjà par le transit. Ce qui expliquerait que le probleme n'a pas apparu
pour tous les clients (l'hébergement mutualisé et dédié), pas tous les plans,
et à des moments differents.

Nous allons prendre contact avec Google afin de mettre en place des annonces
BGP sur le peering de tout leur reseau et qu'on utilise toujours le peering
et pas le transit où on ne maitrise pas la qualité.

On va voir aussi avec Global Crossing et Telia pour verifier leur peering.

Est-ce qu'Ovh est en faute ? Dans l'absolue oui car nous sommes responsables
de la bonne connexion avec le monde entier. Le probleme n'a pas été simple
à fixer car le probleme evoluait dans le temps avec le changements des IP
et certainement des annonces BGP. Mais ceci nous a permit de mettre en place
une infrastructure interne de suivie de passage de Google-Bot qu'on va encore
améliorer et rendre public. De même pour les autres moteurs de recherche.
On va pouvoir avoir des graphes de passages de Google-Bot de tous les sites
en temps réel et donc surveiller mieux ce trafic car il est important pour
nos clients.
Posted Feb 21, 2009 - 09:48 UTC