OVHcloud Network Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
protections contre les attaques UDP
Scheduled Maintenance Report for Network & Infrastructure
Completed
Depuis 1 mois nous remarquons une très très forte
augmentation de nombre d'attaque que notre reseau
subit. Nous arrivons aujourd'hui à environ 30
attaques par jour avec 3 à 5 attaques qui ont des
consequences sur la qualité de services pour nos
clients.

Il est donc necessaire pour Ovh de regler ce dernier
problemes d'attaque.

Nous avons mis en place les protections contre les
attaques sur la couche UDP.
Le trafic entrant est limité à 50Mbps par IP source
sur UDP.

Update(s):

Date: 2011-08-07 05:04:08 UTC
Nous generalisons la limitation à 20Mbps par IP pour UDP
sur les routeurs qui gerent le trafic entrant d'Ovh.

Date: 2011-06-03 00:54:26 UTC
Nous avons diminué le trafic entrant en UDP par IP from à 20Mbps.
On va voir si ça permet d'éviter les attaques qui restent.

Date: 2011-05-19 22:05:08 UTC
Les reglages sont très efficace. 1.2Gbps à partir de
120 IP sont purgés en 10Mbps :)

Nous avons aspiré l'attaque sur un routeur à côté pour
l'analyser. De l'UDP avec un packet de longeur 1 octet.

La liste des IP qui attaquent:

217.172.172.246 89.188.109.158 202.101.26.194 200.188.178.131 184.172.164.235 202.169.54.69 175.136.235.180 208.115.199.162 202.134.4.74 202.66.159.22 193.184.64.18 208.115.192.78
212.68.85.36 213.229.106.136 202.117.3.81 46.166.128.236 182.48.57.191 110.4.107.207 110.164.59.211 208.115.205.183 121.15.213.209 200.188.178.132 210.94.214.198
81.29.176.70 202.28.24.203 184.82.37.12 74.81.173.152 195.191.169.254 202.89.26.4 202.166.200.59 202.91.25.135 202.119.46.151 202.60.7.34 219.95.150.3
85.25.64.41 201.20.22.76 202.5.202.2 212.154.211.174 202.45.134.100 121.15.129.65 184.82.33.4 94.20.30.58 202.159.29.138 202.52.7.118 202.173.248.246
202.28.46.63 212.76.85.20 84.246.226.241 202.46.15.109 113.53.236.90 62.189.143.103 79.98.27.155 74.63.200.195 193.137.79.77 202.67.159.241 202.176.89.134
202.104.188.88 202.194.15.193 193.204.79.147 195.24.77.77 208.115.199.58 122.117.153.112 202.62.63.11 208.115.199.168 120.50.2.22 200.195.197.217 202.9.76.137
202.194.15.192 84.22.33.10 69.162.154.10 202.168.228.134 210.112.121.16 121.14.38.60 210.243.188.138 202.166.193.43 208.115.202.147 202.44.53.64 218.28.238.153
61.147.124.3 173.224.215.71 202.75.6.111 212.154.211.19 74.63.239.209 123.108.97.73 202.120.94.194 202.64.79.115 202.123.234.165 202.226.241.65 113.36.152.23
72.18.205.208 118.217.181.148 202.102.240.66 202.147.203.11 193.226.98.10 202.71.111.87 74.63.228.59 208.115.200.59 213.251.133.55 202.59.162.133 202.80.119.227
204.227.183.239 222.66.117.194 59.186.116.198 202.104.147.38 217.6.23.156 81.176.236.132 121.12.253.132 74.63.228.48 221.4.198.238 200.103.106.189 113.36.152.18
173.224.212.91 87.117.236.206 202.53.64.153 202.96.186.199 119.145.149.239 202.55.224.2 208.115.224.247 213.186.113.80 85.235.195.174 202.120.108.15 208.100.9.121

00:05:41.025106 ip 217.172.172.246.60802 > 178.32.174.7.52829: udp, length 1
00:05:41.025113 ip 217.172.172.246.60802 > 178.32.174.7.52092: udp, length 1
00:05:41.025117 ip 217.172.172.246.60802 > 178.32.174.7.57685: udp, length 1
00:05:41.025125 ip 217.172.172.246.60802 > 178.32.174.7.19995: udp, length 1
00:05:41.025132 ip 217.172.172.246.60802 > 178.32.174.7.62144: udp, length 1
00:05:41.029163 ip 217.172.172.246.60802 > 178.32.174.7.26174: udp, length 1
00:05:41.033086 ip 217.172.172.246.60802 > 178.32.174.7.51982: udp, length 1
00:05:41.033101 ip 217.172.172.246.60802 > 178.32.174.7.19547: udp, length 1
00:05:41.040862 ip 217.172.172.246.60802 > 178.32.174.7.43119: udp, length 1
00:05:41.040883 ip 217.172.172.246.60802 > 178.32.174.7.60090: udp, length 1

On a bien joué et affiné les regles. On va donc bloquer
l'attaquen en amont en bloquant l'IP de destination.

Date: 2011-05-19 14:23:18 UTC
Suite à une attaque en cours sur une IP, nous avons
affiné les reglages et nous avons diminué le burst
autorisé lors d'une attaque de 10000 à 8000.
L'attaque passé de 70Mbps à 10Mbps. Elle continue
mais n'a plus aucun impact sur le serveur.

#sh inter f0/15 | i 30 sec
30 second input rate 2822000 bits/sec, 303 packets/sec
30 second output rate 62419000 bits/sec, 121785 packets/sec
[...]
#sh inter f0/15 | i 30 sec
30 second input rate 5422000 bits/sec, 585 packets/sec
30 second output rate 10334000 bits/sec, 20076 packets/sec

N'hesitez pas nous remonter les problemes s'ils existent.

Date: 2011-05-13 06:55:54 UTC
Bonjour,
Suite à la mise en place des protections contre les attaques
sur la couche UDP, depuis 24h nous n'avons pas eu à intervenir
pour protéger l'infrastructure. Nous avons reçu une 10ène
d'attaque habituelle qui n'ont pas de conséquence sur nos
clients.

On peut donc estimer que les réglages en place sont corrects
et suffisant. Vite fait, bien fait :)

Yes ! Pourvu que ça dure :)

Le résumé:
- nous avons mis en place une protection sur l'entrée de
notre réseau: nous limitons le trafic UDP à 50Mbps par
IP source. c'est à dire qu'une IP précise sur Internet
ne peut pas envoyer vers le réseau d'Ovh plus que 50Mbps
en UDP.

- nous avons mis en place une protection sur les routeurs
de datacentres: nous limitons le trafic UDP à 50Mbps par
IP destination. c'est à dire qu'une IP précise chez Ovh
ne peut pas recevoir plus que 50Mbps à partir d'Internet
en UDP.

Le rappel des protections déjà en place (depuis 1-2 ans):
- nous avons une limitation à 32Kbps par IP source vers
Ovh sur la couche ICMP et TCP/SYN (avec quelques exceptions).

Les VPS et les mC ont de protections suivantes:
- 100Mbps par IP sur TCP
- 5Mbps par IP sur UDP
- 32Kbps par IP sur ICMP

Il n'y a pas d'autres limitations et on n'en prévoit pas.

Nous avons eu un agréable accueil pour la mise à place
de ces protections. 1 client n'a pas été content et nous
avons eu plein de feedbacks avec un \"ouff\". Je pense que
ces protections crée une belle valeur ajoutée de nos
offres car elles renforce la sécurité des services que
nos clients proposent. Que ça soit un serveur de jeux,
un site WEB ou une connexion ADSL, recevoir un DoS d'un
concurrent c'est très désagréable. Chez Ovh vous êtes
désormais protégé contre vos humeurs de vos concurrents.

Amicalement
Octave


Date: 2011-05-12 13:49:37 UTC
on va activer les protetions sur les routeurs
de RBX2, RBX3 et RBX4

vss-1/1b: fait
vss-2/2b: fait
vss-3/3b/4: fait
vss-5a/5b: fait

Date: 2011-05-12 13:08:56 UTC
on va activer les protections sur les routeurs dans
les datacentres:

vrack: fait
HG 2010/2011: déjà fait
pCC: fait


Date: 2011-05-12 10:01:48 UTC
Bonjour,
Sur l'entrée de la backbone, nous venons de modifier les
réglages. Nous avons enlevé le filtrage sur toute la
couche IP pour ne garder plus que l'UDP.

Ainsi, une IP sur l'Internet est limité à 50Mbps en UDP
vers tout le réseau Ovh.

Si vous avez de problèmes, il faut nous les remonter.
Ce n'est pas parce qu'on doit gérer une urgence qu'on
ne peut pas affiner de suite. C'est toujours le même
email en cas de risque de mort d'homme: oles@ovh.net

Début de l'après midi, nous allons continuer à affiner
les réglages pour arriver au finale à 3 nouvelles règles:

- limitation en UDP sur IP source vers Ovh,
actuellement c'est limité à 50Mbps et on va essayer
de descendre à 20Mbps vers 14h00

- limitation en UDP sur IP destination chez Ovh
actuellement c'est mis en place sur le réseau HG
à 50Mbps. on ne sait pas encore si c'est utile et
s'il faut affiner voir mettre ça sur tous les routeurs

- limitation en UDP sur IP source chez Ovh vers Internet
pas encore mis en place. le but est d'éviter qu'un
serveur chez Ovh envoie une attaque vers Internet.

Amicalement
Octave


Date: 2011-05-12 09:53:15 UTC
En entrée de la backbone, nous avons enlevé
la protection sur toute la couche IP pour
en garder plus que l'UDP.

Date: 2011-05-11 23:02:24 UTC
Vu la quantité des attaques qu'on est en train de
se prendre tous les jours, nous avons décidé de
deterrer la hache de guerre :( C'est plus possible.
Riens qu'aujourd'hui, on est à plus de 30 attaques
et ça fait 5 reseaux de nos clients impactés avec
une degradation temporaire du service.

Alors:

Une IP source (de l'Internet) ne peut pas envoyer
vers le reseau Ovh, plus que 50Mbps sur toute la
couche IP. A terme on pense l'appliquer que sur la
couche UDP.

Nous avons ajouté aussi une limitation sur le
reseau de HG sur l'IP destination en UDP pour
toutes les IP hors Ovh à 50Mbps.

Si vous avez de problemes n'hesitez pas nous le
remonter sur oles@ovh.net, noc@ovh.net



Date: 2011-05-11 22:56:44 UTC
Nous avons ajouté temporairement les limitations sur
toute la couche IP. On limite la bande passante à
50Mbps en input par IP source.

En parallele, nous avons ajouté une limitation sur
le reseau de HG sur l'IP de destination à 50Mbps
sur UDP hors les IP d'Ovh.
Posted May 11, 2011 - 22:28 UTC