Get webhook notifications whenever Network & Infrastructure creates an incident, updates an incident, resolves an incident or changes a component status.
Depuis 1 mois nous remarquons une très très forte
augmentation de nombre d'attaque que notre reseau
subit. Nous arrivons aujourd'hui à environ 30
attaques par jour avec 3 à 5 attaques qui ont des
consequences sur la qualité de services pour nos
clients.
Il est donc necessaire pour Ovh de regler ce dernier
problemes d'attaque.
Nous avons mis en place les protections contre les
attaques sur la couche UDP.
Le trafic entrant est limité à 50Mbps par IP source
sur UDP.
Update(s):
Date: 2011-08-07 05:04:08 UTC Nous generalisons la limitation à 20Mbps par IP pour UDP
sur les routeurs qui gerent le trafic entrant d'Ovh.
Date: 2011-06-03 00:54:26 UTC Nous avons diminué le trafic entrant en UDP par IP from à 20Mbps.
On va voir si ça permet d'éviter les attaques qui restent.
Date: 2011-05-19 22:05:08 UTC Les reglages sont très efficace. 1.2Gbps à partir de
120 IP sont purgés en 10Mbps :)
Nous avons aspiré l'attaque sur un routeur à côté pour
l'analyser. De l'UDP avec un packet de longeur 1 octet.
00:05:41.025106 ip 217.172.172.246.60802 > 178.32.174.7.52829: udp, length 1
00:05:41.025113 ip 217.172.172.246.60802 > 178.32.174.7.52092: udp, length 1
00:05:41.025117 ip 217.172.172.246.60802 > 178.32.174.7.57685: udp, length 1
00:05:41.025125 ip 217.172.172.246.60802 > 178.32.174.7.19995: udp, length 1
00:05:41.025132 ip 217.172.172.246.60802 > 178.32.174.7.62144: udp, length 1
00:05:41.029163 ip 217.172.172.246.60802 > 178.32.174.7.26174: udp, length 1
00:05:41.033086 ip 217.172.172.246.60802 > 178.32.174.7.51982: udp, length 1
00:05:41.033101 ip 217.172.172.246.60802 > 178.32.174.7.19547: udp, length 1
00:05:41.040862 ip 217.172.172.246.60802 > 178.32.174.7.43119: udp, length 1
00:05:41.040883 ip 217.172.172.246.60802 > 178.32.174.7.60090: udp, length 1
On a bien joué et affiné les regles. On va donc bloquer
l'attaquen en amont en bloquant l'IP de destination.
Date: 2011-05-19 14:23:18 UTC Suite à une attaque en cours sur une IP, nous avons
affiné les reglages et nous avons diminué le burst
autorisé lors d'une attaque de 10000 à 8000.
L'attaque passé de 70Mbps à 10Mbps. Elle continue
mais n'a plus aucun impact sur le serveur.
#sh inter f0/15 | i 30 sec
30 second input rate 2822000 bits/sec, 303 packets/sec
30 second output rate 62419000 bits/sec, 121785 packets/sec
[...]
#sh inter f0/15 | i 30 sec
30 second input rate 5422000 bits/sec, 585 packets/sec
30 second output rate 10334000 bits/sec, 20076 packets/sec
N'hesitez pas nous remonter les problemes s'ils existent.
Date: 2011-05-13 06:55:54 UTC Bonjour,
Suite à la mise en place des protections contre les attaques
sur la couche UDP, depuis 24h nous n'avons pas eu à intervenir
pour protéger l'infrastructure. Nous avons reçu une 10ène
d'attaque habituelle qui n'ont pas de conséquence sur nos
clients.
On peut donc estimer que les réglages en place sont corrects
et suffisant. Vite fait, bien fait :)
Yes ! Pourvu que ça dure :)
Le résumé:
- nous avons mis en place une protection sur l'entrée de
notre réseau: nous limitons le trafic UDP à 50Mbps par
IP source. c'est à dire qu'une IP précise sur Internet
ne peut pas envoyer vers le réseau d'Ovh plus que 50Mbps
en UDP.
- nous avons mis en place une protection sur les routeurs
de datacentres: nous limitons le trafic UDP à 50Mbps par
IP destination. c'est à dire qu'une IP précise chez Ovh
ne peut pas recevoir plus que 50Mbps à partir d'Internet
en UDP.
Le rappel des protections déjà en place (depuis 1-2 ans):
- nous avons une limitation à 32Kbps par IP source vers
Ovh sur la couche ICMP et TCP/SYN (avec quelques exceptions).
Les VPS et les mC ont de protections suivantes:
- 100Mbps par IP sur TCP
- 5Mbps par IP sur UDP
- 32Kbps par IP sur ICMP
Il n'y a pas d'autres limitations et on n'en prévoit pas.
Nous avons eu un agréable accueil pour la mise à place
de ces protections. 1 client n'a pas été content et nous
avons eu plein de feedbacks avec un \"ouff\". Je pense que
ces protections crée une belle valeur ajoutée de nos
offres car elles renforce la sécurité des services que
nos clients proposent. Que ça soit un serveur de jeux,
un site WEB ou une connexion ADSL, recevoir un DoS d'un
concurrent c'est très désagréable. Chez Ovh vous êtes
désormais protégé contre vos humeurs de vos concurrents.
Amicalement
Octave
Date: 2011-05-12 13:49:37 UTC on va activer les protetions sur les routeurs
de RBX2, RBX3 et RBX4
vss-1/1b: fait
vss-2/2b: fait
vss-3/3b/4: fait
vss-5a/5b: fait
Date: 2011-05-12 13:08:56 UTC on va activer les protections sur les routeurs dans
les datacentres:
vrack: fait
HG 2010/2011: déjà fait
pCC: fait
Date: 2011-05-12 10:01:48 UTC Bonjour,
Sur l'entrée de la backbone, nous venons de modifier les
réglages. Nous avons enlevé le filtrage sur toute la
couche IP pour ne garder plus que l'UDP.
Ainsi, une IP sur l'Internet est limité à 50Mbps en UDP
vers tout le réseau Ovh.
Si vous avez de problèmes, il faut nous les remonter.
Ce n'est pas parce qu'on doit gérer une urgence qu'on
ne peut pas affiner de suite. C'est toujours le même
email en cas de risque de mort d'homme: oles@ovh.net
Début de l'après midi, nous allons continuer à affiner
les réglages pour arriver au finale à 3 nouvelles règles:
- limitation en UDP sur IP source vers Ovh,
actuellement c'est limité à 50Mbps et on va essayer
de descendre à 20Mbps vers 14h00
- limitation en UDP sur IP destination chez Ovh
actuellement c'est mis en place sur le réseau HG
à 50Mbps. on ne sait pas encore si c'est utile et
s'il faut affiner voir mettre ça sur tous les routeurs
- limitation en UDP sur IP source chez Ovh vers Internet
pas encore mis en place. le but est d'éviter qu'un
serveur chez Ovh envoie une attaque vers Internet.
Amicalement
Octave
Date: 2011-05-12 09:53:15 UTC En entrée de la backbone, nous avons enlevé
la protection sur toute la couche IP pour
en garder plus que l'UDP.
Date: 2011-05-11 23:02:24 UTC Vu la quantité des attaques qu'on est en train de
se prendre tous les jours, nous avons décidé de
deterrer la hache de guerre :( C'est plus possible.
Riens qu'aujourd'hui, on est à plus de 30 attaques
et ça fait 5 reseaux de nos clients impactés avec
une degradation temporaire du service.
Alors:
Une IP source (de l'Internet) ne peut pas envoyer
vers le reseau Ovh, plus que 50Mbps sur toute la
couche IP. A terme on pense l'appliquer que sur la
couche UDP.
Nous avons ajouté aussi une limitation sur le
reseau de HG sur l'IP destination en UDP pour
toutes les IP hors Ovh à 50Mbps.
Date: 2011-05-11 22:56:44 UTC Nous avons ajouté temporairement les limitations sur
toute la couche IP. On limite la bande passante à
50Mbps en input par IP source.
En parallele, nous avons ajouté une limitation sur
le reseau de HG sur l'IP de destination à 50Mbps
sur UDP hors les IP d'Ovh.