OVHcloud Network Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
internal DDoS
Incident
Report for Network & Infrastructure
Resolved
Nous avons un probleme de congestion sur le reseau
interne dû à un hack de plusieurs centaines de SD
qui attaquent plusieurs cibles interne. En tout le
hack a generé 100Gbps de trafic entre RBX (source)
et BHS (cible).
input 35.22 Gbps
output 71.21 Gbps
La detection de serveurs hackés qui participent à
l'attaque se fait automatiquement mais elle est
trop lente par rapport au nombre de serveurs hackés.
Nous avons coupé le trafic entre RBX et le reseau
interne ce qui fait que l'attaque sort désormais
par le reseau public. Donc plus de congestion. Par
contre les IP qui passent par le VAC connaissent
un loop.
On a remis le reseau interne. Il reste 70Gbps
input 26.49 Gbps
output 43.17 Gbps
Update(s):
Date: 2014-11-10 00:11:21 UTC
Tous les serveurs qui ont participé à l'attaque sont
en rescue et les clients contactés. Les serveurs
sont hackés en root avec le hack shellshock (bash).
En tout, 800 serveurs ont participé à l'attaque de
ce matin generant plus de 120Gbps en pic sur le
reseau interne. Nous avons 60Gbps entre EU et BHS
ce qui a provoqué la cogention. Visiblement il est
temps de passer en 2x100G sur le reseau privé entre
Europe et Canada.
Date: 2014-11-09 22:53:38 UTC
Nous avons identifié une nouvelle série de serveurs hackés qui ont pris part à l'attaque. Nous sommes en train de les bloquer (environ 500 machines).
Date: 2014-11-09 20:41:00 UTC
En environ un peu moins de 1000 serveurs dédié
ont participé à cette attaque. une dizaines des
IP DST ont été la cible.
Il reste encore environ 150 serveurs à fermer.
Date: 2014-11-09 19:31:27 UTC
On a mis en DPI les 2 IP qui controlent l'attaque
pour trouver toutes les IP restantes qui envoient
encore les packets. Et nous les avons recoupé avec
le systeme anti-hack: on retrouve bien les mêmes
serveurs hackés (aie). Le probleme vient donc
effectivement de la vitesse de traitement de la
mise en rescue de serveurs qui attaquent.
On va reecrire tout ce systeme dés Lundi.
Date: 2014-11-09 19:17:48 UTC
On continue couper les serveurs hackés. Il n'y a plus
de congestion. Le VAC est opérationel.
interne dû à un hack de plusieurs centaines de SD
qui attaquent plusieurs cibles interne. En tout le
hack a generé 100Gbps de trafic entre RBX (source)
et BHS (cible).
input 35.22 Gbps
output 71.21 Gbps
La detection de serveurs hackés qui participent à
l'attaque se fait automatiquement mais elle est
trop lente par rapport au nombre de serveurs hackés.
Nous avons coupé le trafic entre RBX et le reseau
interne ce qui fait que l'attaque sort désormais
par le reseau public. Donc plus de congestion. Par
contre les IP qui passent par le VAC connaissent
un loop.
On a remis le reseau interne. Il reste 70Gbps
input 26.49 Gbps
output 43.17 Gbps
Update(s):
Date: 2014-11-10 00:11:21 UTC
Tous les serveurs qui ont participé à l'attaque sont
en rescue et les clients contactés. Les serveurs
sont hackés en root avec le hack shellshock (bash).
En tout, 800 serveurs ont participé à l'attaque de
ce matin generant plus de 120Gbps en pic sur le
reseau interne. Nous avons 60Gbps entre EU et BHS
ce qui a provoqué la cogention. Visiblement il est
temps de passer en 2x100G sur le reseau privé entre
Europe et Canada.
Date: 2014-11-09 22:53:38 UTC
Nous avons identifié une nouvelle série de serveurs hackés qui ont pris part à l'attaque. Nous sommes en train de les bloquer (environ 500 machines).
Date: 2014-11-09 20:41:00 UTC
En environ un peu moins de 1000 serveurs dédié
ont participé à cette attaque. une dizaines des
IP DST ont été la cible.
Il reste encore environ 150 serveurs à fermer.
Date: 2014-11-09 19:31:27 UTC
On a mis en DPI les 2 IP qui controlent l'attaque
pour trouver toutes les IP restantes qui envoient
encore les packets. Et nous les avons recoupé avec
le systeme anti-hack: on retrouve bien les mêmes
serveurs hackés (aie). Le probleme vient donc
effectivement de la vitesse de traitement de la
mise en rescue de serveurs qui attaquent.
On va reecrire tout ce systeme dés Lundi.
Date: 2014-11-09 19:17:48 UTC
On continue couper les serveurs hackés. Il n'y a plus
de congestion. Le VAC est opérationel.