OVHcloud Web Hosting Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
load balancing mutu bis
Scheduled Maintenance
Report for Web Cloud
Completed
Suite
http://travaux.ovh.net/?do=details&id=8273
nous avons contacté a10 et la configuration
que nous utilisons. Il y a peut etre une
amélioration à apporter à notre conf pour
utiliser mieux le hardware qu'on a dans le
boitier.
On va faire un test de 10 minutes cette
nuit pour voir si le CPU est à nouveau
chargé. Si tout va bien, on va retirer le
routage puis remettre demain matin quand
on aura l'attaque.
Update(s):
Date: 2013-03-20 11:02:25 UTC
on attend le feedback du support a10 pour fixer
ce probleme.
en attendant on revient sur la configuration
initiale.
fin de travaux :)
Date: 2013-03-20 10:36:33 UTC
Okey, on a trouvé l'origine du probleme, c'est bien un
type d'attaque. On a mis en place un wordaround pour
rendre ces attaques inefficaces et on regarde avec a10
comment les bloquer tout simplement.
tout le trafic est sur les 2 boitiers.
Date: 2013-03-20 09:29:37 UTC
Mar 20 2013 10:25:40 Warning [AX]:conn proxy queue depth exceeds limit (9001)
Mar 20 2013 10:25:38 Warning [AX]:conn proxy queue depth exceeds limit (8001)
Mar 20 2013 10:21:54 Warning [AX]:conn proxy queue depth exceeds limit (7001)
Mar 20 2013 10:21:51 Warning [AX]:conn proxy queue depth exceeds limit (6001)
Mar 20 2013 10:20:49 Warning [AX]:conn proxy queue depth exceeds limit (5001)
Mar 20 2013 10:18:58 Warning [AX]:conn proxy queue depth exceeds limit (4001)
Mar 20 2013 10:18:57 Warning [AX]:conn proxy queue depth exceeds limit (3001)
Mar 20 2013 10:04:29 Warning [AX]:conn proxy queue depth exceeds limit (2001)
Mar 20 2013 10:04:27 Warning [AX]:conn proxy queue depth exceeds limit (1001)
Mar 20 2013 10:04:25 Warning [AX]:conn proxy queue depth exceeds limit (1)
Date: 2013-03-20 09:18:10 UTC
Le CPU continue d'augmenter.
p19-77-a10#sh cpu
Time: 10:17:36 CET Wed Mar 20 2013
1Sec 5Sec 10Sec 30Sec 60Sec
--------------------------------------------------------
Control1 3% 4% 5% 5% 5%
Data1 82% 80% 81% 78% 77%
Data2 73% 70% 70% 70% 69%
Data3 77% 75% 75% 71% 70%
Data4 73% 73% 72% 72% 70%
Data5 79% 80% 79% 75% 74%
Data6 75% 71% 70% 70% 71%
Data7 73% 74% 74% 74% 73%
Data8 57% 57% 59% 57% 56%
Data9 74% 75% 76% 75% 75%
Data10 68% 71% 72% 73% 72%
Data11 72% 72% 72% 71% 70%
Data12 71% 71% 68% 69% 68%
Data13 79% 80% 80% 76% 75%
Data14 77% 77% 76% 75% 72%
Data15 76% 75% 74% 77% 76%
Date: 2013-03-20 09:16:38 UTC
Mar 20 2013 10:04:29 Warning [AX]:conn proxy queue depth exceeds limit (2001)
Mar 20 2013 10:04:27 Warning [AX]:conn proxy queue depth exceeds limit (1001)
Mar 20 2013 10:04:25 Warning [AX]:conn proxy queue depth exceeds limit (1)
Date: 2013-03-20 09:16:23 UTC
Nous avons essayé de repasser tout le trafic
sur les AX. Les boitiers s'etouffent. On
reflechit.
On passe une partie de trafic. Ca passe. On
passe tout le reste. Sous l'eau. On reflechit.
On modifie les parametres sur les buffers
slb buff-thresh hw-buff 30720 relieve-thresh 15360 sys-buff-low 165000 sys-buff-high 235000
reboot des boitiers.
Là ça tient sur un seul boitier. mais la ligne
de buffers n'a pas resité le reboot !? donc
c'est pas ça.
Date: 2013-03-20 00:20:53 UTC
enlevé. le 1er boitier semble marcher
correctement. par contre le 2eme ne
prend pas bien les connexions. on va
voir s'il n'a pas de problème hardware
avec lui.
demain matin, on va remettre le trafic
sur le 1er boitier uniquement et voir
s'il tient le tout et si on a vraiment
l'attaque programmée en auto tous les
matins (qu'on n'a pas vu car les ACE
tiennent bien l'attaque).
http://travaux.ovh.net/?do=details&id=8273
nous avons contacté a10 et la configuration
que nous utilisons. Il y a peut etre une
amélioration à apporter à notre conf pour
utiliser mieux le hardware qu'on a dans le
boitier.
On va faire un test de 10 minutes cette
nuit pour voir si le CPU est à nouveau
chargé. Si tout va bien, on va retirer le
routage puis remettre demain matin quand
on aura l'attaque.
Update(s):
Date: 2013-03-20 11:02:25 UTC
on attend le feedback du support a10 pour fixer
ce probleme.
en attendant on revient sur la configuration
initiale.
fin de travaux :)
Date: 2013-03-20 10:36:33 UTC
Okey, on a trouvé l'origine du probleme, c'est bien un
type d'attaque. On a mis en place un wordaround pour
rendre ces attaques inefficaces et on regarde avec a10
comment les bloquer tout simplement.
tout le trafic est sur les 2 boitiers.
Date: 2013-03-20 09:29:37 UTC
Mar 20 2013 10:25:40 Warning [AX]:conn proxy queue depth exceeds limit (9001)
Mar 20 2013 10:25:38 Warning [AX]:conn proxy queue depth exceeds limit (8001)
Mar 20 2013 10:21:54 Warning [AX]:conn proxy queue depth exceeds limit (7001)
Mar 20 2013 10:21:51 Warning [AX]:conn proxy queue depth exceeds limit (6001)
Mar 20 2013 10:20:49 Warning [AX]:conn proxy queue depth exceeds limit (5001)
Mar 20 2013 10:18:58 Warning [AX]:conn proxy queue depth exceeds limit (4001)
Mar 20 2013 10:18:57 Warning [AX]:conn proxy queue depth exceeds limit (3001)
Mar 20 2013 10:04:29 Warning [AX]:conn proxy queue depth exceeds limit (2001)
Mar 20 2013 10:04:27 Warning [AX]:conn proxy queue depth exceeds limit (1001)
Mar 20 2013 10:04:25 Warning [AX]:conn proxy queue depth exceeds limit (1)
Date: 2013-03-20 09:18:10 UTC
Le CPU continue d'augmenter.
p19-77-a10#sh cpu
Time: 10:17:36 CET Wed Mar 20 2013
1Sec 5Sec 10Sec 30Sec 60Sec
--------------------------------------------------------
Control1 3% 4% 5% 5% 5%
Data1 82% 80% 81% 78% 77%
Data2 73% 70% 70% 70% 69%
Data3 77% 75% 75% 71% 70%
Data4 73% 73% 72% 72% 70%
Data5 79% 80% 79% 75% 74%
Data6 75% 71% 70% 70% 71%
Data7 73% 74% 74% 74% 73%
Data8 57% 57% 59% 57% 56%
Data9 74% 75% 76% 75% 75%
Data10 68% 71% 72% 73% 72%
Data11 72% 72% 72% 71% 70%
Data12 71% 71% 68% 69% 68%
Data13 79% 80% 80% 76% 75%
Data14 77% 77% 76% 75% 72%
Data15 76% 75% 74% 77% 76%
Date: 2013-03-20 09:16:38 UTC
Mar 20 2013 10:04:29 Warning [AX]:conn proxy queue depth exceeds limit (2001)
Mar 20 2013 10:04:27 Warning [AX]:conn proxy queue depth exceeds limit (1001)
Mar 20 2013 10:04:25 Warning [AX]:conn proxy queue depth exceeds limit (1)
Date: 2013-03-20 09:16:23 UTC
Nous avons essayé de repasser tout le trafic
sur les AX. Les boitiers s'etouffent. On
reflechit.
On passe une partie de trafic. Ca passe. On
passe tout le reste. Sous l'eau. On reflechit.
On modifie les parametres sur les buffers
slb buff-thresh hw-buff 30720 relieve-thresh 15360 sys-buff-low 165000 sys-buff-high 235000
reboot des boitiers.
Là ça tient sur un seul boitier. mais la ligne
de buffers n'a pas resité le reboot !? donc
c'est pas ça.
Date: 2013-03-20 00:20:53 UTC
enlevé. le 1er boitier semble marcher
correctement. par contre le 2eme ne
prend pas bien les connexions. on va
voir s'il n'a pas de problème hardware
avec lui.
demain matin, on va remettre le trafic
sur le 1er boitier uniquement et voir
s'il tient le tout et si on a vraiment
l'attaque programmée en auto tous les
matins (qu'on n'a pas vu car les ACE
tiennent bien l'attaque).
This scheduled maintenance affected: Web Hosting || Datacenter GRA (Cluster002, Cluster003, Cluster006, Cluster007, Cluster011, Cluster012, Cluster013, Cluster014, Cluster015, Cluster017, Cluster020, Cluster021, Cluster023, Cluster024, Cluster025, Cluster026, Cluster027, Cluster028, Cluster029, Cluster030, Cluster031).