OVHcloud Web Hosting Status

Current status
Legend
  • Operational
  • Degraded performance
  • Partial Outage
  • Major Outage
  • Under maintenance
Exchange Hosted-Provider 2013/2016
Incident Report for Web Cloud
Resolved
L'offre Exchange Hosted 2013 et 2016 et Exchange Provider 2013 sont impactés par un problème réseau. Des problèmes d'accès aux comptes peuvent survenir.

Nous investiguons.

Update(s):

Date: 2015-12-11 11:50:34 UTC
Nous sommes revenus à un fonctionnement normal sur le service Exchange.
L'ajout d'un serveur frontal nous permet d'encaisser toutes les connections.

Nous restons bien sûr attentif et à l'écoute si des problèmes réapparaissent.



Date: 2015-12-11 08:56:12 UTC
Bonjour,

Ce matin, le service est opérationnel(Outlook, OWA, ActivSync).
Un nouveau serveur Frontal est ajouté pour anticiper les pic de connexions.
Si vous rencontrez des soucis de connexion à votre outlook, veuillez recréer le profil et relancer outlook.

La team exchange d'ovh

Date: 2015-12-10 22:22:48 UTC
Nous venons de finir le rollback.

La seule manipulation à réaliser de votre côté est de couper outlook et relancer afin qu'il prenne la nouvelle configuration.

La team exchange d'ovh.


Date: 2015-12-10 17:32:12 UTC
Bonjour,
Depuis 48H, nous avons un soucis de stabilité de nos infrastructures
Exchange 2010/2013. Il s'agit d’une suite des actions qui ont provoqué
le dysfonctionnement pour certains clients, une panne partielle ou totale,
durant quelques heures, hier et aujourd'hui.

Hier, le 9 décembre, l'équipe Network, a changé le configuration du
réseau pour préparer les travaux sur la backbone de Paris. La conséquence
de cette manipulation a été une mauvaise répartition de charge entre nos
système de load balancing entre Paris et Roubaix. La totalité de connexions
d’hébergement WEB sont arrivés sur Roubaix au lieu d'aller directement sur
notre Datacentre à Paris. Cela a provoqué la surcharge de load balanceurs.
L’ensemble de services assurés par les LB de Roubaix se sont retrouvés
en surcharge et donc aussi Exchange 2010/2013.

Le diagnostique a pris du temps à cause de la mauvaise communication
interne. Les différentes équipes n’étaient pas au courant du changement de
la configuration réseau et ont cherché à résoudre leur problème indépendamment
des autres. L'équipe Exchange a décidé d'activer MAPI qui est moins sensible
au coupure dans le réseau. Après l'activation, le service marchait mieux mais
pas parfaitement. Au finale, l'équipe network a fixé la configuration réseau
ce qui a permit de retrouver le service Exchange. En fin de la journée, tout
allait bien.

Ce matin, nous avons recommencé d'avoir des problèmes mais cette fois ci
c'était lié à la charge CPU dû à l’activation de MAPI. En effet, le MAPI
consomme 2x plus de CPU que sans. L'équipe Exchange a décidé d'ajouter
2x plus de resources dans le cluster afin de supporter MAPI. Après l'ajout de
ces resources, le service s'est stabilisé et fonctionne bien sauf que le webmail
ne fonctionne plus. Apparemment, OWA + MAPI + Exchange 2010/2013 ne
fait pas le bon ménage pour certains clients.

Pour fixer, nous allons faire le rollback et enlever le MAPI. Vu la charge du
cluster, nous avons programmé cette intervention ce soir à 22H00, après le pic
de charge de la journée. Nous aurons une coupure dans le service de 3-5
minutes et normalement tout va redevenir comme avant l'incident d'hier ...

Nous sommes désolés pour cette panne, lié à l'erreur humaine et une suite
de mauvaise décisions pour fixer le soucis. Le diable se trouve dans le détail
et une meilleure coordination entre nos équipes auraient évité cette panne.

Amicalement
Octave


Date: 2015-12-10 17:15:06 UTC
Le service est stable et fonctionne à nouveau SAUF Webmail (OWA).
Pour le fixer, nous devons désactiver le MAPI (que nous avons
activé hier pour essayer de fixer le soucis lié à la saturation du
Load Balancing hier). Nous allons devoir redémarrer le service
Exchange avec une coupure de service de 3-5 minutes et reconnection
massive de tous les clients. Nous avons actuellement plus de 150K
connexions simultanés ouvertes et nous ne souhaitons pas effectuer
cette manipulation en plein journée. Nous allons le faire à 22H00
ce soir, quand la charge sera moindre.

Date: 2015-12-10 15:29:40 UTC
La récupération des messages sur Outlook est ralentie. Nous cherchons le ou les points de congestions.

Date: 2015-12-10 15:04:22 UTC
Nous avons effectué un gros travail sur le loadbalancer et les serveurs frontaux. La configuration réseau a été optimisée sur l'ensemble des éléments.

Pour le moment, nous observons de fortes améliorations sur les protocols MAPI et RPC. ActiveSync fonctionne correctement.

OWA ne fonctionne pas, nous cherchons la cause.

La charge globale a été répartie et vos connexions Outlook devraient se rétablir progressivement.

Date: 2015-12-10 14:24:56 UTC
Des problèmes d'accès aux mailbox via OWA peuvent également se produirent.

Nous travaillons toujours activement sur l'infra pour rétablir les accès.

Date: 2015-12-10 09:33:07 UTC
Des problèmes d'accès aux mailbox subsistent sur l'offre Hosted, nous en avons identifié la cause.

Nous mettons en place une solution technique pour rétablir une qualité de service optimale.

Désolé pour la gêne occasionnée.

Date: 2015-12-09 16:13:17 UTC
L'infrastructure réseau est patchée. Les différents accès vont progressivement revenir.

Date: 2015-12-09 15:42:26 UTC
Nous avons trouver la rootcause.
Nous investiguons pour rétablir le service.

Date: 2015-12-09 14:36:09 UTC
Nous avons activé le protocol MAPI over HTTP sur la plateforme Hosted.

Ce protocol n'est pas pris en charge par tous les clients Outlook, voici les prérequis :
Outlook 2010 SP2 and updates KB2956191 and KB2965295 (April 14, 2015)
Outlook 2013 SP1
Outlook 2016 RTM

Un redémarrage du client peut suffire pour l'utiliser, sinon il sera nécessaire de recréer un profil Outlook. Pour les profils de taille importante, les clients peuvent limiter la synchronisation à un 1 mois dans les paramètres d'Outlook.

Nous travaillons toujours sur la remise en place du protocole RPC.

Date: 2015-12-09 09:20:55 UTC
Des problèmes d'accès à Outlook persistent, nous investiguons, l'accès OWA et Activesync sont toujours fonctionnels.

Date: 2015-12-08 16:07:51 UTC
ActiveSync (smartphone) et OWA sont opérationnels.

Les clients Outlook peuvent toujours rencontrer des problèmes.
Posted Dec 08, 2015 - 15:20 UTC
This incident affected: Collaborative solutions || Hosted Exchange (Reception).