Informationen zur eingeschränkten Verfügbarkeit von HostedExchange

Wir möchten Sie auf dem Laufenden halten, was bisher vorgefallen ist und wie wir an der vollständigen Wiederherstellung der Erreichbarkeit arbeiten:

• Am Freitag, den 11. Januar, kam es in unserem Rechenzentrum in Köln zu einem Stromausfall, sodass alle unsere Dienste für einige Minuten nicht erreichbar waren. Wir haben unsere Stromversorgung sofort repariert, am darauffolgenden Wochenende waren alle Dienste wieder verfügbar.
• Am Sonntagabend kam es dann zu Verzögerungen beim Zugriff auf HostedExchange, unser Techniker-Team startete sofort die Untersuchungen.
• Bis Montagnachmittag gegen 15.00 Uhr konnten wir keine Lösung finden und haben daher Microsoft um Unterstützung gebeten. Die Teams arbeiten seither rund um die Uhr daran, eine Lösung zu finden.
• Am Dienstag, den 15. Januar, haben wir das Problem bei Microsoft eskaliert. Es liegt jetzt bei Schweregrad A – der höchsten Eskalationsstufe. Sowohl Microsoft als auch Domain Factory verfügen über erfahrene Teams, die Tag und Nacht an diesem Thema arbeiten.
• Heute untersuchen wir ein mögliches Problem mit den öffentlichen Ordnern und haben diese daher für Kunden offline gestellt.
• Unsere Arbeiten werden dadurch erschwert, dass das System auch für uns nur mit starken Verzögerungen erreichbar ist und somit Zugriffe und Reparaturarbeiten verlangsamt werden.
• Wir halten den HostedExchange-Dienst online, auch wenn er aktuell sehr langsam läuft.  Die meisten Kunden sind so in der Lage, E-Mails zu senden und zu empfangen – wenn auch mit starken Verzögerungen.

Auf unserer Statusseite halten wir Sie weiter über den Fortschritt unserer Arbeiten auf dem Laufenden.

Wir wissen, dass dieser Ausfall frustrierend für Sie ist und uns ist bewusst, dass es nicht der Service-Standard ist, den Sie von uns erwarten. Alle Fehler so schnell wie möglich zu beheben ist unsere oberste Priorität.

Update vom 16. Januar 2019, 20:03 Uhr

Die Probleme bestehen auch heute Abend noch weiterhin, jedoch

konnten wir inzwischen einige Fortschritte bei unseren technischen

Untersuchungen erzielen, über die wir Sie informieren möchten.

• Eine besondere Herausforderung hat sich durch die stark verzögerten Antwortzeiten der Exchange-Server ergeben – dies hat unsere Arbeiten an den Servern verlangsamt. Daher haben wir unsere Systeme um neue Hardware erweitert, sodass wir die Fehleranalyse durch neue Kapazitäten schneller durchführen können.
• Heute Abend um 22 Uhr werden wir die Exchange-Postfächer offline nehmen, damit uns mehr Rechenleistung für unsere Prüfungen zur Verfügung steht. Wir werden den Zugang zu Ihrem Exchange-Postfach morgen früh ab 6 Uhr wiederherstellen.
• Wir werden unsere Statusseiten heute Abend und morgen früh weiter aktualisieren, um Sie über den aktuellen Stand unserer Arbeiten auf dem Laufenden zu halten.

Es tut uns leid, dass diese Probleme noch nicht behoben sind. Uns ist bewusst, wie verärgert Sie deswegen sind. Wir arbeiten rund um die Uhr mit den besten Teams von Microsoft zusammen, um die Postfächer so schnell wie möglich wieder in Betrieb zu nehmen.

Update vom 17. Januar 2019, 09:21 Uhr

Wir haben die Nacht über neue Hardware zu unseren Systemen hinzugefügt,

sodass uns nun weitere Kapazitäten für die Fehlersuche zur Verfügung stehen.

Die CPU-Last der Exchange-Server ist nach wie vor sehr hoch,

durch die Erweiterung der Kapazität konnte der Zugriff auf Ihre Postfächer also

noch nicht wieder stabilisiert werden. Wir bedauern sehr, dass es auch heute

noch weiterhin zu einer eingeschränkten Verfügbarkeit der Exchange-Systeme

kommt.

Wir sind jedoch in der vergangenen Nacht mit unseren Untersuchungen weiter vorangekommen und können nun gemeinsam mit Microsoft neue Arbeitssätze verfolgen und Reparaturarbeiten durchführen. Diese Arbeiten werden durch die zusätzlichen Serverkapazitäten erleichtert.

Die vollständige Erreichbarkeit so schnell wie möglich wiederherzustellen

ist die oberste Priorität unseres Teams bei DomainFactory in Zusammenarbeit mit

Microsoft.

Wir werden Sie weiterhin über unsere Statusseite auf dem Laufenden halten und entschuldigen uns erneut für die eingeschränkte Verfügbarkeit Ihrer HostedExchange-Postfächer.

Update vom 17. Januar 2019, 17:26 Uhr

Heute im Laufe des Tages konnten einige Kunden Verbesserungen

der Erreichbarkeit ihrer Exchange-Postfächer feststellen: Der Zugriff auf E-Mails

erfolgt wieder schneller und die Postfächer können teils wieder wie gewohnt genutzt

werden.

Jedoch ist das aktuell noch nicht bei allen Kunden der Fall –

für einige von Ihnen kommt es leider immer noch zu Problemen. Wir arbeiten weiter

mit Hochdruck daran, allen unseren Kunden die Leistungen wieder im vollen

Umfang zur Verfügung zu stellen.

Wir gehen nach wie vor davon aus, dass die Ursache der

Störung bei den öffentlichen Ordnern zu suchen ist, müssen jedoch noch

umfangreiche Untersuchungen durchführen, um das sicher bestätigen zu können.

Sobald die genaue Ursache feststeht, werden wir Ihnen ausführliche Informationen

dazu bereitstellen.

Inzwischen haben die zusätzlichen Kapazitäten, die wir in

den letzten 24 Stunden in Betrieb genommen haben, zu einer deutlichen

Verbesserung geführt.

Wir werden weiterhin rund um die Uhr daran arbeiten, das Problem zu beheben und alles dafür tun, dass Sie so schnell wie möglich wieder ohne Einschränkungen auf Ihre HostedExchange-Postfächer zugreifen können.

Update vom 18. Januar 2019, 10:14 Uhr

Die Exchange-Server laufen auch heute Morgen stabil und

viele Kunden können mit verbesserter Geschwindigkeit auf Ihre Postfächer

zugreifen.

Uns ist jedoch auch bewusst, dass einige Kunden immer noch

Probleme beim Zugriff haben und wir arbeiten weiter mit Hochdruck daran, die

Ursache des Problems zu ermitteln. Über Nacht haben wir eine Vielzahl diverser Systemüberprüfungen

durchgeführt und diskutieren die Ergebnisse heute Morgen priorisiert mit

Microsoft.

Wir tun weiterhin alles, um HostedExchange so schnell wie möglich wieder im vollen Umfang zur Verfügung zu stellen.

Update vom 18. Januar 2019, 18:08 Uhr

Der Großteil unserer Kunden hat derzeit wieder normalen Zugriff auf HostedExchange-Postfächer.

Unser Fokus liegt nun auf den Accounts der Kunden, die noch nicht wieder normal auf Ihr Postfach zugreifen können. Für das Wochenende haben wir einen Arbeitsplan erstellt, um die Ursache dieser Probleme zu identifizieren. Im Rahmen dieser Arbeiten wird es erforderlich sein, dass wir ungenutzte öffentliche Ordner aus einigen Accounts unserer Kunden entfernen. Dies werden wir ausschließlich dann durchführen, wenn die öffentlichen Ordner ungenutzt sind und keinerlei Daten enthalten.

Unser Team wird auch am Wochenende rund um die Uhr arbeiten und wir werden Sie weiterhin auf dem Laufenden halten. Dazu ist es geplant, am späten Samstag- und Sonntagnachmittag ein Update im Blog zu veröffentlichen. Wenn es außerhalb dieser Zeiten wichtige Neuigkeiten gibt, werden wir Sie darüber auf unserer Statusseite informieren.

Unser Team wird weiterhin alles daransetzen, die Postfächer wieder zum Laufen zu bringen.

Update vom 19. Januar 2019, 18:46 Uhr

Wir kommen mit unserer Arbeit am Wochenende gut voran, die

meisten Postfächer sind wieder wie gewohnt erreichbar. Bei einigen wenigen

Kunden jedoch kommt es derzeit noch zu Zugriffsfehlern, die wir individuell mit

hoher Priorität bearbeiten.

Wir danken Ihnen für Ihre Geduld in den letzten Tagen und werden Sie weiterhin auf dem Laufenden halten.

Update vom 20. Januar 2019, 17:52 Uhr

Die Fehler beim Zugriff auf HostedExchange sind nun behoben,

unserer Kunden können ihre Postfächer wieder wie gewohnt nutzen.

Für die mit dem Ausfall verbundenen Unannehmlichkeiten möchten wir uns bei Ihnen entschuldigen und wir bedanken uns für Ihre Geduld während der Fehlerbehebung. Wir nehmen diesen Vorfall zum Anlass, umfangreiche Prüfungen zur Verbesserung unserer Systeme durchführen, um eine derartige Störung künftig zu vermeiden. Dazu werden wir Ihnen in den nächsten Tagen noch weitere  Informationen zur Verfügung stellen.

28. Januar 2019, Ursache der eingeschränkten Verfügbarkeit von HostedExchange

Im Folgenden stellen wir Ihnen eine Zusammenfassung aller

Informationen über die Ursache der Zugriffsprobleme auf

HostedExchange-Postfächer zur Verfügung.

Doch zuerst möchten wir uns bei Ihnen entschuldigen. Uns ist

bewusst, wie wichtig der zuverlässige E-Mail-Dienst für Sie ist – und dass Sie

sich dabei auf uns verlassen. Nachdem es zu einem Ausfall gekommen ist,

erwarten Sie zu Recht eine Erklärung. In der vergangenen Woche haben wir

ausführliche Untersuchungen durchgeführt, wie es dazu kam und wie wir einen

solchen Ausfall künftig vermeiden:

In der Vergangenheit haben wir für alle Kunden leere

öffentliche Ordner angelegt. Diese verwenden manche unserer Kunden für die

Zusammenarbeit und für gemeinsame Ressourcen wie z.B. für Kalender, teils bleiben

die öffentlichen Ordner jedoch auch komplett ungenutzt. Letzte Woche haben wir dabei

eine uns bislang unbekannte Obergrenze erreicht, was zu einem Anstieg der

Serverauslastung führte. Infolgedessen war der E-Mail-Dienst für

Exchange-Postfächer mitunter sehr langsam, teilweise kam es auch zu

vollständigen Verbindungsabbrüchen.

Es handelte sich dabei um ein noch völlig unbekanntes Problem:

keiner der vielen Experten, die gemeinsam an der Behebung gearbeitet haben –

einschließlich die des Anbieters – wurde zuvor schon einmal damit konfrontiert.

So waren umfangreiche Prüfungen nötig, um dem Problem auf den Grund zu gehen. Im

Nachhinein mag die Lösung zwar einfach erscheinen, aber die Identifizierung der

Ursache erforderte eine komplexe und detaillierte Überprüfung des gesamten

Systems. Erschwert wurden unsere Untersuchungen dadurch, dass unser Zugriff auf

die Server bei der Fehlersuche genauso verlangsamt war wie Ihrer, wenn Sie auf

Ihr Postfach zugreifen wollten.

Wir haben rund um die Uhr daran gearbeitet, die Ursache zu

finden und zu beheben, und wir selbst sind unzufrieden mit der Dauer der

endgültigen Problemlösung.

Wie verhindern wir, dass sich ein solcher Vorfall wiederholt?

Wir haben einige ungenutzte,

leere öffentliche Ordner unserer Kunden entfernt. Bitte beachten Sie: Wenn

Sie derzeit einen öffentlichen Ordner verwenden, können Sie diesen wie gewohnt

weiterhin nutzen. Für neue Postfächer jedoch werden wir diese Option nicht mehr

anbieten. Außerdem werden wir die Anzahl der öffentlichen Ordner auf unseren

Servern laufend überwachen, damit es nicht erneut zu einer solchen Situation

kommt.

Wir haben alle unsere Ressourcen aufgeboten, um die

Verfügbarkeit Ihrer Exchange-Postfächer wiederherzustellen, und bedauern sehr,

dass uns das nicht schneller gelungen ist. Wir legen großen Wert darauf, Ihnen

einen zuverlässigen Service zu bieten; und wir tun alles, damit sich ein

derartiger Ausfall nicht wiederholt.