Stellungnahme zur Nichterreichbarkeit am
19. Juli 2018
Veröffentlicht am 23.07.2018 von DomainFactory
Am Donnerstag, den 19. Juli 2018, kam es zu einer Störung beim Zugriff auf unser Mailsystem und auf Domains, denen SSL-Zertifikate mit eigenen IP-Adressen zugewiesen sind. Wir möchten Ihnen hier nun die Ursache und unsere Gegenmaßnahmen erläutern.
In der Nacht zum 19. Juli 2018 haben wir geplante Wartungsarbeiten in unserem Netzwerk durchgeführt, um unsere Infrastruktur zu aktualisieren und um die Serverstabilität, die Performance und die Skalierbarkeit des Systems weiter zu verbessern. Primär bezogen sich unsere Arbeiten dabei auf Routingpolicies. Wir haben den Vorgang sorgfältig geplant und vorbereitet, und wir waren mit der Vorgehensweise durch mehrfache Durchführung in anderen Teilen unserer Umgebung bereits vertraut. Bislang konnten wir positive Ergebnisse ohne jegliche Beeinträchtigung dabei erzielen.
Dennoch kam es gegen 2:30 Uhr an zwei voneinander unabhängigen Stellen zu Fehlern in der Konfiguration, die zur Nichterreichbarkeit diverser Kundensysteme führten. Dies betraf nicht nur den Netzbereich, auf den sich unsere Arbeit beschränkte, sondern wirkte sich auch auf Fragmente anderer Netzbereiche aus.
Leider war der Fehler für uns nicht direkt ersichtlich, da innerhalb unseres Netzwerks alle Dienste erreichbar waren. Gegen 4:30 Uhr wurde der Fehler bei uns bekannt. Zu diesem Zeitpunkt war die Wartung bereits abgeschlossen, sodass ein Rollback – also ein komplettes Zurückrollen der Änderung – nicht mehr möglich war.
Sobald wir den Fehler erkannt hatten, haben wir mit der Fehleranalyse begonnen und konnten gegen 8 Uhr morgens die Verfügbarkeit der ersten betroffenen Netzbereiche wiederherstellen.
Gegen 9:30 Uhr haben wir den zweiten Fehler identifiziert. Die Behebung für alle betroffenen Netzbereiche hat etwa eine Stunde in Anspruch genommen – gegen 10:30 Uhr standen sämtliche Systeme wieder zur Verfügung.
Durch die Zwischenspeicherung von E-Mails, die während der Störung eingegangen sind, war unser Mailsystem anschließend noch für mehrere Stunden stark ausgelastet, sodass es zu einer verzögerten E-Mail-Zustellung kam.
Es sind keine E-Mails verloren gegangen.
Wir haben diesen Vorfall zum Anlass genommen, unsere Vorgehensweise bei Wartungsarbeiten insbesondere in Bezug auf unser Monitoring-System genau zu überprüfen, damit wir künftig schneller reagieren können.
Wir bedauern sehr, dass es zu dem Fehler kam und dass wir dadurch Ihr Tagesgeschäft beeinträchtigt haben. Daher möchten wir uns für die entstandenen Unannehmlichkeiten entschuldigen und werden daran arbeiten, dass es künftig nicht mehr zu solchen Vorfällen kommt.
Kommentare
Lisa Weber
am 18.01.2019Werde das mal bei <a href="https://www.google.com/"; rel="nofollow">Google</a> checken Werde das mal bei <a href="https://www.google.com/"; rel="nofollow">Google</a> checken
heise.de
am 15.01.2019Alle Privatkunden und Direktkunden sollten schon längst von DF weggezogen sein. Für Reseller sieht die Lage etwas anders aus.
Stell Dir einen kleinen Reseller mit 100 Kunden bei DF vor. Das ganze [...] Alle Privatkunden und Direktkunden sollten schon längst von DF weggezogen sein. Für Reseller sieht die Lage etwas anders aus.
Stell Dir einen kleinen Reseller mit 100 Kunden bei DF vor. Das ganze Resellersystem bei Df war eine proprietäre Lösung und die ganze Konfiguration lässt sich deshalb nicht so einfach umziehen. Die 100+ Websites umzuziehen, wäre kein großes Problem. Aber die 100 Kunden haben im Schnitt vielleicht 20 IMAP-Postfächer. Dann sind 2.000 IMAP-Postfächer a durchschnittlich 1GB umzuziehen. Da sind 2 TB an Maildaten zu migrieren. Da müssen bei jedem einzelnen Mitarbeiter des Kunden vor Ort Zugangsdaten/Konfigurationen geändert werden, ggf. auch bei über ganz Deutschland verteilten Außendienstlern des Kunden. Für den Support von PCs, Outlook, etc. vor Ort beim Kunden ist ein anderer Dienstleister des Kunden zuständig, der auch bezahlt werden will. Ggf hat der neue Hoster eine andere Ordner-Struktur auf seinen IMAP-Servern, was enorm Supportaufwand triggern wird. Der Umzug zu einem anderen Hoster wird den kleinen Reseller letztlich in der Größenordnung 10.000-100.000 EUR kosten. Entsprechend groß ist die Leidensfähigkeit der kleineren Reseller bei DF.
Letztlich ist es die Wahl zwischen Pest und Cholera. Bei Domainfactory wird nur noch Gewinn rausgepresst und zu dem Zweck werden auch Verträge gebrochen, SLAs missachtet, Kunden wissentlich hintergangen und für dumm verkauft (Liebe Juristen: Ja das fällt nicht mehr unter Meinungsäußerung. Das ist eine Tatsachenbehauptung und ich kann alles belegen). Auf der Basis DF kann man kein erfolgreiches Geschäft mehr aufbauen und da kann man nachts nicht mehr ruhig schlafen. Ein Umzug verursacht aber Aufwand und Kosten in existenzbedrohender Größenordnung. Welchen Tod will der Reseller also sterben?
Wie konnte es dazu kommen? DF war jahrelang ein exzellenter Hoster. Alles lief gut. Der Reseller war zufrieden, Die Kunden des Resellers waren zufrieden. Man ist zusammen gewachsen. Still und leise ist die Abhängigkeit mit gewachsen. Die trat nie als Problem zutage. Bis DF verkauft wurde und es eine immer steilere Abwärtsspirale gab.
https://www.heise.de/forum/heise-online/News-Kommentare/Weiterhin-Probleme-bei-Host-Europe-und-DomainFactory/Warum-Domainfactory-trotzdem-noch-Kunden-hat/posting-33766940/show/
Dr. Bertling
am 15.01.2019Tja,
es sind offenbar noch nicht genug Lehren aus der Situation abgeleitet worden.
Sicherlich ist es NICHT ein einzelner Mail-Server, der gerade nicht erreichbar ist.
Offengestanden erwarte ich [...] Tja,
es sind offenbar noch nicht genug Lehren aus der Situation abgeleitet worden.
Sicherlich ist es NICHT ein einzelner Mail-Server, der gerade nicht erreichbar ist.
Offengestanden erwarte ich von einem IT-Unternhehmen ein Höchstmass an Massnahmen zur Erhaltung der Services.
Da gibt es sehr viele optionen, die verhindern können, dass ALLE Config Items, die an einem Service beteilgt sind gleichermassen beteiligt / beeinträchtigt sind.
Statistiken sprechen von 80% solcher Fehlern NACH Changes, so wie bei der Störung im Juli 18.
==> Bitte mehr Qualitätssicherung!!!!
Es ist ein unbeschreiblicher Impact auf kleine Unternehmen, die im Kundenverkehr auf digitale Kommunikation angewiesen sind.
Rainer.D
am 05.08.2018Sehr nett wäre auch eine Stellungnahme nur Nichterreichbarkeit des Forums, welche inzwischen schon einen Monat andauert. Sehr nett wäre auch eine Stellungnahme nur Nichterreichbarkeit des Forums, welche inzwischen schon einen Monat andauert.
am 06.08.2018+1 +1
Hangbird
am 07.08.2018Ja, genau, wann geht es wieder los mit dem Forum? Ja, genau, wann geht es wieder los mit dem Forum?
Axel
am 07.08.2018"In Kürze" steht schon ziemlich lange dort. Vielleicht verstehe ich "in Kürze" aber auch falsch... "In Kürze" steht schon ziemlich lange dort. Vielleicht verstehe ich "in Kürze" aber auch falsch...
Guntram
am 10.08.2018Ja, das wäre sehr hilfreich. Noch hilfreicher wäre es, das Forum wieder online gehen zu lassen. Schließlich ist es eine schier unversiegbare Quelle an Informationen bei Problemen. Dass dann die [...] Ja, das wäre sehr hilfreich. Noch hilfreicher wäre es, das Forum wieder online gehen zu lassen. Schließlich ist es eine schier unversiegbare Quelle an Informationen bei Problemen. Dass dann die Diskussion über die Sicherheitsthemen dort aufflammt, wird sich natürlich nicht vermeiden lassen. Das passiert aber, egal wann das Forum online geht ...
Viele Grüße
Guntram
Rainer.D
am 10.08.2018... mir würde es sogar reichen wenn es zunächst auf read-only steht, ich habe das ständig zur Recherche genutzt, es ist eigentlich immer das primäre Support-Tool von DF gewesen, ich habe überhaupt [...] ... mir würde es sogar reichen wenn es zunächst auf read-only steht, ich habe das ständig zur Recherche genutzt, es ist eigentlich immer das primäre Support-Tool von DF gewesen, ich habe überhaupt kein Verständnis mehr für diese lange Auszeit.
Sonja
am 13.08.2018Irgendwie wirkt es, als ob DF kurz vor dem finalen Zusammenbruch stünde. Daß man ein Forum von den Diskussionsbeiträgen eines (!) Hackers nicht im Laufe von vier Wochen befreien kann, spricht schon [...] Irgendwie wirkt es, als ob DF kurz vor dem finalen Zusammenbruch stünde. Daß man ein Forum von den Diskussionsbeiträgen eines (!) Hackers nicht im Laufe von vier Wochen befreien kann, spricht schon Bände.
Daddy
am 16.08.2018Hallo Anna,
es wäre wirklich hilfreich, wenn es regelmäßig Statements gibt. Auf facebook, twitter oder im blog ist seit Wochen nichts neues zu lesen.
Wann konkret kommt das Forum zurück? Technisch [...] Hallo Anna,
es wäre wirklich hilfreich, wenn es regelmäßig Statements gibt. Auf facebook, twitter oder im blog ist seit Wochen nichts neues zu lesen.
Wann konkret kommt das Forum zurück? Technisch sollte das innerhalb von Stunden wieder möglich sein.
Wie sieht die Entschädigung für die Kunden aus?
Wann werden Tickets der GF beantwortet? Meins ist seit Wochen auf Status NEU.
Die Erklärung zu LvivIT! und Cloudflare fehlt auch immer noch. Stichwort: gebrochener ADV-Vertrag § 3.2.
Kurt
am 18.09.2018+1
Es war jetzt wirklich lange genug Zeit, das Forum wieder online zu bringen. An was hängt es denn noch? +1
Es war jetzt wirklich lange genug Zeit, das Forum wieder online zu bringen. An was hängt es denn noch?
icke
am 23.09.2018warum startet man nicht einfach ein neues forum?
alles auf anfang...
dann geht zwar viel an information verloren, aber besser als nix...
man kann ja alte support-themen später hinzufügen... warum startet man nicht einfach ein neues forum?
alles auf anfang...
dann geht zwar viel an information verloren, aber besser als nix...
man kann ja alte support-themen später hinzufügen...
Anguel
am 24.01.2019Einzige Erklärung: Man möchte nicht, dass verärgerte Kunden im Forum miteinander diskutieren. Einzige Erklärung: Man möchte nicht, dass verärgerte Kunden im Forum miteinander diskutieren.
briefe schreiben
am 18.06.2019+1 +1
Frank
am 01.08.2018Hallo Anna,
da das Forum immer noch nicht da ist, stelle ich hier mal die Frage.
Reicht es wenn ich die Domains im Kundenmenü kündige, kann ich dann jederzeit die Domains rübertransferieren. [...] Hallo Anna,
da das Forum immer noch nicht da ist, stelle ich hier mal die Frage.
Reicht es wenn ich die Domains im Kundenmenü kündige, kann ich dann jederzeit die Domains rübertransferieren. Ich hab zusätzlich noch einen Domainonly Tarif, wird dieser automstisch gekündigt, wenn keine Domains mehr in diesem Account vorhanden. Danke.
grüsse frank
Anna
am 01.08.2018Hallo Frank,
Sie müssten den DomainManager dann auch kündigen, das geht auch im Kundenmenü über die Online-Kündigung. Die Domains können Sie jederzeit bis zum Laufzeitende transferieren.
Viele [...] Hallo Frank,
Sie müssten den DomainManager dann auch kündigen, das geht auch im Kundenmenü über die Online-Kündigung. Die Domains können Sie jederzeit bis zum Laufzeitende transferieren.
Viele Grüße!
christian
am 31.07.2018warum sperrts ihr nicht einfach zu warum sperrts ihr nicht einfach zu
Sepp
am 01.08.2018Hast Du noch nie einen Fehler gemacht? Einfach reinprügeln finde ich nicht OK. Hast Du noch nie einen Fehler gemacht? Einfach reinprügeln finde ich nicht OK.
Anonymous
am 30.07.2018Eine Frage warum nutzt ihr jetzt Cloudflare für eure System, bin gerade in den USA und werde auch schön dort abgewickelt. Bin gespannt wir Ihr den US-Cloud-Act mit der DSVGO vereinen wollt??? Eine Frage warum nutzt ihr jetzt Cloudflare für eure System, bin gerade in den USA und werde auch schön dort abgewickelt. Bin gespannt wir Ihr den US-Cloud-Act mit der DSVGO vereinen wollt???
Daddy
am 01.08.2018Das ist natürlich nicht DSVGO konform. Genausowenig wie die Zugriffe aus der Ukraine. Statt in Deutschland fähige Mitarbeiter einzustellen, wird hier die Kernkompetenz eines Hosters outgesourced.
[...] Das ist natürlich nicht DSVGO konform. Genausowenig wie die Zugriffe aus der Ukraine. Statt in Deutschland fähige Mitarbeiter einzustellen, wird hier die Kernkompetenz eines Hosters outgesourced.
Cloudflare ist Schlangenöl. Das ersetzt nicht eine sichere Programmierung.
Anna
am 01.08.2018Haben Sie unsere E-Mail dazu gelesen, die wir an alle Kunden geschickt haben?
"Cloudflare arbeitet als Dienstleister zur Datenverarbeitung bestimmter personenbezogener Daten innerhalb und [...] Haben Sie unsere E-Mail dazu gelesen, die wir an alle Kunden geschickt haben?
"Cloudflare arbeitet als Dienstleister zur Datenverarbeitung bestimmter personenbezogener Daten innerhalb und außerhalb der Europäischen Union und des Europäischen Wirtschaftsraums in Übereinstimmung mit den geltenden Gesetzen. Wir haben eine entsprechende Datenverarbeitungsvereinbarung (DPA) unterzeichnet; und die Nutzung der Cloudflare-Dienste wurde in einem Datenschutzaudit als DSGVO-konform eingestuft."
Daddy
am 02.08.2018DSGVO-konform kann man das mit viel Optimismus erklären, aber Domainfactory verstösst gegen den eigenen ADV-Vertrag....
"3.2 Soweit seitens des Auftragnehmers eine Erhebung, Verarbeitung und / [...] DSGVO-konform kann man das mit viel Optimismus erklären, aber Domainfactory verstösst gegen den eigenen ADV-Vertrag....
"3.2 Soweit seitens des Auftragnehmers eine Erhebung, Verarbeitung und / oder Nutzung der Daten erfolgt, geschieht dies ausschließlich im Gebiet der Bundesrepublik Deutschland, in einem Mitgliedsstaat der Europäischen Union oder in einem anderen Vertragsstaat des Abkommens über den Europäischen Wirtschaftsraum. Jede Verlagerung in ein anderes Drittland bedarf der vorherigen Zustimmung des Auftraggebers und darf nur erfolgen, wenn die besonderen Voraussetzungen der Art. 44 DSGVO erfüllt sind."
Diese Zustimmung habe ich weder für LvivIT! noch für Cloudflare gegeben
Anonymous
am 02.08.2018Hi Anna,
könnt ihr das Audit Ergebnis mal veröffentlichen?
Wir sind darauf gespannt, aktuell ist das ganze gar nicht DSVGO konform, zu mindest wenn man seine IP nicht in Europa hat, laut Maxmind [...] Hi Anna,
könnt ihr das Audit Ergebnis mal veröffentlichen?
Wir sind darauf gespannt, aktuell ist das ganze gar nicht DSVGO konform, zu mindest wenn man seine IP nicht in Europa hat, laut Maxmind GeoIP Dienst. Für uns scheint es so, das ihr den weltweiten Redudanz-Dienst aktiv hat und dieser ist seitens Cloudflare nicht GPDR/DSVGO konform gehalten.
...
am 24.07.2018> Es sind keine E-Mails verloren gegangen.
die RFC schreibt keine Mindestdauer für Sendewiederholungen vor. Insofern kann diese Aussage doch gar nicht getroffen werden ... > Es sind keine E-Mails verloren gegangen.
die RFC schreibt keine Mindestdauer für Sendewiederholungen vor. Insofern kann diese Aussage doch gar nicht getroffen werden ...
Sepp
am 23.07.2018Danke für die Info :) Danke für die Info :)
Anna
am 23.07.2018Gerne! Gerne!