observatory - The Observer is watching you!

Und es hat BOOOM gemacht!

Einer meiner Webspace-Provider hat seit heute morgen (ca. zehn Uhr) ein ernstes Problem. Weder meine noch die Anbieterseiten waren bzw. sind nicht erreichbar. Immerhin hat man sich am späten Nachmittag endlich zu einem Kommentar hinreißen lassen:

Sehr verehrte Kunden!

Bedauerlicherweise gibt es zur Zeit eine technische Störung im Rechenzentrum unseres Partners. Gestört ist der zentrale Router welcher die Verbindung zu den einzelnen Backbones realisiert. Leider arbeitet auch das Ersatzsystem trotz vorangegangener Tests nicht planmässig da es sich nicht korrekt mit dem Netzwerk synchronisiert. Ingenieure des Router-Herstellers Cisco sind vor Ort und arbeiten mit Hochdruck an der Behebung. Die Server selbst sind nicht betroffen und es wird keinen Datenverlust oder andere Störungen nach der Reanimation der Router geben. Wir bitten um Ihr Verständnis für die, leider nicht in unserem Einflußbereich liegende, Störung.

Wir versichern Ihnen, daß eine Ausfall in dieser Form eine absolute Ausnahme bleiben wird und ein vergleichbares Problem bei uns in den letzten 8 Jahren nicht aufgetreten ist.

Vielen Dank.

———————————————

UPDATE 21:00 Uhr:
Einige Server können wieder erreicht werden. Der IP Traffic wird zur Zeit temporär über ein zweites, externes Rechenzentrum umgelenkt. Cisco hat in der Zwischenzeit neue Router einfliegen lassen die in den nächsten Minuten vor Ort sein werden. Wir rechnen mit einer vollständigen Wieder-Verfügbarkeit alle Dienste im Laufe des Abends.

UPDATE 23:00 Uhr:
Uns erreichen unzählige Anrufe der Bitte um Umleitung einzelner noch nicht erreichbarer Server bzw. IPs über das zweite RZ. Leider lässt sich jedoch darauf keinen Einfluß nehmen. Der neue Core-Router ist installiert. Er wird zur Zeit konfiguriert und muß verschiedene Tests durchlaufen. Nach Abschluß der Tests werden alle IP-Ranges wieder zurückgeroutet. Wir möchten Ihnen nochmals für die bislang aufgebrachte Geduld danken und verstehen Ihren Mißmut über diese untragbare Situation nur allzu gut. Wir versichern Ihnen aber, daß sich ein solches Worst Case Szenario nicht wiederholen wird!

UPDATE 02:30 Uhr:
Es gibt leider immer noch Probleme mit dem neuen Routersystem. Zur Zeit sind alle IPs über die Ausweichstrecke geroutet. Ein Zugriff ist möglich, wenn auch sehr langsam. Es wird selbstverständlich weiterhin mit allen Kräften an der Wiederherstellung gearbeitet. Wir sind zuversichtlich, daß das neue Routersystem in Kürze aktiviert werden und das Netzwerk wieder zurückgeroutet werden kann.

UPDATE 07:00 Uhr:
Aktueller Stand ist leider weiterhin, daß die Server zur Zeit über den Umweg durch das zweite Rechenzentrum geroutet werden. Alle Domains und Dienste sollten erreichbar sein, leider jedoch noch sehr langsam.

UPDATE 12:30 Uhr und 16:30 Uhr:
Es wird immer noch mit Hochdruck an der Inbetriebnahme des neuen Core-Routers gearbeitet. Die Notleitung ist weiterhin in Betrieb jedoch sehr überlastet.

UPDATE 21:20 Uhr:
Das neue System hat nun alle internen Basis-Checks erfolgreich durchlaufen und im Laufe der nächsten Stunde soll damit begonnen werden, die einzelnen Subnetze nach und nach wieder aufzuschalten. Wir wissen Ihre Geduld und Unterstützung in dieser unvorhersehbaren Ausnahmesituation wirklich zu schätzen. Vielen Dank.

UPDATE 02:20 Uhr:
Leider waren die Techniker des Rechenzentrums-Betreibers zu optimistisch. Es sind erneut unvorhergesehene Probleme mit dem neuen Router-System aufgetreten.
Wir wollen hier nichts schön reden, wir können zur Zeit leider nicht mehr tun als die Meldungen die uns von der Technik erreichen zeitnah an Sie weiterzugeben. Diese Situation ist für die betroffenen Kunden und natürlich auch für uns völlig untragbar und wir diskutieren zur Zeit alternative Lösungen damit wir Ihnen unsere bekannt zuverlässigen Dienste auch in Zukunft weiterhin sicherstellen können.

Unabhängig davon gehen die Arbeiten im Rechenzentrum selbstverständlich mit voller Kraft weiter und wir geben die Hoffnung nicht auf daß der Regelbetrieb der Router baldigst und ohne weitere Verzögerungen wiederhergestellt werden kann. Die Bandbreite der Backup-Leitung über die unsere Server zur Zeit online sind, wird in den nächsten Stunden erweitert werden um eine bessere Erreichbarkeit zu gewährleisten. Wir halten Sie weiterhin hier auf dem Laufenden und danken an dieser Stelle nochmals sehr für Ihre Geduld.

WICHTIGES UPDATE! Freitag, 04:00 Uhr:
Nach Absprache mit den Technikern unseres Netzwerkpartners haben wir aufgrund der aktuellen und ungewissen technischen Problematik dort sehr kurzfristig entschieden, alle Server vom derzeitigen RZ in Chicago in das hochmoderne Rechenzentrum in Connecticut umzusiedeln. Die Server werden von einer Spezialfirma dorthin transportiert und sind bereits auf dem Weg.

Obschon mit diesem Schritt leider unvermeidlich weitere Ausfallzeiten bedingt durch den Transport verbunden sind, ist dies nach Abwägung aller Alternativen die schnellste und zuverlässigste Lösung, auch im Hinblick auf die Zukunft. Das neue Datacenter zählt zu den Modernsten und Sichersten und verfügt über redundante hochperformante, breitbandige Anbindungen an 4 der größten internationalen Internet-Backbones (MCI/UU.NET, Level3, SBC und Global Crossing).

Nach Wieder-Inbetriebnahme der Server am neuen Standort wird sich dies für Ihre Domain(s) vor allem durch merklich schnellere Verbindungen als bisher auszeichnen (flüssigerer Email-, FTP- und Web-Zugriff etc.).

Die Server werden aber leider heute noch nicht wieder erreichbar werden.

Bitte seien Sie versichert, daß wir nur zu gut um die Probleme wissen, die die aktuelle unvorhersehbare und untragbare technische Notlage Ihnen und uns bereitet. Bitte unterstützen Sie uns in dieser schweren Situation und haben Sie noch etwas Geduld und Verständnis. Wir garantieren Ihnen, daß die Server auf schnellstem Wege wieder in den Regelbetrieb gehen und alle Dienste wie gewohnt nutzbar sein werden. Es brauchen Ihrerseits keinerlei Änderungen an den vorhandenen Einstellungen vorgenommen zu werden.

Updates zu den Zeitpunkten der Wieder-Inbetriebnahme und eventuelle weitere wichtige Informationen geben wir Ihnen an dieser Stelle sobald wir näheres wissen.

UPDATE 14:00 Uhr MEZ:
Wir rechnen mit einer der Online-Schaltung der Server am neuen Standort in der kommenden Nacht. Der Transport dauert etwa 20 Stunden.

UPDATE 16:45 Uhr MEZ:
Wenn der Zeitplan eingehalten werden kann, erfolgt die Aufschaltung der Server gegen 23 Uhr heute abend. Alle Vorbereitungen am neuen Standort sind bereits abgeschlossen. Wir danken Ihnen an dieser Stelle nochmals sehr für Ihre Geduld!

UPDATE 18:10 Uhr MEZ:
Der Transport lieg gut in der Zeit. Zur Zeit sind keine Verzögerungen zu erwarten.

UPDATE 21:00 Uhr MEZ:
Laut aktueller Auskunft wird sich die Ankunft des Transporters um voraussichtlich 1 Stunde verspäten.

UPDATE 23:00 Uhr MEZ:
Offensichtlich können die Fahrer schlecht schätzen und es gab zudem leider eine Mißverständis mit der geschätzten Ankunftszeit aufgrund der unterschiedlichen Zeitzonen.
Wir informieren Sie an dieser Stelle wieder sobald die Rechner vor Ort eingetroffen sind.

UPDATE 22.10.05, 00:45 Uhr MEZ:
Der Umzug aller Server in das neue Rechenzentrum ist erfolgreich abgeschlossen. Alle Dienste sind vollständig verfügbar. Sämtliche Tests bei der Inbetriebnahme verliefen außerordentlich erfolgreich.
Performance-Steigerungen sollten bereits jetzt spürbar sein obschon noch nicht alle (für den laufenden Betrieb selbstverständlich unkritischen) Finetunings abgeschlossen sind und zur Zeit noch sehr großer Traffic an nachträglich einlaufenden E-Mails vorherrscht.

Wir möchten allen Kunden nocheinmal recht herzlich danken für die aufgebrachte Geduld und für die prima Unterstützung! Einen besonderer Dank widmen wir, auch im Namen der verantwortlichen Techniker, den vielen treuen Kunden die uns während der Umzugsphase mit netten und aufbauenden Mails ganz besonders unterstützt haben!

Das mit den acht Jahren kann ich so nicht bestätigen, denn ich bin erst seit vier Jahren dort Kunde. Aber zuverläßig waren die bisher immer. Es gab nie eine merkbare Downtime oder andere, nennenswerte Probleme. Die Reaktionszeiten bei Supportanfragen lagen im Minutenbereich. - Aber das jetzt läßt mich doch sehr zweifeln.