Ein Wartungsbefehl zog die Netzwerkrouten zu Facebooks eigenen Domain-Nameservern zurück — und weil Facebooks interne Tools auf genau dieses DNS angewiesen waren, mussten Techniker die Behebung des Fehlers vor Ort in den Rechenzentren vornehmen, aus denen sie selbst ausgesperrt waren.
Quellen sind im Text verlinkt; die Umsatzzahl ist eine externe Schätzung, da Meta keine offizielle Kostenangabe zu diesem konkreten Vorfall veröffentlicht hat.
Dies ist das deutlichste Beispiel auf dieser Liste für einen einzelnen Fehlerpunkt, der sich in scheinbar unabhängigen Systemen versteckt.
Diagnose- und Zugangskontrollsysteme, die von demselben internen DNS abhingen, fielen zusammen mit dem öffentlich zugänglichen Produkt aus — eine Erinnerung daran, zu prüfen, ob Ihre Incident-Response-Tools über einen unabhängigen Pfad verfügen, der einen Ausfall Ihres Primärsystems übersteht.
Anders als ein Serverausfall, der nur ein Rechenzentrum betrifft, entzieht ein BGP-Rückzug die Erreichbarkeit überall gleichzeitig — Änderungen auf Netzwerkebene verdienen Überprüfungsprozesse, die ebenso streng sind wie bei Anwendungs-Deployments, wenn nicht noch strenger.
Wenn Remote-Tools nicht erreichbar sind, wird die Wiederherstellungszeit dadurch begrenzt, wie schnell jemand physisch zur Hardware gelangen kann — ein Szenario, das es wert ist, explizit geplant und geübt zu werden, statt es einfach vorauszusetzen.
Fragen, die aufkommen, wenn dieser Vorfall in einem Fall zur Netzwerk-Resilienz oder zu Single Points of Failure zitiert wird.
Modus
Akzentfarbe