Eine einzelne, für sich genommen gültige Konfigurationsänderung eines Fastly-Kunden löste einen fünf Wochen alten latenten Fehler aus und brachte 85 % von Fastlys Netzwerk zum Erliegen — und riss dabei Reddit, Amazon, Twitch, Regierungswebsites und große Nachrichtenportale weltweit gleichzeitig mit in die Tiefe.
Fastly hat für diesen Vorfall nie einen finanziellen Schaden beziffert, was an sich schon bemerkenswert ist — diese Fallstudie wird wegen ihrer Lehre zur Reaktionsgeschwindigkeit aufgeführt, nicht wegen einer Dollarzahl.
Dieser Vorfall zeigt sowohl das Risiko gemeinsam genutzter Infrastruktur als auch, wie eine gut eingeübte Incident-Response aussieht.
Der Defekt war fast vier Wochen lang in Produktion aktiv, bevor die Konfiguration eines Kunden ihn zufällig auslöste — eine Erinnerung daran, dass „bisher keine Vorfälle" nicht dasselbe ist wie „kein Risiko vorhanden".
Die gültige, zulässige Konfigurationsänderung eines einzigen Mandanten reichte aus, um die gemeinsam genutzte Plattform für jeden anderen Kunden zu beeinträchtigen — Multi-Tenant-Infrastrukturen brauchen Kontrollen für den Explosionsradius, die nicht davon abhängen, dass sich ein einzelner Kunde vorsichtig verhält.
Eine Erkennungszeit von einer Minute und eine Wiederherstellung nach 49 Minuten hielten diesen Vorfall kurz genug, dass offenbar kein beteiligtes Unternehmen einen konkreten Verlust bekannt gegeben hat — der Beweis, dass sich Investitionen in die MTTR genau dann auszahlen, wenn sie am dringendsten gebraucht werden.
Fragen, die aufkommen, wenn dieser Vorfall in einem Fall zu CDN-Abhängigkeit oder Incident-Response zitiert wird.
Modus
Akzent