Un único cambio de configuración, válido en sí mismo, realizado por un cliente de Fastly, activó un error latente de cinco semanas de antigüedad y dejó fuera de línea al 85 % de la red de Fastly, arrastrando con él a Reddit, Amazon, Twitch, sitios gubernamentales y grandes medios de noticias en todo el mundo y al mismo tiempo.
Fastly nunca reveló un costo financiero para este incidente, lo cual es en sí mismo digno de mención: este caso de estudio se incluye por su lección sobre la velocidad de respuesta, no por su cifra en dólares.
Este incidente muestra tanto el riesgo de la infraestructura compartida como el aspecto que tiene una respuesta a incidentes bien ensayada.
El defecto llevaba casi cuatro semanas activo en producción antes de que la configuración de algún cliente lo activara por casualidad: un recordatorio de que "todavía no ha habido incidentes" no es lo mismo que "no hay riesgo presente".
Un único cambio de configuración válido y permitido de un solo cliente bastó para degradar la plataforma compartida para todos los demás clientes: la infraestructura multiinquilino necesita controles de radio de impacto que no dependan de que ningún cliente en particular actúe con cautela.
Un tiempo de detección de un minuto y una recuperación de 49 minutos mantuvieron este incidente lo suficientemente breve como para que, al parecer, ninguna de las empresas involucradas haya revelado una pérdida específica: la prueba de que invertir en el MTTR da sus frutos justo cuando más se necesita.
Preguntas que surgen al citar este incidente en un caso de dependencia de CDN o de respuesta a incidentes.
Modo
Acento