Uma única entrada incorreta num comando de depuração de rotina removeu mais servidores do que o previsto de um subsistema do AWS S3 — e o reinício demorou horas a mais do que o esperado, porque os sistemas afetados não tinham sido totalmente reiniciados havia anos.
As fontes estão ligadas no texto, incluindo o próprio resumo público da AWS após o incidente.
Quase nada deste custo pertenceu aos próprios clientes da AWS do subsistema de faturação — pertenceu a todos os outros que dependiam do S3 sem perceberem quão profundamente.
O operador estava a seguir um manual estabelecido, não a improvisar — ainda assim, uma única entrada mal digitada teve um raio de impacto desproporcionado, razão pela qual a validação de entradas e os limites ao raio de impacto importam mesmo em comandos operacionais "de rotina".
A recuperação demorou mais do que o esperado precisamente porque os subsistemas afetados não tinham sido reiniciados anteriormente à sua escala atual — caminhos de recuperação não testados são uma fonte oculta de risco de MTTR que o crescimento de capacidade cria silenciosamente.
Empresas sem relação direta com o subsistema de faturação da AWS mesmo assim ficaram inoperacionais, porque a sua própria infraestrutura dependia silenciosamente da mesma camada de armazenamento regional — um lembrete para mapear, e não presumir, o seu raio de impacto real relativamente à região de um único fornecedor.
Um comando de rotina causou o reinício em cascata do subsistema S3. O Sensaka SmartBSM correlaciona alertas em grafos dinâmicos de dependência e identifica a causa raiz em segundos.
Perguntas que surgem ao citar este incidente num caso de dependência da nuvem ou risco de fornecedores.
Modo
Cor de destaque
