Samenvatting
Op 15 oktober ondervond Linkly een langdurige storing veroorzaakt door een geautomatiseerde deployment die een configuratiefout in productie introduceerde. Het probleem schakelde ook belangrijke elementen van onze monitoring- en waarschuwingssystemen uit, wat detectie en respons vertraagde.
Hoofdoorzaak
Een ontbrekende beschermingsmaatregel stond toe dat een geautomatiseerde deployment buiten de goedgekeurde tijdvensters werd uitgevoerd, wat resulteerde in een configuratie-mismatch die de routing verstoorde. Monitoring checks detecteerden de storing niet omdat ze waren beperkt tot interne endpoints die succesvol bleven reageren.
Corrigerende acties
- 1Automatische deployments uitgeschakeld; productie vereist nu handmatige goedkeuring.
- 2Externe monitoring geïmplementeerd, onafhankelijk van onze kerninfrastructuur.
- 3Redundante waarschuwingskanalen toegevoegd (SMS en spraak) om onmiddellijke bewustwording van incidenten te garanderen.
- 4Deployment locks ingevoerd buiten kantooruren totdat 24/7 piketdienst is ingesteld.
Volgende stappen
We beoordelen onze operationele procedures en breiden de incidentrespons dekking uit om snelle detectie en herstel van toekomstige problemen te garanderen.
Afsluiting
Wij verontschuldigen ons voor de verstoring en danken onze klanten voor hun geduld. Betrouwbaarheid blijft onze topprioriteit, en we zijn toegewijd om herhaling te voorkomen.