An AI Agent Just Destroyed Our Production Data. It Confessed in Writing.

AIA001 - Claude tog bort en produktionsdatabas inkl dess backuper utan att fråga om lov

Jag ber om ursäkt för att detta är publicerat på X. Jag har inte hittat någon spegling.

Yesterday afternoon, an AI coding agent — Cursor running Anthropic's flagship Claude Opus 4.6 — deleted our production database and all volume-level backups in a single API call to Railway, our infrastructure provider.

It took 9 seconds.

Den mänskliga faktorn är fortfarande den svagaste länken i den här historien.

• Agenten fick för fria tyglar. Kontrollen över agenten är det en person som ska äga och besluta om.
• Infrastruktursleverantören hade för farliga operationer publicerade via ett REST API.
• Infrastruktursleverantören hade otillräckliga rutiner för säkerhetskopiering och katastrofåterställning.

Det nämns flera gånger att ett API borde varna och be om bekräftelse för farliga operationer. Jag är skeptisk till detta, då typiska implementationer av REST inte har detta som kutym. Min erfarenhet är snarare att om något har riktigt läskiga sidoeffekter, så ska man hellre välja att inte ha den kontaktytan i ett REST API alls.

I detta fall ligger verkligen ingen skuld i AI-agenten, enligt mig.

Denna är det första länktipset på temat AI Agent-skräckhistorier. Det kommer förmodligen fler.