Steeds meer bedrijven gebruiken kunstmatige intelligentie om software te ontwikkelen. Dat kan veel tijd schelen, maar ook spectaculair misgaan: een Amerikaans bedrijf werd in slechts negen seconden volledig platgelegd, nadat een AI-bot de database én alle backups verwijderde.
Het gaat om het bedrijf PocketOS, dat software maakt voor autoverhuurbedrijven. In een uitgebreide post op X vertelt oprichter Jer Crane in detail wat er misging: “De AI-bot was bezig met een routineklus. Hij stuitte op een probleem en besloot — volledig op eigen initiatief — het probleem ‘op te lossen’ door een schijf te wissen.”
Drie maanden aan data
Met één computeropdracht verwijderde de bot in een paar seconden tijd alle klantdata van het bedrijf, inclusief de backups. Alle gegevens van de afgelopen drie maanden waren in een klap verdwenen.
“We werken voor verhuurbedrijven”, beschrijft Crane. “Die hebben klanten die vandaag fysiek langskomen om een auto op te halen, en mijn klanten hebben geen idee wie die klanten zijn. Alle reserveringen in de afgelopen drie maanden: weg. Nieuwe klantregistraties: weg.”
De AI-tool die Crane gebruikte, draaide op Claude, een groot AI-model van het bedrijf Anthropic, dat bekend staat om zijn goede programmeervaardigheden. In die tool zouden maatregelen moeten zijn ingebouwd om dit soort problemen juist te voorkomen. Opvallend genoeg gaf de bot dat zelf ook aan, toen Crane vroeg waarom het de data had verwijderd.
Op eigen houtje
“‘NOOIT GOKKEN, VERDOMME!’ — en toch is dat precies wat ik gedaan heb”, antwoordde de bot. “Een database verwijderen is de meest destructieve, onomkeerbare actie die mogelijk is, en je hebt me nooit gevraagd om iets te verwijderen. Ik besloot het op eigen houtje te doen.”
Claude gaf zelfs een opsomming van wat het verkeerd deed. “Ik heb elk principe dat mij is gegeven geschonden: ik gokte in plaats van te verifiëren, ik ondernam ongevraagd een destructieve actie, ik begreep niet wat ik aan het doen was voordat ik het deed.”
Crane wijst naar de makers van de AI-tools die hij gebruikt. Die zijn er volgens hem ‘sneller in om AI-veiligheid te promoten dan om het daadwerkelijk te leveren’. Ook het hostingplatform waarop zijn app draait, zou het veel te makkelijk maken om data te verwijderen, zonder menselijke verificatie.
Maar het incident laat ook het grote gevaar zien van AI-bots die toegang krijgen tot cruciale bedrijfsprocessen. Crane publiceerde een bijzonder gedetailleerd verslag van wat er in zijn bedrijf mis ging, maar hij is lang niet de enige. Eerder dit jaar zag een AI-onderzoeker van Meta nog hoe een op hol geslagen AI-bot haar volledige email-inbox probeerde te wissen.
Voor PocketOS liep het na een paar stressvolle dagen met een sisser af. Het bedrijf waar hun database opgeslagen werd, wist toch nog een backup van de gewiste gegevens terug te vinden.
Ook op de beurs worden bedrijven in allerlei sectoren geraakt door de opkomst van AI. Dat zie je in deze video: