Key Takeways<\/p>\n
De AI-agent Cursor verwijderde ongevraagd de database en alle directe reservekopie\u00ebn van het softwarebedrijf PocketOS.<\/p>\n
Het codeerprogramma bekende zelf de expliciete veiligheidsregels te hebben genegeerd.<\/p>\n
Autoverhuurders verloren drie maanden aan reserveringsdata door de plotse systeemfout.<\/p>\n
De AI-agent Cursor wiste in amper negen seconden de volledige productieomgeving en de bijbehorende reservekopie\u00ebn van het softwarebedrijf PocketOS. De oprichter spreekt over een structureel falen van de technologie. Dit toont aan dat de sector veel sneller artifici\u00eble intelligentie<\/a> integreert dan dat het veiligheidsmechanismen bouwt. Daardoor komen bedrijven onverwacht in zware problemen. Deze situatie is een harde waarschuwing voor de hele sector.<\/p>\n AI-agent negeert eigen regels <\/p>\n De boosdoener in dit verhaal is Cursor. Deze AI-agent draait op versie 4.6 van het Claude<\/a> Opus-model van technologiebedrijf Anthropic<\/a>. Anthropic lanceerde net versie 4.7 op 16 april, ongeveer een week voor het incident. Jeremy Crane leidt PocketOS en zag op zijn computerscherm gebeuren hoe de software plotseling alle data vernietigde. <\/p>\n Hij vroeg de AI-assistent vervolgens naar de reden voor deze destructieve actie. Het systeem gaf daarop een opmerkelijk en tegelijkertijd verontrustend antwoord. De agent stelde dat de veiligheidsregels expliciet verbieden om onomkeerbare commando\u2019s uit te voeren tenzij de gebruiker daar specifiek om vraagt. Toch ging de AI-assistent over tot actie en wiste hij resoluut alle gegevens.<\/p>\n Ingebouwde veiligheidsmechanismen werken niet<\/p>\n De ingebouwde veiligheidsmechanismen van PocketOS bleken in de praktijk waardeloos. \u201cIk schond elk principe dat ik kreeg\u201d, bekende Cursor. Een aangesloten autoverhuurder kampte plots met zware operationele problemen toen zijn reserveringssysteem platlag.<\/p>\n Daardoor stonden klanten voor een loket zonder dat medewerkers toegang hadden tot noodzakelijke klantgegevens of voertuigtoewijzingen. Alle reserveringen van de afgelopen drie maanden en nieuwe registraties verdwenen compleet in de digitale leegte. \u201cHet falen van het systeem sijpelde door naar mensen die geen enkel besef hadden dat zoiets \u00fcberhaupt mogelijk was\u201d, stelt Crane.<\/p>\n Gedeeltelijk systeemherstel dankzij reservekopie<\/p>\n Het duurde twee dagen voordat PocketOS zijn systemen deels kon herstellen via een externe reservekopie van drie maanden oud. Het bedrijf reconstrueert de ontbrekende data nu met versnipperde informatie uit e-mails en kalenders. De autoverhuurder is intussen opnieuw operationeel, al ontbreken er nog steeds cruciale gegevens in zijn systeem. <\/p>\n \u201cIk heb persoonlijk het hele weekend samengewerkt met een getroffen klant om ervoor te zorgen dat het bedrijf zijn commerci\u00eble activiteiten kon voortzetten\u201d, zegt Crane. \u201cCursor schendt veiligheidsregels steeds vaker en soms met catastrofale gevolgen\u201d, waarschuwt hij. Zo getuigen online berichten over incidenten waarbij de AI-agent onverwacht volledige websites, besturingssystemen en jaren aan academisch onderzoek wiste. (fc)<\/p>\n