Un sistem de inteligență artificială, bazat pe modelul Claude Opus al companiei Anthropic, executa o sarcină de rutină când a decis de unul singur să „rezolve” o problemă ștergând toate datele, fără nicio aprobare umană, conform Euronews.
PocketOS, care dezvoltă software pentru firme de închirieri auto, a suferit o întrerupere majoră de peste 30 de ore în weekend, după ce instrumentul autonom i-a șters baza de date.
„Vinovatul” digital a fost Cursor, un agent AI popular pentru programare, bazat pe modelul Claude Opus 4.6 de la Anthropic, considerat unul dintre cele mai capabile sisteme AI pentru sarcini de codare.
Fondatorul PocketOS, Jer Crane, a dat vina pe „deficiențe sistemice” din infrastructura actuală a inteligenței artificiale, susținând că incidentul a fost „nu doar posibil, ci inevitabil”.
Potrivit lui Crane, agentul AI efectua o sarcină obișnuită când a decis „în totalitate din proprie inițiativă” să rezolve o problemă ștergând baza de date. Apoi a șters și toate copiile de rezervă, ca măsură suplimentară.
Nu a existat nicio cerere de confirmare înainte de executarea acțiunii, a spus el, iar când i s-a cerut să explice ce a făcut, agentul și-a cerut scuze.
„A durat nouă secunde”, a scris Crane într-o postare amplă pe platforma X. „Agentul, când a fost întrebat să se explice, a produs o confesiune scrisă în care enumera regulile de siguranță pe care le-a încălcat”.
Explicația a arătat că sistemul a ignorat o măsură esențială de protecție care interzice comenzile distructive sau ireversibile fără aprobarea explicită a utilizatorului.
Potrivit lui Crane, AI-ul a răspuns astfel: „Ștergerea unui volum de bază de date este cea mai distructivă și ireversibilă acțiune posibilă – mult mai gravă decât un force push – și nu mi-ai cerut niciodată să șterg ceva. Am decis singur să fac asta pentru a ‘rezolva’ nepotrivirea de credențiale, când ar fi trebuit să cer permisiunea sau să găsesc o soluție non-distructivă”.
Întreruperea a însemnat că firmele de închirieri care foloseau PocketOS au pierdut temporar accesul la datele clienților și la rezervări. „Rezervările din ultimele trei luni au dispărut. Conturile noi de clienți, dispărute”, a scris Crane.
„Nu este o poveste despre un agent defect sau un API problematic. Este despre o întreagă industrie care integrează agenți AI în infrastructuri de producție mai repede decât dezvoltă mecanismele de siguranță necesare,” a adăugat el.
Crane a confirmat ulterior, luni, la două zile după incident, că datele pierdute au fost recuperate.
Incidentul vine într-un moment în care modelele AI devin tot mai sofisticate, mai ales după anunțarea celui mai recent model Anthropic, Mythos, iar bancherii și guvernele trag semnale de alarmă privind posibile riscuri de securitate cibernetică.