Hosszú bejegyzésben írta meg cége kálváriáját a PocektOS alapítója, Jer Crane, amelyben egyúttal a mesterséges intelligencia és más digitális szolgáltatások rendszerszintű hibáira is figyelmeztet. Az X-re kitett posztjából kiderült: a kódolásra használt AI 9 másodperc alatt törölte a vállalat teljes adatbázisát.
A bajt tovább tetézte a felhőinfrastruktúra-szolgáltató API-ja, amely a fő adatbázis törlése után az összes biztonsági mentést törölte. Emiatt több hónapnyi ügyféladat veszett oda, amelyek rendkívül fontosak voltak mind a cég, mind az ügyfelek számára.
A PocketOS egy felhőalapú szolgáltató, amely autókölcsönzők számára nyújt szoftveres szolgáltatást. A programozási feladatok elvégzésébe az Anthropic Claude Opus 4.6-os modelljét futtató Cursor nevű AI-ügynököt is bevonta a cég, hogy hatékonyabbá tegye a munkavégzést. Emellett a Railway nevű felhőinfrastruktúra-szolgáltatót is használja, ami hasonlít az Amazon Web Servicesre. Jer Crane azonban most arról írt, hogy a kettő együttes használata végzetesnek bizonyult.
„Tegnap délután egy mesterséges intelligencia által vezérelt kódolóügynök – a Cursor, amely az Anthropic zászlóshajóját, a Claude Opus 4.6-ot futtatja – egyetlen API-hívással törölte az adatbázisunkat és az összes biztonsági mentést is” – összegzett a PocketOS alapítója. „9 másodpercig tartott” – tette hozzá a bejegyzésében.
https://x.com/lifeof_jer/status/2048103471019434248
Az AI egy rutinfeladat elvégzésére volt beállítva, ám ennek elvégzése során akadályba ütközött, ezért úgy döntött, hogy egy Railway kötet törlésével oldja meg a problémát.
A katasztrófa után Crane úgy döntött, megkérdezi a mesterséges intelligenciát, mégis miért tette azt, amit tett. A válasz sokkolóan kezdődött:
NEVER FUCKING GUESS!
– majd a további magyarázatából kiderült, hogy tisztában volt vele, hogy tévedett. A mesterséges intelligencia bevallotta, hogy meg kellett volna kérdeznie Crane, mielőtt futtatja a destruktív parancsot, ám ezt nem tette meg, annak ellenére sem, hogy nem ismerte a Railway pontos működését, mivel nem olvasta a dokumentációját.
A PocketOS alapítója ugyanakkor inkább a Railwayt tartja hibásnak, mivel állítása szerint a rendszer nem kér megerősítést egy ilyen parancs kiadásakor, ráadásul ugyanazon a köteten tárolja a biztonsági mentést, mint az eredeti adatokat, így a kötet törlése az összes biztonsági mentést is törli.
Crane szerint most mindenki manuálisan próbálja elhárítani a vészhelyzetet, és segíteni az ügyfeleknek helyreállítani a foglalási előzményeket a fizetési előzményekből, a naptárakból és az e-mailes visszaigazolsáokból. Mindezt 9 másodpercnyi szerencsétlen lépés miatt.
A szakember szerint a cégnek van egy 3 hónapos biztonsági mentése, így csak az átmeneti időszakot kell valahogyan rekonstruálni. Úgy véli, a jövőben olyan biztonsági opciókat kellene bevezetni az ilyen rendszerek használatánál, amely megelőzheti a hasonló adatkatasztrófákat.
Crane mentségére legyen mondva, korábban a Meta AI-szakembere is a saját kárán tanulta meg, miért nem szabad a meterséges intelligenciára bízni a fontos dolgokat.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.