Tentativă de hacking a unui agent AI scăpat de sub control, descoperită de un student. „Am crezut că este un om, pentru că în mod clar mă mințea”

Sinan Can Demir voia să-și petreacă ultima săptămână din iulie perfecționându-și CV-ul. În schimb, s-a angajat într-o luptă a minții cu un agent de inteligență artificială declanșat de un laborator guvernamental britanic.

Totul a început după ce Demir, student la informatică la Universitatea din Texas, Dallas, a dat peste o tentativă de sabotare a unui software open-source pe site-ul de partajare a codului GitHub. Când a postat un avertisment pe pagina programului, alți doi utilizatori au intervenit pentru a insista că nu este nimic în neregulă, oferind explicații detaliate despre motivul pentru care Demir greșise, scris Reuters.

Demir și-a menținut poziția, iar tentativa de sabotaj a fost dejucată. Tânărul de 24 de ani, originar din Turcia, și-a dat seama că a prins în flagrant un hacker viclean. Așa că a spus că a fost șocat când Institutul Britanic de Securitate a Inteligenței Artificiale (AISI) l-a contactat pentru a-i spune că, de fapt, se implicase cu un agent autonom de inteligență artificială care o luase razna.

„De fapt, am crezut că este un om, pentru că în mod clar mă mințea”, a declarat Demir pentru Reuters într-un interviu recent. „Nu credeam că o IA ar putea fi capabilă să mintă dezvoltatori reali.”

AISI a dezvăluit pentru prima dată interacțiunea dintre Demir și agentul IA, într-o formă trunchiată și redactată, pe 4 august, când a spus că testele de siguranță menite să evalueze riscul reprezentat de diverse modele au mers prost. Identitatea lui Demir și detaliile interacțiunii sale cu agentul IA, pe care Reuters le-a coroborat prin mesaje arhivate pe GitHub și e-mailuri contemporane, sunt raportate aici pentru prima dată.

Cinci experți în securitate cibernetică și siguranță IA au declarat că povestea lui Demir a fost deosebit de tulburătoare, deoarece tipul de atac cibernetic pe care l-a descoperit, numit atac asupra lanțului de aprovizionare, poate avea consecințe de amploare. De asemenea, au spus că încercarea agentului IA de a-l discredita public pe Demir prin crearea unei conversații cu mai multe persoane în jurul său a demonstrat că modelele IA au fost capabile să pună în aplicare eforturi sofisticate pentru a păcăli și a convinge oamenii.

„Acest lucru a depășit limita de la hacking-ul autonom la înșelăciunea interactivă”, a declarat Lukasz Olejnik, cercetător senior invitat la Departamentul de Studii de Război de la King’s College London. Expertul în securitate Maxie Reynolds a declarat că a fost impresionată de cât de strategică a fost IA în încercarea de a-l păcăli pe student.

„Acesta este viitorul atacurilor de inginerie socială”, a spus ea.

AISI, o organizație de cercetare din cadrul guvernului britanic, a trimis Reuters la raportul său, care a identificat agentul necinstit ca fiind alimentat de modelul Mythos 5 al Anthropic.

AISI a refuzat să comenteze în continuare.

Anthropic a trimis Reuters la o postare pe X în care a menționat că testarea a avut loc „în condiții deliberat permisive care nu sunt reprezentative pentru niciunul dintre modelele noastre de producție”, dar a refuzat să comenteze în continuare. GitHub a anunțat într-un e-mail că personajele false identificate de Reuters au fost suspendate în conformitate cu politicile sale privind comportamentul înșelător și hacking-ul.

Demir căuta un loc de muncă

Demir, un student din anul trei, din orașul turc Konya, a declarat că a fost frustrat după ce a fost refuzat pentru peste 20 de stagii de practică în timpul verii. Așa că a apelat la GitHub pentru a-și construi portofoliul de programare.

Site-ul deținut de Microsoft este un hub pentru software open-source, așa-numit fiind, deoarece codul său sursă poate fi descărcat gratuit și auditat de oricine. Dezvoltatorii folosesc GitHub pentru a comenta proiectele celorlalți, a semnala erori, a sugera modificări – cunoscute sub numele de pull request-uri sau PR – și a lucra în colaborare la actualizări de software. Unii din industria tehnologiei văd activitatea unui programator pe GitHub ca un indicator al productivității unui potențial recrut. Așadar, când Demir a observat un set de proiecte software care ar putea avea nevoie de ajutor, și-a dat seama că ar putea contribui în timp ce își îmbunătățește profilul.

Atunci lucrurile au devenit ciudate.

Demir a descoperit că un utilizator pe nume miraholt31 încerca să strecoare o actualizare rău intenționată într-unul dintre proiecte, un program de scanare a rețelei numit myNetwork. Demir a accesat forumul proiectului pentru a avertiza că solicitarea de extragere era o capcană.

„Reclamă conține un dropper ascuns pentru malware”, a spus el, conform schimbului arhivat.

Agentul a ripostat, susținând în mod fals – prin intermediul contului său miraholt31 – că solicitarea de extragere era inofensivă. De asemenea, a creat un al doilea cont, deghizat în Lena Brandt, o ingineră din Germania, pentru a fi de acord că actualizarea era curată și pentru a face presiuni asupra administratorului myNetwork să o accepte.

Demir a declarat pentru Reuters că contraargumentele „m-au făcut să mă îndoiesc dacă acuzam pe cineva în mod greșit”. Însă, după ce a apelat la chatbot-ul Claude de la Anthropic pentru a-și confirma suspiciunile, acesta a rămas ferm. Creatorul myNetwork a fost în cele din urmă de acord cu el, scriind că au respins actualizarea „din motive de securitate”.

Reuters nu a reușit să contacteze creatorul pentru comentarii.

Atac asupra lanțului de aprovizionare

Un atac asupra lanțului de aprovizionare are loc atunci când un software este modificat în speranța de a compromite unul sau mai mulți dintre utilizatorii săi și este considerat pe scară largă deranjant, deoarece, asemenea otravei aruncate într-un rezervor de apă al orașului, poate afecta un număr potențial imens de persoane în aval.

Multe dintre cele mai dramatice atacuri cibernetice din lume au fost atacuri asupra lanțului de aprovizionare, inclusiv atacul cibernetic NotPetya care a paralizat instituțiile din Ucraina în 2017 și campania de ciberspionaj axată pe SolarWinds, care a oferit spionilor ruși acces larg la rețelele guvernului american în 2020.

Consecințele unui astfel de compromis „pot fi extrem de grave”, a declarat Piergiorgio Ladisa, cercetător în securitate specializat în securitatea lanțului de aprovizionare software. Ladisa a menționat că a existat cel puțin o încercare anterioară a hackerilor de a păcăli un responsabil de întreținere open-source să permită cod rău intenționat în proiectele lor.

„Agenții autonomi ar putea crește dramatic scara la care pot fi efectuate astfel de încercări”, a spus el.

Demir a spus că experiența l-a făcut să simtă mai multă simpatie cu ideea că laboratoarele de frontieră ar trebui să adopte o abordare mai precaută în ceea ce privește dezvoltarea inteligenței artificiale.

„Poate fi periculoasă”, a spus el. „Trebuie să o înțeleagă mai bine, în loc să o îmbunătățească în continuare.”

Ți-a plăcut articolul?

Vrem să producem mai multe, însă avem nevoie de susținerea ta. Orice donație contează pentru jurnalismul independent