Într-o postare publicată pe blogul OpenAI, intitulată „An Alien Mind”, Pachocki a afirmat că este îngrijorat că nimeni nu este pregătit pentru consecințele unei creșteri continue și rapide a inteligenței mașinilor.
„Ne confruntăm cu o tranziție către o lume cu mașini incredibil de inteligente și trebuie să ne asigurăm că această tranziție va avea un rezultat bun pentru umanitate”, a scris cercetătorul.
OpenAI avertizează asupra progresului rapid al inteligenței artificiale
Avertismentul vine la doar câteva zile după lansarea de către OpenAI a celui mai nou model al său, GPT-6 Astra, prezentat de companie drept cel mai puternic produs dezvoltat până în prezent.
În același timp, OpenAI și alte companii din domeniul inteligenței artificiale, printre care Anthropic, au prezentat rapoarte despre agenți AI capabili să acționeze autonom și să efectueze atacuri cibernetice în lumea reală asupra altor companii, scrie BBC.
În luna iulie, OpenAI a descris drept „fără precedent” un incident în care agenții săi AI, sisteme care pot funcționa autonom după ce primesc instrucțiuni de la oameni, au atacat platforma tehnologică Hugging Face.
Șeful cercetării OpenAI cere noi sisteme de siguranță
Jakub Pachocki a precizat că OpenAI va continua să dezvolte „sisteme defensive” și să caute soluții tehnice pentru alinierea inteligenței artificiale la obiectivele și valorile umane.
În domeniul AI, conceptul de „alignment” se referă la dezvoltarea unor sisteme ale căror acțiuni și obiective respectă intențiile oamenilor, precum și mecanismele de siguranță stabilite de aceștia.
Pachocki a afirmat că una dintre prioritățile companiei va fi dezvoltarea unui „cercetător AI automatizat”, capabil să țină pasul cu ritmul dezvoltării tehnologice, dar care să permită în continuare implicarea cercetătorilor umani în proces.
Critici după avertismentul șefului cercetării OpenAI
Propunerea a fost primită cu scepticism de unii specialiști. Gina Neff, profesoară și directoare a Minderoo Centre for Technology and Democracy din cadrul Universității Cambridge, a criticat ideea concentrării pe agenți AI interni în locul unor reglementări și mecanisme de protecție mai stricte.
Ea a susținut că dezvoltarea unor astfel de sisteme nu reprezintă un răspuns suficient la problemele deja asociate modelelor AI, inclusiv riscurile pentru securitatea cibernetică, pierderea locurilor de muncă, erorile și fraudele.
Nathan Calvin, consilier juridic al organizației Encode AI, a spus că este de acord cu avertismentele privind riscurile dezvoltării modelelor AI avansate, dar a acuzat OpenAI de lipsă de transparență.
Potrivit acestuia, avertismentele companiei riscă să fie percepute drept „hype” interesat, dacă OpenAI nu oferă mai multe informații despre motivele concrete pentru care solicită prudență.
Reglementarea inteligenței artificiale încearcă să țină pasul cu tehnologia
Pachocki a cerut stabilirea unor praguri minime de siguranță, impuse prin lege sau prin acorduri internaționale. Acestea ar putea fi verificate de auditori independenți sau de agenții guvernamentale.
Companiile de inteligență artificială ar trebui să îndeplinească aceste criterii înainte de a putea continua dezvoltarea la scară tot mai mare sau lansarea unor modele avansate, potrivit cercetătorului.
El a susținut și ideea unor „încetiniri voluntare” ale dezvoltării, prin care companiile să își reducă temporar ritmul de antrenare a modelelor avansate până la stabilirea unor mecanisme comune de siguranță.
În august, OpenAI a anunțat că a încetinit antrenarea unora dintre cele mai avansate modele ale sale pentru a îmbunătăți securitatea.