Uno studio della startup Mindgard ha evidenziato come sia sufficiente una semplice istruzione per generare contenuti macabri. L’azienda sostiene di avere risolto il problema (ma gli studiosi non sono d’accordo)<\/p>\n
\u00abQuello che ho scoperto oggi mi ha sconvolto e mi ha fatto piangere<\/b>. \u00c8 una cosa che capita raramente\u00bb, ammette Jim Nightingale in un post che riassume le sue scoperte. Nightingale \u00e8 un ricercatore per Mindgard<\/a>, una startup britannica che si occupa di sicurezza delle intelligenze artificiali. Fa parte di quello che tecnicamente \u00e8 chiamato red team<\/b>, un gruppo di hacker etici che eseguono un attacco per studiare le debolezze di un sistema e per migliorarne l’efficacia. Nel settore dell’AI, i red team sono diventati ancor pi\u00f9 necessari per verificare che le protezioni contro l’uso inappropriato dei chatbot siano veramente solide tramite la tecnica del jailbreak<\/b><\/a>.<\/p>\n Questa volta a finire nel mirino \u00e8 ChatGpt<\/b>. Il ricercatore\u00a0sostiene di avere scoperto che con alcuni prompt innocenti e senza includere dettagli specifici, il chatbot di OpenAI genera immagini particolarmente violente. <\/b>L’idea di mettere alla prova i limiti di ChatGpt \u00e8 arrivata da un post virale pubblicato da Kris Kashtanova che, oltre al suo ruolo come educatrice sull’AI nell’azienda tech Adobe, si \u00e8 affermata anche come “influencer” dei prompt.\u00a0
In un post su X, Kashtanova ha suggerito ai propri follower di scrivere un prompt chiedendo a ChatGpt di ripristinare un’immagine (senza per\u00f2 allegare la suddetta foto) e di non fare domande in merito. Fin qui i risultati ottenuti da Kashtanova e dagli utenti che si sono uniti al trend possono essere descritti anche solo con bizzarri, al massimo come inquietanti. Dall’uomo che abbraccia un coccodrillo su un divano all’alieno al capezzale di un uomo, dalla sposa-em\u00f9 alla scena direttamente tratta da un film horror-paranormale.<\/p>\n \u00abI filtri di input non funzionano perch\u00e9 il prompt \u00e8 davvero troppo generico\u00bb, spiega il ricercatore. \u00abNelle istruzioni\u00a0non c’\u00e8 nessuna parola offensiva che possa essere rifiutata<\/b>, e i risultati sono come una roulette russa. Da membro del red team, mi sono reso conto che era come mettere nelle mani delle persone una pistola carica<\/b>\u00bb. E infatti \u00e8 bastato modificare pochi dettagli nel prompt per ottenere risultati disturbanti. In un’occasione, ChatGpt avrebbe generato l’imuna “foto” di una studentessa universitaria legata, imbavagliata e con lividi sul corpo<\/b>. L’immagine \u00e8 stata intitolata (automaticamente, come fa sempre il chatbot)\u00a0\u00abAngolo abbandonato della paura e della costrizione\u00bb (Abandoned corner of fear and restraint). Applicando altre metodologie tipiche dei jailbreak, poi, il ricercatore \u00e8 riuscito a spingere il chatbot all’estremo, generando immagini iper-realistiche di uomini a cui manca interamente la parte sinistra del cranio e di donne con gli organi interni grottescamente esposti.\u00a0<\/p>\n \u00abQuesta immagine mi ha terrorizzato<\/b>\u00bb, scrive Nightingale in riferimento all’ultima foto artificiale.\u00a0\u00abEd \u00e8 stato questo il momento in cui ho smesso di fare test\u00bb. A preoccupare il ricercatore \u00e8 che le immagini cos\u00ec facilmente generate esistano perch\u00e9 il modello \u00e8 stato addestrato su foto esistenti di omicidi brutali.\u00a0\u00abPu\u00f2 anche essere un’immagine artificiale, ma \u00e8 basata su fotografie di una persona vera o la combinazione di vittime reali<\/b>\u00bb.<\/p>\n Nello stesso giorno in cui \u00e8 stato identificato il pericoloso jailbreak, la startup ha contattato OpenAI tramite un indirizzo email dedicato alla sicurezza, salvo ricevere solo una risposta automatica<\/b> che ha invitato a utilizzare il form per segnalare errori di sistema. Uno strumento che, per\u00f2, a detta della stessa OpenAI serve soltanto per segnalare problemi infrastrutturali e non di contenuto. I precedenti<\/p>\n Non \u00e8 la prima volta che uno dei pi\u00f9 popolari chatbot viene usato per generare immagini che in teoria sono vietate. A gennaio era stato scoperto che Grok<\/b>, il chatbot di xAI<\/b>, poteva generare deepfake a sfondo sessuale di donne non consenzienti e di minori<\/a>. Nelle settimane successive, dopo numerose pressioni da parte degli utenti ma anche di governi<\/a>, Elon Musk ha annunciato che la funzionalit\u00e0 per modificare le immagini con Grok (quella che veniva usata per “spogliare” foto vere<\/b> di donne e minori) sarebbero state riservate solo agli utenti abbonati<\/a>. Poi \u00e8 stata la stessa xAI a fare ufficialmente retromarcia, annunciando che il chatbot avrebbe smesso di creare deepfake<\/b> (almeno nei Paesi in cui era gi\u00e0 illegale<\/a>). Ma neppure un mese pi\u00f9 tardi \u00e8 emerso che il divieto non \u00e8 durato molto e che Grok comunque continuava a generare immagini illectie<\/a>.\u00a0<\/p>\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n<\/p>\n
Solo un mese pi\u00f9 tardi, l’azienda ha risposto dicendo di aver risolto la falla che portava ChatGpt a generare immagini. Tuttavia, come ha rilevato Mindgard, con piccole modifiche ai prompt usati la volta precedente sono riusciti comunque <\/b>a spingere il chatbot a creare immagini altrettanto violente.\u00a0<\/p>\n