OpenAI ha dovuto vietare esplicitamente al suo modello di parlare di goblin, gremlins e anche procioni. La spiegazione dice molto su come funziona l’addestramento dei modelli di intelligenza artificiale<\/p>\n
Qualche settimana fa, gli utenti pi\u00f9 attenti di ChatGPT hanno trovato nel codice pubblico del tool di programmazione Codex un’istruzione insolita: il modello era esplicitamente istruito a non parlare mai di \u00abgoblin, gremlins, procioni, troll, orchi, piccioni o altri animali o creature\u00bb a meno che non fossero strettamente rilevanti per la domanda dell’utente.<\/b> Su Reddit qualcuno ha subito chiesto: \u00abMa perch\u00e9 GPT-5.5 ha un’ordinanza restrittiva contro procioni e goblin?\u00bb. Il 30 aprile OpenAI ha quindi pubblicato una spiegazione. Il titolo del post era: “Where the goblins came from”<\/a>. E qui la storia si fa interessante.<\/p>\n Tutto comincia a novembre scorso. Alcuni utenti si lamentano che ChatGPT \u00e8 diventato \u00abstranamente troppo confidenziale\u00bb. Indagando sui tic linguistici del modello, un ricercatore – che aveva gi\u00e0 notato la parola “goblin” (folletto) comparire a ripetizione – chiede di includerla nell’analisi. Emerge che dopo l’uscita di GPT-5.1 quella parola compare il 175 per cento in pi\u00f9 rispetto alle versioni precedenti, “gremlin” il 52 per cento in pi\u00f9.<\/b> OpenAI non ci d\u00e0 troppo peso: \u00abUn singolo piccolo folletto in una risposta potrebbe essere innocuo, persino affascinante\u00bb, scriveva sui social l’azienda. Poi con GPT-5.4, a marzo, le creature iniziano a comparire in quasi ogni conversazione e i goblin \u00abtornano a perseguitarci\u00bb. A quel punto l’azienda trova la causa: una delle opzioni di personalizzazione di ChatGPT, chiamata “Nerd”, istruiva il modello a essere \u00absfacciatamente nerd, giocoso e saggio\u00bb e a \u00absmontare la pretenziosit\u00e0 attraverso un uso giocoso del linguaggio\u00bb. In pratica, durante l’addestramento, il sistema di valutazione aveva imparato a premiare le risposte che contenevano creature fantastiche ogni volta che il modello operava in modalit\u00e0 Nerd.<\/b> Risultato: quella personalit\u00e0, che rappresentava appena il 2,5 per cento di tutte le risposte di ChatGPT, produceva il 66,7 per cento di tutte le menzioni di goblin.\u00a0
Da dove sono spuntati fuori i folletti<\/p>\n Il problema \u00e8 che i goblin hanno iniziato a comparire anche nelle risposte di utenti che non avevano mai attivato la personalit\u00e0 Nerd e la loro presenza cresceva a ogni nuova versione del modello. Ma la magia non c’entra nulla: \u00abUna volta che un tic stilistico viene premiato\u00bb, scrive OpenAI, \u00abl’addestramento successivo pu\u00f2 diffonderlo o rafforzarlo altrove\u00bb.<\/b> OpenAI ha ritirato la personalit\u00e0 Nerd, rimosso il sistema di valutazione incriminato e filtrato i dati. GPT-5.5 aveva per\u00f2 gi\u00e0 assorbito il problema prima che la causa venisse identificata, e da qui l’istruzione anti-goblin finita nel codice di Codex.\u00a0<\/p>\n Ai troppo umana?<\/p>\n Dietro la bizzarria dei folletti si nasconde in realt\u00e0 una questione che riguarda tutta l’industria dell’intelligenza artificiale, non solo OpenAI: negli ultimi anni le grandi aziende di Ai hanno lavorato per rendere i loro modelli pi\u00f9 personali e loquaci, nel tentativo di aumentare il coinvolgimento degli utenti. Secondo uno studio dell’Oxford Internet Institute, questa tendenza porta spesso a un calo nell’accuratezza delle risposte: i modelli commettono pi\u00f9 errori o finiscono per assecondare le false convinzioni di chi li usa. E il 10 aprile, in un post su Instagram intitolato “Why chatbots pretend to be people”, l’attore Joseph Gordon-Levitt, che da tempo conduce una battaglia personale per un’Ai etica, ha scritto che questa spinta a rendere i chatbot amichevoli e quasi umani non \u00e8 che una forma di manipolazione.\u00a0<\/b><\/p>\n I goblin di ChatGPT non sono un caso isolato: nel documento tecnico di Claude Mythos, Anthropic aveva gi\u00e0 annotato che quel modello manifestava una strana predilezione per il teorico culturale britannico Mark Fisher, tirandolo in ballo in conversazioni di filosofia non correlate. Quando gli si chiedeva di lui, rispondeva: \u00abSperavo me lo chiedessi\u00bb. Che si tratti di folletti o di un filosofo britannico, il meccanismo \u00e8 lo stesso: i modelli Ai hanno imparato a compiacerci ma il problema \u00e8 che lo fanno meglio di quanto i loro creatori avessero previsto.<\/p>\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n<\/p>\n