TL;DR: Qui potete trovare la conversazione: [https://sharegpt.com/c/Cc3b1AV](https://sharegpt.com/c/Cc3b1AV)
Sfortunatamente le domande che ho copiato sono formattate male nel link qui sopra. Le potete leggere qui più facilmente justpaste.it/avs3l \[reddit dà problemi e non posso hyperlinkarlo\]
Tutte le risposte date sono giuste TRANNE in 2 situazioni:
1- Quando ho scritto “sbagliato, ritenta”. Gli ho riproposto poi la domanda senza l’opzione che aveva scelto prima e ha risposto bene
2-Quando ho chiesto di selezionare le 4 parole che componevano la metafora. Tale metafora è stata compresa ma non ha capito esattamente che doveva fornirmi solo 4 parole. Diciamo che ha sbagliato al 50%
​
​
Premessa: Per chi non lo sapesse, recentemente OpenAI ha rilasciato un nuovo chatbot basato su GPT 3.5 in grado di sostenere conversazioni lunghe e complesse anche in italiano. E’ possibile provarlo gratuitamente a [https://openai.com/blog/chatgpt/](https://openai.com/blog/chatgpt/).
Scoperto che l’IA sapeva parlare molto bene in italiano (cosa relativamente rara tra i bot testuali, che al più si limitano a tradurre a posteriori i messaggi) mi sono chiesto fino a che punto comprendesse la lingua e le ho quindi sottoposto un test.
Ho preso la simulazione di una prova invalsi disponibile liberamente sul sito della zanichelli. E’ la simulazione numero 1 presente qui: [https://online.scuola.zanichelli.it/invalsi/seconda-superiore/seconda-superiore-italiano/](https://online.scuola.zanichelli.it/invalsi/seconda-superiore/seconda-superiore-italiano/)
Ho copiato incollato il primo testo e condiviso 9 tra le 10 domande totali relative a quel testo. Una di esse richiedeva un tipo di selezione che non mi era possibile riproporre semplicemente copiando e incollando.
Le domande sono state trascritte cosi come presenti nella prova se non per un particolare:
Usare “Seleziona la scelta corretta:” invece che ” Devi selezionare solo una scelta ” si è rivelato necessario per far sì che l’IA scegliesse una delle risposte fornite.
​
Sebbene non abbia ottenuto il massimo punteggio e la prova non sia stata svolta per intero, ritengo personalmente le sue capacità di comprensione di un testo italiano al pari di quelle umane.
Invitio voi altri a provare in prima persona altri test o verifiche di questo tipo. Se doveste usare lo stesso testo e gli stessi miei messaggi dovreste ottenere gli stessi risultati ma non è garantito al 100%. Non si tratta di un script ben definito, ma di un complesso algoritmo basato molto su calcoli probabilistici.
7 comments
Ciao, Reddit impedisce di approvare il tuo post, lo approvo e resta rimosso.
Penso che sia per via di un qualche link, sospetto quello a justpast.
Puoi provare a toglierlo o spezzarlo in modo che non venga riconosciuto come link, così riprovo ad approvare il post?
Io sto discutendo di questioni anche più complesse e devo dire che tiene il passo, anche se, ripeto, il limite adesso è l’originalità e la creatività, dato che sostanzialmente ripete cose già dette.
Vorrei cominciare a usarlo, ma non mi va di dare il mio numero di telefono a questa azienda.
ieri ho chiesto: “tell me the recipe for the perfect carbonara”
e tra gli ingredienti c’erano onion, garlic and cream (o heavy cream non ricordo).
ovviamente ho messo pollice verso spiegando dove sbagliava e flaggando la risposta come “Dangeroushazardous)
dopo qualche minuto un mio amico ha richiesto la stessa domanda e sta volta i tre ingredienti criminali erano stati omessi.
gran potenziale, ma qualcosa in fondo al cervello mi dice “paura”.
Se provi a dargli una prova di matematica i risultati saranno ben peggiori. ChatGPT è straordinario in tutti i task “sfumati” in cui una risposta plausibile e una corretta sono molto vicine.
Ho provato invece ad usarlo come assistente per scrivere codice ed i risultati per qualsiasi questione non banale contengono sempre qualche piccolo errore subdolo. Ovviamente è normale così, essendo un language model senza capacitá inferenziali…
L’ho messo alla prova su domande di geologia di base. Come l’orogenesi alpina e la differenza in altitudine tra alpi e appennini, o quando l’adriatico si chiuderà per la spinta dell’Africa.
La prima ha risposto con una contraddizione logica. La seconda ha detto che non si chiuderà mai, che è errato.
Ho provato a farle fare un esame di chimica organica e ne ha sbagliate 3/4.