{"id":251987,"date":"2025-12-09T00:01:29","date_gmt":"2025-12-09T00:01:29","guid":{"rendered":"https:\/\/www.europesays.com\/it\/251987\/"},"modified":"2025-12-09T00:01:29","modified_gmt":"2025-12-09T00:01:29","slug":"storia-dellia-come-due-gtx-580-da-gaming-hanno-innescato-una-rivoluzione","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/it\/251987\/","title":{"rendered":"Storia dell\u2019IA: come due GTX 580 da gaming hanno innescato una rivoluzione"},"content":{"rendered":"

Come \u00e8 nata l\u2019IA? E come mai NVIDIA \u00e8 diventata oggi l\u2019azienda pi\u00f9 rilevante nel mondo IA? La data chiave \u00e8 il 2012, ma prima di rivelare perch\u00e9 questa data \u00e8 fondamentale \u00e8 bene fare qualche passo dietro per capire come si \u00e8 arrivati ad una rivoluzione. Un passo di quasi trent\u2019anni. <\/p>\n

Nel 1986 tre ricercatori, Geoffrey Hinton, David Rumelhart e Ronald Williams pubblicarono su Nature un paper che dimostrava come la back-propagation potesse essere usata per addestrare reti neurali multi-strato in modo efficiente. <\/p>\n

La backpropagation \u00e8 l’algoritmo che permette ad una rete neurale di “imparare dai suoi errori”. Immaginate di lanciare freccette con gli occhi bendati aiutati da un compagno: ogni volta che mancate il bersaglio il compagno vi dice “troppo a sinistra, troppo in basso\u201d in modo tale che possiate correggere il tiro senza vedere per\u00f2 il bersaglio. <\/p>\n

La retropropagazione fa esattamente questo con le reti neurali, calcolando matematicamente quanto ogni \u201cneurone\u201d della rete, passateci il termine, abbia contribuito all’errore\u00a0 aggiustando i parametri di conseguenza. Prima della pubblicazione di questo paper, e prima della scoperta della back-propagation, addestrare reti neurali di una certa complessit\u00e0 era praticamente impossibile.<\/b><\/p>\n


\nGeoffrey Hinton,\u00a0premio Nobel per la fisica nel 2024<\/p>\n

Era una scoperta fondamentale, ma per gran parte degli anni ’80 e ’90 il lavoro di Hinton (premio Nobel per la fisica nel 2024) sulle reti neurali affront\u00f2 forti critiche da quella che pu\u00f2 essere considerata una delle prime comunit\u00e0 IA al mondo. <\/p>\n

Gli scienziati che lavoravano sulle reti neurali preferivano approcci basati sul ragionamento, con un sistema che non impara dai dati ma in base a ragionamenti di tipo logico, come ad esempio \u201cSe l\u2019animale ha 4 zampe e abbaia allora \u00e8 probabilmente un cane\u201d.<\/p>\n

<\/p>\n

La ricerca AI era bloccata, e inizi\u00f2 un periodo storico definito “AI Winter” dove dopo un periodo di entusiasmo per i progressi fatti, la ricerca vide ridursi drasticamente i finanziamenti. Questo accadde prima nel 1974, quando la DARPA tagli\u00f2 i fondi per la ricerca IA negli Stati Uniti poi di nuovo negli anni ’90. Il periodo fu cos\u00ec duro che i ricercatori IA evitavano come la peste il termine “AI” associando alle ricerche, quando dovevano chiedere fondi, nomi come \u201cinformatica cognitiva” o \u201cneural analytics”. Il nome \u201cIA\u201d era radioattivo e ormai molti consideravano le reti neurali un vicolo cieco.<\/b><\/p>\n

<\/p>\n

Geoffrey Hinton per\u00f2 non moll\u00f2 il colpo, e continu\u00f2 a credere che la vera intelligenza si sarebbe raggiunta solo attraverso le reti neurali. Per quasi 20 anni, dal 1986 al 2006 circa, ha lavorato sulle reti neurali disinteressandosi di quella che era ormai l\u2019opinione del pubblico scientifico perfezionando la back propagation, che sarebbe diventata nei prossimi anni un elemento chiave per il futuro dell\u2019IA.<\/p>\n


\nNVIDIA e la scommessa su CUDA: nel 2006 l\u2019intuizione chiave<\/b> <\/p>\n

Mentre Hinton combatteva la sua battaglia solitaria, nel mondo hardware una piccola azienda aveva avuto una intuizione geniale, lanciando un software chiave: CUDA, ovvero (Compute Unified Device Architecture). Questa azienda era NVIDIA, con CUDA che fu sviluppato nel 2004 e rilasciato ufficialmente, dopo tre anni intensi di ottimizzazione, nel 2007.<\/p>\n

<\/p>\n

CUDA non arriv\u00f2 dal nulla: nel 2004 NVIDIA era nota nel mondo del gaming, aveva comprato 3DFX fallita tre anni prima e oltre a vendere le sue GeForce FX a centinaia di migliaia di giocatori stava espandendosi nel mercato della grafica professionale con la serie Quadro FX. <\/p>\n

NVIDIA GeForce 256, la prima GPU. Usc\u00ec nel 1999<\/p>\n

NVIDIA aveva di fatto creato in quegli anni la GPU, la prima fu la GeForce 256, e GPU era acronimo di Graphics Processing Units. Le sue schede erano nate per un compito specifico: renderizzare grafica 3D nei videogiochi. <\/p>\n

La differenza tra CPU e GPU \u00e8 nota a tutti: mentre una CPU \u00e8 come un tuttofare molto intelligente che esegue compiti uno dopo l’altro, una GPU \u00e8 come una fabbrica con migliaia di operai semplici che lavorano tutti contemporaneamente sullo stesso tipo di operazione. <\/p>\n

Per i videogiochi questi “operai” calcolavano il colore di ogni pixel sullo schermo, ma NVIDIA si rese conto che questo stesso approccio, ovvero la possibilit\u00e0 di fare migliaia di calcoli semplici in simultanea, era perfetto anche per altri compiti che richiedevano calcoli ripetitivi su enormi quantit\u00e0 di dati.<\/p>\n

Memorabile fu la dimostrazione di cos\u2019era una GPU fatta da NVIDIA nel 2008, durante l\u2019evento NVISION: grazie al dipinto di Mona Lisa fatta da una serie di ugelli il pubblico cap\u00ec cos\u2019era il calcolo parallelo.<\/b><\/p>\n


\n <\/p>\n

Nel 2003 alcuni ricercatori di Stanford, guidati da Ian Buck, crearono Brook, un\u2019estensione del linguaggio C che introduceva costrutti data-parallel e permetteva di usare una qualsiasi GPU non come una scheda grafica ma come processore per il calcolo. <\/p>\n

Brook fu il primo modello di programmazione GPGPU usabile da tutti, e il primo a rendere pratiche cose come le simulazioni fisiche, le elaborazioni scientifiche, la visione artificiale e la fluidodinamica. Insomma, decine di casi dove non serviva quello per cui le GPU erano nate, ovvero il rendering grafico. Brook permetteva il rendering \u201cnon grafico\u201d.<\/b><\/p>\n

<\/p>\n

Nel 2003 Buck pubblica il paper su Brook e la comunit\u00e0 accademica lo adotta rapidamente. NVIDIA, che stava gi\u00e0 guardando ad altri usi per le sue schede che potessero ampliare il business, capisce che ha bisogno di un linguaggio, un modello di programmazione e una piattaforma per fare GPGPU seriamente, non pi\u00f9 in modo artigianale, e assume cos\u00ec Ian Buck<\/b>.<\/p>\n

Il ricercatore di Stanford diventa uno degli architetti del progetto che cambier\u00e0 il mondo guidando il lancio di CUDA, la prima soluzione commerciale per il calcolo general-purpose su GPU.<\/b><\/p>\n

<\/p>\n

L\u2019intuizione di NVIDIA fu per\u00f2 doppia: oltre a lanciare CUDA cap\u00ec che invece di creare una linea di prodotto pensata per l\u2019IA, e per funzionare con CUDA, era meglio andare avanti come avevano sempre fatto, quindi una linea architettura di GPU unica<\/b>. Questo permetteva agli sviluppatori di iniziare con le GPU da gaming economiche e scalare i lavori fino agli acceleratori per data center senza riscrivere il codice: oggi l\u2019architettura Blackwell \u00e8 alla base della pi\u00f9 economica GPU da gaming come della pi\u00f9 costosa GPU per datacenter.<\/p>\n

<\/p>\n

Questo era fondamentale: uno studente poteva sviluppare un algoritmo sulla GPU del suo PC da gaming a casa, e poi eseguirlo su decine di GPU professionali in un data center senza cambiare una riga di codice<\/b>. <\/p>\n

CUDA aveva per\u00f2 un problema. All\u2019epoca, infatti, sembrava una tecnologia in cerca di un mercato.<\/b><\/p>\n


\nImageNet, il dataset che mancava<\/b> <\/p>\n

Stiamo parlando di GPU e di calcolo parallelo, ma paradossalmente anche la storia dell\u2019IA vive di flussi paralleli. Mentre Hinton lavora al perfezionamento della back propagation e NVIDIA lancia CUDA, un’altra rivoluzione silenziosa stava prendendo forma. <\/p>\n

Nel 2007 Fei-Fei Li, nata a Pechino e emigrata con la famiglia in America a 16 anni diventa dopo gli studi ricercatrice e docente a Princeton, e si interessa di reti neurali. <\/p>\n

<\/p>\n

All\u2019epoca le reti neurali non funzionavano bene per la visione artificiale e l\u2019idea di Fei-Fei Li fu rivoluzionaria: per costruire un\u2019IA che \u201cvede\u201d serve un dataset enorme, almeno quanto la variet\u00e0 del mondo<\/b>. Un dataset \u00e8 un insieme di dati, e ai tempi veniva usato come base per addestrare le prime reti: ai tempi di Fei-Fei Li i dataset avevano poche migliaia di immagini divise in poche categorie, ma Fei-Fei Li si ricord\u00f2 che Irving Biederman, psicologo cognitivo americano che negli anni \u201980 propose una teoria della percezione umana chiamata Recognition-by-Components, stim\u00f2 che gli esseri umani riconoscono decine di migliaia di categorie di oggetti, circa 30.000.<\/b><\/p>\n

<\/p>\n

Nel 2006, Li aveva iniziato a riflettere su un’idea: vedeva i suoi colleghi in tutta l’accademia e l’industria IA concentrarsi sullo stesso concetto, ovvero che un algoritmo migliore avrebbe preso decisioni migliori, indipendentemente dai dati. Ma lei cap\u00ec che c\u2019era un limite a questo approccio: il miglior algoritmo non avrebbe mai funzionato bene se i dati da cui imparava non riflettevano il mondo reale<\/b>. <\/p>\n

In poche parole insegnare ad un’IA a riconoscere i gatti mostrandole solo 100 foto di gatti persiani bianchi su sfondo neutro \u00e8 inutile perch\u00e9 l\u2019IA non avrebbe riconosciuto mai un gatto persiano nero su un divano, o un gatto rosso sull’erba.<\/p>\n

<\/p>\n

Fei-Fei Li prese la teoria di Biederman come motivazione: \u201cSe vogliamo insegnare a una macchina a vedere come noi deve riconoscere migliaia di categorie, non solo 20 o 100\u201d e inizi\u00f2 a sviluppare ImageNet, un dataset visuale enorme. <\/p>\n

Servivano milioni di immagini in condizioni realistiche e variabili perch\u00e9 senza dati sufficienti e diversificati anche l’algoritmo pi\u00f9 sofisticato avrebbe fallito, e inizi\u00f2 cos\u00ec con il tuo team a raccogliere immagini.<\/p>\n

<\/p>\n

Era l\u2019inizio di un lavoro colossale dove il primo passo fu definire le categorie: Li si affid\u00f2 a WordNet, un grande database linguistico che organizza i concetti in gruppi di parole con significati condivisi. Ogni gruppo diventava una potenziale classe visiva e questa scelta forn\u00ec una struttura gerarchica naturale, simile a un \u201calbero delle cose del mondo\u201d, su cui ancorare l\u2019intero dataset. <\/p>\n

Poi venne la fase pi\u00f9 impegnativa: trovare le immagini. Il team svilupp\u00f2 strumenti per automatizzare la ricerca su larga scala attraverso motori di ricerca e piattaforme web, generando per ogni categorie decine di query differenti e in questo modo furono raccolte centinaia di milioni di immagini grezze, un quantitativo enorme ma pieno di duplicati, errori, materiale irrilevante.<\/p>\n

<\/p>\n

Per ordinare questo caos sarebbero servite migliaia di persone, ma anche qui Fei-Fei Li ebbe l\u2019intuizione decisiva: sfruttare una soluzione di Amazon chiamata Mechanical Turk<\/b>. <\/p>\n

Questa soluzione esiste ancora e al tempo dell\u2019IA fa sorridere: \u00e8 un servizio internet di\u00a0crowdsourcing\u00a0che permette ad un committente di coordinare persone in tutto il mondo per eseguire compiti che i computer, a oggi, non sono in grado di fare. Con Mechanical Turk i\u00a0requester\u00a0possono pubblicare obiettivi da completare e i Turker, quindi persone da tutto il mondo con un computer, possono ricercare tra gli obiettivi esistenti e completarli in cambio di un pagamento deciso dal requester. <\/p>\n

Mechanical Turk esiste ancora oggi: potete creare un task che verr\u00e0 completato a pagamento da esseri umani sui loro computer<\/p>\n

Grazie a Mechanical Turk il team di Fei-Fei Li distribu\u00ec il compito di etichettatura a migliaia di persone in tutto il mondo, che vennero pagate per svolgere un compito semplice, ovvero rispondere ad una domanda come \u201cQuesta immagine contiene un cane?\u201d.<\/p>\n

<\/p>\n

Il dataset finale, ImageNet, riuniva oltre 14 milioni di immagini e pi\u00f9 di 20.000 categorie<\/b> ed era la prima volta nella storia della computer vision che la raccolta dei dati assumeva una dimensione industriale.<\/p>\n

<\/p>\n

C\u2019era per\u00f2 un ulteriore ostacolo da sorpassare: serviva un modo per far adottare ImageNet alla comunit\u00e0 scientifica. Nel 2009, Fei-Fei Li si rivolse al team di PASCAL VOC, che da anni organizzava la competizione di riferimento per la computer vision, e propose loro di unire la capacit\u00e0 organizzativa di PASCAL VOC con il database di ImageNet.<\/p>\n

<\/p>\n

Se in tutti quegli anni la comunit\u00e0 scientifica aveva messo in gara i vari algoritmi sul dataset di PASCAL VOC, che aveva solo 20 classi e circa 20.000 immagini, dopo l\u2019accordo si trov\u00f2 davanti ad un dataset molto pi\u00f9 complesso sul quale gli algoritmi, che tutti consideravano \u201cottimi\u201d, iniziarono a fallire con tassi di errore altissimo<\/b>. Chi partecip\u00f2 alla sfida degli algoritmi di computer vision nel 2010 dovette affrontare infatti la prima ImageNet Large Scale Visual Recognition Challenge (ILSVRC), che aveva ben 1000 classi e 1.2 milioni di immagini.<\/p>\n

<\/p>\n

Un salto di 50 volte nel numero di categorie e di 60 volte nel numero di immagini, con un livello di difficolt\u00e0 in pi\u00f9: un conto era allenare la rete naturale per riconoscere 20000 immagini, un conto era farlo per riconoscere 1.2 milioni di immagini.<\/p>\n


\n2009-2012, le GPU iniziano a far valere le loro doti<\/b> <\/p>\n

Nel 2009 Rajat Raina, studente nel Computer Science Department di Stanford, Anand Madhavan, ricercatore a Stanford e Andrew Y. Ng, professore a Stanford (e co-fondatore di Google Brain) pubblicarono il paper “Large-Scale Deep Unsupervised Learning Using Graphics Processors<\/a>“, dimostrando un aumento di velocit\u00e0 pari al 70x nell’addestramento di un tipo di rete neurale che impara a riconoscere pattern e correlazioni nei dati in modo autonomo (Restricted Boltzmann Machines). La misura era stata fatta usando una GPU NVIDIA GTX 280, che aveva stracciato le CPU tradizionali.<\/b><\/p>\n

<\/p>\n

Addestrare le reti neurali era allora, come \u00e8 oggi, \u00e8 estremamente intensivo dal punto di vista computazionale ma ai tempi un aumento della velocit\u00e0 del 70% era fondamentale perch\u00e9 voleva dire che un esperimento che richiedeva 70 giorni su CPU tradizionali poteva essere completato in un solo giorno su GPU. <\/p>\n

Nel mondo della ricerca AI era una differenza enorme, provare un esperimento ogni due mesi (e forse scoprire dopo mesi che l\u2019idea non funzionava era ben diverso da provare 70 esperimenti diversi nello stesso periodo aggiustando il tutto in base a quanto appreso dai fallimenti.<\/p>\n

<\/p>\n

Lo sapeva bene Andrew Y. Ng, uno dei tre firmatari del paper che aveva fondato Google Brain:<\/b>\u00a0nel 2011 la rete sviluppata da Google aveva ottenuto risultati sorprendenti imparando a riconoscere gatti e persone guardando video su YouTube, ma si trovava davanti ad un problema insormontabile. La rete di Google richiedeva 2.000 CPU in server alimentati e raffreddati in uno dei giganteschi data center di Google. <\/b><\/p>\n

<\/p>\n

Google aveva fatto un esperimento rivoluzionario, lasciare che un’intelligenza artificiale guardasse 10 milioni di fotogrammi estratti da video di YouTube senza dirle cosa stesse guardando e dopo giorni di elaborazione la rete neurale aveva spontaneamente sviluppato un “neurone del gatto\u201d<\/b>, ovvero aveva imparato da sola a riconoscere i gatti semplicemente perch\u00e9 i gatti apparivano cos\u00ec spesso nei video. <\/p>\n

Google faceva per\u00f2 fatica a continuare a sostenere una spesa simile: gli esperimenti di Google Brain bruciavano milioni di dollari e richiedevano una potenza di calcolo, spazi e corrente enormi.<\/b><\/p>\n

<\/p>\n

La svolta avvenne quando Bryan Catanzaro, ricercatore NVIDIA oggi conosciuto da tutti in quanto pap\u00e0 del DLSS, si un\u00ec al team di Andrew Ng a Stanford per capire come usare la GPU per il deep learning al posto delle 2000 CPU di Google. <\/p>\n

Bryan Catanzaro, vicepresidente di NVIDIA Applied Deep Learning Research, uomo chiave nello sviluppo di tecnologie AI inclusa la rivoluzione del DLSS\u00a0(Deep Learning Super Sampling)\u00a0<\/p>\n

Fu il momento di svolta: Catanzaro e il team di Stanford dimostrarono che lo stesso esperimento di Google Brain poteva essere fatto con 12 GPU dal costo di circa 6.000 dollari <\/b>in un singolo server rack e con il consumo di un elettrodomestico. <\/p>\n

Un’universit\u00e0, un laboratorio di ricerca e persino una startup potevano ora permettersi di fare ricerca avanzata sul deep learning senza avere le possibilit\u00e0 economiche di una azienda come Google. L’efficienza delle GPU stava trasformando il deep learning da un campo riservato ai giganti tech in qualcosa di accessibile.<\/p>\n

<\/p>\n

Questo lavoro divenne il nucleo di cuDNN (CUDA Deep Neural Network library), la libreria per deep neural networks incorporata in CUDA. Non solo NVIDIA ha dato a tutti, anche agli studenti, una scheda economica da usare per fare ricerca sul machine learning ma ha anche inserito dentro CUDA una libreria che fornisce tutti i “mattoni” pre-ottimizzati per costruire reti neurali<\/b>. <\/p>\n

Questa era la seconda rivoluzione: invece di dover diventare esperti di ottimizzazione della GPU i ricercatori potevano semplicemente chiamare queste funzioni e ottenere automaticamente prestazioni eccezionali. Al resto pensava NVIDIA, che aveva ingegneri che passavano mesi a ottimizzare queste operazioni per spremere ogni grammo di performance dalle GPU.<\/p>\n

<\/p>\n

cuDNN \u00e8 la libreria che ha reso le GPU NVIDIA la spina dorsale del deep learning, e senza cuDNN la rivoluzione dell\u2019IA sarebbe arrivata molto pi\u00f9 lentamente<\/b>. <\/p>\n

Nel giro di pochi anni (2009-2013) il deep learning pass\u00f2 cos\u00ec da essere un lusso per chi aveva data center da milioni di dollari ad un qualcosa che uno studente poteva fare con poche GPU nel classico \u201cgarage di casa\u201d.<\/p>\n

<\/p>\n

Questa democratizzazione fu essenziale perch\u00e9 senza di essa, AlexNet non sarebbe mai esistito. Ma cos\u2019\u00e8 AlexNet?<\/p>\n

Settembre 2012: la scommessa vinta di Krizhevsky<\/b>
\n <\/p>\n

Alex Krizhevsky, studente presso l\u2019Universit\u00e0 di Toronto sotto la supervisione di Geoffrey Hinton (si, quell\u2019Hinton), aveva una competenza rara: sapeva programmare in CUDA<\/b>. A quei tempi le GPU non erano quasi utilizzate per il machine learning, non esistevano framework come PyTorch o TensorFlow e tutto andava scritto \u201ca mano\u201d, ottimizzando ogni byte di memoria: cuDNN ancora non era stato creato.<\/p>\n

<\/p>\n

Krizhevsky aveva gi\u00e0 sviluppato cuda-convnet, una libreria che implementava reti convoluzionali accelerate su GPU e l\u2019aveva testata su un dataset molto piccolo. Quando arriv\u00f2 ImageNet ebbe l\u2019idea apparentemente folle: e se addestrassimo una rete molto pi\u00f9 grande su ImageNet?<\/b> <\/p>\n

Nessuno era riuscito a far funzionare una rete neurale deep learning su un dataset del genere. Alex acquist\u00f2 (o si fece prestare, ci sono pi\u00f9 versioni di questa storia) due NVIDIA GTX 580 che ai tempi erano le migliori GPU da gaming che si potessero comprare<\/b>. <\/p>\n

Costavano 500 dollari, avevano 3 GB di VRAM ciascuna e 1.581 TFLOPS FP32 di potenza teorica; il setup era casalingo e spartano, non un laboratorio, non un cluster universitario ma il classico case desktop nella sua camera da letto.<\/b><\/p>\n

Alex Krizhevsky, senza la sua scoperta oggi NVIDIA\u00a0non sarebbe NVIDIA <\/p>\n

C\u2019era per\u00f2 un problema: la rete era talmente grande che non entrava in memoria. AlexNet, questo il nome scelto, aveva circa 60 milioni di parametri e nonostante avesse due GPU la rete intera non ci stava.<\/b><\/p>\n

Krizhevsky decise di fare qualcosa di allora inedito: dividere la rete neurale in due parti, una su ogni GPU. Inizi\u00f2 a scrivere codice CUDA a mano, strato dopo strato, e divise la rete in due met\u00e0: la prima GPU avrebbe elaborato alcuni layer, la seconda quelli successivi. Quando uno strato aveva bisogno dei risultati dell\u2019altro, Alex programm\u00f2 uno scambio diretto tra le due schede e lo fece tramite la connessione SLI ad alta velocit\u00e0, quel connettore che NVIDIA aveva pensato per raddoppiare le prestazioni in game usando due schede in parallelo.<\/p>\n

<\/p>\n

Era una forma primitiva di model parallelism, questo molto prima che diventasse comune: una singola run completa richiedeva cinque o sei giorni e per ogni modifica all\u2019architettura o ai parametri, Alex doveva cambiare il codice CUDA a mano, ricompilare, rilanciare tutto e aspettare quasi una settimana. Nel corso dei mesi ottimizz\u00f2 i kernel CUDA, miglior\u00f2 l\u2019uso della memoria e sistem\u00f2 i layer fino a farli convergere meglio dei concorrenti: stava letteralmente inventando il deep learning moderno.<\/b><\/p>\n


\n30 settembre 2012: il giorno storico dell\u2019IA <\/p>\n

Il 30 settembre 2012 arrivarono i risultati ufficiali del benchmark di ImageNet al quale Alex aveva partecipato con AlexNet. La sua rete addestrata sulle due NVIDIA in parallelo ottenne un errore top-5 del 15,3% contro il 26,2% del secondo classificato<\/b>. <\/p>\n

Uno stacco di 10,9 punti percentuali nel mondo della ricerca era un margine assurdo, senza precedenti, un po\u2019 come se domani spuntasse un corridore che vince i 100 metri con un vantaggio di 30 metri sul secondo. Gli organizzatori e i partecipanti rimasero scioccati, molti non credevano neppure ai risultati eppure furono replicati ed era davvero cos\u00ec. AlexNet diede inizio all\u2019era moderna del deep learning.<\/b><\/p>\n

<\/p>\n

NVIDIA, dopo aver realizzato che il deep learning poteva essere usato per risolvere i problemi del mondo e che le sue schede erano le uniche che sembravano cos\u00ec avanti da catalizzare questo cambiamento, invest\u00ec tutto il suo denaro, sviluppo e ricerca nella tecnologia di deep learning a partire dal 2012.\u00a0<\/b>\ufeffJensen Huang, CEO di NVIDIA, poteva scegliere di scommettere meno, di continuare con grafica e gaming ma decise di giocarsi il futuro dell’azienda:\u00a0non sacrific\u00f2 parte del budget, sacrific\u00f2 tutto il budget. Aveva ragione.<\/p>\n

Due anni dopo, alla GTC del 2014, Huang sal\u00ec sul palco del keynote con la consapevolezza di aver fatto la scelta giusta e di aver iniziato una corsa che la sua azienda avrebbe corso da sola per anni: “Quello che richiedeva 1.000 server e circa 5 milioni di dollari \u00e8 ora possibile fare con solo tre server accelerati da GPU” disse.<\/p>\n

<\/p>\n

Dopo AlexNet Google acquis\u00ec la startup di Hinton, Sutskever e Krizhevsky.<\/b> Sutskever, che non abbiamo nominato fino ad ora era l\u2019architetto, colui che capiva la teoria, il design della rete, il perch\u00e9 di ogni scelta. Lo scienziato russo contribu\u00ec alle idee chiave dietro AlexNet<\/b> ovvero come strutturare i layer, come far convergere la rete su un dataset enorme, come fare data augmentation correttamente: non scriveva i kernel CUDA, ma era quello che diceva: \u201cE se spingessimo questo iperparametro di pi\u00f9? E se aggiungessimo un altro layer?\u201d<\/p>\n


\n <\/p>\n

In Google Sutskever \u00e8 esploso successivamente come ricercatore, dove ha contribuito a invenzioni fondamentali come Word2Vec, fondamentale per la rappresentazione vettoriale del linguaggio ma soprattutto ha messo le basi per l\u2019impostazione concettuale che porter\u00e0 anni dopo ai Transformer,<\/b> quella tecnologia senza la quale oggi non avremmo l\u2019IA generativa. <\/p>\n

Jensen Huang e\u00a0Ilya Sutskever<\/p>\n

Il lavoro di Sutskever fu talmente impattante che un giorno ricevette la telefonata di un imprenditore che aveva fondato una strana organizzazione chiamata OpenAI, Elon Musk. Musk voleva prendere i migliori ricercatori al mondo, Ilya accett\u00f2 e divenne cofondatore e Chief Scientist di OpenAI dove ebbe un ruolo chiave in tutte le pietre miliari, dal primo GPT a ChatGPT. Se ne \u00e8 andato nel 2024.<\/p>\n

<\/p>\n

Dopo il 30 settembre tutte le aziende del mondo iniziarono a investire in GPU<\/b>, le reti neurali come AlexNet divennero lo standard per computer vision e nel giro di pochi anni esplosero speech recognition, traduzione neurale, generative models, Transformers, fino ai modelli che abbiamo oggi.<\/p>\n

<\/p>\n

Nel 2015, AlexNet fu superato da una rete neurale di Microsoft che vinse il contest ImageNet 2015 con un errore del 3,57% sul test set, superando le capacit\u00e0 umane. Ma il punto non era pi\u00f9 la competizione, il punto era che il paradigma era cambiato: AlexNet dimostr\u00f2 che le feature potevano essere apprese direttamente dai dati.<\/b><\/p>\n

<\/p>\n

La rivoluzione del deep learning richiedeva che tre elementi convergessero simultaneamente e cos\u00ec \u00e8 stato: l\u2019algoritmo di backpropagation<\/b>, raffinato da Hinton e altri per decenni, i dati, ovvero il dataset su larga scala di Fei-Fei Li<\/b> e il calcolo, quindi CUDA e le GPU NVIDIA.<\/p>\n

<\/p>\n

Crediamo si sia capito a questo punto il ruolo che ha avuto NVIDIA nella storia dell\u2019IA e perch\u00e9 dopo tanti anni sia molto difficile, per altre aziende, riuscire a entrare in un settore che \u00e8 stato costruito sopra CUDA e sopra le cuDNN.\u00a0Oggi, pi\u00f9 di un decennio dopo, NVIDIA vale 4.5 triliardi di dollari ed \u00e8 diventata l’azienda pi\u00f9 preziosa al mondo per capitalizzazione di mercato<\/b>. <\/p>\n

CUDA \u00e8 lo standard de facto per il deep learning: ogni ricercatore IA lo impara all\u2019universit\u00e0, ogni framework lo supporta, ogni cloud provider offre GPU NVIDIA.<\/p>\n


\n <\/p>\n

Google ci sta provando, e lo sta facendo bene con le TPU, tante altre aziende stanno lavorando a chip specializzati per la inference ma l’ecosistema costruito intorno a CUDA in oltre 15 anni, le librerie, la community, i tutorial, la flessibilit\u00e0 si \u00e8 rivelato quasi impossibile da replicare.<\/b><\/p>\n

<\/p>\n

L’ironia finale rimane: oggi i giocatori che vorrebbero aumentare a 64 GB la RAM del computer si trovano davanti ad un costo esagerato della memoria e ad una speculazione incontrollabile<\/b> quando le GTX 580 con cui Krizhevsky addestr\u00f2 AlexNet erano schede video per videogiochi. Nessuno le aveva create pensando all’intelligenza artificiale. <\/p>\n

Senza il gaming e quelle due schede, che hanno lavorato per mesi in quella camera da letto, ChatGPT potrebbe non esistere. Gemini potrebbe non esistere. L’intera rivoluzione dell’IA generativa che stiamo vivendo potrebbe non essere mai accaduta.<\/p>\n","protected":false},"excerpt":{"rendered":"Come \u00e8 nata l\u2019IA? E come mai NVIDIA \u00e8 diventata oggi l\u2019azienda pi\u00f9 rilevante nel mondo IA? La…\n","protected":false},"author":3,"featured_media":251988,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[173],"tags":[1537,90,89,195,198,199,197,200,201,194,196],"class_list":{"0":"post-251987","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-scienza-e-tecnologia","8":"tag-it","9":"tag-italia","10":"tag-italy","11":"tag-science","12":"tag-science-and-technology","13":"tag-scienceandtechnology","14":"tag-scienza","15":"tag-scienza-e-tecnologia","16":"tag-scienzaetecnologia","17":"tag-technology","18":"tag-tecnologia"},"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@it\/115686676476690204","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/posts\/251987","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/comments?post=251987"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/posts\/251987\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/media\/251988"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/media?parent=251987"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/categories?post=251987"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/it\/wp-json\/wp\/v2\/tags?post=251987"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}