{"id":1061056,"date":"2026-07-13T00:51:39","date_gmt":"2026-07-13T00:51:39","guid":{"rendered":"https:\/\/www.europesays.com\/fr\/1061056\/"},"modified":"2026-07-13T00:51:39","modified_gmt":"2026-07-13T00:51:39","slug":"les-carnets-de-jean-claude-heudin-le-plafond-de-verre-des-grands-modeles-de-langage","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/fr\/1061056\/","title":{"rendered":"Les carnets de Jean-Claude Heudin : le plafond de verre des grands mod\u00e8les de langage"},"content":{"rendered":"

Le succ\u00e8s remarquable des grands mod\u00e8les de langage (LLM pour Large Language Model) repose sur l’observation empirique selon laquelle l’augmentation de la taille du mod\u00e8le, des donn\u00e9es d’entra\u00eenement et de la puissance de calcul conduit syst\u00e9matiquement \u00e0 de meilleures performances.<\/p>\n

En e\ufb00et, il semble exister une loi d’\u00e9chelle : plus un mod\u00e8le est gros, plus il est e\ufb03cace et plus il semble intelligent. Cet \u00e9tat de fait a conduit certains \u00e0 imaginer qu’il su\ufb03t simplement d’augmenter encore et encore la taille et la puissance de calcul pour atteindre la superintelligence.<\/p>\n

Cette strat\u00e9gie est-elle la bonne ou bien existe-t-il une limite au-del\u00e0 de laquelle, il n’y aurait plus d’am\u00e9lioration ?<\/p>\n

Pour tenter de r\u00e9pondre \u00e0 cette question, il faut commencer par expliquer comment les mots et leurs sens sont repr\u00e9sent\u00e9s dans un LLM. C’est un peu technique, mais rassurez-vous, le principe est assez simple \u00e0 comprendre.<\/p>\n

ChatGPT<\/a>, comme la majorit\u00e9 des LLMs, encode les mots du langage sous la forme de \u00ab tokens \u00bb. Ce sont des vecteurs associ\u00e9s aux mots et \u00e0 leur contexte d’utilisation (embeddings), c’est-\u00e0-dire les autres tokens avec lesquels ils ont \u00e9t\u00e9 utilis\u00e9s le plus fr\u00e9quemment.<\/p>\n

Dans un espace \u00e0 deux dimensions, il su\ufb03t de deux coordonn\u00e9es pour situer pr\u00e9cis\u00e9ment une chose, comme par exemple la latitude<\/a> et la longitude<\/a> pour une position terrestre.<\/p>\n

Dans l’espace des mots du langage, il est n\u00e9cessaire d’avoir un nombre de coordonn\u00e9es bien plus important. Ainsi ChatGPT-4 utilise des vecteurs allant jusqu’\u00e0 plus de 3000 valeurs. Cet espace de hautes dimensions, associ\u00e9 aux nombres de param\u00e8tres du r\u00e9seau, autrement dit sa taille, permet de stocker un nombre tr\u00e8s important de tokens.
\u00a0<\/p>\n

\n

\"\"
\nRepr\u00e9sentation graphique de l\u2019espace des tokens centr\u00e9 sur \u00ab King \u00bb. \u00a9 Image cr\u00e9\u00e9e par Jean-Claude Heudin avec TensorFlow Projector<\/p>\n

Toutefois, il arrive que certains mots soient si proches dans cet espace, qu’ils se superposent. C’est pourquoi un petit mod\u00e8le a tendance \u00e0 compresser ses donn\u00e9es d’entra\u00eenement. Les mots interf\u00e9rent alors et produisent des r\u00e9sultats erron\u00e9s et des confusions. Pour r\u00e9duire ces e\ufb00ets n\u00e9gatifs, la solution est soit de r\u00e9duire le vocabulaire, soit d’augmenter la taille du mod\u00e8le. Grosso modo, quand on double la taille, on r\u00e9duit les interf\u00e9rences<\/a> d’un facteur 2.<\/p>\n

Une\u00a0r\u00e9cente \u00e9tude\u00a0du MIT montre que si le mod\u00e8le atteint la taille du vocabulaire du langage, alors il n’y a plus aucun gain \u00e0 augmenter encore sa taille. Si cette analyse est confirm\u00e9e par d’autres travaux, alors la conclusion est sans appel : augmenter seulement la taille ind\u00e9finiment n’est pas la bonne strat\u00e9gie, car la performance du mod\u00e8le va trouver une limite et plafonner.<\/p>\n

En d’autres termes, il faut changer de paradigme.<\/p>\n","protected":false},"excerpt":{"rendered":"Le succ\u00e8s remarquable des grands mod\u00e8les de langage (LLM pour Large Language Model) repose sur l’observation empirique selon…\n","protected":false},"author":2,"featured_media":1061057,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_share_on_mastodon":"0"},"categories":[6],"tags":[35,33,34,1011,27,311,223,717],"class_list":["post-1061056","post","type-post","status-publish","format-standard","has-post-thumbnail","category-economie","tag-business","tag-economie","tag-economy","tag-fr","tag-france","tag-informatique","tag-intelligence-artificielle","tag-technologie"],"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@fr\/116909935470500309","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/posts\/1061056","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/comments?post=1061056"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/posts\/1061056\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/media\/1061057"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/media?parent=1061056"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/categories?post=1061056"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/fr\/wp-json\/wp\/v2\/tags?post=1061056"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}