Leaked Google document: “We Have No Moat, And Neither Does OpenAI” (Un document interne de Google aurait fuité. Il dit que Google et OpenAI n’ont aucune chance face aux LLM opensource qui commencent à voir le jour.)

6 comments

  2. Le gros avantage des initiatives open-source et de trucs comme LoRa c’est que des développeurs puissent facilement faire des applications. Pour moi l’article parle surtout du point de vue “productisation” que de celui de la recherche.

  3. Le titre est sensationnaliste pour pas grand chose. En vrai, une des choses intéressante du rapport est qu’il dit plutôt explicitement que il y a peu d’intérêt à continuer à essayer de faire les plus gros modèles possible et que ce concentrer sur des plus petits modèles ou il est plus facile d’itérer rapidement.

    De toute façon, l’utilisation final de ces technos sera sûrement sur des modèles entraîner spécifiquement pour résoudre un type de problèmes, possiblement intégré dans d’autre toolchain pour ajouter des contraintes utiles. ChatGPT c’est cool et ça un effet wow de ouf, mais ça reste pas très utile tant qu’il ultra-générique, mais incapable de distinguer le vrais du faux, créer du code tout le temps correct, etc …

  4. Le gros avantage d’un truc privé c’est que tu peux l’entraîner sur des données privées et personne ne pourra le prouver.

  5. Les petits modèles sont adéquats quand ils sont “fine tuned” pour un but précis, mais on est encore loin de la performance générale de GPT4, qui peut te générer du code et une rédaction de philo sans aucun changement de paramètres.

    Mais la question est plutôt : à quoi ça sert d’avoir le même modèle pour faire 2 tâches complètement différentes? Et dans ce cas oui les petits LLM ont tout leur sens pour les applications day-to-day. GPT4 restera tout de même un gros sujet de recherche

Leave a Reply