Nous avons testé quatre modèles de langage «en poids ouverts», téléchargés et exécutés localement via le logiciel Ollama: Mistral (Mistral AI), Gemma 3 (Google), Llama 3.1 (Meta) et Qwen3 (Alibaba).
Chaque modèle a reçu entre 219 et 510 requêtes par condition (variante linguistique × scénario), pour un total de 4 937 réponses analysées.
Pourquoi répéter chaque scénario autant de fois? Parce que ces programmes sont stochastiques: leur paramètre de «température» introduit une part d’aléatoire dans chaque réponse.
Multiplier les requêtes permet d’obtenir une distribution statistiquement solide plutôt qu’un résultat isolé. Les différences observées entre fr_CH et fr_FR ont été testées avec le test de Mann-Whitney U (seuil α = 0,05) : toutes les comparaisons se révèlent significatives (p < 0,01 dans tous les cas).
Cette expérience s’inspire de la méthodologie de Hofmann et al. (2024, Nature), appliquée aux dialectes de l’anglais américain. Les résultats et le code sont disponibles en ligne: https://codeberg.org/nkb/LLM-prejudice-CH
Limites: chaque modèle n’a été testé que dans une seule version et une configuration spécifiques. Les modèles de langage peuvent produire des résultats différents selon le matériel, la température ou l’interface, web ou code, utilisée.