Le LIST met l’IA à l’épreuve en luxembourgeois
Développé dans le cadre de l’initiative LLMs4EU, le classement linguistique du LIST évalue la performance des modèles d’IA en luxembourgeois, une langue, à certains égards, mise de côté dans l’essor de l’IA générative.
Source : infogreen.lu
Publication date : 05/05/2025
Le Luxembourg Institute of Science and Technology (LIST) a lancé un nouveau classement linguistique visant à mesurer la capacité des grands modèles de langage (LLMs) à comprendre et à générer du contenu en luxembourgeois. Ce développement s’inscrit dans le projet européen LLMs4EU, une initiative paneuropéenne de 40 millions d’euros coordonnée par l’Alliance for Language Technologies (ALT-EDIC).
Ce classement est une fonctionnalité supplémentaire de la LIST AI Sandbox, une plateforme conçue pour tester, évaluer et améliorer les technologies d’IA dans un environnement contrôlé et transparent.
Les capacités des LLMs restent largement concentrées sur les langues disposant de nombreuses ressources, comme l’anglais. Cela expose plusieurs langues européennes — dont le luxembourgeois — au risque d’être marginalisées sur le plan numérique.
« L’intelligence artificielle n’est pas neutre. La manière dont nous entraînons et testons les modèles d’IA détermine qui en bénéficie. Avec ce classement, nous veillons à ce que le luxembourgeois fasse pleinement partie de la prochaine génération de technologies linguistiques. »
Jordi Cabot, responsable de l’unité Software Engineering RDI au LIST
Des tests officiels pour mesurer les performances des modèles d’IA
Contrairement à la plupart des évaluations centrées sur l’anglais, l’outil du LIST teste les modèles à l’aide d’examens linguistiques réels développés par l’Institut National des Langues Luxembourg (INLL), dûment anonymisés. Ces examens standardisés couvrent les niveaux du Cadre européen commun de référence pour les langues de A1 à B2 et offrent une grille d’évaluation rigoureuse et réaliste.
« Nous avons testé au total 54 modèles de langage. Beaucoup parviennent à gérer les niveaux élémentaires A1 ou A2, mais les performances chutent fortement aux niveaux B1 et B2. Seule une poignée de grands modèles réussissent les niveaux les plus élevés — des modèles souvent hors de portée pour de nombreuses PME européennes, en raison des coûts ou des contraintes d’infrastructure. »
Cédric Lothritz, Research & Technology Associate au LIST
Des erreurs récurrentes révèlent les angles morts des systèmes d’IA actuels
Les résultats ont mis en évidence des problèmes récurrents. De nombreux modèles commettent les mêmes types d’erreurs : mauvaise compréhension du contexte, fautes de grammaire, voire erreurs logiques simples. Ces tendances soulignent les difficultés persistantes des systèmes d’IA à traiter des langues qui n’ont pas été au centre de leur entraînement.
« Nous sommes fiers que nos examens soient utilisés de manière aussi innovante. C’est un bel exemple de collaboration entre l’éducation et la recherche pour étendre les capacités de l’IA aux communautés linguistiques moins représentées. »
Luc Schmitz, directeur adjoint de l’INLL
La contribution du Luxembourg à une IA plus inclusive
La contribution du Luxembourg au projet LLMs4EU repose également sur des partenaires tels que l’Université du Luxembourg et le Zenter fir d’Lëtzebuerger Sprooch (ZLS), qui œuvrent pour que le développement de l’IA reflète l’identité linguistique et culturelle du pays.
« Pour que le luxembourgeois reste une langue vivante et en évolution, il doit être présent dans les discussions qui façonnent notre avenir numérique — y compris dans l’IA générative. Le travail du LIST montre que la technologie peut être un levier pour la diversité linguistique, et non une menace. »
Pierre Reding, commissaire à la langue luxembourgeoise
Alexandre Ecker, directeur de ZLS, partage cette analyse et ajoute que « les benchmarks qui évaluent la capacité des modèles d’IA à traiter le luxembourgeois constituent une étape importante vers l’amélioration des performances des futures technologies dans ce domaine linguistique ».
Avec des partenariats dans 20 pays, LLMs4EU incarne une approche collaborative de l’inclusion numérique. La contribution du LIST renforce le rôle du Luxembourg dans la construction d’une IA plus responsable, plus équitable — et plus européenne.
www.infogreen.lu/le-list-met-l-ia-a-l-epreuve-en-luxembourgeois.html
