Le LIST MET L'IA À L'ÉPREUVE EN LUXEMBOURGEOIS

Le Luxembourg Institute of Science and Technology (LIST) a lancé un nouveau classement linguistique visant à mesurer la capacité des grands modèles de langage (LLMs) à comprendre et à générer du contenu en luxembourgeois. Ce développement s'inscrit dans le projet européen LLMs4EU, une initiative paneuropéenne de 40 millions d'euros coordonnée par l'Alliance for Language Technologies (ALT-EDIC).

Ce classement est une fonctionnalité supplémentaire de la LIST AI Sandbox, une plateforme conçue pour tester, évaluer et améliorer les technologies d’IA dans un environnement contrôlé et transparent. Ce module fait partie d’un package confié au LIST dans le cadre de la Luxembourg AI Factory, où l’institut contribue à optimiser et développer les AI sandboxes pour en faire une solution nationale qui servira de plateforme d'essai polyvalente pour les systèmes d'IA dans divers secteurs et cas d'utilisation.

Les capacités des LLMs restent largement concentrées sur les langues disposant de nombreuses ressources, comme l’anglais. Cela expose plusieurs langues européennes — dont le luxembourgeois — au risque d’être marginalisées sur le plan numérique.

« L’intelligence artificielle n’est pas neutre. La manière dont nous entraînons et testons les modèles d'IA détermine qui en bénéficie », déclare Jordi Cabot, responsable de l'unité Software Engineering RDI au LIST.    « Avec ce classement, nous veillons à ce que le luxembourgeois fasse pleinement partie de la prochaine génération de technologies linguistiques. »

Des tests officiels pour mesurer les performances des modèles d'IA

Contrairement à la plupart des évaluations centrées sur l’anglais, l’outil du LIST teste les modèles à l'aide d’examens linguistiques réels développés par l’Institut National des Langues Luxembourg (INLL), dûment anonymisés. Ces examens standardisés couvrent les niveaux du Cadre européen commun de référence pour les langues de A1 à B2 et offrent une grille d’évaluation rigoureuse et réaliste.

« Nous avons testé au total 54 modèles de langage », explique Cédric Lothritz, Research & Technology Associate au LIST. « Beaucoup parviennent à gérer les niveaux élémentaires A1 ou A2, mais les performances chutent fortement aux niveaux B1 et B2. Seule une poignée de grands modèles réussissent les niveaux les plus élevés — des modèles souvent hors de portée pour de nombreuses PME européennes, en raison des coûts ou des contraintes d'infrastructure. »

Des erreurs récurrentes révèlent les angles morts des systèmes d'IA actuels

Les résultats ont mis en évidence des problèmes récurrents. De nombreux modèles commettent les mêmes types d’erreurs : mauvaise compréhension du contexte, fautes de grammaire, voire erreurs logiques simples. Ces tendances soulignent les difficultés persistantes des systèmes d'IA à traiter des langues qui n’ont pas été au centre de leur entraînement.

« Nous sommes fiers que nos examens soient utilisés de manière aussi innovante », souligne Luc Schmitz, directeur adjoint de l’INLL. « C’est un bel exemple de collaboration entre l’éducation et la recherche pour étendre les capacités de l’IA aux communautés linguistiques moins représentées. »

La contribution du Luxembourg à une IA plus inclusive

La contribution du Luxembourg au projet LLMs4EU repose également sur des partenaires tels que l'Université du Luxembourg et le Zenter fir d'Lëtzebuerger Sprooch (ZLS), qui œuvrent pour que le développement de l'IA reflète l’identité linguistique et culturelle du pays.

« Pour que le luxembourgeois reste une langue vivante et en évolution, il doit être présent dans les discussions qui façonnent notre avenir numérique — y compris dans l’IA générative », déclare Pierre Reding, commissaire à la langue luxembourgeoise. « Le travail du LIST montre que la technologie peut être un levier pour la diversité linguistique, et non une menace. »

Alexandre Ecker, directeur de ZLS, partage cette analyse et ajoute que « les benchmarks qui évaluent la capacité des modèles d'IA à traiter le luxembourgeois constituent une étape importante vers l'amélioration des performances des futures technologies dans ce domaine linguistique ».

Avec des partenariats dans 20 pays, LLMs4EU incarne une approche collaborative de l'inclusion numérique. La contribution du LIST renforce le rôle du Luxembourg dans la construction d'une IA plus responsable, plus équitable — et plus européenne.

En savoir plus sur le classement linguistique, intégré à la LIST AI Sandbox