AiTestLabs — Tests en intelligence artificielle

Tests en intelligence artificielle

AiTestLabs est un projet indépendant qui documente des tests, benchmarks et évaluations issus de sources fiables sous forme de fiches synthétiques.

Benchmarks

Tests de performance standardisés conçus pour évaluer les capacités d’un modèle d’IA dans un domaine précis (langage, mathématiques, raisonnement, etc.).

GPT-4 surpasse GPT-3.5 dans un test de raisonnement mathématique

Une étude publiée par OpenAI montre que GPT-4 obtient un score de 42,5 % sur le benchmark MATH, contre 13,5 % pour GPT-3.5. Ce test évalue la capacité des modèles à résoudre des problèmes mathématiques complexes, souvent utilisés dans des concours de niveau secondaire avancé. Malgré des performances encore limitées, GPT-4 démontre une nette amélioration par rapport à GPT-3.5.

Catégorie : Benchmarks

Source : arXiv.org — mars 2023 (en anglais) ; Wikipédia

Réf.: aitld.2303.001

Claude 3 Opus atteint 86,8 % sur le benchmark MMLU-Pro

Claude 3 Opus a obtenu un score de 86,8 % sur MMLU-Pro, une version avancée du benchmark MMLU qui évalue la compréhension multitâche sur des questions plus complexes dans 57 disciplines. Ce score, obtenu en configuration 5-shot, place Claude 3 Opus parmi les modèles les plus performants à ce jour.

Catégorie : Benchmarks

Source : Source : Anthropic – Claude 3 Family — mars 2024 (en anglais)

Réf.: aitld.2410.011

SWE-Lancer – Benchmark de codage orienté client

SWE-Lancer est un benchmark développé par OpenAI pour évaluer la capacité des modèles d’IA à résoudre des tâches de développement logiciel issues de mandats freelance réels publiés sur Upwork.Le jeu de données contient plus de 1 400 tâches authentiques, représentant environ 1 million USD de valeur totale, selon OpenAI et sa publication arXiv (février 2025). Les consignes sont exprimées en langage naturel, souvent floues ou incomplètes, comme dans un véritable échange client.La version Diamond, utilisée pour les évaluations publiques, regroupe des tâches plus complexes, avec des critères renforcés de lisibilité, modularité et maintenabilité du code.Ce benchmark teste la capacité d’un modèle à transformer des besoins informels en solutions logicielles robustes et exploitables.

Note : À ce jour, OpenAI n’a pas publié de scores détaillés sur SWE-Lancer ; le benchmark sert donc principalement de référence méthodologique.

Catégorie : Benchmarks

Source : GitHub — février 2025 (en anglais) ; arXiv.org — février 2025 (en anglais) ; OpenAi — février 2025 (en anglais)

Réf. : aitld.2502.066

GPT-4 obtient 86,4 % au MMLU, proche du niveau expert

Dans le benchmark MMLU (Massive Multitask Language Understanding), GPT-4 atteint un score de 86,4 %, contre 70,0 % pour GPT-3.5. Le MMLU évalue les capacités de raisonnement multitâche sur 57 sujets allant des mathématiques à l’éthique. GPT-4 affiche des performances proches de celles d’un groupe d’experts humains, qui obtiennent en moyenne 89,8 %. Il surpasse donc nettement GPT-3.5 et confirme sa progression en compréhension générale.

Catégorie : Benchmarks

Source : arXiv.org — mars 2023 (en anglais) ; Wikipédia

Réf.: aitld.2303.002

Mila publie Milabench, benchmark pour accélérateurs IA

En novembre 2024, l’Institut québécois d’intelligence artificielle Mila (Montréal) a publié Milabench v1.0, une suite open-source de benchmarks destinée à évaluer les performances des accélérateurs matériels (GPU, TPU, etc.) utilisés pour l’entraînement de modèles d’IA.Le benchmark mesure des critères tels que la vitesse d’exécution, la latence, l’efficacité énergétique et la reproductibilité, afin d’aider chercheurs et ingénieurs à comparer de manière transparente différentes plateformes matérielles. Milabench v1.0 comprend 26 benchmarks principaux et 16 optionnels.

Catégorie : Benchmarks

Source : arXiv.org – novembre 2024 (en anglais)

Réf.: aitld.2411.026

ARC Challenge : évaluer le raisonnement scientifique scolaire

Le benchmark ARC Challenge, créé en 2018 par l’Allen Institute for AI (AI2), évalue la capacité des modèles à répondre à 7 787 questions à choix multiples issues d’examens scientifiques scolaires, réparties en ARC-Easy (questions simples) et ARC-Challenge (plus complexes).Ce benchmark reste un référentiel actif en 2025 : en few-shot (k = 25), GPT-4 obtient 96,4 %, confirmant son statut de modèle de référence actuel.

Ne pas confondre avec ARC‑AGI, conçu par François Chollet, un benchmark visuel fondé sur des grilles abstraites et destiné à mesurer l’intelligence fluide.

Catégorie : Benchmarks

Source : Papers with Code — accès 2025 ; Wikipédia — accès 2025

Réf.: aitld.1803.035

EvalPrompt – Protocole d’évaluation des LLM en auto-diagnostic médical

EvalPrompt est une méthode développée par l’University of Maryland School of Medicine pour évaluer les modèles de langage (LLM) dans des scénarios d’auto-diagnostic médical. Le protocole s’appuie sur des questions ouvertes inspirées de l’examen USMLE Step 1 afin d’analyser la précision et la robustesse des réponses.Les résultats montrent une forte sensibilité à la formulation des invites (« prompts ») et des divergences nettes entre les évaluations faites par des experts médicaux et celles de non-spécialistes, ce qui soulève des enjeux importants de fiabilité et de mésinformation.

Note : L’USMLE Step 1 est un examen standardisé américain évaluant les sciences médicales fondamentales, utilisé comme référence dans cette étude.

Catégorie : Benchmarks

Source : JMIR Formative Research — mars 2025 (en anglais)

Réf. : aitld.2503.073

Études d’impact

Tests et recherches mesurant les effets réels de l’IA dans des contextes professionnels ou expérimentaux (productivité, perception, biais, etc.).

METR observe un ralentissement de 19 % chez les développeurs expérimentés utilisant l’IA

En juillet 2025, METR a publié une étude rigoureuse sur l’impact de l’IA dans les environnements de développement open source. Dans cet essai contrôlé randomisé, 16 développeurs expérimentés (ayant en moyenne 5 ans d’expérience) ont été observés dans des conditions réelles. Malgré leurs impressions subjectives de productivité accrue, les résultats ont montré un ralentissement de 19 % dans la réalisation de tâches complexes. La majorité utilisait Cursor Pro et d’autres outils IA récents. Ce paradoxe entre ressenti et réalité soulève des questions clés sur la manière d’évaluer les bénéfices réels de l’IA dans un contexte professionnel.

Catégorie : Études d'impact

Source : METR.org ; arXiv.org – juillet 2025 (en anglais)

Réf. : aitld.2507.014

Modèles IA

Systèmes d’intelligence artificielle développés pour exécuter des tâches spécifiques (chat, vision, codage, etc.). Ex. : GPT, Claude, Gemini.

Claude 3 Opus atteint 87,0 % sur le benchmark MMLU

Claude 3 Opus a obtenu un score de 87,0 % sur le benchmark MMLU (Massive Multitask Language Understanding), un test qui mesure les performances sur 57 domaines académiques comme le droit, la médecine ou l’histoire. Ce résultat place Claude 3 Opus au même niveau que GPT-4o, et au-dessus de GPT-4 (86,4 %).

Catégorie : Modèles IA

Source : Wikipédia – mai 2024 (en anglais)

Réf. : aitld.2405.023

Apple Intelligence : système hybride embarqué-serveur

Apple a développé deux modèles foundation pour Apple Intelligence : un modèle embarqué (~3 milliards de paramètres) optimisé pour fonctionner localement sur les appareils, et un grand modèle serveur hébergé dans un cloud privé sécurisé.Le rapport arXiv décrit l’architecture, les données d’entraînement, les optimisations d’inférence et les résultats d’évaluation, ainsi que l’intégration des principes d’IA responsable à toutes les étapes du développement.Apple indique que le modèle embarqué égale ou surpasse certains modèles compacts comme Gemma ou Mistral 7B, tandis que le modèle serveur affiche des performances proches de GPT-4 sur plusieurs benchmarks (MMLU, TruthfulQA, Winogrande), sans publier de scores détaillés.Cette approche hybride permet de combiner confidentialité (traitement local) et performance (puissance cloud) selon les besoins de chaque tâche.

Catégorie : Modèles IA

Source : ArXiv.org — juillet 2024 (en anglais)

Réf. : aitld.2407.027

Claude 3 Opus obtient 83,7 % au test GPQA

Claude 3 Opus a obtenu 83,7 % sur le benchmark GPQA (Graduate-Level Google-Proof Q&A), un test de questions complexes dans les domaines de la biologie, de la chimie et de la physique. Ce score le place largement au-dessus de GPT-4 (50,3 %), démontrant une forte capacité de raisonnement dans des contextes scientifiques avancés.

Catégorie : Modèles IA

Source : Wikipédia – mai 2024 (en anglais)

Réf. : aitld.2405.024

Prov-GigaPath, modèle foundation en pathologie numérique

Prov-GigaPath est un modèle foundation développé conjointement par Microsoft Research et Providence Health pour l’analyse de lames pathologiques de très haute résolution. Entraîné sur plus de 1,3 milliard de tuiles issues de 171 189 lames entières provenant de 30 000+ patients et couvrant 31 types de tissus majeurs, il surpasse les approches antérieures dans 25 des 26 tâches de pathologie numérique testées, incluant la classification de cancers et d’autres diagnostics histopathologiques.

Catégorie : Modèles IA

Source : Nature — mai 2024 ; Microsoft Research Blog — 2024

Réf. : aitld.2405.074

Apple : performances proches de GPT-4 en cloud privé

Apple a développé un grand modèle serveur hébergé dans un cloud privé sécurisé, conçu pour exécuter des tâches complexes tout en garantissant la confidentialité des données.Selon son rapport scientifique de 2024, ce modèle surpasse GPT-3.5 et atteint des performances proches de GPT-4 sur plusieurs benchmarks internes, bien que les scores détaillés ne soient pas publiés.Cette avancée marque l’entrée d’Apple dans le domaine des grands modèles tout en maintenant un engagement fort envers la confidentialité et l’IA responsable.

Catégorie : Modèles IA

Source : ArXiv.org — juillet 2024 (en anglais)

Réf. : aitld.2407.029

Claude 3 Opus excelle sur le benchmark GSM8K

Claude 3 Opus a obtenu un score de 95,0 % sur le benchmark GSM8K, qui comprend 8 500 problèmes mathématiques de niveau école primaire nécessitant un raisonnement en plusieurs étapes.Ce résultat dépasse GPT-4 (92 %) sur le même test, établissant Claude 3 Opus comme référence en mathématiques élémentaires.Depuis, Claude 4 Sonnet (2025) a confirmé et renforcé ces performances, consolidant la position d’Anthropic dans le domaine du raisonnement symbolique et scolaire.

Catégorie : Modèles IA

Source : Anthropic – Claude 3 family — mars 2024 (en anglais)

Réf. : aitld.2403.020

Détection & sécurité

Outils et protocoles visant à identifier les contenus générés par l’IA, prévenir les usages malveillants ou renforcer la cybersécurité.

Détection par Originality.ai : 98,2 % de précision sur contenu généré par l’IA

Originality.ai est un outil de détection de contenu généré par intelligence artificielle, conçu pour repérer les textes produits par des modèles comme ChatGPT, Claude ou Gemini. Selon l’étude comparative indépendante RAID publiée en mai 2024 par des chercheurs de l’Université de Pennsylvanie, University College London, King’s College London et Carnegie Mellon University, Originality.ai a obtenu un taux de détection de 98,2 % pour les contenus générés par ChatGPT, avec une moyenne de 85 % sur 11 modèles d’IA différents.L’étude RAID constitue l’évaluation la plus complète des détecteurs de texte IA à ce jour, avec plus de 6 millions d’enregistrements textuels analysés. Originality.ai s’est classé premier dans 9 des 11 tests adversariaux du benchmark, démontrant une robustesse supérieure face aux techniques de contournement comme la paraphrase (96,7 % de précision).Performances notables :- Détection ChatGPT : 98,2 %
- Moyenne sur 11 modèles IA : 85 %
- Classement : 1er sur 9 des 11 tests adversariaux
- Résistance à la paraphrase : 96,7 %