Nous avons comparé plusieurs modèles open source locaux afin d’évaluer leur capacité à comprendre et exploiter un corpus pédagogique réel issu du programme officiel de Français de la Fédération Wallonie-Bruxelles.
Bonne surprise : plusieurs modèles open source locaux se sont montrés capables d’analyser efficacement un corpus pédagogique réel issu de la Fédération Wallonie-Bruxelles.
Le modèle Ministral 3 8B s’est démarqué par des réponses particulièrement fiables et cohérentes, tandis que les modèles les plus légers restent davantage adaptés à des usages simples ou fortement supervisés.
| Modèles testés | 4 | Ministral 3B · 8B · 14B · phi4-mini 3.8B |
|---|---|---|
| Questions par test | 6 | dont 1 piège anti-hallucination |
| Niveaux documentaires | 3 | N0 PDF · N1 TXT · N2 Markdown |
| Réponses évaluées | 72 | 6 questions × 3 niveaux × 4 modèles |
N0 – PDF brut
N1 – TXT
N2 – Markdown
Les résultats détaillés vous attendent sur le labo de test