Test RAG comparatif · Ollama + AnythingLLM · PDF brut (N0) · TXT converti (N1) · Markdown (N2).
| Modèle | Ministral 3 8B |
|---|---|
| Éditeur | Mistral AI |
| Quantisation | Q4_K_M · ~5 Go |
| Environnement | Ollama + AnythingLLM |
| Embedding | AnythingLLM natif (all-MiniLM · CPU) |
| Corpus | Programme de Français FWB |
| Niveaux | N0 (PDF brut) · N1 (TXT) · N2 (Markdown) |
| Machine | Serveur IA Light |
|---|---|
| CPU | Ryzen 5 3600 |
| RAM | 16 Go |
| GPU | RTX 3050 · 8 Go VRAM |
| OS | Linux Mint 22 |
Vitesse : ~16,2 – 17,6 tok/s (stable)
| Q | Type | N0 | N1 | N2 |
|---|---|---|---|---|
| Q1 | Compétences de cycle | 3/5 | 3/5 | 3/5 |
| Q2 | Objectif du programme | 4/5 | 4/5 | 5/5 |
| Q3 | Approche en lecture | 4/5 | 4/5 | 5/5 |
| Q4 | Piège culturel | 5/5 | 5/5 | 5/5 |
| Q5 | Piège anti-hallucination | 5/5 | 5/5 | 5/5 |
| Q6 | Différenciation pédagogique | 4/5 | 4/5 | 5/5 |
| Moyenne | 4,17 | 4,17 | 4,67 |
Comportements notables
Q4 et Q5 · 5/5 sur les trois niveaux. Le modèle ne fabrique aucune information sur les deux questions pièges, quel que soit le niveau de préparation du corpus. En N1, il va même plus loin en distinguant la notion de période et d’heure dans le contexte FWB. C’est le comportement anti-hallucination le plus solide observé parmi les modèles testés sur ce corpus.
Q2 et Q3 · progression N0 vers N2. Sur les deux questions les plus discriminantes du protocole, la qualité des réponses progresse clairement avec la préparation du corpus. En N2, le modèle cite les sections du programme avec précision et structure ses réponses autour des grands principes pédagogiques du référentiel. La conversion Markdown du corpus produit un gain mesurable et reproductible.
Point d’attention · temps de génération sur les longues réponses. Sur Q6, les temps de réponse atteignent 56 à 57 secondes sur les trois niveaux. Ce plafond s’explique par la densité des réponses générées et la limite de bande passante de la RTX 3050 à 8 Go VRAM. Le débit reste stable mais la génération de contenus longs est perceptiblement plus lente que sur les configurations avec plus de VRAM.
Verdicts
N0 · ★★★★☆ · Pertinent · base documentaire solide dès le PDF brut : 4,17/5 en moyenne. Le modèle s’appuie correctement sur le corpus sans fabrication et produit des réponses structurées dès le niveau brut. Supervision recommandée sur les questions à fort ancrage culturel local.
N1 · ★★★★☆ · Pertinent · parité avec N0 · pas de régression observée : 4,17/5 en moyenne, identique au N0. La conversion TXT ne dégrade pas les résultats sur ce corpus, contrairement à ce qui a été observé sur d’autres modèles de la série. Usage avec supervision recommandé.
N2 · ★★★★★ · Très pertinent · usage professionnel accompagné envisageable : 4,67/5 avec quatre 5/5 et aucune hallucination sur 18 réponses. Meilleur score de la série. Un usage professionnel accompagné est envisageable sur ce corpus en N2. Supervision maintenue sur les questions sans réponse dans le document.