Nous avons testé des modèles open source locaux sur le manuel utilisateur Nextcloud pour évaluer leur compréhension technique.
| Modèles testés | 4 | Ministral 3B · 8B · 14B · phi4-mini 3.8B |
|---|---|---|
| Questions par test | 6 | dont 1 piège anti-hallucination |
| Niveaux documentaires | 3 | N0 PDF · N1 TXT · N2 Markdown |
| Réponses évaluées | 72 | 6 questions × 3 niveaux × 4 modèles |
Conclusion positive : 2 modèles open source locaux, dont 1 petit modèle , gèrent efficacement l’analyse du manuel utilisateur Nextcloud.
Le modèle Ministral 3 14B s’est démarqué par des réponses particulièrement fiables et cohérentes, tandis que Ministral 3 3B s’est montré relativement pertinent sur la conversion texte du document original PDF. Pas mal pour un modèle ultra léger tournant sur un PC portable !
N0 – PDF brut
N1 – TXT
N2 – Markdown
Les résultats détaillés vous attendent sur le labo de test
Les détails du protocole de test sont accessibles ici