Protocole de test
Approche terrain : matériel accessible, documents réels, usages concrets pour PME, ASBL et indépendants.
La question centrale : que vaut réellement l’IA locale dans un usage quotidien ?
- PC portable
- PC de bureau
- Serveur local
Règle d’affectation : modèles 3-4B sur PC portable, 7-8B sur Serveur IA Light, 14B et plus sur Serveur IA. En général,un même modèle n’est pas testé sur plusieurs configurations.
- Compromis performance / qualité
- Faisabilité sur matériel grand public
- Matériel limité vs confortable
- CPU vs GPU
Les configurations détaillées sont disponibles sur la page Matériel de test.
| Catégorie | Documents types | Niveaux |
|---|---|---|
| Administratif |
|
N0 N1 |
| Métier — PME |
|
N0 N1 |
| Juridique / Réglementaire |
|
N0 N2 |
| Associatif — ASBL |
|
N0 N1 |
| Pédagogique |
|
N0 N1 N2 |
| Technique / IT |
|
N0 N1 N2 |
Tous les documents utilisés sont réels et anonymisés. Chaque article précise le corpus et le niveau de préparation appliqués.
Certains articles comparent plusieurs niveaux sur un même corpus.
| Catégorie | Température | Logique |
|---|---|---|
| Juridique / Réglementaire | 0.0 – 0.1 | Fidélité absolue, aucune paraphrase |
| Administratif | 0.1 – 0.2 | Précision, peu de reformulation |
| Technique / IT | 0.1 – 0.2 | Exactitude des procédures et commandes |
| Métier — PME | 0.2 – 0.3 | Précision et lisibilité |
| Pédagogique | 0.2 – 0.3 | Reformulation pédagogique tolérée |
| Associatif — ASBL | 0.2 – 0.3 | Contexte varié, ton adaptatif |
Valeurs par défaut appliquées sans modification. Chunk size : 1000 tokens. Chevauchement : 20 tokens. Ces réglages sont accessibles via les paramètres globaux de l’application et non au niveau de l’espace de travail. Base vectorielle : LanceDB (embarquée par défaut). Reproductible par toute personne installant AnythingLLM sans configuration avancée.
Réglages adaptés à la granularité des documents. Chunk size : 512 tokens. Chevauchement : 50 tokens. Un chunk de 1000 tokens fusionne plusieurs articles distincts sur un texte législatif, ce qui nuit à la précision de la récupération. Le chevauchement plus élevé préserve le contexte entre articles liés. Les valeurs appliquées sont précisées dans chaque article concerné.
La température est fixée avant chaque session et ne varie pas au sein d’un même article. Toute exception est signalée explicitement.
Valeurs par défaut appliquées sans modification. Taille des snippets : 512 tokens. Snippets maximum par prompt : 3. Moteur d’embedding : défaut GPT4All. Aucun paramètre de chevauchement n’est disponible dans cette version. Reproductible par toute personne installant GPT4All sans configuration avancée.
Le plafond de 3 snippets par prompt signifie que seuls 3 passages du corpus sont soumis au modèle par requête, quelle que soit la densité du document. Sur un corpus long ou complexe, des informations pertinentes peuvent ne pas être récupérées. Ce comportement est signalé dans chaque article concerné.
La température est fixée avant chaque session et ne varie pas au sein d’un même article. Toute exception est signalée explicitement.
- Exactitude
- Fidélité aux docs
- Anti-hallucinations
- Temps de réponse
- Fluidité
- Tokens/s (indicatif)
- Comportement général
- Erreurs éventuelles
- Robustesse volumique
- Simplicité
- Lisibilité
- Ergonomie
- Adapté PME / ASBL ?
- Facilité de mise en place
- Valeur réelle
- Tester des situations réalistes, pas des benchmarks théoriques
- Privilégier l’usage concret plutôt que la performance brute
- Rester transparent sur les limites
- Fournir une vision claire, honnête et utile de l’IA locale