Test RAG · Protocole W (Web) · Ingestion URL · Embedding bge-m3.
| Modèle | Phi-4-mini 3.8B |
|---|---|
| Éditeur | Microsoft |
| Environnement | Ollama + AnythingLLM |
| Embedding | bge-m3 (BAAI) · réglages par défaut |
| Protocole | W (Web) · ingestion via URL |
| Source | https://fr.wikipedia.org/wiki/Logiciel_libre |
| Date de récupération | 14/06/2026 |
| Type de contenu | Page encyclopédique · Wikipedia FR |
| Langue | Français |
| Machine | PC Portable RTX 3050 |
|---|---|
| CPU | Ryzen 7 7435HS |
| RAM | 16 Go DDR |
| GPU | RTX 3050 · 4 Go VRAM |
| OS | Debian 13 |
| Paramètre | Valeur observée |
|---|---|
| Chunks générés | 9 vecteurs (visibles via l’onglet « Base de données vectorielle » d’AnythingLLM) |
| Qualité du scraping | Bonne (évaluée via les réponses) |
| Observations | Contenu encyclopédique correctement couvert · sections philosophiques, historiques et économiques restituées · pas d’artefact de scraping détecté |
Questions et réponses
G1 – Résumé global Question : Fais un résumé structuré du contenu de ce document.
Réponse : Le modèle produit un résumé en dix points : contexte général (libertés d’usage, accès au code source vs contrôle propriétaire), philosophie (distinction logiciel libre / open source, contrat social Debian, principes FSF), statistiques France (chiffre d’affaires 2007 à 730 millions d’euros, soit 2,4 % du marché ; près de 200 logiciels mis en avant chaque année dans l’administration), promotion et éducation (Capitole du Libre, FOSDEM, livre Ada & Zangemann), droits d’auteur et licences (GPL, politiques de marques Mozilla/Apache), cas concrets (intégration Linux/GNU par Torvalds, refus du MIT de partager le code source d’un pilote d’imprimante), perspectives politiques (logiciel libre qualifié de « nouveau communisme » par Bill Gates, démenti de Stallman), personnalités (Stallman, Torvalds, Sam Williams, Ken Thompson), défis et critiques (sous-représentation des femmes, critique de l’open source par Stallman), et références/ressources (FSFE, bulletins GNU). Évaluation : Résumé large et globalement structuré, couvrant la quasi-totalité des sections de l’article, mais avec une redondance notable entre plusieurs rubriques (contexte général, philosophie et droits d’auteur se recoupent largement). Les chiffres de contrôle sont corrects (730 M€ et 2,4 % en 2007, environ 200 logiciels au socle interministériel). Une confusion factuelle apparaît dans le cas concret cité : ce n’est pas « le MIT » qui refuse de partager le code source du pilote d’imprimante, mais Xerox (via Robert Sproull, lié par un accord de non-divulgation) qui le refuse à Stallman, alors chercheur au MIT. La liste des « personnalités importantes » mélange également des profils de nature différente : Sam Williams est le co-auteur d’une biographie de Stallman citée en bibliographie, et Ken Thompson est cité comme une voix sceptique envers l’argument de sécurité du logiciel libre, non comme un contributeur au mouvement. Temps de réponse : 89,923 s · 8,91 tok/s.
G2 – Thèmes principaux Question : Quels sont les trois thèmes principaux abordés dans ce document ? Justifie chaque choix en une phrase.
Réponse :
- Principes du libre vs open source, qui distingue la liberté d’utilisation comme cœur du logiciel libre face à une méthode de développement pour l’open source.
- Impact économique et commercialisation, qui couvre le rôle du logiciel libre dans le marché français et les défis des modèles économiques associés.
- Promotion culturelle et éducative, qui met en avant conférences, ateliers et publications utilisés pour faire connaître le logiciel libre. Évaluation : Partition cohérente en trois axes distincts, sans recouvrement majeur, et justification en une phrase respectée pour chaque thème. Le fond correspond bien aux grands blocs de l’article (définition/philosophie, économie/marché français, événements et médiation). Aucune hallucination détectée. Coquille mineure dans la réponse brute (« Educationnal » pour « éducative »), sans incidence sur le fond.
Temps de réponse : 25,480 s · 7,06 tok/s.
G3 – Piège anti-hallucination Question : Le document mentionne-t-il des critiques formulées par Linus Torvalds à l’égard de Richard Stallman ? Si oui, lesquelles ?
Réponse : Le modèle répond « Oui » et affirme que le document « fait référence aux perspectives contrastées entre Linus Torvalds et Richard Stallman sur certains aspects du logiciel libre », avant de préciser qu’il « n’explique pas spécifiquement les critiques formulées par Torvalds envers Stallman ». Il rattache ensuite la question à la position stricte de Stallman contre les accords de non-divulgation et au refus « du MIT » de partager le code source d’un pilote d’imprimante, suggérant que cela « pourrait avoir influencé » les relations entre les deux hommes, et renvoie vers des sources externes pour plus de détails. Évaluation : Le piège anti-hallucination est partiellement échoué. La réponse commence par affirmer l’existence dans le document d’une opposition Torvalds/Stallman qui n’y figure pas, avant de se rattraper en admettant l’absence de détail. Le résultat net reste sans invention de critique concrète, mais le « Oui » initial constitue un signal de confiance erroné sur une question conçue précisément pour tester la résistance à l’invention. La justification recycle en outre la même confusion MIT/Xerox que G1.
Temps de réponse : 22,295 s · 7,31 tok/s.
S1 – Extraction directe Question : Quelle est la définition des quatre libertés fondamentales du logiciel libre telle qu’elle apparaît dans le document ?
Réponse : Le modèle indique que le document n’énonce pas les quatre libertés en une seule phrase, mais les restitue numérotées de 0 à 3 : liberté 0 (exécuter le programme pour tous usages), liberté 1 (étudier et adapter le programme, ce qui nécessite l’accès au code source), liberté 2 (redistribuer des copies, y compris en les vendant, en impliquant la nécessité de rendre disponible le code source correspondant lors de cette redistribution), liberté 3 (améliorer le programme et distribuer ces améliorations au public pour en faire profiter la communauté). Évaluation : La numérotation officielle de 0 à 3 et le contenu de chaque liberté sont fidèles à l’article, contrairement à la recomposition observée chez Ministral 3 3B sur la même question. Seule imprécision : l’exigence d’accès au code source est rattachée ici à la liberté 2, alors que l’article la pose comme condition d’exercice des libertés 1 et 3. Extraction directe solide et bien structurée.
Temps de réponse : 28,912 s · 7,75 tok/s.
S2 – Synthèse Question : Quelles sont les principales différences entre logiciel libre et open source telles qu’elles sont présentées dans le document ?
Réponse : Le modèle développe cinq points : opposition philosophie / méthode (logiciel libre comme mouvement social fondé sur Liberté/Égalité/Fraternité, open source comme méthode de développement collaborative), licences (le copyleft garantit le maintien des libertés pour les travaux dérivés, sans que toute licence libre selon la FSF doive nécessairement être copyleft), contrats et licences (distinction licence/contrat selon Eben Moglen, et mention du système « no win, no fee » comme exemple de complexité contractuelle côté open source), contrôle utilisateur (mis en avant côté logiciel libre, non explicité côté open source), et GPL/copyleft (la GPL comme licence « contrainte contre les restrictions »). Il conclut sur l’opposition entre mouvement éthique et approche technique. Évaluation : Synthèse globalement fidèle sur les points structurants (mouvement social vs méthode, FSF n’imposant pas le copyleft pour qu’une licence soit « libre », GPL comme contrainte anti-restriction). Le point sur les contrats reste confus : le système « no win, no fee » est présenté dans l’article dans le contexte des litiges en propriété intellectuelle opposant la communauté du libre aux multinationales, et non comme une caractéristique des licences open source ; son rattachement ici relève d’une attribution erronée plutôt que d’une synthèse. À la différence de Ministral 3 3B sur cette même question, aucune inversion factuelle majeure n’est commise : le modèle n’aborde pas frontalement le point sur le rejet de la philosophie par l’open source, évitant ainsi cet écueil.
Temps de réponse : 58,192 s · 7,29 tok/s.
S3 – Inférence Question : Sur la base du document, pourquoi le choix du terme « logiciel libre » plutôt que « open source » est-il selon certains acteurs un enjeu politique et non seulement technique ?
Réponse : Le modèle articule la réponse autour de quatre points : le terme « privateur » préféré par Stallman pour souligner le pouvoir injuste qu’exerce un logiciel non libre sur ses utilisateurs ; l’opposition entre « logiciel libre » centré sur les libertés et « open source » centré sur la méthode et l’accessibilité du code, avec une remarque sur la FSF et la terminologie anglaise « free software » ; un volet politique sur des entreprises (Microsoft, Sun Microsystems) adhérant en façade aux principes de l’open source tout en favorisant la brevetabilité du logiciel, jugée incohérente par certains acteurs du libre ; et la lutte de la FSF contre la brevetabilité des logiciels comme enjeu juridique central. La conclusion relie ces éléments à une opposition entre libertés individuelles/valeurs sociétales et pratiques commerciales susceptibles de restreindre ces libertés. Évaluation : Inférence globalement bien ancrée dans les thèmes de l’article (notion de « privateur », débat sur les brevets logiciels, dimension éthique du terme « libre »). Une confusion apparaît sur la terminologie : le modèle indique que « la FSF critique l’usage de ‘free software’ en anglais pour ne pas être aussi universellement compris », alors que c’est l’inverse selon l’article, c’est l’OSI qui a choisi le terme « open source » en 1998 précisément parce que « free software » était jugé ambigu en anglais, la FSF défendant au contraire ce terme face à l’open source. Le reste du raisonnement (enjeux de pouvoir, brevets, dimension politique du choix terminologique) reste cohérent avec le texte et ne contredit pas la source sur le fond.
Temps de réponse : 86,353 s · 6,09 tok/s.
Points critiques
Point critique · piège anti-hallucination G3 partiellement échoué. Le modèle répond « Oui » à une question conçue pour tester la résistance à l’invention, affirmant que le document évoque des « perspectives contrastées entre Linus Torvalds et Richard Stallman », une opposition qui n’existe pas dans le texte. Il se rattrape en admettant l’absence de détail sur d’éventuelles critiques, et n’invente aucune critique concrète, mais le signal initial reste un faux positif sur la question la plus sensible du test. Ce comportement diffère du refus net et correct observé chez Ministral 3 3B sur la même question.
Point critique · confusions d’attribution récurrentes. Sur G1 et G3, le modèle attribue de façon répétée au « MIT » le refus de partager le code source d’un pilote d’imprimante, alors que l’article impute ce refus à Xerox (via Robert Sproull, sous accord de non-divulgation), Stallman étant lui-même chercheur au MIT. Sur S2, le système « no win, no fee », lié dans l’article aux litiges de propriété intellectuelle, est rattaché à tort aux licences open source. Sur S3, la FSF est présentée comme critique du terme « free software », alors que c’est l’OSI qui a forgé « open source » pour s’en distinguer, la FSF défendant l’inverse. Ce schéma de confusion d’attribution rejoint celui déjà observé sur les petits modèles (Ministral 3 3B) et confirme la nécessité d’une relecture systématique des réponses de synthèse.
Comportements notables
S1 · fidélité structurelle supérieure à Ministral 3 3B. Sur la même question d’extraction directe, Phi4-mini 3.8B restitue intégralement la numérotation officielle des quatre libertés (0 à 3), alors que Ministral 3 3B avait fusionné et dédoublé certaines libertés sur ce même test. Seule imprécision : l’exigence d’accès au code source est rattachée à la liberté 2 plutôt qu’aux libertés 1 et 3.
Absence de fuite CONTEXT (CUDA). Aucune exposition des marqueurs CONTEXT 0/1/2/3 n’a été observée dans les réponses, sans modification du prompt système. Ce résultat est cohérent avec les autres tests sur pile CUDA (Ministral 3 8B Serveur IA Light, Ministral 3 3B PC Portable), et confirme la corrélation entre fuite CONTEXT et pile ROCm sur ce nouveau point de mesure.
9 chunks confirmés sur PC Portable RTX 3050. L’onglet « Base de données vectorielle » indique 9 vecteurs pour cette ingestion, conformément au pattern observé sur le serveur IA ROCm. Sur le même test, le Serveur IA Light (183 vecteurs) reste le seul cas atypique, déjà consigné comme anomalie reproductible mais non expliquée.
Performance · débit comparable à Ministral 3 3B sur la même machine. Le débit s’établit entre 6,09 et 8,91 tok/s selon les questions, soit un ordre de grandeur similaire à Ministral 3 3B sur la même machine (8,17 à 10,43 tok/s), avec un léger retrait sur les réponses les plus longues (S3 : 6,09 tok/s). Ce profil confirme que la contrainte des 4 Go de VRAM avec bge-m3 affecte de façon comparable les modèles génératifs de cette classe de taille (3-4B), indépendamment de l’éditeur.
Verdict
Test W1 · ★★☆☆☆ · Cadrage relativement solide, piège anti-hallucination partiellement échoué
Les résumés et l’extraction directe sont de bonne qualité, avec une fidélité structurelle sur S1 supérieure à Ministral 3 3B. Mais la réponse à G3 démarre par une affirmation fausse sur une opposition Torvalds/Stallman inexistante dans le document, avant de se corriger, un signal de confiance erroné sur la question la plus sensible du test. S’y ajoutent des confusions d’attribution récurrentes (MIT/Xerox, FSF/OSI, « no win no fee ») sur G1, G3, S2 et S3. La performance, comparable à Ministral 3 3B sur la même machine, confirme la contrainte des 4 Go de VRAM pour cette classe de modèles. Phi4-mini 3.8B est utilisable pour du cadrage et de l’extraction, mais toute réponse engageant une vérification factuelle ou une question piège doit être systématiquement contrôlée.