Ollama est le cœur de la stack locale du laboratoire. Il prend en charge le téléchargement, le chargement et l’exécution des modèles de langage au format GGUF, en exploitant les ressources GPU/CPU disponibles via llama.cpp. Une fois lancé, il expose une API HTTP compatible avec le format OpenAI sur le port 11434, ce qui permet aux interfaces comme AnythingLLM ou Open WebUI de s’y connecter sans configuration complexe.

Son registre public propose des centaines de modèles directement utilisables via une simple commande ollama pull nom-du-modele. Sur les machines de test AMD (Serveur IA, RX 9060 XT 16 Go VRAM), Ollama exploite l’accélération ROCm pour des vitesses d’inférence excellentes, rivalisant avec les performances obtenues sur GPU Nvidia.

AnythingLLM est l’outil RAG retenu comme référence dans le protocole de test du laboratoire. Il permet d’importer un corpus documentaire (PDF, TXT, Markdown…), de le vectoriser localement via LanceDB, puis d’interroger un modèle LLM avec ce corpus comme contexte. L’interface web accessible en localhost offre une gestion par workspaces, ce qui permet de recréer les trois niveaux de préparation du corpus (N0, N1, N2) de manière isolée pour chaque session.

La combinaison AnythingLLM + Ollama constitue la configuration de référence des tests IA LAB. Elle est reproductible sur n’importe quelle machine disposant de ressources suffisantes, sans compte ni abonnement.

GPT4All est une application de bureau développée par Nomic AI qui embarque son propre moteur d’inférence basé sur llama.cpp. Contrairement à AnythingLLM, qui nécessite Ollama comme backend séparé, GPT4All fonctionne de manière entièrement autonome après installation. Son interface graphique très accessible en fait un candidat particulièrement pertinent pour des déploiements dans des contextes où la configuration technique doit rester minimale : enseignants, personnel administratif, petites structures.

GPT4All propose une fonctionnalité RAG appelée LocalDocs permettant d’interroger un corpus de documents locaux. Cette approche diffère d’AnythingLLM dans la gestion des collections et les paramètres de chunking, ce qui justifie son évaluation distincte dans le protocole.