Small Language Models sur ordinateur personnel : analyse, prototypage et intégration dans un outil institutionnel

Details

Supervisors

Deville, Yves

Faculty

Ecole polytechnique de Louvain

Degree label

Master [60] en sciences informatiques

Abstract

frDepuis l’adoption massive des assistants IA par les étudiants, les services cloud commerciaux dominants soulèvent des questions liées aux données personnelles transmises hors d’Europe, aux coûts d’abonnement créant des inégalités d’accès, aux sollicitations permanentes de data centers ainsi qu’une forte dépendance à des modèles non européens. Ce mémoire conçoit et implémente une application IA locale, capable de s’exécuter sur l’ordinateur personnel d’un étudiant sans aucune connexion réseau. L’analyse comparative de l’écosystème open source des Small Language Models (SLMs) montre que les modèles de la tranche 1–4 milliards de paramètres, notamment Llama-3.2-3B et Gemma-2-2B, atteignent aujourd’hui des performances qui nécessitaient des architectures bien plus massives il y a peu de temps. Pour les faire tenir dans la mémoire d’un PC portable étudiant (8–16 Go de RAM), l’application s’appuie sur la quantification post-entraînement au format GGUF avec le profil Q4_K_M via llama.cpp, qui réduit l’empreinte mémoire d’un facteur quatre tout en préservant la majorité des capacités du modèle d’origine. Pour optimiser l’utilisation de la mémoire, l’application intègre trois mécanismes de gestion des ressources. À savoir, un filtrage matériel proactif qui n’expose à l’utilisateur que les modèles compatibles avec sa machine, un dimensionnement adaptatif du KV cache et une fenêtre glissante sur l’historique de conversation qui évite les crashs en cours d’usage prolongé. Dans un second temps, le mémoire pose les bases d’une intégration avec Piccolo, la plateforme IA institutionnelle de l’UCLouvain. L’architecture hybride proposée définit des critères de délégation vers le cloud tel que la saturation matérielle et le besoin de raisonnement avancé en plus des stratégies de compression de contexte, de graceful degradation et de routage prédictif. L’application démontre qu’il est techniquement viable d’offrir une alternative locale, gratuite et utilisable hors ligne, répondant ainsi directement aux défis de souveraineté numérique, d’égalité d’accès et d’empreinte environnementale liés aux services cloud. Les limites actuelles du projet, comme l’absence de support GPU explicite, le manque de RAG pour interroger ses documents et l’absence de multimodalité, dessinent les possibilités de développements futurs.