Date/heure
Date(s) - 10/12/2026
11 h 00 - 12 h 00
Emplacement
CNAM, accès 35, salle 31.1.45
Catégories
Speaker: Bilal FAYE (Université Paris Nord)
Title: Vers une IA multimodale frugale : de l’apprentissage à l’inférence.
Abstract: La frugalité dans le traitement des données multimodales constitue un enjeu majeur pour réduire les coûts computationnels et les ressources nécessaires tout en préservant les performances des modèles. Pour l’apprentissage, nous proposons OneEncoder, un cadre d’alignement progressif des modalités reposant sur un espace de représentation partagé. Il s’appuie sur un module de projection universel pour établir un alignement initial entre les modalités, puis sur des couches d’alignement légères permettant d’intégrer progressivement de nouvelles modalités sans réentraîner l’ensemble du modèle. Pour l’inférence, nous proposons SAGE-I, une méthode de compression post-hoc des représentations utilisées par les modèles de recherche multimodale à interaction tardive, tels que ColPali. Elle apprend à estimer l’importance des vecteurs pour la tâche de recherche, puis sélectionne les plus pertinents selon un budget fixé, afin de réduire la taille des index et le coût des opérations de recherche. Bien que ces deux travaux répondent à des problématiques différentes, l’un portant sur l’apprentissage et l’autre sur l’inférence, ils partagent un objectif commun : concevoir des systèmes multimodaux plus frugaux en optimisant l’utilisation des ressources tout au long de leur cycle de vie.
Informations pratiques : Il y aura aussi la possibilité de participer au séminaire à distance en cliquant sur ce lien