Recherche

Classification automatique

Le thème de la semi-supervisée active a été abordé avec Nizar Grira (doctorant INRIA) et Nozha Boujemaa (DR INRIA) dans le projet IMEDIA de l'INRIA Rocquencourt. Le premier objectif était de permettre la prise en compte, lors d'une classification automatique, des avis d'un expert du domaine d'application, sous la forme de contraintes binaires must link et cannot link. Nous avons proposé une extension de l'agglomération compétitive, basée sur une fonction de coût intégrant un terme spécifique pour les contraintes [GCB06]. Afin d'optimiser l'exploitation des contraintes fournies par l'utilisateur en interaction avec le système, nous avons développé une nouvelle version, active, de cet algorithme [GCB08], appliquée aux données Arabidopsis du projet BIOTIM financé par l'ANR. Ces travaux ont motivé en partie la création de la e-team Active and Semi-Supervised Learning du Réseau d'Excellence européen MUSCLE.

Souvent, dans un ensemble de données sont présents des regroupements sur plusieurs critères complémentaires: le regroupement suivant un critère fournit peu d'information sur le regroupement selon un autre critère. Lorsque ces critères ne sont pas connus a priori, il est nécessaire de les déterminer à partir des données. Dans [PC10] nous avons proposé une nouvelle méthode, inspirée de la tree-component analysis, pour trouver à la fois les critères complémentaires et les regroupements suivant chaque critère.

Recherche interactive d'images avec retour de pertinence

Les premiers travaux dans ce thème, avec Marin Ferecatu (doctorant INRIA) et Nozha Boujemaa (DR INRIA) dans le projet IMEDIA de l'INRIA Rocquencourt, ont porté sur l'optimisation de l'apprentissage actif [FCB04a], [FCB04b] et sur la recherche hybride avec des descriptions visuelles et conceptuelles des images [FBC08a], [FBC08b]. En collaboration avec Jean-Philippe Tarel (chercheur au LCPC) nous avons exploré l'espace des comportements possibles de l'utilisateur lors d'une session de recherche avec retour de pertinence et examiné l'impact de ce comportement sur l'évaluation des mécanismes de recherche [CTF08].

Les travaux ultérieurs, démarrés à l'INRIA et poursuivis dans Vertigo avec Daniel Estevez (ingénieur CNAM), Vincent Oria (Pr. New Jersey Institute of Technology) et Jean-Philippe Tarel, ont concerné essentiellement le passage à l'échelle de la recherche avec retour de pertinence. Nous avons proposé une extension du M-tree construit dans l'espace d'arrivée d'un noyau à des requêtes par hyperplans, qui permet d'effectuer des recherches interactives dans des bases d'env. 110000 images [CEOT09].

Les travaux en cours avec Wajih Ouertani (doctorant INRA) et Nozha Boujemaa, dans le cadre du projet Pl@ntNet, concernent la recherche interactive par ensembles de descriptions locales des images ; les premiers résultats sont présentés dans [OCB10], [OBC10].

La détection de copies vidéo par le contenu a comme principales applications la protection des droits et la structuration automatique de grandes bases vidéo. Le passage à l'échelle de la détection de copies est un des principaux problèmes à résoudre pour traiter des situations réélles. Les recherches menées dans ce domaine avec Sébastien Poullot (doctorant CIFRE Vertigo-INA) et Olivier Buisson (chercheur INA), en relation avec le projet RIAM Sigmund, ont abordé aussi bien la surveillance de flux que la fouille de grandes bases vidéo. Pour le premier sujet nous avons mis au point une solution d'indexation basée sur une modélisation des données et des transformations attendues, permettant de surveiller, en temps réél différé avec 1 ordinateur normal, un flux vidéo par rapport à une base de contenus originaux de 280000 heures ([PBC09], [PBC07]). Bien que cette méthode puisse être utilisée également pour la fouille par détection de copies, nous avons proposé une approche alternative qui assure un bien meilleur passage à l'échelle dans ce nouveau contexte. Nous avons développé des représentations plus compactes (descripteur Glocal) des images-clés et une solution d'indexation qui combine des idées issues du hachage et des listes inversées pour traiter de façon efficace l'auto-jointure par similarité réalisée sur la base de signatures. Grâce à ces propositions, une base de 10000 heures de vidéo peut être fouillée en env. 3 jours [PCB08] et les env. 70 heures de vidéo correspondant aux réponses à une requête par mots clés sur un site Web2.0 en env. 45 secondes [PCB08c]. Par ailleurs, une implémentation parallèle efficace de la méthode peut être réalisée facilement [PCB08b]. Ces résultats ont été nettement améliorés (en termes de précision et de rappel, ainsi que de rapidité de la recherche), dans le cadre d'une collaboration avec Shin'ichi Satoh, du National Institute of Informatics (Tokyo), par utilisation de groupes localisés de local features dans la génération des signatures Glocal et d'une information simple de configuration géométrique [PCSC09].

De nouvelles idées identifiées pour la détection de copies vidéo (résumés temporels locaux, LSH multi-niveaux) ont été appliquées d'abord à la détection de multi-variant audio tracks (ou cover songs), en collaboration avec Vincent Oria et Yi Yu du New Jersey Institute of Technology [YCOC09], [YCOD10].

Recherche par le contenu en environnement distribué hétérogène (2007-2009)

Les travaux sur ce thème, avec François Boisson (doctorant dans Vertigo) et Dan Vodislav (Pr. Univ. Cergy-Pontoise), étaient inscrits dans le cadre du projet DISCO (Distributed Indexing and Search by COntent) financé par l'ANR. Nous considérons que la recherche de contenu multimédia par le grand public doit faire face à au moins deux évolutions majeures dans l'avenir proche : la prise en compte de critères basés sur le contenu multimédia et une forte croissance du volume de contenu numérisé disponible au niveau de chaque fournisseur. Dans ce contexte, la plupart des fournisseurs doivent disposer d'un index local pour chercher de façon efficace dans leurs propres bases. Une diversité significative est attendue pour les types d'index locaux employés. Par ailleurs, chaque fournisseur souhaite avoir un contrôle complet de son index local qu'il considère comme un asset ; ces index locaux ne peuvent donc pas être entièrement diffusés. Afin de pouvoir répondre aux exigences d'une recherche uniforme et efficace dans ce contexte, nous avons proposé une approche basée sur sur la publication par chaque fournisseur, dans un format consensuel, de "représentants" associés aux parties de l'index local où le fournisseur souhaite rendre son contenu "visible" par d'autres. Les représentants publiés par tous les fournisseurs servent à construire un index global distribué qui est employé pour répondre à des recherches par similarité (voir [BCV08], [BCV08b]).