Nous avons développé un axe de recherche visant à établir des liens iconographiques entre les objets présents dans une scène. Ces liens peuvent concerner des actions (comme regarder ou tenir un objet), des relations spatiales (un objet posé sur un autre), ou encore des interactions implicites entre éléments. Parmi ces objets, le visage occupe une place centrale, car il constitue souvent une source précieuse d’information dans l’analyse d’une œuvre.
De la même manière que l’on peut rapprocher deux œuvres à partir de cooccurrences d’objets, il est possible d’effectuer une mise en relation en se basant sur la pose des personnages, en particulier celle du visage. C’est pourquoi nous avons porté notre attention sur cet élément spécifique, en le détectant puis en estimant sa pose.
Figure 1 Pipeline pour l’analyse iconographique basée sur la direction du regard
Cependant, la seule pose du visage ne permet pas d’inférer avec précision la direction du regard, information pourtant essentielle pour établir des liens entre le visage et les autres objets présents dans l’œuvre. Pour pallier cette limite, nous avons intégré un estimateur du point d’intérêt visuel en 2D. Celui-ci fournit non seulement un vecteur directionnel du regard en 2D, mais aussi une classification binaire indiquant si le regard se porte à l’intérieur ou à l’extérieur de la scène (in/out).
En combinant ces données avec une estimation de la profondeur, nous avons pu générer une carte du champ de vision. La profondeur permet ici d’ajouter une dimension perspective, essentielle pour distinguer les plans (arrière-plan, premier plan) et affiner l’analyse spatiale.
Enfin, nous avons détecté les objets présents dans ce champ de vision, puis modélisé ces informations sous forme vectorielle afin de permettre une recherche par similarité, fondée sur les objets effectivement regardés dans les œuvres.
Figure 2 Comparaison entre recherche iconographique classique et recherche basée sur l’analyse du regard
A gauche : l’image requête dont le personnage regarde un crucifix dans la partie supérieur droite de la scène, accompagnée de sa carte du champ de vue mettant en évidence les objets situés dans sa ligne de regard
Première ligne : Résultats de la recherche fondée sur l’analyse du regard Lgaze. En dessous, les cartes de champ de vue associées.
Deuxième ligne : Résultats issus de la recherche visuelle classique. Et en dessous, les cartes du champ de vue associées.
Pour illustrer l’intérêt de l’analyse du regard dans la recherche iconographique, nous avons comparé deux types de requêtes visuelles à partir d’une même image source représentant Marie-Madeleine contemplant un crucifix situé dans la partie supérieure droite du tableau. Son champ de vision englobe également un livre et un crâne, deux éléments souvent associés à la thématique de la vanité.
En revanche, dans la seconde recherche, basée sur l’analyse fine de la direction du regard, qu’on nommera ici Lgaze, les résultats mettent en avant des œuvres, parfois très différentes stylistiquement, représentant aussi bien des femmes que des hommes, mais toutes unies par un même motif : une figure regardant un crucifix. Cette approche permet ainsi de faire émerger une cohérence thématique et iconographique plus profonde, au-delà des similarités visuelles de surface.
Dans une première recherche, fondée uniquement sur des similarités visuelles globales (cooccurrence d’objets, couleurs, composition), qu’on nommera ici Lvisual, les œuvres retrouvées représentent majoritairement des figures féminines partageant certains attributs iconographiques avec la scène d’origine. Toutefois, ces personnages présentent généralement un regard évasif, dirigé hors de la scène, sans interaction explicite avec les objets présents.
Figure 3 Combinaison de la similarité visuelle et de l’analyse du regard avec Lgaze_visual et Lvisual_gaze
Afin d’affiner davantage la recherche iconographique et d’augmenter la pertinence des résultats, nous proposons de combiner les deux approches précédentes : la similarité visuelle classique et l’analyse du regard. Cette fusion permet de tirer parti à la fois des cooccurrences d’objets et de la dynamique attentionnelle des figures représentées, en sélectionnant des œuvres partageant non seulement des éléments iconographiques, mais également une intention visuelle commune.
Nous illustrons cette approche hybride avec un exemple concret, à partir de la même image requête de Marie-Madeleine. Les résultats ainsi obtenus montrent des scènes où les personnages regardent un objet central similaire (le crucifix), tout en maintenant une forte cohérence visuelle avec l’œuvre d’origine (présence d’objets comme le crâne ou le livre, posture, ambiance) – illustrés avec Lgaze_visual et Lvisual_gaze. Cette combinaison permet de filtrer les faux positifs et d’enrichir l’interprétation sémantique des rapprochements iconographiques.
Ces travaux ont été publiés pour la conférence VISAPP 2025.