Quels sont les enjeux de la numérisation du patrimoine et les limites des approches actuelles ?

Emilie Hubert : La numérisation du patrimoine permet la sauvegarde de données avant la destruction de l’élément patrimonial, avant sa détérioration comme dans le cas de Notre Dame de Paris dont les relevés 3D réalisés avant l’incendie donnent une base de données concrète pour sa reconstruction, avant l’altération de l’œuvre par le temps ou par l’homme, ou en vue de sa reproduction dans le cadre des œuvres à production déléguée. Elle permet aussi d’obtenir un dossier de restauration plus innovant et performant, et un accès direct à l’œuvre sans les dangers inhérents à toute intervention. En effet, les caractéristiques de certaines œuvres (dimensions, accès difficile, etc.) rendent les constats d’état et leur suivi compliqué. Une œuvre est par définition fragile et unique : on ne peut appliquer ni technique de contact, ni produit adjuvant, et pour certaines on ne peut les déplacer. Aujourd’hui, les besoins des utilisateurs finaux, à savoir le CICRP dans le cadre du projet SUMUM, sont d’accéder à l’œuvre facilement, de surveiller son état de dégradation, de pouvoir communiquer sur l’œuvre et de permettre aux historiens de l’art, aux scientifiques du patrimoine et aux restaurateurs de croiser et d’exploiter les données de chacun.

Anthony Pamart : Au-delà des aspects techniques et technologiques, les enjeux sont dorénavant orientés vers les méthodes, notamment instrumentales, c’est-à-dire comment mettre en place les dispositifs de relevés pour s’adapter aux contextes ou dimensions variés des œuvres, et sont aussi orientés vers la pérennisation des données et des méthodes. Les limites des approches actuelles sont de même nature, reliées à cette notion de non universalité de l’objet patrimonial.

Alamin Mansouri : Un autre enjeu réside dans la rencontre entre les acteurs du domaine technique et ceux du patrimoine, qui induit pour les premiers de nouveaux défis et domaines de validation qui se confrontent au réel, et pour les seconds un bouleversement des pratiques et de nouvelles façons d’appréhension et de valorisation du patrimoine. Dans nos précédents travaux, nous avons observé que l’aspect technique a souvent primé, avec des outils finaux nécessitant la présence d’experts en 3D et donc peu faciles d’utilisation pour des non spécialistes. Précédemment, les aspects concernant l’apparence des objets, l’hétérogénéité des types de surfaces, ainsi que la multitude d’échelles à prendre en compte ont également été négligés.

Par quelle approche le projet ANR SUMUM vise-t-il à répondre à ces limites ?

Alamin Mansouri : A partir de ce constat, notre objectif fut de proposer des stratégies d’acquisition de données et de traitement en déployant une approche d’imagerie multimodale, c’est-à-dire mobilisant plusieurs techniques de numérisation, et multi-échelles pour adapter les acquisitions à l’échelle du phénomène que l’on souhaite observer. Le projet SUMUM visait aussi à intégrer ces traitements dans des plateformes et des interfaces afin de créer des outils plus accessibles pour les professionnels.

Nous avons étudié des objets du patrimoine complexes (3D, brillance, etc.) présentant un besoin avéré de numérisation, que ce soit avant la mise en restauration d’œuvres, c’est le cas des œuvres de Vasarely, ou après restauration dans le cas de l’Arbre aux serpents de Niki de Saint Phalle, et ce à plusieurs échelles temporelles pour mesurer les effets de la restauration.

Grâce aux expertises complémentaires de nos équipes, des modalités d’imagerie avec des capteurs spécifiques ont été déployées pour apporter des connaissances sur ces œuvres d’un point de vue global, et regarder à un endroit précis de l’objet selon l’échelle définie. Cette combinaison de différentes techniques et échelles est primordiale pour accéder à une meilleure compréhension des phénomènes et une meilleure approche de l’œuvre. 

Nous avons déployé des technologies lidar, des technologies 3D localisées à des grandes résolutions avec de la photogrammétrie terrestre ou aérienne via un drone, de l’imagerie technique, de l’imagerie multispectrale, de l’imagerie par transformation de la réflectance et des mesures colorimétriques ponctuelles. Pour les œuvres à grande échelle, nous avons dû proposer des dispositifs qui n’existaient pas, et adapter les conditions d’acquisition (travail de nuit, etc.).

Anthony Pamart : L’appareil photo numérique a été utilisé comme base pour 3 ou 4 techniques, mais de manière différente. Nous avons profité de cette occasion pour identifier quels sont les liens entre les techniques et comment se prémunir des problématiques de recalage en partant du principe que la photogrammétrie est une technique qui peut faire le lien entre les méthodes de relevés 2D et 3D.

Quels étaient les points de vigilance ?

Anthony Pamart : Il fallait anticiper les potentiels problèmes de recalage en veillant à ce que les données issues de l’acquisition soient plus ou moins comparables, qu’elles aient la même résolution, et un niveau acceptable d’incertitude. Nos processus d’acquisition de données devaient également être reproductibles, d’où l’idée de mettre en place et de développer des stratégies instrumentales.

Alamin Mansouri : Nous avons de plus veillé à ce que l’utilisation de ces technologies, parfois encombrantes ou mobiles, soit non invasive et sans conséquence pour les œuvres.

Emilie Hubert : Par ailleurs, tout le monde n’est pas familiarisé avec ce genre d’outils, ce qui impliquait de développer des méthodes aussi simples que possible afin que les utilisateurs finaux puissent les appliquer au quotidien.

En matière de traitement, quelles méthodes avez-vous conçu ?

Anthony Pamart : Nous avons travaillé au développement de méthodes pour établir une reconstitution 3D multimodale afin que l’objet 3D en lui-même devienne une base de données.

Nous avons développé la librairie TACO elle-même basée sur un logiciel de photogrammétrie open source (MicMac), permettant d’automatiser le flux de traitement de données issues de différentes sources d’imagerie, pour recaler et spatialiser les images dans un même référentiel. En parallèle, nous avons intégré cette librairie sur la plateforme collaborative AIOLI, développée au sein du MAP (CNRS / Ministère de la Culture), en vue d’effectuer des reconstitutions en 3D.

Pour l’Arbre aux serpents, œuvre à production déléguée, nous avons par exemple fusionné deux états temporels au sein d’une même représentation : avant sa complète mise à blanc de l’œuvre lorsque l’œuvre était dégradée, et après sa colorisation.

De plus, AIOLI permet de faire des annotations sémantiques, ainsi un constat d’état d’une œuvre (décollement, blanchiment, etc.) peut être annoté et reporté par le biais de la 3D sur toutes les autres images spatialisées ensemble. Il est aussi possible d’y ajouter des fichiers audios ou textes.

Alamin Mansouri : S’agissant des traitements, suite à notre volonté d’adapter l’imagerie de l’apparence, notamment l’imagerie par transformation de la réflectance, à des œuvres de grande taille, nous avons mis en place des traitements innovants tels que la création de vues panoramiques ré-éclairées ou de super-résolution. Nous avons également développé une librairie de traitements sur graphe de fonctions usuelles pour les applications du patrimoine, implémentée sur un processeur graphique, destinée aux personnes qui souhaitent manipuler les objets de représentation numérique pour compléter une information manquante, ajouter des objets virtuels dans une scène ou restituer les couleurs sur des objets dont on a perdu le pigment (inpainting).

Comment les utilisateurs finaux peuvent-ils se saisir de ces résultats ?

Antony Pamart : Dans le cadre du projet, nous avons transposé sur AIOLI les constats d’état réalisés par le CICRP et ses partenaires sur les œuvres étudiées, mais il s’agit à terme de permettre aux utilisateurs finaux d’annoter des images spatialisées issues de différentes sources. Donner accès à cette ressource est un élément primordial et nous poursuivrons nos travaux en ce sens. Cette méthode implémentée sur la plateforme AIOLI n’a pas vocation à devenir un outil de diagnostic, mais de support et d’accompagnement au service des professionnels et scientifiques du patrimoine. Elle permet de donner accès à la documentation qui a été rassemblée autour de l’objet patrimonial, notamment des restaurations anciennes qui n’auraient pas été documentées mais révélées par certaines techniques d’acquisition comme pour l’œuvre « Expansion contrôlée » de César. En d’autres termes, il faut rendre à César ce qui appartient à César.

Emilie Hubert : Il y a effectivement un enjeu à donner accès à ces outils par le biais d’une institution. Aujourd’hui, les constats d’état des œuvres effectués par le CICRP et les cartographies réalisées par les restaurateurs ne sont pas forcément mises en commun, et, dans la majortié des cas, ces informations ne suivent pas la vie de l’œuvre pour les générations futures.

Anthony Pamart : La prochaine étape consistera à poursuivre le dialogue, à travers le CICRP, avec les acteurs du terrain pour faciliter l’accès à cet outil qui restera toutefois restreint dans un premier temps, car il s’agit d’un prototype de recherche.

Alamin Mansouri : Le projet SUMUM, avec son approche multi-échelle et multimodale confrontée aux objets réels, a ouvert plusieurs perspectives de recherche et permis la participation active à des projets européens tels que le projet EU MSCA-ITN CHANGE (https://change-itn.eu) qui est en quelque sorte une suite de SUMUM. Nous poursuivons une collaboration active fructueuse avec le MAP et le CICRP, en participant actuellement à des dépôts de nouveaux projets de recherche.