De l’archive à la mémoire artificielle : reconfigurer des données culturelles par l’IA, Julien Schuh
UMR LARCA, culture du réemploi, long 19e. Directeur adjoint du CELF, Co-directeur MSF Mondes. NumaPress. Projets BAO IA. EyCON.
Enjeux épistémologiques qui résident en arrière-plan de l’utilisation d’outils IA comme conservateur, et pas seulement comme outils tout prêt. Réfléchir sur la manière dont pouvait co-construire ces outils pour développer des produits adaptés à nos logiques de recherche. Segmentation, reconnaissance image, reconnaissance simularité, etc. Conduisent à l’émergence d’une mémoire artificielle qui reconfigure les objets du passés et avec lesquels doit aujourd’hui travailler.
Projet BOA IA. Travail sur le fonds Kagan, un spécialiste des photographies de manifestations. L’un de ceux qui couvra les manifestations de 1961. Des milliers de photographies
Archives constituées, très difficile de savoir ce qu’elle contient.
Mémoire personnelle et mémoire archivistique s’articulaient ensemble. Archive opérationnelle que parce que sa propre mémoire de ce qu’il avait fait et manière dont l’archivait. Lorsque l’on hérite de cette archive sans la personne, une archive morte. L’archivage bibliothéconomique traditionnelle efface tout ceci.
Réseau de mémoire, Interconnection qui permettait la remémoration.
Projet Modoap.
Partait de l’idée que devant le caractère massif des numérisations disponibles dans les institutions comme la Bnf où énorme patrimoine n’ayant jamais fait l’objet d’analyse. Une mémoire du passé qui reste incompréhensible pour les chercheurs isolés. Avec les nouveaux outils d’apprentissage machine, possible d’automatiser le traitement du corpus. Toutefois les outils dans ce domaines produits principalement par les GAFAM, orientent ces recherches.
Pb d’appropriation de ces outils. Ingénieurs, parfois difficile. Pb de financement. Risque de ne plus avoir gens pour pouvoir utiliser. Produire des outils faciles d’utilisation qui permettent à la communauté scientifique de s’approprier ces outils. Et que ceux-ci puissent faire l’objet d’appropriation et de transmission, possibilité d’inscription dans la grille de service Huma-Num pour formations master, et doctorat. Lien avec DataLab de la Bnf de manière à ce que les différents outils que l’on créée puissent être appropriés par les acteurs.
Création d’un protocole. Ne pas réinventer des outils qui existent déjà mais plutôt pouvoir intégrer les outils qui existent déjà dans un protocole qui permette aux chercheurs d’identifier quels outils utiliser. Souvent les outils existaient mais ouverts sur le genre de données qu’ils acceptaient ou allaient produire. Ici cadrer l’utilisation.
Plusieurs corpus différents. Faire travailelr des gens qui viennent à la fois de l’histoire de l’art, de la littérature pour des approches les plus interdisciplinaires possibles. Organiser une discussion large sur ce que voulait faire comme traitement.
- partie du corpus orientée sur les manuels scolaires (romans scolaires, reconstitution des parcours, identification des entités nommées et analyse des personnalités historiques)
- fonds de photographies Kagan travaillé du point de vue du fonds mais aussi en rapport avec la publication de presse. Déterminer le processus de sélection.
Ingénieur Thierry Bruneau, thèse sur la transmission des valeurs dans les manuels scolaires.
Un des premiers utilisés, Snoop développé par Olivier Buisson et ses doctorants. Numérisation à la volée d’images pour identifier des motifs similaires. Ici repérer des motifs récurents dans le corpus Kagan : croix gammée, faucille. Lorsqu’un motif nous intéresse, peut lancer la machine pour sortir les images qui contiennent le motif. Sélection que peut retravailler à la volée pour améliorer la reconnaissance.
https://hal.science/hal-02096036
Borne interactive présentée dans le cadre de l’exposition Kagan à la contemporaine qui permettait de présenter les contenus de manière différentes. Proposer au visiteur d’entrer par eux-mêmes, selon leur propre intérêt dans l’archive.
- approche thématique ex. meeting
- étudier les circulations
Utilisation de l’OLR pour l’entraînement de modèle. Information de segmentation des pages déjà faite par le Bnf pour Dump de données massives que peut réintégrer. Exemple Exclesior entièrement traité en OLR. Reconnaissance automatique de la mise en page par un entraînement humain. Chaque zone des pages a été assignée à un type d’objet. Des dizaines de milliers de page annotés de cette manière.
https://api.bnf.fr/fr/documents-de-presse-numerises-en-mode-article
Récupération des données XML et entraînement d’un modèle pour notre revue qui présentait une mise en page très proche.
Produire ces modèles et les mettre à disposition des enseignants-chercheurs. Données et réentrainement du modèle possible pour faicliter transfer learning.
Opération qui a permis de repérer de nombreuses circulation des images.
Approche outillée qui reconnecte corpus et mémoire du projet.
Projet Eycom, projet rencontre avec Daniel Folliard qui travaille sur l’histoire de la photographie et Lise Jaillant.
défaire le silo
Documents complexes et analyse de la mise en page. Évolution rapide de la manière dont les documents sont mis en forme ou mis en scènes. Images qui se chevauchent, variation de l’implantation des légendes.
Devait pouvoir reconnaître automatiquement la place de ces différentes illustrations.
Approche maximaliste sur les modèles. Or s’est rendu compte que presse présentait des matrices de mise en page différentes. L‘idée était donc plutôt que de proposer un modèle applicable à toutes les pages commencer par utiliser PixPlot https://dhlab.yale.edu/projects/pixplot/ qui permet de présenter les images par similarité sous la forme de continents.
Faire émerger des catégories de mise en page. Permis d’identifier 8 grands modèles de mise en page.
Alors plus simple de construire des modèles d’extraction d’image plutôt que d’utiliser un seul grand modèle.
Ici encore utilisation de modèles et d’algorithmes qui existaient déjà LayoutParser réentraîné avec nos données. Résultats satisfaisants y compris sur des images extrêmement complexe. Détection d’objet résultast positifs.
https://layout-parser.github.io
Tom Greyton? sur la page de périodique comme surface dessinée.
Défini 4 grandes logiques narratives selon mise en page des images. Logique thématique et série temporelle, logique décorative (symmétrie, dissymétrie), logique illustration (rapport texte image), logique spectaculaire où images fonctionnent de manière synthétique dans une mise en scène spectaculaire où le tout fonctionne et le texte quasiment inexistant.
Si veut comprendre le sent d’une image, important de comprendre dans quel contexte elle s’insère. Or, la presse produit des matrices de lecture que l’on ne peut pas ignorer pour comprendre comment la presse fonctionne à l’époque.
Culture de l’album photographique qui préexistait. Offrait cadre de mise en page. Pour comprendre la presse de l’époque obligés de partir de la culture de la mise en page. Image isolée dans la presse qui n’existe pas.
Conclure
Espère avoir pu montrer que les outils IA vont permettre de reconfigurer les traces du passé. Accès conditionné par architectures traditionnelles et moteurs de recherche multicritères. Outils qui ont déjà permis de circuler de manière nouvelle dans les corpus, mais là avec ces outils doit toujours faire face aux mauvaises qualité d’océrisation, absence de description, pb reconnaissance. Ecueil dans la perte de connexion des objets. Les Systèmes organisent les objets selon des systèmes archivistiques. Notre mémoire organisée par similitudes formelles, sédmientation amalgames imaginaires qui constitue des parcours et en fait disparaître certains. Engrammes.
Or l’archive dans l’institution en attente de cette mise en contexte. IA ce potentiel. Manière d’automatiser les processus cognitifs. Moyens heuristiques de reconstituer des liens dans les archives.
Matérialité impression et contraintes techniques dans la prise en compte.
Consortium et mise en commun
Droit auteur
Bibliothécaire et reconnaissance faciale
Modèles pas suffisamment complexes pour que renconrte des problèmes d’explicabilité. Champ qui est en train de se constituer autour de l’explicabilité des modèles. Par exemple activation multiples, etc. Sans doute modèles relativement proches de la manière dont on constitue nos souvenirs. Les IA pourront peut être un jour s’expliquer.
Nouvelle manière d’accéder au passé qui transforme la construction même des savoirs que nous avons. Depuis 2018 moi qui était un Utilisateur friendly de MSWord, commence à être initiée aux balisage, etc. Preuve que l’on peut apprendre.
Trois partenariats qui se son développés : donner le goût de l’archive 1 et 2. Partage de données historiques sur les peuples montréalais au 17e siècle. De fil en aiguille arrivé à collaborer avec Maxime Gohier au projet Nouvelle France Numérique. Projet qui ne cesse de générer des partenariats. Le dernier né, La Fabrique de l’histoire montréalaise où part de la trace historique jusqu’à médiation culturelle. De la trace, à la culture matérielle, etc.
Une manière d’amener les étudiants à ne pas avoir peur de la paléographie.
Créer une ontologie de liaison des données pour que les bdd communiquent entre elles. Une FCI obtenue sur cet aspect.
Science participative. Depuis 2018, création de l’APAD, atelier permanent d’analyse documentaire. L’idée était de partager nos transcriptions mais aussi d’inclure des amateurs fervents et très savants. Idée de redonner, de produire un cerveau collectif. Aboutissement dans un APAD rédaction où va pouvoir réviser les textes des étudiants qui seront publiés chez Boréal.
Je suis une historienne. Moi la technologie, je m’en sert.
Institutions culturelles pas toujours au point avec les technologies numériques mais très intéressées. Travail avec l’enseignement.
Recherche financée par le CRSH qui porte sur la transcription de toutes les archives. Idée de coopération.
Des données qui sont ensuite moissonnées pour créer un guichet unique pour créer un savoir commun.
APAD basé sur le crowdsourcing. Tellement de succès que l’on a séparé l’aspect formation de l’aspect travail. Des écoles d’été et des ateliers de formation.
Rôle pour s’occuper des utilisateurs et des utilisatrices et des barrières à l’utilisation des outils numériques. Un projet en cours réalisé avec Jean-Sébastien Sauvé.
Projet SIMSSA Single Interface for Music Score Search and Analysis
Linked Music, Ichiro Fujinaga (McGill). Partenaires internationaux multiples. Possibilité d’exploiter importantes archives musicales. Pb de notation musicale.
Développement de diverses technologies incluant
- reconnaissance optique de la musique
- music encoding initiative MEI, améliorer la représentation + outils de restitution
- outils de reconnaissance et d’analyse
- interface unique pour sources dispersées
Protocole IIIF pour visualiser à l’intérieur de l’interface les ressoures localisées sur les différents serveurs des institutions participantes.
Sait que des difficultés, certains qui utilisent ou n’utilisent pas ces outils. Identifier les barrières.
Dès 1968, Erikson, expliquait qu’il semblait y avoir un fossé qui s’élargissait entre ceux qui utilisaient approches computationnelles.
Marsden 2009, revient sur la question en disant que peu de preuves que rétricissement.
Quelles sont les barrières qui ralentissent l’adoption d’approches computationnelles en muséologie ?
Pluieurs types de barrières identifiées :
- compatibilité avec les pratiques des chercheur·se·s
- caractéristiques des sources / données / métadonnées
- caractéristiques des outils (pointe souvent que manque d’outils, pb convivialité, temps appropriation)
- conditions facilitantes (ex. soutien institutionnel)
- barrières sociales
Unified theory of acceptance and use of technology UTAUT Venkatesh et al. 2003
Modèle basé sur l’examen des principaux modèles d’adoption des technologies.
Barrières sociales
Promotion, agrégation, prix, financement, publication (Borgman 2007, etc.)
- craintes que le travail ne soit pas reconnu ou valorisé par les pairs
- absence de critères d’évaluation pour certains produits de la recherche
Ruptures avec modèles disciplinaires.
Évlauation par les “pairs-concurrents”. (Zorich 2012) ‘cheating, laziness and not pure scholarship’. Empêche la contemplation et la réflexion nécessaire. (Zorich 2012). Manque de reocnnaissance par les pairs (Weller 2011).
Parfois des préjugés sur ceux qui n’en font pas. Digital Humanities Manifesto 2.0 (2008). Somnolence.
Spécificité du champ scientifique. (Bourdieu 1975). Voit comme champ scientifique comme les autres, avec des luttes des intérêts des profits. Déterminants quand aborde ces rapports là.
Quelques études en musicologie numérique. Évaluation de ce champ selon les “traditionnalistes”
- ne permet pas de se plonger dans la musique
- ne tient pas compte du contexte social dans la quelle la musique
- septicisme robuteste méthodes
- biais culturel
- craintes liées à la superficialité
- excès de confiance
RILM base de données en musique pour trouver tous les articles publiés.
Voit que moins actes de congrès 2013-2022 mais semble que RILM a cessé recencer certains actes. Identifie certaine croissance. Mais contrairement à ce que l’on voit souvent en sciences humaines. Forte proportion dans les actes de congrès.
Premiers lieux de publication, spécialisés en musicologie numérique. Les grandes revues de musicologies se trouvent à la fin. Nombre d’article très faible, montre que difficile de valoriser notre recherche. Difficile de faire publier dans ces revues disciplinaires.
Warwick 2012 qui dit que doit comprendre les besoins et les comportements des utilisateurs et des utilisatrices pour être conformes aux pratiques traditionnelles et puissent servir.
Entretiens en profondeurs avec musicologues.
Scholarly primitives de Unsworth
Entretiens.
Traditionnalistes
Connaissance limitées du champ. Humanités numériques pas toujours compris. Attachement aux traditions.
Les musicologues numériques
Conditions facilitantes, le fait d’avoir des collègues, deux participants mentionnent l’intérêt d’avoir un centre dédié.
Outils disponibles, logiciels gratuits ouvert, communauté utlisateurs, mises à jour régulières, prise en charge par u, facile utilisation.
Perception du milieu demeuré très classique. Pensée scientifique et la musique généralement pas associées.
Plus d’opportunités pour financement, mais compétence additionnelle. Pari risqué pour publication dans les revues. Encore nombreux univers clos.
Lewis anthropologie. Ethnomusicologie.
Jean-Marc surpris caractère très négatif des commentaires. Plus de gêne qu’avant à dire que pas intéressé. Mais travail a distance beaucoup changé avec la covid. Précédemment attachement à l’objet que l’on retrouve moins.
Obstacles à l’adhésion.
- caractère collectif | musées et numérique | dpt pra
- résistance historique HA
- critères évaluations UdeM
Signature