Thésaurus et web de données : l’exemple du Thésaurus W

Les archives de France proposent depuis quelques semaines selon les principes du web de données et du linked data le Thésaurus pour l’indexation des archives locales qui remplace l’édition 1997 du Thésaurus W et la version 2000 des listes d’autorité « actions », « typologie documentaire » et « contexte historique ». Un site web très clair a été réalisé pour l’occasion : il offre la possibilité de consulter le thésaurus bien sur, d’en télécharger une version RDF/XML mais surtout de l’interroger via le langage SPARQL qui est le langage de requête des données structurées en RDF. Ce point d’accès, on le nomme SPARQL end point (point d’accès SPARQL), est illustré de requêtes de démonstration permettant aux débutants en SPARQL d’être un peu autonome dans ce monde encore nouveau. Cette initiative est importante : elle ouvre des données publiques, elle permet de s’appuyer sur les référentiels des Archives de France pour qualifier des données tiers et donc construire des applications web riches. Dans le projet ISIDORE, nous avons d’ailleurs utilisé la liste d’autorités « contexte historique » afin d’accrocher les notices ISIDORE à des périodes historiques. Ce site est un très bel exemple de l’utilisation des méthodes du web de données pour les données publiques.

La correspondance d’André-Marie Ampère structurée avec RDFa

J’ai RDFaisé la correspondance d’André-Marie Ampère (1775-1836) éditée en ligne sur le site @.Ampère et l’histoire de l’électricité créé par Christine Blondel (Chercheuse au CNRS) et auquel j’ai participé en 2008/2009. Cette édition électronique, réalisée avec l’aide de Delphine Usal (CNRS) et Marie-Hélène Wronecki (contractuelle au CNRS) permet de mieux connaitre la vie de ce savant du XIXe siècle. Les éditeurs la présente ainsi :

La Correspondance d’Ampère regroupe les lettres qu’il a reçues et qu’il a envoyées. Elle offre un éclairage exceptionnel sur la vie personnelle, professionnelle et intellectuelle d’un des savants français majeurs du début du XIXe siècle. Plus de 1100 lettres sont actuellement accessibles en ligne.

Ce corpus de données, limité mais assez complexe, m’a semblé être intéressant pour réaliser un travail de structuration utilisant RDFa (voir le billet sur MédiHAL et le RDFa). J’espère que d’autres sites web diffusant des corpus historiques s’engageront dans l’implémentation/structuration de l’information selon les principes du RDF.

C’est un exemple, permettant via ISIDORE de montrer l’intérêt de l’utilisation du RDF dans les corpus en ligne (j’en profite pour signaler un tutoriel en anglais sur la question des structures RDFa dans wordpress et drupal qui me semble très bien fait et tout à fait intéressant). Mais d’autres projets sont en cours, par exemple : le Système d’information en philosophie des sciences (ou SIPS) qui sera donc, j’espère très bientôt, dans ISIDORE.

Bonne navigation structurée à tous !

Stéphane.

Accompagner la recherche

Bonne année 2011 à tous !

Le numérique change les métiers de l’information scientifique et technique et de la communication. Il y a quelques semaines, les ingénieurs, les assistants ingénieurs et les techniciens du CNRS travaillant dans le secteur des sciences humaines et sociales étaient réunis à Paris pour une journée d’étude dans laquelle j’ai eu le plaisir de présenter MédiHAL. Je trouve cela très bien car il se créé ainsi une dynamique entre les personnes et les équipes. En discutant avec les collègues j’ai pu mesurer la nécessiter de passer rapidement d’un web de document à un web des données scientifiques fondé sur les principes du web de donnée (dont le RDF) et du linked data (la généralisation des URI). Ce qui m’a le plus frappé est le besoin, clairement exprimé maintenant, de mettre à disposition des données numériques en grande quantité tout en préservant le besoin de qualité de ces données.

Ce qui est également important, c’est la prise de conscience collective que maintenant il est possible de mettre en place des grands réservoirs de données, des bibliothèques de matériaux imprimés, manuscrits, photos, etc. et de le faire dans un cadre de travail standardisé, respectant des normes de description et s’interconnectant avec plusieurs outils d’éditions, de recherche, de traitement de l’information. La construction d’un web des données scientifiques, en SHS, est en marche et il s’intègre dans la construction du web de données général au sens du W3C. Ce web de données scientifiques n’est pas fermé sur lui-même, il est (et doit être) interopérable avec le reste du web de données. J’espère que le mouvement va s’accentuer, se développer.

Dans quelques années, les ingénieurs, assistants ingénieurs, techniciens du monde de la recherche scientifique et de l’enseignement supérieur, pourront construire des applications, des bases de données, des portails qui iront puiser de l’information directement dans le web. Ils iront interroger simultanément de multiples « triple stores » que sont ces grosses bases de données et réservoirs contenant de l’information interconnectée.

Lors de cette journée d’étude j’ai été aussi frappé de l’interaction entre les acteurs présentant des projets, plateformes, outils, méthodes : tous les projets sont interconnectés entre eux et à plusieurs niveaux ; les données aussi sont interopérables, entre elles, mais aussi vers l’extérieur, avec des données du monde entier.

Les données numériques des SHS entrent dans le web de données

Avec l’ouverture d’isidore (réalisée par le très grand équipement Adonis du CNRS) les données numériques des sciences humaines et sociales entre dans le web de données et vont bientôt rejoindre le linking open data cloud diagram ou « Lod » maintenu par Richard Cyganiak (DERI, NUI Galway) and Anja Jentzsch (Freie Universität Berlin), en tous cas, je l’espère.

Isidore est une plateforme de recherche permettant la recherche d’information dans les données numériques des SHS, quelles soient sources pour faire de la recherche ou bien publications des résultats de la recherche. J’ai le plaisir de co-diriger ce projet avec Jean-Luc Minel dans le cadre de l’équipe du Adonis, le très grand équipement du Centre national de la recherche scientifique.

Je profite de ce petit billet « auto-promotionnel » pour remercier Gautier Poupeau (alias Got) sans qui ce projet n’aurait pas pu être conçu et réalisé ainsi que toute l’équipe du centre pour la communication scientifique directe (Laurent Capelli, Philippe Correia, Loic Comparet, Yannick Barborini et Daniel Charnay) qui participe à ce beau projet.

Isidore moissonne des métadonnées et des données selon les protocoles OAI-PMH, des signalements d’actualités via RSS et Atom, des données structurées selon RDFa et peut se connecter à des catalogues de bibliothèques SRU/SRW (z3950). Isidore enrichit ces données en les croisant, en les qualifiant avec des thésaurii, des référentiels, des listes d’auteurs et les ré-exposent selon les principes du linked data. Pour utiliser ces données, un site web a été créé : www.rechercheisidore.fr. Vous pouvez donc interroger les articles de Revues.org, Cairn, Persée, les ouvrages, textes, images de Gallica, HALSHS, MédiHAL avec un seul formulaire et avec des liens entre toutes ces données.

Dans isidore, les métadonnées sont transformées en RDF, ainsi les données des shs entrent dans le web de données.

Mais nous sommes en version béta, alors le travail continu.

Stéphane.

Construire le web de données pour les données de la recherche en SHS : comment utiliser RDFa ?

Le web est l’un des vecteurs principaux de la diffusion des données de recherche en sciences humaines et sociales. Il permet de diffuser et d’éditer presque tous les matériaux utilisés par le chercheur et l’enseignant : de l’archive ou la bibliothèque à la publication électronique en passant par le séminaire, le colloque, la revues et le livre. L’utilisation du web comme outil d’édition, de publication et de diffusion a permis de démultiplier les accès aux documents et à l’information. Mais depuis 20 ans, l’effort a plus porté sur la mise à disposition de documents numériques (ouvrages, articles, corpus) que sur la structuration de l’information contenue dans ces documents : il est vrai que l’essor des moteurs de recherche traditionnels depuis les années 90 (d’Altavista à Google) ont permis d’atteindre et de s’y « retrouver » dans ces milliards de documents qui sont sur le web aujourd’hui. En revanche, la publication électronique des contenus des bases de données – les données elles-même qui ont toujours leurs propres structurations, pose encore des questions et des difficultés qui font que le web, s’il est plein de documents et relativement vide de données et d’informations structurées. Ainsi, les outils d’exploitation des documents que nous utilisons aujourd’hui, tel les moteurs de recherche, fonctionnent sur des réservoirs de documents encore trop cloisonnés. Ainsi, construire une page web d’information sur l’historien Georges Duby nécessite toujours d’adresser plusieurs questions (requêtes) à plusieurs moteurs de recherche (généralistes et spécialisés) ou à plusieurs formulaires de bases de données et cela même si, depuis dix ans, les techniques de l’interopérabilité ont fait de très grand progrès. Ce web « cloisonné » ne permet pas aux machines de travailler et certaines parties du web deviennent invisibles aux moteurs de recherche et même parfois aux humains (qui s’est déjà retrouver devant un formulaire de bdd en ligne un peu froid ?). Bien sur, un homme peut le faire, à la main, mais s’il veut se faire aider de machine, pour gagner du temps ou mieux, traiter plus de données, cela devient assez complexe. Surtout pour un chercheur qui ne maitrise pas forcement le SQL et dont ce n’est pas le métier. Ainsi, les données numériques sont bien rangées dans de multiples bases de données ou silot, mais nous n’avons construit que de simples petits « judas » afin de les regarder et l’éditorialisation des données ne fait pas tout, pis, elle cache parfois, sous une couche « cosmétique » (cela dit souvent nécessaire), une faible structuration des données. La faible structuration des données freine très souvent les modes de pérennisation de ces dernières donc la possibilité de leur ré-exploitation future. Il nous faut faire mieux.

Comment dépasser cela ?

Comment rendre plus accessible encore, non pas simplement les documents (au sens des fichiers) mais les informations contenues dans ces derniers sans appauvrir les formats de structuration de l’information. Comment se donner l’opportunité de construire des outils d’aide à la recherche permettant de construire – par exemple – la notice encyclopédique de George Duby, en présentant, non pas simplement la compilation du signalement de ses articles, ouvrages, conférences, mais aussi les thèmes qu’il a abordé au cours de sa carrière et en les reliant à des notions, des définitions, des illustrations, des ouvrages d’autres auteurs ? C’est tout l’enjeu de la construction du web de données, cette extension du web dont je parlais dans mon dernier billet. Il nous faut tout d’abord libérer les données après l’avoir fait avec les bases de données elles-même.

Comment faire ?

Tout d’abord un peu d’histoire. Dans les années 1995-2000, tous les acteurs de la recherche et de la culture ont massivement édité leurs bases de données sur le web, c’était l’enjeu du moment : tout le monde voulait mettre sa base en ligne, c’était un nouveau cycle dans la diffusion des documents (après le minitel, les connexions client/serveurs). Nous sommes entrés, depuis quelques années, dans un nouveau cycle dont la première phase (la première « marche » je préfère dire) a été l’interopérabilité des bases de données. En parallèle de cette phase, qui se poursuit, nous devons « ouvrir les données ». Quel curieuse expression ! Simplement, il s’agit d’exposer les données, dans toutes leurs complexités, en utilisant le cadre de la modélisation en RDF. Pour cela, il nous faut apprendre et développer des modèles de données, faire des choix de vocabulaires documentaires afin de décrire l’information contenue dans une page web, un billet de blog, un article, un inventaire de fonds d’archive, un corpus, un thésaurus ou encore une notice de bibliothèque. Pour ouvrir ces données il faut être capable de dire : « tiens ça, c’est le titre et ça là, c’est l’auteur et je te prouve que c’est bien l’auteur car je suis capable de le relier, par un principe ouvert, normalisé et connu de tous, à un référentiel (les auteurs du sudoc par exemple) et à une forme de vocabulaire (du mods, du dublin core simple, etc.) » : les documentalistes savent très bien faire cela. Ainsi, ouvrir ses données – participer à la construction du web de données – cela revient donc à structurer de l’information avec des règles communes, valables pour tout le monde du web et où donc l’implicite n’est pas le bienvenu. Ouvrir ses données au monde c’est donc vouloir diffuser les données et par uniquement les documents et surtout dire quel choix j’ai fais pour structurer l’information. Les documentalistes font (devraient) s’y régaler.

Avec l’aide de Got, je vais présenter un exemple simple. Il est possible d’exprimer selon RDF des données structurées dans une page web écrite en HTML : il s’agit de la syntaxe RDFa (pour Resource Description Framework – in – attributes). RDFa permet donc d’utiliser la mécanique du RDF tout en utilisant comme support les balises HTML.

Je prends comme exemple, très simple, une photographie et sa notice venant de MédiHAL, l’archive ouverte de photographies scientifiques que j’ai co-créé et qui est développée par le CCSD et le CN2SV. Au travers de cet exemple, je souhaite montrer qu’il ne s’agit pas que de techniques documentaires, ou que de questions informatiques, ou encore que de questions d’édition : non, il s’agit de tous cela en même temps. Ainsi, construire le web de données c’est avant tout réunir plusieurs compétences et métiers pour envisager toutes les aspects.

La consultation avec un simple navigateur web de la notice exemple ne révèle pas la présence d’une structuration de l’information selon les principes RDF et pourtant, si l’on regarde le code source, il y a une structuration, des vocabulaires RDF et des étiquettes structurant l’information. Ainsi, dans un premier temps, il faut dire que cette page contiendra du RDFa : j’ai modifié le doctype XHTML. Il est remplaçé par un doctype XHTML+RDFa :

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML+RDFa 1.0//EN" "http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd">

Notez ensuite la présence de plusieurs vocabulaires documentaires qui vont nous permettre de structurer l’information :

<html xml:lang="fr" version="XHTML+RDFa 1.0" xmlns="http://www.w3.org/1999/xhtml" xmlns:foaf="http://xmlns.com/foaf/0.1/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:cc="http://creativecommons.org/ns#" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:geo="http://www.w3.org/2003/01/geo/wgs84_pos#" xmlns:xsd="http://www.w3.org/2001/XMLSchema#">

Pourquoi ? Puisque nous allons structurer les données contenues dans cette page web, il nous faut dire « ça, c’est le titre » : il s’agit de mettre une « étiquette » à une chaine de caractère du titre. Il nous faut construire des triplets RDF qui, par l’utilisation de prédicats (verbe), relient l’étiquette (l’objet) à la chaine de caractère du titre (sujet). Puisque nous devons dire à quel vocabulaire nous faisons référence pour dire « c’est le titre », nous les déclarons en entête. Vous reconnaitrez sans doute « dc » pour le dublin core simple (dublin core elements set ou dces), « dcterms » pour le dublin core terms, « cc » pour signaler la présence de données sous licence creative commons, « geo » pour la géolocalisation GPS, « foaf » pour décrire le document qui est ici une notice MédiHAL, etc. Ainsi je déclare là l’ensemble des vocabulaires documentaires que je vais utiliser ensuite et j’en donne la référence en ligne : http://purl.org/dc/elements/1.1/ pour le dublin core simple. Ces référentiels sont eux-même décrits et structurés en RDF : ils sont utilisés par tous et sont donc le point de référence, la norme.

Je trouve ensuite le début de ma notice, qui est matérialisée par une balise <div>  :

<div typeof="foaf:Image" about="http://medihal.archives-ouvertes.fr/medihal-00501617">

Dans cette balise (fermante à la fin de ma notice), j’y mentionne que ce qui sera dans la balise <div> est une notice d’une image et que l’URL présente dans l’attribut « about » sera l’objet auquel se rapporte les informations que je vais structurer (donc ici, un conteneur, une notice, d’une image). Les informations décrites par la suite se rapportent à cette notice (rôle du « about »), ce conteneur, accessible à cette URL. Ma données est complexe, elle est composés d’une image (qui a plusieurs représentations : plusieurs vignettes, l’image déposée, etc.) et des métadonnées, voir des commentaires (publics, privés). Pour décrire ce conteneur, j’utilise le vocabulaire foaf qui permet de décrire des ressources, des personnes ou des institutions et je vais utiliser l’élément foaf:Image. Pour la syntaxe, je vous invite à lire ce billet de Got qui présente très en détail et très clairement la syntaxe des CURIEs (ou Compact URIs) dans le monde RDF.

Dans ce <div>, je vais pouvoir structurer l’information contenue dans la données en utilisant, dans cet exemple, la balise <span> ainsi que quelques attributs : « property » pour caractériser l’information avec un vocabulaire, « rel » pour relier de l’information directement au conteneur. Ainsi pour le titre de l’image, je vais utiliser le dublin core simple (dces), nous aurons :

<span property="dc:title">Madagascar : Vallée de l'Onive aux environs de Tsinjoarivo</span>

Pour l’image en jpg présentée dans la notice (qui est l’une des représentations possibles de l’image) :

<span rel="foaf:thumbnail" about="http://medihal.archives-ouvertes.fr/medihal-00501617">
<img title="Madagascar..." id="thumb320" src="http://medihal.archives-ouvertes.fr/docs/00/50/16/17/archives/thumb320.jpg" border="0" /></span>

Là, nous caractérisons que le contenu de <img/>, c’est à dire une image en 320 pixels, est l’une des versions de l’image de la notice représentée par «  http://medihal.archives-ouvertes.fr/medihal-00501617 » : il s’agit d’une vignette de l’image d’ou « foaf:thumbnail ». Dans ce cas, il possible d’implémenter les attributs rel et about dans la balise <img>. Je l’ai mis dans un <span> pour plus de clarté. Notez que j’ai répéré dans ce <span> l’attribut « about », je n’y suis pas obligé, il est déjà signalé dans la balise <span> « mère ». Ce <span> structurant une version de l’image (une vignette de 320px de coté), j’ai préféré ré-indiquer ce « about » afin que vous compreniez bien que foaf:thumbnail (vignette) désigne une vignette de l’image déposée et dont l’URI est http://medihal.archives-ouvertes.fr/medihal-00501617.

Pour la légende, je vais utiliser le vocabulaire dublin core terms, le plus riche des dublin core avec l’étiquette dc:abstract (pour résumé) :

<span property="dcterms:abstract">Paysage rural de collines à proximité de Tsinjoarivo ; Au premier plan le bord de la terrasse de la vallée de l'Onive ; A l'arrière-plan, cultures en terrasse avec des rizières en escaliers, irriguées par un affluent du fleuve</span>

Je pourrais aussi, plus simplement mais en introduisant un peu d’implicite, utiliser dces avec l’étiquette dc:description :

<span property="dc:description">Paysage rural de collines à proximité de Tsinjoarivo ; Au premier plan le bord de la terrasse de la vallée de l'Onive ; A l'arrière-plan, cultures en terrasse avec des rizières en escaliers, irriguées par un affluent du fleuve</span>

Pour exprimer les mots clés, je vais utiliser une nouvelle fois le dces :

<span property="dc:subject"><a href="[lien vers mes mots-clés]">Madagascar</a></span>

Il est possibilité là aussi d’être plus riche, en reliant mon mot-clés à un référentiel (thésaurus par exemple) en utilisant les vocabulaires sioc et skos pour exprimer des concepts et les liaisons :

<span rel="sioc:topic" href="http://dbpedia.org/resource/Madagascar">
<span instanceof="skos:concept" about="http://dbpedia.org/resource/Madagascar">

   <span property="dc:subject"><a href="[lien vers mes mots-clés]">Madagascar</a></span>

 </span>
</span>

Pour la géolocalisation de mon image, je vais utiliser le dublin core terms avec l’étiquette « spacial », qui va me permettre de relier mon conteneur (foaf:Image) à des valeurs de latitude et de longitude. Ainsi, j’exprime dans dcterms:spatial une latitude et une longitude issues d’un GPS ou d’une géolocalisation en spécifiant que je fais référence au vocabulaire WGS validé par le W3C (geo:lat et geo:long).

<span rel="dcterms:spatial">
<span property="geo:lat" content="-19.644527589975"></span>
<span property="geo:long" content="47.709846500067"></span>
</span>

Je me limite ici à quelques éléments de cette image (en prenant du DC simple pour être pédagogique), il est possible d’aller plus loin dans la structuration (en utilisant du DC terms ou d’autres vocalulaires).

Conclusion

Le web de données est une méthode qui consiste à utiliser le web comme un espace ou les données sont structurées : c’est à dire que l’information d’un document (pdf, jpg, txt, etc.) est cartographiée, repérée, signalée et reliée à des vocabulaires, accessibles eux-même sur le web et dont la structuration est connue et explicitée. C’est un formidable enjeux pour les documentalistes, les bibliothèques et les ingénieurs et techniciens en digital humanities qui construisent des corpus scientifiques et les diffusent en ligne. Le RDFa est l’une des techniques, l’une des mécaniques possible et elle est relativement simple à comprendre car elle s’inscrit dans une évolution naturelle des choses : une sémantisation de la page web via le code HTML. Il s’agit d’une révolution mais qui s’appuie sur des éléments que tout les professionnels de l’IST peuvent maitriser. J’ai toujours pensé et dit que l’OAI-PMH était (est) la première marche vers le web de données, je pense qu’RDFa est la deuxième, du moins c’est un pont très simple pour mieux comprendre RDF et les techniques du web de données.

Stéphane.

Liens utiles pour aller plus loin :

Construire le web de données pour les shs avec les digital humanities

Le web de données est une évolution du web actuel vers un web contenant des données structurées et si possible liées entre elles grâce à l’utilisation de standards documentaires et informatiques internationaux. Les informations contenues dans ces données sont également organisées, structurées, par l’utilisation de schémas (de structuration) dont le plus simple reste le dublin core element set (dit « dublin core simple »). Mais le web de données permet justement de s’affranchir de la contrainte de l’utilisation universelle du DC et de marier plusieurs schémas. Ainsi, dans un futur proche, c’est le web lui-même qui deviendra (en fait, qui devient) une base de données mondiale, structurée et pérenne.

Quel est la différence entre « diffuser sa base de données sur le web » et participer ou construire le web de données ?

Tout d’abord participer à la construction du web de données veut dire que l’on diffuse des données et pas uniquement les métadonnées ou les notices. Cela veut dire que l’on « ouvre » les données au public. L’ensemble des données utilisées par les enseignants et les chercheurs sont concernées quelles soient conservées dans les archives ou bien qu’il s’agisse des données produites par les chercheurs eux-même (enquêtes, articles, ouvrages, photographies, plans, cartes, notes de terrains, …). Il y a bien évidement des questions de confidentialité de l’information mais il est classique aujourd’hui d’appliquer des barrières mobiles aménageant des périodes d’embargo temporels et/ou disciplinaires. Construire le web de données c’est affirmer que l’on va, tout de suite ou dans quelques temps, ouvrir ses données. S’il existe une période d’embargo, il faut dire quand elle se terminera. Par exemple dans MédiHAL, l’archive ouverte de photographies et d’images scientifiques lancée par le CNRS, il est possible de placer une image sous un embargo de 3 ans, ainsi l’image jpg ou tif sera accessible dans 3 ans, en attendant la notice est publique. Dans l’interface et dans les flux OAI-PMH de MédiHAL est indiqué la disponibilité de la données.

Ouvrir ses données, pourquoi faire ?

Principalement, pour avoir accès à une assiette de données plus large permettant de traiter plus d’information afin de valider plus profondément telles ou telles théories ou idées tout en étant capable d’étayer le propos de synthèse en donnant accès à toutes les sources (ou preuves). Depuis 1999, avec l’arrivée des méthodes et protocoles d’interopérabilité des données tel que l’OAI-PMH, une première marche vers le web de données a été franchie : des moteurs de recherche collectent des métadonnées dont la citabilité et l’accès sont pérennes (c’est à dire que les diffuseurs – institutions ou personnes – se donnent les moyens de maintenir et de garantir l’accès) donnant ainsi accès a des données en ligne (textes, images, inventaires de fonds d’archives, articles, ouvrages, etc.). La seconde marche est encore devant nous, nous devons apprendre à structurer systématiquement toutes les données qui sont utiles aux chercheurs pour travailler : ainsi nous devons les qualifier. Les chercheurs, aidés par les bibliothécaires et documentalistes qui sont en première ligne, doivent aider, par exemple, au développement de nouveau outils d’enrichissement des données.

Ouvrir ses données c’est aussi vouloir partager et échanger avec d’autres chercheurs, mais aussi avec la communauté des digital humanties. C’est d’autant plus important que certaines données, utilisées voir collectées par les chercheurs, sont publiques. Bien sur, la recherche est un monde de compétition où les données sont stratégiques, mais je me positionne ici dans le cas de données des SHS, peut-être moins stratégiques, surtout quand elles sont patrimoniales et dans le cadre de données ayant déjà été traitées, au moins partiellement. Pourquoi un doctorant ayant soutenu sa thèse, ne diffuserait-il pas, juste après sa thèse (et après l’avoir déposée elle aussi dans une archive ouverte tel que TEL par exemple) son corpus de sources ? Voir les données qu’il n’a pas eu le temps d’exploiter ?

Heureusement le mouvement est en marche : plusieurs projets, s’inscrivant dans le web de données, sont en cours de réalisation, quelques exemples issus de la communauté des digital humanities :

  • La structuration des billets des blogs de la plateforme hypotheses.org en RDFa
  • La réalisation de plateforme ISIDORE du TGE ADONIS
  • L’expression en RDF des autorités auteurs du catalogue SUDOC de l’ABES
  • Le développement des projets d’édition électronique de sources historiques utilisant la TEI, qui permet de structurer les textes.

La construction du web de données permettra-t-il de développer de nouveau axe de recherche ? sans doute, mais il apporte également une nouvelle façon de relier les chercheurs en eux de (re)-construire de nouvelles communautés.

Dans un prochain billet et pour illustrer cette notion du web de données par un cas concret, j’aborderai la structuration en RDFa des pages de consultation de la plateforme MédiHAL.

La communauté française des digital humanities

THATCamp Paris 2010, sur la Baleine blanche - Crédits : Elodie Picard / CC

Après deux jours d’ateliers, démos, débats, discussions le THATCamp Paris 2010, la non-conférence sur les digital humanities, lance le Manifeste des digital humanities. Ce texte, fondateur de la communauté des digital humanities en France est très important. Il a permis tout d’abord de répondre à la question posée dans le THATCamp : « voulons-nous travailler ensemble ? ». La réponse est largement positive à mon sens.

Ce besoin de travailler ensemble est partagé par tous, et nous avons vu qu’il dépasse bien évidement les cadres institutionnels actuels. C’est une vision personnelle, mais ces derniers me semblent peu adaptés au développement d’une communauté qui a conscience que les actions locales se font mieux si elle s’appuient sur des structures nationales mutualisées (ex. grilles de calcul, infrastructures d’hébergement de données, services d’archivage de données numériques). J’invite tous les lecteurs de ce blog, qui soient ou qui se sentent acteurs des digital humanities à signer ce Manifeste qui pose les bases claires d’une communauté se donnant des objectifs précis.

Je pense en particulier aux documentalistes qui sont dans les laboratoires de recherche des sciences humaines et sociales, et dont certains étaient au THATCamp Paris 2010, mais que je trouve toujours trop absents de ces moments de réflexion sur l’évolution des métiers, méthodes, etc. Les documentalistes font un travail de production sur le terrain très important. Au delà des centres de documentation et des bibliothèques de recherche, certains coordonnent réellement des projets de recherche sur le plan documentaire et donc sont pleinement dans les problématiques dont nous avons discutées lors de ces deux jours.

Par exemple, le point 14 du Manifeste propose de construire, de façon itérative, des cyberinfrastructures correspondant à des besoins réels. Voici un chalenge difficile, pris entre les intérêts des économies locales de la recherche proches des chercheurs (Universités, Maisons des sciences de l’homme par exemple) et ceux « inter-nationaux », européens par exemple, pourtant nécessaires mais complexe à comprendre tant il est difficile pour un chercheur de s’y projeter.
Un exemple a été pris par Got sur les questions de l’archivage des données numériques (la mémoire du XXIe siècle). Il faut accepter de faire confiance à une autre institution, à une autre personne, pour archiver ses propres données, issues d’une collecte qui a pu prendre, parfois, toute une vie. « Accepter de faire confiance » c’est avant tout reconnaitre que l’on est pas compétent pour traiter tel ou tel sujets, ou techniques, ou méthode. Cela ne veut pas dire que l’on va perdre « la main » sur les données (les mécanismes de contrôle d’accès existent et sont fiables). Cela ne veut pas dire non plus qu’il ne faut pas tenter de comprendre (loin de moi l’idée de saucissonner les métiers et les taches), mais c’est reconnaitre qu’à un moment, il faut accepter de faire 10 à 15% d’un travail pour lequel l’on ne sera pas reconnu, qui ne comptera pas dans son évaluation personnelle, afin de transmettre à un autre de l’information afin qu’il l’archive, la traite, l’édite, la valorise, la distribue, etc. et vous la repasse parfois pour en faire autre chose. C’est l’un des enjeux majeur du Manifeste selon moi. Les cyberinfrastructures seront ce que nous en ferons, pour cela il faut accepter de faire 10 à 15% du chemin vers le collègue (l’ingénieur ou le chercheur) qui a une ou plusieurs compétences et donc qui a un Métier. C’est aussi considérer que ce qu’il fait est égal à ce l’on fait. Publier un article dans une revue de rang A est égal à concevoir un logiciel permettant de calculer des résultats à partir de données : la seconde tache permettant de faire la première, la première est dépendante de la seconde et la seconde sans la première dans pas de finalité réelle (exception faite pour les questions d’archivages).

Pour moi, il s’agit là d’une formidable aventure que la communauté des digital humanities, rassemblée autour du Manifeste, doit mener.

Crédits photos : Elodie Picard/CLEO-Revues.org – Licence Creative Commons : Attribution-NonCommercial-NoDerivs 2.0 Generic

THATCamp Paris 2010 : la communauté des digital humanities de France s’organise

La première non-conférence française sur les sciences humaines et sociales numériques (digital humanities) se tient depuis hier matin et se poursuit aujourd’hui à Paris, sur une péniche entre la BNF et le ministère des finances Bercy : David contre des Goliats ? Non, pas réellement, cette communauté est très ouverte : c’est le THATCamp Paris 2010. Cette non-conférence regroupe des ingénieurs, des enseignants-chercheurs, des techniciens, des chercheurs, des prestataires de services venant du privé, des doctorants, des post-doc, des artistes qui ont envie et besoin de travailler ensemble pour concevoir des nouvelles méthodes de travail, de nouveaux outils hybrides (hyper mashup-é), de mélanger des métiers, construire des cyber-infrastructures itératives afin de donner du liant et du sens numérique aux projets de recherche en sciences humaines et sociales. Ces projets ont pour la plupart un volet numérique (ne serait-ce que la bibliographie mise en commun entre les chercheurs d’un projet) et de plus en plus de projet doivent diffuser à la fois les sources et résultats de leurs recherches. Donc, il y avait beaucoup de monde hier sur cette péniche et l’ambiance était très studieuse, sérieuse mais aussi très chaleureuse. J’ai eu le plaisir d’animer un atelier sur les fonds iconographiques numériques qui, j’espère, a été intense pour les participants (que je remercie au passage). Le compte-rendu de cette atelier sera diffusé en ligne, sur le wiki du THATCamp Paris 2010 et les grandes lignes serviront, sans doute, à construire le Manifeste qui sortira, entre autres choses, de cette non-conférence. A quand la prochaine édition ?

Le meilleur format de conservation des données numériques, c’est vous.

Got vient de publier un billet très intéressant sur le fait que la notion de format pérenne ne veut rien dire. Je suis entièrement d’accord et nous sommes plusieurs ingénieurs, dans les sciences humaines et sociales numériques, à partager cet avis. L’information, encodée dans un fichier numérique, est dépendante de la structure du format, de ses spécifications, des logiciels capables de lire ce format et d’offrir ainsi « une vue », à un instant T, sur l’information. Faire de l’édition en ligne, diffuser des données, nécessite d’être conscient de fragilité des formats dans le temps. Il est facile de l’être pour qui a déjà perdu des données importantes.
Cela dit, j’irai plus loin que Got.
Dans un cas extrême, un format ouvert, mais mal documenté ou dont la documentation n’a pas été bien maintenue dans le temps, peut être plus complexe à migrer qu’un format propriétaire. Pourtant les formats propriétaires sont liés au cycle de vie de plus en plus court des versions de leurs logiciels « maitres ». S’il est aujourd’hui possible de migrer, sans trop de problème, un fichier propriétaire de la version N à N+1 de son logiciel « maitre », il souvent difficile de faire du N+3 ou 4. Également, certains types de formats sont encore trop propriétaires : c’est le cas des fichiers 3D. Si le VRML, et son « successeur » le X3D sont ouverts et normalisés, ces formats n’occupent pas réellement la place de « format pivots », éligibles à un archivage à long terme de type OAIS : ils sont considérés comme « trop pauvres » par les modeleurs que les format 3D propriétaires de type .max de 3DS max pour cela. Il est d’ailleurs curieux que le VRML et le X3D soient vus comme des formats pivots alors qu’ils n’ont pas été créés pour cela. Souvent, des collègues non spécialistes me dise : « on fera une sortie VRML pour sauvegarde » : sont-ils conscient de l’appauvrissement de l’information entre un fichier max et VRML ? Les travaux du centre de ressources ArchéoVision du CNRS, dirigé par Robert Vergnieux, éclairera ces questions dans les années qui viennent par la création du conservatoire des données 3D du patrimoine.

Formats ouverts, formats propriétaires… maintenir l’accès à l’information est avant tout une histoire de veille technologique humaine et de conseils aux utilisateurs et aux décideurs. Il est aussi important de dire clairement pourquoi un format ouvert peut être, à un moment de son évolution, moins bon pour l’archivage numérique à long terme. Un format bien documenté ne sert a rien si personne n’en suit les évolutions et les usages. Il faut des équipes qui « suivent » les choses dans le temps : l’archivage à long terme des données déposés dans HAL a mobilisé plusieurs équipes formées d’archivistes, d’informaticiens, de chercheurs en amont même !

Ainsi, le meilleur « format » numérique de conservation ne sert-il pas l’humain ?

Stéphane.

Sciences humaines et sociales numériques

Bonjour,
Très prochainement, deux évènements vont avoir lieu dans le monde des sciences humaines et sociales numériques (cette expression fait encore débat pour la version française du terme digital humanities) : le THATCamp Paris 2010 (Paris, 18/19 mai 2010) et la formation sur la gestion numérique des sources de la recherche en sciences humaines et sociales (Aussois, 11/15 octobre 2010) et dont le wiki va être ouvert dans quelques jours sur le site www.digitalhumanities.fr. Ces évènements sont importants. Ils montrent le mouvement actuel d’organisation des shs numériques. Les acteurs du domaine, institutionnels mais aussi informels structurent ce vaste « eldorado ». Depuis deux, trois ans, les actions de formation mais aussi de nombreux ateliers et séminaires se sont multipliés partout en France et les acteurs du domaine, chercheurs, informaticiens, documentalistes et bibliothécaires travaillent de plus en plus en coopération. Des utilisateurs vont à la rencontre de plateformes, services et des communautés de veilleurs naissent et diffusent via de « nouveaux » canaux. Récemment, une collègue de la bibliothèque universitaire de Lyon 1 a présenté sa démarche et son parcours pour la création d’une photothèque utilisant comme réservoir de données MédiHAL. Même si MédiHAL évolue petit à petit, suite aux critiques, conseils, retours des utilisateurs, je suis très heureux de voir que cette application est aussi utilisée en tant que simple conteneur de données. Le projet de la BU de Lyon 1 n’utilise les possibilités de l’OAI-PMH (avec moissonnage du dc:terms par exemple), il utilise cependant MédiHAL comme un simple conteneur (archivé à long terme très bientôt) ainsi il me tarde de voir les premières applications documentaires ou sites web qui viendront moissonner tel ou tel « sets » (collections) OAI-PMH de MédiHAL. Les sciences humaines et sociales numériques comme dirait Lou Burnard sont en pleine évolution : les applications sont en plein « mashup-age », l’archivage à long terme devient une réalité pour les données des SHS et bientôt, sans doute, les résultats de la recherche seront connectés aux matériaux sources de la recherche.

Stéphane.

Tout ce qu’il reste à faire…

Le développement de l’archive ouverte MédiHAL fut court, 3 mois en tout et avec une toute petite équipe (3 personnes). Même si nous avons largement utilisé le framework HAL, il reste plein de choses à faire, à améliorer, à reprendre, à redessiner et à écouter les chercheurs, documentalistes et bibliothécaires qui déjà par dizaines nous ont écrit pour nous encourager, nous demander conseil avant de se lancer. Ils nous ont aussi dit que MédiHAL est une bonne chose à l’heure des départs massifs en retraite dans le monde de la recherche. Certains nous ont demandé des choses précises, d’autre nous ont signalé des bugs, etc.
Je suis très heureux de voir que des développeurs nous ont demandé l’accès à l’api de HAL pour développer des widgets de chargement de masse et de visualisation. Au cours des prochains mois, MédiHAL trouvera petit à petit son rythme et je tiens à remercier toutes les personnes qui nous ont contactées. Elles ont exprimé leurs critiques, positives ou négatives, et leurs doutes et/ou un soutien. Certains déposeront dans quelques semaines ou quelques mois, ils sont les bienvenues.

Bon dimanche.

Stéphane.

MédiHAL : une photo pour une archive ouverte de photographies scientifiques

Mari, Tell Hariri Couple assis et buste d'un personnage barbu Syrie, Syria n° d'inventaire : 01105, Ifpo Institut Français Du Proche-Orient

Après quelques mois de travail avec l’équipe du Centre pour la communication scientifique directe (CCSD, www.ccsd.cnrs.fr) du CNRS, j’ai le plaisir de vous annoncer la création de MédiHAL : une archive ouverte de photographies et d’images scientifiques.

En juin 2006, dans les début du CN2SV, Fabrice Melka (du Cemaf-CNRS) et moi-même avions rédigé un projet qui jetait les bases de ce projet. A l’époque nous avions appelé cela « AOPS » : pour Archive Ouverte de Photographies Scientifiques. A l’époque nous pensions développer cela entre nous au CN2SV, comme nous l’avons fait notre autre plateforme AOMS, mais très rapidement nous avons compris qu’il nous fallait une équipe pour nous aider à réaliser ce projet qui nous tenait à cœur.

MédiHAL utilise le logiciel HAL qui est utilisé en France pour l’archive ouverte HAL. dont nous avons retravaillé le modèle de métadonnées. MédiHAL permet de cataloguer, géo-référencer et indexer les images et c’est Shadia Kilouchi, documentaliste contractuelle au CNRS, travaillant au CN2SV, qui a réalisé ce travail de modélisation et de réflexion documentaire en relation avec un grand nombre de collègues du CNRS et des universités. Je suis très heureux de voir que ce projet a mobilisé pour son élaboration des documentalistes, des développeurs, des chercheurs, qui ont travaillé ensemble autour de cette idée. Je remercie tous ceux qui nous ont aidé et qui supportent MédiHAL.

Dans un premier temps, MédiHAL est un réservoir de données pour les chercheurs et les enseignants qui souhaite archiver leurs images et permettre leur diffusion. Nous avons plus travailler sur le premier point, qui nous simple être un peu l’urgence aujourd’hui. Mais nous souhaitons petit à petit, selon les demandes, améliorer les outils et services pour la diffusion des images dépôts. A terme, j’espère que cette archive ouverte sera utilisée pour diffuser des corpus de chercheurs et de laboratoires. Nous encourageons les chercheurs qui ont souvent fait pendant plusieurs décennies des photos, pour leurs travaux de recherche, a les déposer dans MédiHAL  afin de les sécuriser (trop de disques durs et d’ordinateurs s’arrêtent sans prévenir, non ?) et de les diffuser (dans le respect des droits d’auteurs et des personnes).

Pour finir, la petite histoire de l’illustration du site MédiHAL. J’ai utilisé une photo que j’ai faite en juillet 2008, dans le centre de documentation/photothèque REGARDS (Pessac), Université de Bordeaux – CNRS. Il s’agit d’un meuble permettant de ranger un fichier de notices décrivant des photographies de géographie. Ce fichier est celui de la photothèque du CEGET, ancien laboratoire de recherche du CNRS. Il s’agit d’un « MédiHAL local » de l’époque…

banque d'images du CEGET - CNRS

Interopérabilité : faire des choix, échanger, gérer le temps

Interopérabilité : faire des choix

L’inconvénient du Dublin Core simple (DC Elements Set) est qu’il nivelle « vers le bas » la richesse de nos bases de données : tous les professionnels de l’information scientifique le savent. Mais cependant, l’exposition de métadonnées en DC simple permet un exercice très intéressant lorsque l’on construit une base de données que l’on souhaite interopérable (via OAI-PMH principalement) : Qu’est-ce qui est important de diffuser, de mes données, puisque je n’ai que 15 champs pour le faire avec le DC simple ?

Je ne me m’empêcher d’oser faire le parallèle avec une technique utilisée lors que l’on étudie les textes du Moyen-Âge et qui est enseigné à l’Université : L’analyse. Je me souviens de mes TP de 2eme année de DEUG d’histoire du Moyen-Âge à Bordeaux, ou la chargée de cours nous disait : « faites comme si vous alliez perdre le texte et donc rédigez un texte, plus court, plus simple, qui en trace les grandes lignes du contenu ». Donc, je dois projeter de l’information venant d’une base de données vers du DC simple, j’ai toujours l’impression de faire une analyse. Comment donner envie au lecteur de cliquez pour aller voir le texte complet, la collection d’images, etc. ? Dans le monde informatique, ce travail là est souvent nommé « mapping » et l’on entend donc « faire un mapping ». Il s’agit de faire des choix, exemple :

Si dans ma base de données j’ai deux champs pour décrire un auteur – un pour le prénom et un pour le nom – je vais par exemple les regrouper dans un seul champs DC simple (du type dc:creator) sous une forme qui sera un choix, ex. : dc.creator:Pierre MARTIN ou bien, autre choix : dc.creator:MARTIN P. ; dans tous les cas, je fais un choix qu’il faudra que j’assume (ce choix peut être collectif ou s’appuyer sur des règles de présentation normalisées, qui, suivant ma communauté m’y aidera fortement). Mais j’insiste sur ce fait : je fais un choix.

Interopérabilité : échanger (suis-je seul ?)

Souvent, dans les projets de recherche, le temps consacré à la modélisation de la base de données fait la part belle à la structuration riche de l’information à traiter : c’est normal. Mais parfois je pense qu’il est intéressant de travailler aussi et de façon importante, sur un modèle de diffusion et/ou d’interopérabilité utilisant le DC simple. Cela permet de faire des choix différents et surtout cela entraine un temps « de respiration documentaire » dans la conception qui permet de se poser une autre question : suis-je seul à faire ce type de base de données ? J’encourage tous les chercheurs que je croise à prendre le temps pour se poser cette question lors qu’ils sont en phase de démarrage d’un projet (et de trouver surement des collègues qui ont déjà travaillé sur ces questions de modélisation). J’aime bien cette idée car elle donne aussi du sens à l’interopérabilité des métadonnées. J’encourage aussi les chercheurs qui font des bases de données de publier systématiquement les choix qu’ils ont fait en matière d’interopérabilité et de les dater. Cela permet de voir les versions successives du travail. L’interopérabilité sert à cela aussi : à ne pas être seul.

Interopérabilité : le temps

Faire des choix en matière d’édition électronique de bases de données, c’est accepter le principe qu’une base peut être diffusée via plusieurs vecteurs ayant une granularité différente et évolutive dans le temps. Il est possible, après être passé par la case « DC simple », de vouloir d’autres types de structuration des métadonnées, par exemple du MODS, ou du MIX pour les métadonnées techniques d’une images (ou de l’IPTC-Core pour les métadonnées descriptives) ou plus naturellement du DC Terms. DC Terms élargi le DC simple en lui adossant d’autres champs possibles, il est plus riche. Pour faire cela, il faudra faire d’autres mapping, d’autres « analyses » et donc assumer d’autres choix. Cette évolutive possible, dans la façon de diffuser des métadonnées et donc les données numériques qui y sont attachées, donne une nouvelle responsabilité aux producteurs/éditeur de base de donnée qui sont souvent les chercheurs : ces objets ne sont pas figés une fois publiés, il faut les entretenir : refaire des choix, étendre les jeux de structuration, etc. L’interopérabilité c’est aussi la gestion du temps vis à vis de son corpus de donnée.

Images, métadonnées et encapsulage XMP ou IPTC

Bonjour,

J’utilise, depuis quelques temps, Exiftool pour encapsuler de l’information, sous la forme de métadonnées IPTC/IIM ou XMP, dans des images fixes. Pour pouvoir traiter un très grand nombre d’images, j’ai améliorer un petit programme en PERL qui permet, depuis un fichier de type texte structuré (un tableau de données donc), d’écrire des informations sous la forme de métadonnées embarquées dans l’image. Dans la mise en place de corpus en SHS, l’utilisation des programmes en PERL n’est plus « à la mode » à l’heure du tout web : c’est dommage car ce langage est très pratique pour traiter de gros volume de données.

Le programme en question est simple : pour chacune des images, il encapsule les informations structurées correspondantes. ces informations sont présentes sous forme de lignes dans le tableau. Les champs, qui structure les informations, sont déterminés par les colonnes du fichier. C’est pour cela que j’utilise le format CSV (Comma-separated values) pour mon petit tableau. Les informations sont donc disposées de la façon suivante :

Cals

La 1ère ligne contient principalement le nom des champs IPTC (title, date, etc.) ou XMP. Je renvois le lecteur au site de Ph. Harvey qui liste l’ensemble des type de champs qu’il possible de gérer avec Exiftool.

A partir de ce tableau et avec le programme PERL, il est donc possible d’écrire les informations, selon leurs champs, dans chacune des images listée dans la première colonne.

Pour faire fonctionner ce petit programme PERL, que j’ai nommé cn2sv-CSVtoXMP.pl, il faut un environnement PERL installé sur son ordinateur. Sous Linux ou Unix, PERL est en standard. Sous Windows, je conseille d’installer le logiciel Active Perl. Il suffit de l’installer à la racine de C:\. (dans C:\Perl par exemple). Il est important d’installer Active Perl avec toutes ses options.

Il faut ensuite créer, par exemple, un répertoire « C:\Perl\eg\CSVtoXMP » et y mettre le contenu de cette archive zip que j’ai préparé pour plus de facilité et qui contient :

  • un répertoire « lib » contenant les librairies perl
  • un répertoire « img » contenant les images à traiter
  • le script exiftool-CSVtoXMP.pl qui va faire le travail
  • le programme exiftool.pl (version PERL d’exiftool) de Ph. Harvey
  • le fichier data.csv contenant les méta-données à en-capsuler dans les images

Redémarrez ensuite votre ordinateur.

Une fois le fichier data.csv conforme avec vos besoins. Il suffit de lancer l’outil en utilisant une ligne de commande sous DOS (ou Linux). Sous windows, « démarrez »> »Executer »> »cmd » ; puis « cd Perl\eg\CSVtoXMP ». Ensuite vient le temps du lancement du programme à proprement parlé : exiftool-CSVtoXMP.pl data.csv img ou « exiftool-CSVtoXMP.pl » = le nom de l’outil ; « data.csv » = le nom du fichier csv ; « img » = le nom du répertoire contenant les images.

Bon encapsulage de métadonnées ! Pour les plus mordus, je met ci-dessous le code PERL de Ph Harvey que j’ai utilisé et simplifié.

#!/usr/bin/perl -w
use strict;
BEGIN {
# add script directory to include path
my $exeDir = ($0 =~ /(.*)[\\\/]/) ? $1 : '.';
unshift @INC, "$exeDir/lib";
}
use Image::ExifTool;

my $txt = shift or die
"Lancement du script : exiftool-CSVtoXMP.pl 
NOMDUFICHIERCSV [NOMDUREPERTOIREDESIMAGES]\n";

open FILE, $txt or die "Erreur d'ouverture de $txt\n";
my $dir = shift || '';
$dir .= '/' if $dir;

my $exifTool = new Image::ExifTool;
my @tags;
while (<FILE>) {
chomp;
# split up values found in this line (assume tab delimiter)
my @values = split /\t/, $_;
next unless @values;
unless (@tags) {
$values[0] eq 'filename' or die "'filename' introuvable\n";
shift @values;
@values or die "Pas d'attribut\n";
@tags = @values;
print "Enregistrement des attributs : @tags\n";
next;
}
my $file = $dir . shift(@values);
unless (-e $file) {
warn "$file non présent\n";
next;
}
@values >= @tags or die "Pas de valeur pour l'attribut : $file\n";
my $tag;
$exifTool->SetNewValue();   # clear old values
# set new values for all tags
foreach $tag (@tags) {
my $val = shift @values;
$exifTool->SetNewValue($tag, $val);
}
# update the file
my $result = $exifTool->WriteInfo($file);
if ($result == 1) {
print "$file mise à jour\n";
} elsif ($result == 2) {
print "$file non mise à jour\n";
} else {
print "$file - erreur d'écriture!\n";
last;
}
}
# end

Bon dimanche.

Stéphane.

De l’interopérabilité au web de données

J’ai eu la chance de participer à l’Université d’été de l’édition électronique (Marseille, 7-11 septembre 2009) où j’ai parlé d’interopérabilité et de circulation de l’information scientifique et technique. J’ai axé mon propos sur le fait que l’interopérabilité des données est peut-être la première marche vers la mise en place du web de données. Il est probable que pour faire le web de données il nous faille passer d’abord par un web des données (comptons aussi un peu sur les institutions françaises pour cela) même si l’appropriation et l’utilisation de standards communs est de plus en plus naturel et que l’utilisation du Dublin Core Element Set ne fait plus réellement débat dans la communauté  scientifique. Gautier Poupeau a présenté dans un billet une mise au point entre la notion de web sémantique et celle de web de données qui résume assez bien ma vision des choses sur ce que le web de données pourrait être et pourquoi il est important que les professionnels de l’information scientifique et technique soient dans ce train là.

Le web de données c’est la réalisation d’une base de données mondiale ou les données sont-elles même sur le réseau (et pas juste leurs méta-données). En discutant avec des chercheurs, collectant des données et les stockant sur leurs petits disques dur dans leurs bureaux, j’ai envie de leur dire à la façon de Tim Berners Lee : « libérez vos données ! mettez-les sur le réseau ! vous faites des images ? renseignez bien vos champs de description IPTC-Core et mettez vos images sur le réseau ! ». Bien sur, il y a 1.000.000 de raisons pour qu’ils ne le fasse pas : ils ont une recherche en cours que le voisin veut surement leur voler, ils pensent que seul l’article final leur permettra d’être (re)-connus, et peut-être, ce ne sont pas leurs photos. Les documentalistes, bibliothécaire, archivistes ont un rôle majeur dans la réalisation d’un web qui contiendra des données « brutes » (certains disent primaires, factuelles, de terrains, d’enquêtes, etc.). Je renvois au projet data.gov ou nous imaginons bien le travail d’IST qui peut s’y développer. Construire le web de données nécessite de structurer les données avant qu’elles n’existent parfois. Dans les Sciences humaines et sociales, il faut aider les chercheurs – dont le volet technique, normatif, informatique n’est pas le métier – a le faire. Il faut leur expliquer, ce que j’aurai sans doute pu mieux faire à Marseille, que l’augmentation de la masse des données brutes, maintenant accessible, permet aux chercheurs de travailler sur des corpus plus larges, mieux documentés.

L’interopérabilité des données c’est mettre en œuvre une politique scientifique et technique permettant :

  • de rendre (plus) accessible ces propres données dans un maximum de langages documentaires partagés par le plus grand nombre ;

  • de garantir l’accessibilité de ces données dans temps : ceci pour la citabilité des données dont la privatisation, par le DOI par exemple, pourrait avoir des conséquences dramatiques. Je milite là pour une évolution des identifiants OAI ou autres vers de véritables identifiants pérennes et uniques, garantis par un organisme international type UNESCO ;

  • de faire vivre des données numériques : ajout de classifications, de schémas de description (documentaires dans un premier temps), prise en charge de pérennité des données par le développement de formats pivots pour la préservation ;

Ces trois items sont, pour moi, les trois piliers de l’interopérabilité des données dans une optique future du web de données. Aujourd’hui, il nous est difficile de sortir du carcan de la pensée documentaire comme dirait Got car les méthodes, techniques et outils qui sont enseignés correspondent encore au monde d’avant le web et nous n’avons pas encore d’outils de masse pour le monde d’après le web, mais ils arrivent et il nous faut faire œuvre de pédagogie. En attendant, nous chérissons nos méta-données. Il nous faut nous interroger sur l’encapsulation des méta-données descriptives dans les données (étape n°2 sur le chemin du web de données ?), mais aussi comment signaler à nos machines que la description d’une image est là au milieu des bits de l’image.

L’interopérabilité des données entre machines, via des méta-données, est la première marche, le premier pas vers le web de données. Si plusieurs techniques existent, l’OAI-PMH couplé aux descriptions en Dublin Core, représente le plus souvant le volet technique, informatique de l’interopérabilité des données aux yeux des professionnels de l’IST. La mise à plat des méta-données, dans l’OAI-PMH, a un avantage : il met à plat réellement les méta-données et nous oblige à repenser le rapport entre données, méta-données et le fait que, avec l’OAI-PMH, ce qui en sort, c’est du XML et pas une page web en HTML. On utilise le web pour faire autre chose que du HTML et des « pages » ; tout en se gardant la possibilité d’en faire, le web muterait-il ?. Nous faisons des flux de méta-données dans un langage pour des machines (aujourd’hui c’est du XML, mais demain…) : le web n’est pas que le territoire du HTML, il devient dynamique, il est un flux. Avec l’OAI-PMH, ce qui sort, c’est du flux XML (fluxml, cela fait vieux médicament) et pas une page web, pourtant il y a dedans de l’information mais nous échangeons juste de l’information sur la données, il nous faut aller plus loin. L’interopérabilité des données c’est presque un web des données.

Le mouvement est-il en marche ? Le réseau national des documentalistes du CNRS organise en octobre 2009 trois jours autour de l’OAI-PMH et j’espère son évolution future OAI-ORE. En 2010 aura lieu une seconde école thématique, très pratique, sur les sources numériques et l’interopérabilité des données. Ces sessions de formation continue sont bien évidement le reflet de ce qui se passe dans les IUT et à l’Université. Il me semble que ces éléments en sont des signes favorables.

Diffusion et édition de bases de données (1)

Bonjour,

La construction des savoirs passe par l’échange, la discussion, la critique et le partage. A l’heure ou l’on utilise la compétition entre les acteurs du monde des sciences pour démanteler les structures recherche, de plus en plus de données : primaires, secondaires ou/et tertiaires sont diffusées ou éditées en ligne sur le web. Dans un précédent billet je tentais, assez maladroitement, de dresser une mini chronologie des digital humanities « à la française » comme dirait Lou Burnard et ce depuis l’arrivée du vecteur web. Ce découpage n’est pas si simple car les acteurs des SHS ne sont pas tous dans une case bien précise. L’appropriation des méthodes et des bonnes pratiques de l’édition électronique sur support web est très inégale et la notion même « d’édition électronique » fait débat : beaucoup de chercheurs dissocient même l’action « d’éditer » du monde du web : un peu comme si le web ne méritait pas d’avoir ses éditeurs et l’idée même de qualité dans l’édition électronique semble parfois impossible à imaginer chez certains. Il faut donc faire œuvre de pédagogie et reprendre nos bâtons d’évangélisateurs pour diffuser les bonnes pratiques de ce domaine, savant mélange de ce qui se fait ailleurs et de ce que nous savons faire de façon collective.

Lors d’une journée d’information organisée par le Centre national de la recherche scientifique (CNRS) à Ivry-sur-Seine, Thierry Buquet, webmaster de l’Institut de recherche et d’histoire des textes (l’IRHT est un laboratoire du CNRS), réalisa un état de l’art de l’édition électronique dans les SHS en 2009 : il indiquait alors le fait que certains « chercheurs éditent des bases de données ». Dans le trop petit monde des humanités numériques, tout le monde comprend presque instantanément ce que cela veut dire et implique et surtout le fait que l’action d’éditer une BDD revient à fabriquer une « vue », un « regard » sur des méta-données ou des données, à un instant « T » : ce sont ces vues qui sont éditées. Les données ont pu être collectées il y a très longtemps, ou bien hier, et elles vont continuer à évoluer dans le temps. Il faudra les pérenniser, les archiver un jour… Ainsi la BDD est un réservoir dont l’une des vocations est de donner accès à de l’information au travers de méta-données (notices bibliographiques par exemple) ou directement de « données brutes » (des données spatiales, des données historiques, etc.) soit à un moment « T » via une édition électronique statique (PDF, etc.), soit via un accès « en flux » via une interface web de recherche par exemple ou via un flux d’information de type syndication (RSS, Atom, etc.), nous pouvons parler là d’édition dynamique des données. Dans ce dernier cas, les informations sont rendues accessibles juste après validation par le chercheurs ou du moins celui qui a l’autorité de valider des informations, mais le contenu de la BDD est vivant : de nouvelles données arrivent, certaines sont corrigées, d’autres supprimées (ce qui pose un problème pour les futurs historiens des sciences), etc. Il s’agit de bien faire la différence entre le fait de stocker de méta-données et des données et de mettre en place des moyens d’éditions de ces éléments. Éditer une BDD consiste donc à créer des vues, des regards, souvent multiples sur ensemble contenu dans un système d’information ou simplement dans un gestionnaire de bases de données.

Cependant, le flux n’est qu’une répétition de « vues à l’instant T » dont le cycle peut-être très court : quelques minutes, secondes, etc. Cette notion de diffusion des « informations en cours de traitement » (data in progress) est assez nouvelle pour les chercheurs des sciences humaines et sociales et elle peut être perçue de façon contradictoire par certains d’entre eux, plus habitués à communiquer seulement les résultats de la recherche qu’une combinaison de résultats étayés par les sources. Concevoir la BDD en SHS comme un réservoir évolutif de méta-données ou de données et en éditer des vues à l’instant « T », permet d’associer à un article les information sources ayant été utilisées dans celui-ci. Cela permet aussi de diffuser plus largement des données vers d’autres collègues, etc.

Mais il y a un revers à la médaille : l’abandon de BDD après la publication finale d’une recherche (c’est le cas dans les projets ANR qui sont plus court que les grands programmes des années 70-90). Avec le numérique et l’obsolescence des formats, logiciels, etc. cela provoque (provoquera) une perte de données. Il faut donc réfléchir en amont à la pérennisation/archivage et aux valorisations futures des BDD construites sur le modèle réservoir/vues. Une piste pour anticiper ces questions : application de certaines méthodes de travail très simples :

  • études, rapport d’étonnement, veille
  • gestion de projets (scénarii pour atteindre l »objectif final, planning, budget)
  • étapes de travail (objectifs à atteindre)
  • validation intermédiaire (audits internes)
  • évaluation des risques

associée à :

  • l’utilisation de standards internationaux normalisés pour l’encodage des données
  • l’utilisation de formats « ouverts » (dont les algorithmes sont ouverts, libres, et bien documentés, etc.)
  • la réalisation d’un effort pour intégrer des outils structures mutualisées.

permet assez facilement de construire et de diffuser des BDD dans le domaine des SHS. Cette réflexion et cette mise en œuvre de solutions, dans les équipes de recherche SHS, c’est le métier des ingénieurs, assistants ingénieurs en humanités numériques, mais c’est aussi celui des documentalistes et e-documentalistes, des bibliothécaires, des informaticiens.

Comprendre cette notion de réservoir d’information prenant la forme de méta-données ou de données (data in progress) et la possibilité de créer des vues multiples – qui elles peuvent être éditées et liées à un ouvrage numérique ou un article – est un point fondamental dans le déroulement d’un programme de recherche. L’édition d’une BDD ne peut se limiter à la mise en place d’un formulaire de recherche, à l’élaboration d’une maquette graphique pour en visualiser les résultats et en faire la promotion ; il faut concevoir les BDD comme des réservoirs capables de diffuser des flux de méta-données ou de données ayant de multiples formes, mais utilisant des formats connus, standards, et donnant accès à de l’information évolutive et validée par versions progressives. Cela nous amènerait-il plus facilement vers le web de données ?

Bien sur toutes les BDD n’ont pas cette vocation, certaines sont uniquement personnelles : le temps d’un article ou d’un ouvrage, mais force est de constater que le nombre de BDD personnelles (sous FileMaker Pro par exemple), qui ont tendance à évoluer vers une BDD « pour le web », est en progression constante depuis quelques années. C’est bien pour la construction des collectives des savoirs et cela fait avancer l’idée de l’importance de la pérennisation des données : mais attention à ne pas déraper dans sens inverse.

Les BDD ne sont pas des livres, mais de nos jours, elles permettent d’en faire. Les BDD ne sont pas des livres et donc elles ne se posent pas, comme un livre, sur l’étagère d’une bibliothèque.

Dans la partie 2, je présenterai la notion d’interopérabilité entre les BDD, que je détaillerai lors de l’université d’été du Centre pour l’édition scientifique ouverte (CLEO).

Stéphane.

Des données brutes 2.0

L’administration Américaine a lancé data.gov : une plateforme d’accès aux données brutes de la santé, l’environnement, l’énergie, recherche, éducation. C’est très (trop?) ambitieux, voir utopique (mais il s’agit des USA) et d’ailleurs cet avis est partagé. Mais l’initiative est là et la plateforme déjà en ligne : il s’agit d’un projet hybride entre archives, recherche et accès. Ce projet, une récente discussion avec Got, croisée d’une journée avec les collègues du Centre de calcul de l’IN2P3-CNRS (qui héberge beaucoup de données issues des SHS), m’a conforté sur la notion et la nécessité de réservoirs de données brutes pour la recherche en SHS.

Ces réservoirs existent aujourd’hui dans les laboratoires de SHS, mais les données qu’ils contiennent sont souvent encore perçues comme des données « privés », réservées aux chercheurs locaux. Il est vrai qu’ils les ont collectées ou générées et ce travail n’est pas réellement reconnu dans le parcours d’un chercheur alors qu’il est fondamental. Ces données « pour la recherche » ont donc souvent tendance à « mourir » au fond de nos disques durs faut d’une infrastructure double : archivage des données (pour l’histoire), diffusion des données « brutes » et pas forcement éditorialisées dans une publication électronique académique mais mise à disposition de la communauté scientifique comportant un minimum d’appareil éditorial basé sur le Dublin Core Terms par exemple.  D’autant que souvent, ces données ont été collectées ou générées sur fonds publics (ne serait ce que le salaire du chercheur).

Bien sur, il faut pondérer ici le fait que certaines données sont sensibles de part leur nature et que la mise à disposition ou la diffusion est complexe et nécessite des barrières mobiles parfois très longues.

En france, il existe des initiatives intéressantes, encore trop peu soutenues financièrement, mais cela avance, cela se structure et des formations, pour les chercheurs et enseignants-chercheurs, voient le jour tel que l’université d’été de l’édition scientifique ouverte, qui aura lieu en septembre 2009, ou bien l’école thématique des centres nationaux de ressources numériques du CNRS dont le wiki est en ligne avec toutes les communications, les bibliographies numériques, en ligne, etc.

Alors, en ce mois de juillet, j’ai envie de dire : « ouvrez vos données à vos collègues et au monde » et j’espère aussi, soyons fou, un donnees.gouv.fr ?

Il est temps, dirons certains, que je parte en vacances.

Stéphane.

Avoir le temps

Bonjour,

Le sp.Blog est-il mort ? Mon silence actuel est proportionnel au temps que je passe à faire mon vrai métier d’ingénieur d’études qui ressemble parfois, et de plus en plus, à un chemin de croix, doublé d’un slalom géant avec des tireurs d’élites postés dans les sapins. Accompagner la recherche est un métier passionnant, surtout quand vous travaillez dans la structuration d’un domaine tel que le mien et nouveau en France, les digital humanities. L’apport du numérique dans la recherche en SHS change une chose principale : le rapport au temps.  Il est dur de résister aux sirènes de la communication scientifique directe immédiate, aux projets de recherche « flash », etc. Donc, maintenir un projet structurant long, faire de l’appropriation de modèles, de techniques et d’outils, suivre des dizaines de projets quand l’équipe de recherche n’existe plus, bichonner un site ou un serveur web orphelin de ces pères fondateurs, etc. n’est pas choses très évidente. Bref, ce que le numérique change c’est le temps.

Vous l’aurez compris, j’ai donc moins de temps.

Stéphane.

digital humanities in Orleans

Bonjour,

Tout en préparant un billet (depuis noël, aie aie aie) sur un outil d’encapsulage des méta-données dans une image avec les possibilités offertes par le format XML couplé à du Dublin Core, j’ai eu l’honneur d’intervenir dans le séminaire de recherche sur l’édition électronique et les digital humanities nouvellement créé par Richard Walter à l’Institut de Recherche et d’Histoire des Textes du CNRS (Orléans). J’ai partagé la première séance de ce séminaire avec Michel Jacobson (DAF ; CNRS), responsable du Centre de Ressources pour la Description de l’Oral (Paris), un centre de ressources numériques du CNRS au même titre que celui que j’anime sur les données iconographiques. Un compte-rendu de ce séminaire a été écrit par Constance Krebs dans son blog amontour.net. Les digital humanities « à la française » comme dirait lou burnard avancent encore un peu, se structurent, réfléchissent et je pense dans le bon sens.
A bientôt pour parler XMP, Dublin Core et Perl.

Stéphane.

Digital humanities en France : le temps des pionniers

L’Université d’été du TGE ADONIS (Lyon, 3-5 septembre 2008) est la première réunion structurante de la communauté des digital humanities (digital humanities) en France. Elle est probablement le point de départ d’un formidable travail commun, à un niveau national, que l’ensemble des acteurs de ce domaine s’efforcent de construire avec le soutien de certains grands acteurs nationaux tel que le Centre national de la recherche scientifique mais également avec l’appui de collègues étrangers.

Pour la première fois, les producteurs de données numériques, les éditeurs électroniques, certaines institutions de recherche, des chercheurs, des ingénieurs et des centres de calcul et de stockage de données étaient réunis afin de réfléchir à l’amélioration des accès aux documents numériques primaires (sources) et secondaires (publications, revues, ouvrages numériques ; archives ouvertes d’articles).

Les digital humanities, discipline ancienne1 finalement, offrent aux chercheurs et aux enseignants des méthodes, des processus de travail, des briques technologiques et des outils, des infrastructures dédiées leurs permettant de structurer les matériaux afin de mieux les appréhender sur le plan scientifique. Actuellement, l’environnement de la recherche en SHS devient numérique : les données pour la recherche (primaires et secondaires) sont accessibles de façon numérique, certains documents sont nativement des originaux numériques (photographie, données d’IRM en anthropologie, etc.) ; les catalogues de bibliothèques et d’archives sont presque tous « en ligne » et il devient possible de commander des copies numériques de documents ; le bureau du chercheur/enseignant est numérique (missions, rapports, emails, cours, environnement numérique de travail dans les Universités) devient numérique. Faites la somme des services numériques que vous utilisez sur une semaine et vous verrez. La recherche en SHS, comme partout, utilise le numérique. Certains projets de recherche multi-équipes, géographiquement éclatés, ne pourraient pas fonctionner si des outils de partage de données, d’annotations croisées, de visio-conférences, n’existaient pas. Il est toujours possible de travailler seul, en bibliothèques ou en archives, avec du papier, pour le coté « vintage », presque une image d’épinal, mais l’ordinateur portable est aujourd’hui un classique. J’inclus dans le coté « vintage » l’utilisation du numérique pour reproduire le modèle de la bibliothèque : il y aurait danger à ce contenter de cet horizon car les digital humanities doivent aller plus loin et cela passe par le développant de services fonctionnels qui ne pourront être que collectifs à l’image des grandes infrastructures des sciences physiques. L’évolution des digital humanities se fait pas palier et l’école d’été du TGE ADONIS en est un selon moi. Ceci m’amène à réfléchir sur les différents « époques » de l’évolution de cette discipline, quels sont les ages des digital humanities en France ?

  • L’époque 1 correspond à la migration de la bibliothèque du réel au virtuel par la numérisation et par l’utilisation d’un vecteur : le web (mettre le catalogue en ligne ; mettre des données en ligne en liaison avec ce catalogue) ; c’est la gallicalisation des bibliothèques.
  • L’époque 2 débute avec l’XML-isation des corpus textuels et iconographiques : TEI ou XMP encapsulé dans de l’EAD ou du METS et exposé via de l’OAI-PMH. Cette époque est aussi celle du « CMS roi » et de la base de données utilisant des SGBDR open-source pour le stockage des données et méta-données : souvent pour palier les faiblesses du XML en la matière.
  • L’époque 3 est/sera celui des grilles : grilles de données (virtualisation) ; grille de calcul (dont le besoin en archéologie 3D est déjà une réalité) ; grilles logicielles et ESB (pour Enterprise Service Bus) tel que nous le réalisons dans le cadre du TGE ADONIS.
  • L’époque 4 sera (peut-être, sûrement même) celui du web des machines qui échangerons du sens (voir les travaux de Got).

La particularité des digital humanities est que tout le monde n’est pas obligé de changer « d’époque » en même temps, il y a des temps différents qui ont tendance à créer des sous-époques. Mais globalement, sur le plan collectif, je pense que nous sommes entre l’époque 2 et 3.

Stéphane.

1 Je renvois le lecteur à la présentation de Lou Burnard lors de l’école thématique du CNRS de Fréjus organisée par les centres des ressources numériques CN2SV, TELMA et CRDO disponible sur www.cn2sv.cnrs.fr/ecole-sources-num