Le meilleur format de conservation des données numériques, c’est vous.

Got vient de publier un billet très intéressant sur le fait que la notion de format pérenne ne veut rien dire. Je suis entièrement d’accord et nous sommes plusieurs ingénieurs, dans les sciences humaines et sociales numériques, à partager cet avis. L’information, encodée dans un fichier numérique, est dépendante de la structure du format, de ses spécifications, des logiciels capables de lire ce format et d’offrir ainsi « une vue », à un instant T, sur l’information. Faire de l’édition en ligne, diffuser des données, nécessite d’être conscient de fragilité des formats dans le temps. Il est facile de l’être pour qui a déjà perdu des données importantes.
Cela dit, j’irai plus loin que Got.
Dans un cas extrême, un format ouvert, mais mal documenté ou dont la documentation n’a pas été bien maintenue dans le temps, peut être plus complexe à migrer qu’un format propriétaire. Pourtant les formats propriétaires sont liés au cycle de vie de plus en plus court des versions de leurs logiciels « maitres ». S’il est aujourd’hui possible de migrer, sans trop de problème, un fichier propriétaire de la version N à N+1 de son logiciel « maitre », il souvent difficile de faire du N+3 ou 4. Également, certains types de formats sont encore trop propriétaires : c’est le cas des fichiers 3D. Si le VRML, et son « successeur » le X3D sont ouverts et normalisés, ces formats n’occupent pas réellement la place de « format pivots », éligibles à un archivage à long terme de type OAIS : ils sont considérés comme « trop pauvres » par les modeleurs que les format 3D propriétaires de type .max de 3DS max pour cela. Il est d’ailleurs curieux que le VRML et le X3D soient vus comme des formats pivots alors qu’ils n’ont pas été créés pour cela. Souvent, des collègues non spécialistes me dise : « on fera une sortie VRML pour sauvegarde » : sont-ils conscient de l’appauvrissement de l’information entre un fichier max et VRML ? Les travaux du centre de ressources ArchéoVision du CNRS, dirigé par Robert Vergnieux, éclairera ces questions dans les années qui viennent par la création du conservatoire des données 3D du patrimoine.

Formats ouverts, formats propriétaires… maintenir l’accès à l’information est avant tout une histoire de veille technologique humaine et de conseils aux utilisateurs et aux décideurs. Il est aussi important de dire clairement pourquoi un format ouvert peut être, à un moment de son évolution, moins bon pour l’archivage numérique à long terme. Un format bien documenté ne sert a rien si personne n’en suit les évolutions et les usages. Il faut des équipes qui « suivent » les choses dans le temps : l’archivage à long terme des données déposés dans HAL a mobilisé plusieurs équipes formées d’archivistes, d’informaticiens, de chercheurs en amont même !

Ainsi, le meilleur « format » numérique de conservation ne sert-il pas l’humain ?

Stéphane.

Diffusion et édition de bases de données (1)

Bonjour,

La construction des savoirs passe par l’échange, la discussion, la critique et le partage. A l’heure ou l’on utilise la compétition entre les acteurs du monde des sciences pour démanteler les structures recherche, de plus en plus de données : primaires, secondaires ou/et tertiaires sont diffusées ou éditées en ligne sur le web. Dans un précédent billet je tentais, assez maladroitement, de dresser une mini chronologie des digital humanities « à la française » comme dirait Lou Burnard et ce depuis l’arrivée du vecteur web. Ce découpage n’est pas si simple car les acteurs des SHS ne sont pas tous dans une case bien précise. L’appropriation des méthodes et des bonnes pratiques de l’édition électronique sur support web est très inégale et la notion même « d’édition électronique » fait débat : beaucoup de chercheurs dissocient même l’action « d’éditer » du monde du web : un peu comme si le web ne méritait pas d’avoir ses éditeurs et l’idée même de qualité dans l’édition électronique semble parfois impossible à imaginer chez certains. Il faut donc faire œuvre de pédagogie et reprendre nos bâtons d’évangélisateurs pour diffuser les bonnes pratiques de ce domaine, savant mélange de ce qui se fait ailleurs et de ce que nous savons faire de façon collective.

Lors d’une journée d’information organisée par le Centre national de la recherche scientifique (CNRS) à Ivry-sur-Seine, Thierry Buquet, webmaster de l’Institut de recherche et d’histoire des textes (l’IRHT est un laboratoire du CNRS), réalisa un état de l’art de l’édition électronique dans les SHS en 2009 : il indiquait alors le fait que certains « chercheurs éditent des bases de données ». Dans le trop petit monde des humanités numériques, tout le monde comprend presque instantanément ce que cela veut dire et implique et surtout le fait que l’action d’éditer une BDD revient à fabriquer une « vue », un « regard » sur des méta-données ou des données, à un instant « T » : ce sont ces vues qui sont éditées. Les données ont pu être collectées il y a très longtemps, ou bien hier, et elles vont continuer à évoluer dans le temps. Il faudra les pérenniser, les archiver un jour… Ainsi la BDD est un réservoir dont l’une des vocations est de donner accès à de l’information au travers de méta-données (notices bibliographiques par exemple) ou directement de « données brutes » (des données spatiales, des données historiques, etc.) soit à un moment « T » via une édition électronique statique (PDF, etc.), soit via un accès « en flux » via une interface web de recherche par exemple ou via un flux d’information de type syndication (RSS, Atom, etc.), nous pouvons parler là d’édition dynamique des données. Dans ce dernier cas, les informations sont rendues accessibles juste après validation par le chercheurs ou du moins celui qui a l’autorité de valider des informations, mais le contenu de la BDD est vivant : de nouvelles données arrivent, certaines sont corrigées, d’autres supprimées (ce qui pose un problème pour les futurs historiens des sciences), etc. Il s’agit de bien faire la différence entre le fait de stocker de méta-données et des données et de mettre en place des moyens d’éditions de ces éléments. Éditer une BDD consiste donc à créer des vues, des regards, souvent multiples sur ensemble contenu dans un système d’information ou simplement dans un gestionnaire de bases de données.

Cependant, le flux n’est qu’une répétition de « vues à l’instant T » dont le cycle peut-être très court : quelques minutes, secondes, etc. Cette notion de diffusion des « informations en cours de traitement » (data in progress) est assez nouvelle pour les chercheurs des sciences humaines et sociales et elle peut être perçue de façon contradictoire par certains d’entre eux, plus habitués à communiquer seulement les résultats de la recherche qu’une combinaison de résultats étayés par les sources. Concevoir la BDD en SHS comme un réservoir évolutif de méta-données ou de données et en éditer des vues à l’instant « T », permet d’associer à un article les information sources ayant été utilisées dans celui-ci. Cela permet aussi de diffuser plus largement des données vers d’autres collègues, etc.

Mais il y a un revers à la médaille : l’abandon de BDD après la publication finale d’une recherche (c’est le cas dans les projets ANR qui sont plus court que les grands programmes des années 70-90). Avec le numérique et l’obsolescence des formats, logiciels, etc. cela provoque (provoquera) une perte de données. Il faut donc réfléchir en amont à la pérennisation/archivage et aux valorisations futures des BDD construites sur le modèle réservoir/vues. Une piste pour anticiper ces questions : application de certaines méthodes de travail très simples :

  • études, rapport d’étonnement, veille
  • gestion de projets (scénarii pour atteindre l »objectif final, planning, budget)
  • étapes de travail (objectifs à atteindre)
  • validation intermédiaire (audits internes)
  • évaluation des risques

associée à :

  • l’utilisation de standards internationaux normalisés pour l’encodage des données
  • l’utilisation de formats « ouverts » (dont les algorithmes sont ouverts, libres, et bien documentés, etc.)
  • la réalisation d’un effort pour intégrer des outils structures mutualisées.

permet assez facilement de construire et de diffuser des BDD dans le domaine des SHS. Cette réflexion et cette mise en œuvre de solutions, dans les équipes de recherche SHS, c’est le métier des ingénieurs, assistants ingénieurs en humanités numériques, mais c’est aussi celui des documentalistes et e-documentalistes, des bibliothécaires, des informaticiens.

Comprendre cette notion de réservoir d’information prenant la forme de méta-données ou de données (data in progress) et la possibilité de créer des vues multiples – qui elles peuvent être éditées et liées à un ouvrage numérique ou un article – est un point fondamental dans le déroulement d’un programme de recherche. L’édition d’une BDD ne peut se limiter à la mise en place d’un formulaire de recherche, à l’élaboration d’une maquette graphique pour en visualiser les résultats et en faire la promotion ; il faut concevoir les BDD comme des réservoirs capables de diffuser des flux de méta-données ou de données ayant de multiples formes, mais utilisant des formats connus, standards, et donnant accès à de l’information évolutive et validée par versions progressives. Cela nous amènerait-il plus facilement vers le web de données ?

Bien sur toutes les BDD n’ont pas cette vocation, certaines sont uniquement personnelles : le temps d’un article ou d’un ouvrage, mais force est de constater que le nombre de BDD personnelles (sous FileMaker Pro par exemple), qui ont tendance à évoluer vers une BDD « pour le web », est en progression constante depuis quelques années. C’est bien pour la construction des collectives des savoirs et cela fait avancer l’idée de l’importance de la pérennisation des données : mais attention à ne pas déraper dans sens inverse.

Les BDD ne sont pas des livres, mais de nos jours, elles permettent d’en faire. Les BDD ne sont pas des livres et donc elles ne se posent pas, comme un livre, sur l’étagère d’une bibliothèque.

Dans la partie 2, je présenterai la notion d’interopérabilité entre les BDD, que je détaillerai lors de l’université d’été du Centre pour l’édition scientifique ouverte (CLEO).

Stéphane.

digital humanities : le tournant et la eSHSgrid

L’école thématique sur la préservation et diffusion numériques des sources de la recherche en sciences humaines et sociales, organisée par les centres de ressources numériques du CNRS propose une formation aux humantiés numériques (digital humanities) en matière d’édition de sources pour la recherche scientifique en sciences humaines et sociales. Les 30 personnes qui sont ici suivent plusieurs ateliers sur l’informatisation des données manuscrites, iconographiques, orales.

La communauté des digitals humanities se structure, se parle, travaille. La mise en ligne de collections iconographies, la création d’entrepôts de données « images » et « visuelles » (y compris les modèles 3D) n’est plus envisagé sans la structuration de l’information : fichiers RAW, fichiers TIF, vignettes à la volée en JPEG, calculateurs de rendu, métadonnées XMP (ou encore en IPTC), EXIF, MIX, METS, DC. Belle avancée ! Les choses doivent encore se préciser mais le numérique est aujourd’hui au cœur d’un très grand nombre , c’est le « digital turn » ou tournant digital proposé par Paul Bertrand. Les sources numérisées vont laisser la place – de plus en plus – aux sources numériques structurées, c’est aujourd’hui une quasi-réalité et presque du passé et le XML, les normes, l’open-source sont au coeur du digital turn. Un e-chercheur sera l’utilisateur de ces corpus hybrides structurés, virtualisés, accessibles à tous les chercheurs au travers, tel les données du LHC, d’une eSHSgrid et constitué, non pas pour une utilisation individuelle, mais génératrice de publications multiples, papiers, mais aussi de plus en plus elles-mêmes électroniques. Cette eSHSgrid garantie le socle d’accessibilité aux données.

Le wiki de l’Ecole est actualisé en permanance par les participants.

Stéphane.

Equipes Numériques : nouveaux métiers, nouvelles structures

Ce billet s’appuie sur le texte de Pierre Mounier disponible en ligne sur l’Unité Numérique de l’ENS LSH.

 

La diffusion de sources historiques sur le web est en augmentation et la demande est de plus en plus forte. Les étudiants, au niveau master par exemple, seront dans quelques années, les principaux utilisateurs des sources historiques numérisées et disponibles en ligne (web et entrepôts OAI). Le signalement de ces sources s’améliore de jours en jours même si de nombreux sites ou entrepôts de données restent « isolés » (notion curieuse pour le web je vous l’accorde). Après l’époque des sites web offrant des sources numérisées, nous sommes dans celle des entrepôts, et des méta-entrepôts. Aujourd’hui, tout le monde fait de la rétro-numérisation de sources : bibliothèques, services d’archives, laboratoires de recherche, projets de recherche. Même un chercheur isolé demande de plus en plus une copie numérisée d’une source et si possible envoyée à son adresse électronique. Depuis quelques années, des présentations PowerPoint, « augmentées » de sources numériques, fleurissent dans les TD des universités et les plateformes d’enseignement à distance. Dans le monde de la recherche scientifique en sciences humaines et sociales, c’est aujourd’hui une évidence, les sources numérisées sont partout.

Depuis quelques années, la demande devient également importante. Aujourd’hui, les chercheurs publient des articles dans des revues électroniques, déposent dans les archives ouvertes et associent, ou le feront bientôt, à leurs articles des fac-similés numériques (manuscrits, collections de photos, etc.). Face à cette demande, des méta-entrepôts sont en construction. Ils sont souvent la partie immergé de méta-portails disciplinaires. La tendance actuelle et à l’interconnexion de ces méta-entrepôts à l’aide protocoles fondés sur : des normes communes, des briques technologiques communicantes et utilisant les canaux naturels du web (http, etc.).

Dans les sciences humaines, ces méta-entrepôts sont créés la plupart du temps par les équipes IT regroupant des ingénieurs, des techniciens spécialisés en information scientifique et techniques (IST), en documentation et archivistique et des chercheurs (voir le billet de Pierre Mouier sur l’Unité Numérique). En lisant ce billet, je me suis aperçu que mon équipe IT – le CRHST et son centre de ressources numériques (le CN2SV) – avait un rôle assez semblable finalement et je me suis assez bien reconnu dans ce paragraphe de Pierre Mounier :

« Pour dire les choses brutalement, l’Unité Numérique est une structure nouvelle qui répond à une situation nouvelle. On peut penser qu’elle est une manière particulière, comme d’autres le font différemment ailleurs, d’inventer un nouveau métier, celui d’éditeur numérique. Elle ne pourrait faire ni l’un ni l’autre (répondre à la situation et inventer un métier) si son centre de gravité se déplaçait et la faisait tomber de l’un ou l’autre des côtés (dans une bibliothèque, un service informatique ou une maison d’édition traditionnelle). »

Un nouveau métier ? Oui, j’en suis persuadé depuis quelques temps, c’est bien un nouveau métier avec ces formations et ces réseaux. A nouveau métier, nouvelles structures ? Bien évidement. Elles font de l’informatisation des données, de l’ingénierie documentaire, de la re-documentarisation de sources, de l’édition électronique et elles inventent et adaptent des outils informatiques pour des projets de recherche. Elles sont le lien, grâce à la veille technologique, entre les contenus des grandes bibliothèques numériques et les besoins des chercheurs. Je rejoints également Pierre Mounier sur l’idée suivante :

« … le principe du respect de l’autonomie scientifique et éditoriale des équipes de recherche avec lesquelles le travail est fait. Et l’application de ce principe est un peu une quête du Graal car il ne se résume évidemment pas à laisser les chercheurs tout faire par eux-mêmes. Il s’agit bien plutôt de faire en sorte que les choix qui sont faits et les actions techniques qui sont déléguées à l’Unité Numérique ne se traduisent pas par une dépossession et finalement une trahison des projets de recherche. Il faut donc pour chaque projet, en fonction du type de réalisation et de demande, mais en fonction aussi des particularités propres à l’équipe qui la porte, imaginer un dispositif qui mixe un choix d’outils appropriés, une bonne répartition des tâches et des niveaux de décision et une dose variable de formation des équipes de recherche aux technologies numériques. A ma connaissance, mais je peux me tromper, la composition du cocktail n’est pas totalement standardisable et ne peut faire l’objet de procédures automatiques. »

Pour ma part, et depuis que je travaille dans ce domaine du CNRS, je pense que l’accompagnement des chercheurs dans leurs projets doit s’appuyer sur :

  1. Un respect éditorial du projet porté par l’équipe de recherche (ER)

  2. Une implication de l’ER, par l’initiation, l’information et la démonstration, dans les problématiques propres à l’équipe IT. Ainsi elle comprend mieux les contraintes (techniques, financières, etc.) et les choix réalisés.

  3. Un respect des formats ouverts, tant sur le plan des logiciels que sur les formats de stockages des données

  4. L’établissement de phases de production qui prennent en compte la pérennité des données et des réalisations (en collaboration avec d’autres organismes pour les productions web par exemple)

Ce sont les quatre principales règles que nous respectons au CRHST et dans le cadre du CN2SV, elles sont proches de celles de l’Unité de Pierre Mounier. Je pense qu’elles doivent être utilisées ailleurs, dans d’autres équipes adossées à d’autres institutions, et j’en suis heureux. Ce nouveau métier et ces structures nouvelles au service des sources numérique en ligne, ouvrent sans aucun doute, de nouveaux horizons pour la recherche scientifique.

Alors, 2008, année zéro ?