Réunion préparatoire
Participants : Marc Moniez, Jim Rich, Jean-Baptiste Marquette (vidéo), Tristan Blaineau, Jean-Noël Albert
Excusé : Réza Ansari
Cette réunion est destinée à préparer une rencontre avec des représentants du Centre de calcul dans le but de pérenniser les données de l’expérience Eros et de permettre leur diffusion.
Cet objectif, longtemps évoqué, a été remis d’actualité par un contact du Centre de calcul suite à la réactualisation des données Eros conduite depuis un peu plus de deux ans, à un rythme dépendant des possibilités de chacun.
La réunion est organisée autour deux thèmes principaux : les souhaits d’Eros en termes d’archivage et de diffusion de ces données ; et la préparation d’une présentation de l’expérience au représentant du CC, des raisons de la réactivation des données et des difficultés rencontrées.
Jean-Baptiste introduit la discussion par une observation sur la différence fondamentale entre les données d’astronomie et les données des accélérateurs : en astronomie, les données ne sont pas reproductibles, elles résultent d’observations qui ne pourront plus jamais être refaites, alors que les données issues des accélérateurs peuvent être reproduites, même si c’est souvent complexe et couteux. Les données d’astronomie sont donc d’autant plus sensibles à toutes formes de destruction ou de corruptions et leur préservation un sujet particulièrement critique.
Marc enchaîne par un rappel rapide de l’expérience et pointe le fait que les données d’astronomie anciennes sont très précieuses et cite plusieurs exemples.
Puis Marc et Jim évoquent rapidement les motivations pour la réactivation des données Eros en liaison avec la recherche de lentilles gravitationnelles de longues durées, à l’origine de la thèse de Tristan.
Marc fait également état des différents types de données « périphériques » à Eros 2, dont les données Eros 1/plaque, les données Eros 1/ccd, et les données Macho et peut-être à termes Super Macho.
Enfin, Marc évoque un couplage possible de la base de données Eros 2 avec LSST.
- ce point est à approfondir
En parallèle, Marc fait également état d’informations qu’il serait utile de conserver en sus des données elles-mêmes, à savoir les logbooks des prises de données – qu’il faudra retrouver – et les cahiers d’observation – qu’il serait intéressant de scanner.
Jim fait remarquer que scanner 7 ans de cahiers de manip suppose un effort conséquent.
Jean-Baptiste fait état d’un nouvel équipement à l’Observatoire de Meudon pour la numérisation des plaques anciennes. Le traitement de ces plaques pourrait être à négocier avec les représentants de l’Observatoire. Cela permettrait de récupérer les images d’Eros 1/plaque sous une forme numérique.
- JB indique un correspondant possible et une future réunion dans les environs où les différentes personnes intéressées pourraient être présentes – à préciser.
Jean-Baptiste rapporte son travail consistant en la normalisation des images Eros 2 (question de l’orientation des images) et la reconstruction des entêtes FITS enrichies d’informations WCS.
Jim et JNA tombent d’accord sur le fait que les images originales ne doivent pas être touchées, mais qu’une nouvelle branche doit être créée pour conserver ces nouvelles versions en parallèle à la branche historique.
JNA fait état de sa préoccupation concernant la perte de fait des données originales Eros 2, les données « brutes », conservées sur des DLT à Saclay mais qui n’ont hélas pas été transférées sur un support plus actuel.
- Nous sommes ici en plein dans la problématique de l’archivage pérenne des données scientifiques.
Marc et Jim considèrent que, compte tenu des difficultés liées à la construction des images réduites (soucis avec les flats utilisés pour le deflatage), ces images n’auraient sans doute plus beaucoup d’intérêts.
Jean-Baptiste fait état de nouvelles techniques de réduction qu’il pourrait être intéressant d’évaluer.
JNA signale qu’il existe à Lyon quelques images brutes et des flats qu’il va rechercher et mettre à la disposition de Jean-Baptiste.
JNA signale en outre le souci concernant l’accès aux catalogues d’étoiles et aux fichiers de suivis.
- un autre aspect central de la pérennisation des données scientifiques.
Jim et Marc semblent penser que les informations contenues dans les courbes de lumière ASCII sont suffisantes.
A l’issue de cette discussion, il semble acquis que la première étape de l’archivage des données Eros doit concerner les images réduites, présentes au CC, et les courbes de lumière ASCII.
JNA insiste sur le fait qu’il s’agit d’un domaine nouveau pour nous et qu’il convient sans doute d’avancer par étape, sur des données que nous connaissons et maitrisons bien, mais que cela ne doit pas nous interdire d’étendre la démarche si les premiers résultats sont satisfaisants.
Il ressort aussi clairement que les discussions avec le CC devront porter sur la démarche à suivre. Le CC devra nous guider sur les métadonnées à fournir et les formats de présentation. Toutes les informations nécessaires sont sans doute en notre possession, typiquement dans la base de données, mais il conviendra certainement de faire un gros effort pour se fondre dans un moule préexistant.
En parallèle, JNA signale l’accord du service informatique du IJCLab/ex-LAL pour fournir les moyens nécessaires à mettre en place une seconde source pour les données Eros.
- Il conviendra d’évaluer la possibilité d’indexer les fichiers de cette seconde source dans la base de données.
Une première répartition des tâches pour la réunion avec le CC serait :
- une brève présentation des motivations scientifiques de l’expérience Eros ainsi que des raisons pour avoir réactiver ces données après 25 ans de sommeil
- une vue rapide du flux des données Eros, depuis les images brutes de La Silla aux courbes de lumière ASCII
- une vue rapide de l’organisation de la base de données
- un état des difficultés rencontrées durant la migration
Et du côté du CC :
- la problématique de l’archivage des données scientifiques
- la question de l’interopérabilité et des relations avec l’Observatoire virtuel et le CDS
- une présentation des étapes nécessaires pour aboutir
A faire
- réactualiser le compte de Jean-Baptiste au CC [JNA]
- trouver des images brutes et des flats pour Jean-Baptiste [JNA]
- préparer la sauvegarde à Lyon des images normalisées par Jean-Baptiste [JNA]
- question du nommage de ces nouvelles images [JNA, JB]
- accélérer la sauvegarde des données Macho qui encombrent le disque de travail Eros à Lyon [JNA]
- répartir les présentations
- préparer et faire circuler les transparents des présentations
- informer le CC de l’état de la réflexion Eros
