La migration des images FITS des 7 principaux programmes scientifiques est en voie d’achèvement.
Plusieurs difficultés sont cependant apparues qu’il va falloir tenter de régler.
Les prochaines étapes vont désormais être la migration des images de programmes scientifiques de moins grandes ampleurs et des images utilisées pour la réduction des images brutes issues des prises de vue.
Puis viendra la migration des fichiers de suivis et des fichiers de références.
Il sera alors temps de s’occuper du cas des courbes de lumière.
Les petits programmes
Ces petits programmes, Ca, pour Calibration Fields et Cp, pour LMC-SMC Cepheids, ont été laissés de côté lors de la première campagne de migration, mais après consultation des physiciens, il apparait qu’ils représentent des observations intéressantes qu’il convient de préserver. Leur nombre réduit (une centaine d’archives) ne constitue pas une difficulté.
Deux autres programmes, également été mis en attente, Ko, pour Coupole, et Ob, pour Obscurité, correspondent à des images d’étalonnages utilisées pour convertir les images brutes issues de la prise de vue en images réduites, utilisées pour la construction des courbes de lumière. Ces images pourraient présenter un intérêt dans le cas d’une reprise intégrale des analyses et doivent donc être préservées dans iRods. Là encore, le petit nombre d’archives n’aura que peu d’impact sur la campagne de migration.
D’autres programmes, semble-t-il pour l’essentiel des Monté Carlos, pourraient être laissés de côté, et n’être conservés que sous la forme des archives Tar issues du HPSS.
Bien entendue, TOUTES les images sont conservées… !
Les ratés de la migration
La procédure de transfert des images Fits regroupées en archives Tar dans le HPSS vers l’espace iRods a échoué à deux reprises pour deux difficultés différentes, liées à des sécurités placées dans la base de données.
Le premier incident est lié à des fichiers FITS dont la taille est nulle. Vérification faite dans les archives Tar d’origine, les fichiers sont effectivement vides.
Le second incident vient de fichiers FITS ne correspondant pas à une image enregistrée dans la base de données.
Fort heureusement, ces incidents sont rares. Une investigation doit être menée à l’issue des migrations, mais il semble que moins d’une dizaine de fichiers ne soient concernés.
Absents sans raison
Lorsqu’on compare le nombre d’images référencées dans la base de données aux fichiers effectivement migrés vers iRods, des différences apparaissent, plus ou moins importantes en fonction des programmes, mais ne dépassant pas la dizaine – à l’exception de SMC pour lequel environ 120 fichiers sont concernés.
Là encore, des investigations devront être conduites.
Il est bien sûr encore impossible de savoir ce qu’il en est pour les deux plus importants programmes, Centre Galactique (cg) et LMC (lm), les transferts étant toujours en cours à cette heure.
Migrations des références
Les références sont des catalogues d’étoiles détectées durant une phase préparatoire à la construction des fichiers de suivis et utilisés pour identifier ces étoiles dans les différentes images d’une campagne.
Ces fichiers sont dans un format propriétaire de l’expérience et pourraient donc être difficilement exploitables. Mais ils existent et sont référencés dans la base de données. Ils doivent donc être migrés vers iRods. Leur nombre et leur volume réduits ne constitue pas une charge importante.
Migrations des suivis
Les fichiers de suivis sont le regroupement des différentes mesures réalisées sur les étoiles suivies par les programmes scientifiques au travers des multiples images capturées par le télescope.
Le format de ces fichiers est propre à l’expérience. Par ailleurs, produits pour l’essentiel il y a près de deux décennies, ils sont architecturés en bloc de tailles relativement modestes, afin d’être aisément manipulable via les cartouches 3490 de l’époque.
Il avait été évoqué l’idée de profiter de la phase de migration de ces fichiers pour regrouper les différents blocs d’un même ensemble en un seul fichier. Il semble que cette piste soit abandonnée au profit d’une réorganisation des fichiers, afin de réduire le nombre des données associées à chaque mesure et à regrouper l’ensemble des données sous un format plus adapté aux us et coutumes de l’astronomie : FITS ou ASCII.
En tout état de cause, cette étape suppose la mise en place d’outils, la définition des données à sélectionner et le choix du format. Elle est donc momentanément reportée. La migration des suivis se fera donc en l’état, sur le modèle de la migration des images FITS et des fichiers de référence.
Courbes de lumière
Les courbes de lumière sont une représentation ASCII d’un condensé de mesures issues de fichiers de suivi. L’utilisation de fichiers ASCII présente de multiples avantages : indépendance vis-à-vis de la plate-forme [même si les guerres indiennes sont aujourd’hui un peu passées], indépendance vis-à-vis de logiciels propriétaires, compatibilité immédiate avec de multiples outils [faire une analyse de physique avec Excel ! Whaooh J] … Mais il présente l’inconvénient d’une incontestable lourdeur – même si, sous une forme comprimée Zip, leur poids tombe de manière drastique…
Ces courbes de lumière sont organisées autour de deux structures : un catalogue donnant l’identifiant de chaque étoile et ses paramètres propres : positions, … ; et un fichier de données par étoile contenant les différentes mesures.
Il va falloir faire preuve d’imagination pour trouver une structure plus compacte tout en restant simple et efficacement accessible. La tendance semble plébisciter un regroupement des courbes de lumières d’un quart de CCD sous la forme d’une archive Tar.
Utiliser les courbes de lumière
Le challenge : trouver la courbe de lumière correspondant à une alerte.
Traditionnellement, une alerte est référencée par ses RaDecs : RA, DEC – Right Ascension, Declination.
Il serait évidemment tentant d’enregistrer dans la base de données toutes les étoiles suivies ce qui permettrait des recherches relativement simples. Mais 90 millions d’étoiles nécessitent une organisation spécifique – pas infaisable, mais est-ce réellement utile ?
Autre possibilité : exploiter l’organisation déjà mise en place ! Après tout, pourquoi réinventer la roue, surtout si c’est pour la refaire carrée…
On peut donc parfaitement envisager d’enregistrer dans la base de données les Radescs des quatre coins des quarts de CCD – correspondant aux 200 000 catalogues. Rechercher une étoile par son radesc revient donc à rechercher le quart de CCD où se situe le radesc cherché, à sortir le catalogue et à y chercher l’étoile – l’inaccessible étoile – enfin, espérons pas… De là, on a son id, donc le nom de la courbe de lumière. On a aussi le nom du quart de CCD, donc le nom de l’archive Tar contenant la courbe de lumière dans iRods – ou sur SPS. Présenter la courbe de lumière n’est plus que de sortir un fichier d’une archive Tar. Banal…
Merci à Marc (M.M) pour son incommensurable patience.
Il a réussi à me faire comprendre les courbes de lumière,
les radecs et le ce pourquoi nous combattons !
Respect.