14 Septembre 2018 / Migrations des courbes de lumière (et fin?)

Dans un post du 18 Juillet, je déclarais – optimiste – qu’il ne restait plus qu’une poignée de semaines pour finir la migration des courbes de lumière. C’était sans compter avec les soubresauts du CC et les interruptions liées au climat.

C’est passé et les courbes de lumières ASCII Eros 2 sont disponibles.

Il reste cependant différentes archives issues du HPSS qui n’ont pas été traitées. Ces fichiers portent des noms non reconnus des programmes de migration. Il faut donc analyser individuellement chacune de ces archives afin de pouvoir les traiter.

Il faut aussi définir la suite des opérations, et les priorités…

Images FITS : legacy/erosfits

Il reste dans cette arborescence :

• des archives d’images compositées, c’est-à-dire construites à partir d’autres images, dans le but de créer les catalogues binaires Peida des étoiles, par exemple bs300-305_[cx] 6a3150_fits.tar – il y a de telles archives pour les 7 programmes majeurs et une pour 4 mineurs: dg, eg, xm, um
• des archives pour les 4 mineurs
• des archives pour des programmes un peu plus exotiques: aj, as, qu, sn, vl, xt, zz
• des archives d’images de calibration ou d’images calibrées (à vérifier!): cal…_fits.tar
• des archives d’images « d’obscurité »: obscl…_fits.tar
• un curieux répertoire IMGCAL_022010 contenant des archives pour les 7 majeurs
  • après discussion, il se pourrait qu’il s’agisse d’images calibrées astrométriquement
  • à vérifier

Donc les images Fits des 7 majeurs ont été transférées. Il y a cependant des images absentes, à vérifier (voir précédents posts).

Remarques

1. La comparaison du listing iRods et de la base de données montre un excès de 2 750 fichiers pour le programme CG… Après vérification des logs, il apparait clairement que ces images n’étaient pas enregistrées dans la base de données. Elles ont tout de même été migrées vers iRods – à titre conservatoire…
2. L’analyse des logs fait état de quelques images de taille nulle, détectées durant la migration et rejetées.

Références : legacy/erosref

Il s’agit des catalogues binaires Peida des étoiles suivies par les programmes scientifiques.

Il ne reste qu’une archive portant le nom Ref_p1-2-4-6-8-9.tar, ce qui laisse à supposer qu’il s’agit des catalogues des productions autres que P5.

Donc, toutes les références de la production « officielle » P5 ont été transférées.

Suivis : legacy/erossv

Comme annoncé, seuls les suivis de la production « officielle » P5 pour les 7 majeurs ont été transférés.

Il reste donc :

• les suivis des autres productions ;
• les suivis des programmes mineurs pour la production P5 : dg, um, xm

Catalogues : legacy/erosserv

Il s’agit ici des catalogues ASCII donnant la position des étoiles détectées (voir précédent post). Ces catalogues étaient dupliqués dans deux structures : un fichier général cat_fields.tar ; et les archives des courbes de lumières, à raison d’une archive par quart de CCD.

Ce fichier cat_fields.tar reste dans la zone legacy pour le moment. En effet, il est apparu que certains catalogues semblaient présentés des problèmes. Il faut les confronter à l’avis d’experts.

Il reste donc :

• le fichier cat_fields.tar
• un fichier « personnel » sds_aubourg.tar
• 9 fichiers sm002 .. sm010 – à explorer

Courbes de lumières : legacy/erosserv

Toutes les archives ont été migrées, mais cela ne concerne que les 7 majeurs. Il ne semble pas en effet que les courbes de lumière ASCII aient été créées pour les programmes mineurs.

La suite des opérations

Premièrement, faire le point sur ce qui a été fait, ce qui n’a pas été fait, et ce qu’il faudrait faire.

• identifier les images manquantes – voir s’il en existe une copie quelque part, ou dans des archives non traitées
• traiter le cas des images CG non enregistrées mais migrées
• s’assurer que toutes les étoiles référencées dans les catalogues ASCII ont bien leurs courbes de lumière dans iRods (c’est le seul mécanisme de contrôle possible)
• régler le problème des catalogues incorrects

Deuxièmement, définir des priorités pour ce qu’il serait utile ou nécessaire d’avoir.

Troisièmement, mais plutôt prioritairement, faire la doc !

Proposition des actions à mener, par ordre de priorité

1. mise en ligne dans iRods et enregistrement dans la base de données des images compositées calibrées
   1. recherche et identification des différents avatars de ces images, qui semblent être dupliquées dans plusieurs emplacements
      1. investigation du répertoire IMGCAL
      2. investigation des archives [cx] 6a3150_fits.tar
   2. normalisation des noms des images (précision dans un post ultérieur)
2. extraction des entêtes FITS des images compositées calibrées (nécessaire pour la conversion des fichiers de suivi)
   1. extension des informations enregistrées dans la base de données en liaison avec les clés FITS de ces entêtes
      1. liste des informations à définir – et pour quelle(s) catégorie(s) d’images
   2. point sur les catalogues
   3. compte iRods uniquement en lecture permettant un accès simple aux données
   4. Eros 1 CCD : mise en ligne dans iRods et intégration à la base de données
      1. vérification de la présence à Lyon de ces données
   5. mise en ligne dans iRods des courbes de lumière Macho
   6. mise en ligne sur le disque SPS de Lyon des entêtes Fits des images
      1. actuellement sous forme d’archives Tar, mais le CC semble avoir adouci les contraintes sur le nombre de fichiers pouvant résider sur le disque
   7. référencer via la base de données, lorsque ce n’est pas fait, les images utilisées pour la construction des images compositées (voir un post ultérieur)