La sauvegarde dans Irods et l’enregistrement dans la base de données des entêtes FITS calés astronomiquement par Jean-Baptiste m’ont conduit à reprendre la sauvegarde des entêtes d’origine dans une arborescence parallèle.

La différence entre la première et la seconde mouture des entêtes originaux réside dans le traitement des fins de ligne. Dans la première version, j’avais extrait les cartes FITS telles qu’elles apparaissent dans les fichiers, pensant que cela les rendrait plus compatible avec les outils d’astronomie. La vérification des entêtes transmis par Jean-Baptiste montre qu’il s’agit de fichiers texte avec des fins de ligne UNIX (« \n »), mais dont les espaces en fin de ligne ont été conservés. J’ai donc utilisé le même format.

Pour résumer :

• les anciens répertoires /eros/data/eros2/fits-props et /eros/data/eros2/fits-headers disparaissent
• les entêtes calés astronomiquement sont dans /eros/data/eros2/headers-astro
• les entêtes d’origines sont dans /eros/data/eros2/headers-origin

A ce stade, tous les entêtes d’origine des images réduites complètes ont été extraits, ce qui exclut donc les images composées et les quelques images brutes présentent à Lyon.

Pour rappel, les entêtes FITS d’origine de toutes les images et les entêtes FITS calés astronomiquement sont directement disponible depuis la base de données grâce à FitsHeader.

Catalogues de stars

Dans l’espoir de trouver des informations sur les mouvements des DLT entre La Silla et Lyon, j’ai découvert un répertoire LastTapeCat contenant 89 catalogues MLB et 52 catalogues MLR correspondant à la fin de l’expérience, de Mai 2002 à Février 2003 – Décembre 2002 pour les DLT rouges, puisque la caméra rouge était arrêtée.

L’exploration de ces catalogues a mis en évidence quelques points intéressants.

Tout d’abord, la taille utile des DLT était de l’ordre de 11 à 12 Go, pour une capacité d’environ 1 400 images. Cela permet de déduire qu’il a fallu de l’ordre de 1 650 DLT pour transférer à Lyon les 2.3 millions d’images de l’expérience. Et donc qu’il pourrait y en avoir autant à Saclay.

Il y a toutefois dans les messages Big Brother des remarques troublantes sur le « recyclage » de DLT. J’imagine que les DLT réduites (MLB et MLR) repartaient à La Silla pour être réutilisées une fois les images importées à Lyon. Mais quand est-il des DLT brutes (MLE et MLV) ? Sont-elles toutes restées à Saclay ?

Images hors champ

Une autre découverte préoccupante est qu’il existe sur ces DLT des images cg600xxx qui n’ont aucune référence dans la base de données. Ces images correspondent au champ 600 du programme Centre Galactique, mais ce champ n’existe pas dans la base de données. Ces images ne correspondant à aucun champ déclaré ont dû être rejetées lors de l’import.

Cette situation n’a en fait rien d’exceptionnelle et fait partie intégrante du « cahier des charges ». Il n’était pas rare que les observateurs aient besoin de réaliser des images de travail, par exemple pour des tests. Le système d’acquisition imposait sans doute que des programmes et des champs soient déclarés pour ces images. Mais pour éviter que, suite à des fausses manœuvres durant les sauvegardes, ces images n’arrivent à Lyon, les images dont les champs n’existaient pas étaient rejetées.

Le point préoccupant est que ce champ CG 600 n’ait pas été enregistré à Lyon alors qu’il semble bel et bien officiel. Problème de communication Nord-Sud… ?

En faisant des recherches dans les messages Big Brother, on trouve des traces d’observations pour ce champ en 97 puis de 2001 à 2002. Il n’y a rien en 98 ni 99 et une seule observation en Mai 2000. Au total, il y a 233 observations CG 600, soit de l’ordre de 3 728 images. Par comparaison, le champ CG 002 totalise 1965 observations pour 21 600 images référencées dans la base de données.

Il existe aussi 8 images xx001, mais 1) le programme XX n’existe pas dans la base de données ; et 2) il n’y a aucune trace d’une telle observation dans les messages Big Brother. Une illustration des mesures de sécurité concernant les images imprévues.

Détails croustillants, on trouve dans Big Brother des références à des champs XX 000, 002, 003, 004, 005 et zzz, mais pas de 001 !!!

Il y a aussi une annotation :

« Comme il y a la lune, et pas trop de bandes d’avance, je ne fais pas la sequence complete de trois champs tm et gn.
Je fais des tests de foyer que je n’archiverai pas. »

MLB 760 ne répond plus

Et encore plus sérieux !

6 bandes n’ont pas été traitées : deux bleues, quatre rouges. Aucune image des 6 catalogues n’existe dans la base de données alors qu’il s’agit de champs parfaitement réglementaires. La question est donc : y a-t-il eu un loupé à l’importation, ou ces bandes ne sont-elles jamais arrivées ? Big Brother est un peu muet au sujet de l’expédition des DLT. Cela représente de l’ordre de 8 000 images.

Un septième catalogue, MLB760, pose encore plus de questions : il comporte 88 images présentes dans la base de données et 1336 images non enregistrées !? Et ces 88 images enregistrées figurent également dans le catalogue MLB761 qui lui a été correctement traité.

Hypothèse !?

L’existence de ces catalogues est intéressante mais malheureusement, sans les logs des importations, il est difficile d’avoir une idée de ce qui s’est réellement passé. Les catalogues étaient transmis par courrier électronique. La procédure d’entrée allait même jusqu’à récupérer le catalogue à La Silla si celui-ci n’était pas disponible.

On peut donc supposer que l’existence d’un catalogue implique que la bande ait été générée. Mais alors pourquoi n’aurait-elle pas atteint Lyon … ???

Situation

7 DLT ont probablement été perdues, sur les 140 catalogues explorés. Cela représente 10 000 images sur les 200 000 de ces DLT. Soit 5%. C’est tout de même préoccupant.

Le bon point est que la sécurité contre les images indésirables fonctionnait bien. Le côté négatif est que toutes les images n’étaient pas réellement indésirables…

Jean-Baptiste a réalisé le calage astrométrique des images FITS des programmes pour lesquels il existe des suivis et des courbes de lumière ASCII, à savoir BS, CG, GN, GS, LM, SM, et TM. Les entêtes FITS correspondant à ces traitements sont désormais dans Irods et dans la base de données.

L’emplacement dans Irods est /eros/data/eros2/headers-astro.

Pour ce qui est de la base de données, les images de ces 7 programmes majeurs sont désormais associées à deux entêtes : l’entête originale, extrait de l’image, et l’entête calé astrométriquement.

L’application FitsHeader est adaptée afin de sélectionner en priorité l’entête calé puis se rabattre sur l’entête originale si l’entête calé n’est pas disponible – par exemple pour les autres programmes. Il est cependant possible de demander explicitement l’entête de l’une ou l’autre nature.

Jean-Baptiste précise ceci :

• les images ont toutes été remises dans l’orientation standard (Est à gauche, Nord en haut) ;
• le traitement porte sur les images complètes [ndr: qui sont donc des images réduites] ;
• les mots-clés WCS contiennent la distorsion ;
• les traitements ont été réalisés avec les outils d’Emmanuel Bertin.

Jean-Baptiste donne beaucoup plus de précisions et de détails, mais je crains de ne pas avoir les compétences pour résumer ses propos sans les trahir.

Dans Irods, il y a aussi un fichier coadd.fithead par CCD (rouge et bleu). Ce fichier correspond à « la coaddition des meilleures images par CCD, une sorte d’image de référence ».

Les traitements ont porté sur 90 % des images disponibles. Les 10 % restant correspondant à des images réellement inexploitables.

Je mettrais prochainement à jour le site Web ErosDbIII concernant ces nouvelles données et les modes d’emploi des applications actualisées.