Jusqu’à récemment, l’accès direct via iRods aux fichiers d’une archive Tar ne fonctionnait pas pour les archives Eros – trop volumineuses, trop de fichiers.
J’ai donc étudié des solutions de placement des courbes de lumière directement dans des répertoires iRods. Le CC nous avait donné son accord.
La difficulté résidait dans le nombre de fichiers associés à un quart de CCD : plus de 20 milles dans de nombreux cas. Cela aurait très certainement perturbé le fonctionnement des serveurs.
Plusieurs découpages étaient possibles : par lots arbitraires, par lots basés sur les indexes des étoiles référencées dans les catalogues, en fonction de la géométrie des caméras, …
L’une des pistes intéressantes car correspondant à la logique adoptée par l’expérience était le découpage en seizièmes de CCD – prévu dès les origines. Cela consistait à découper les CCD en 16 (voir Codes des sous images [voir aussi note ci-dessous]). La solution naturelle était donc de découper chaque quart de CCD en 4.
En toute logique, cela faisait encore plus de 6 000 fichiers par répertoire pour les champs les plus saturés, mais c’était peut-être jouable.
Expérimentalement, le résultat fut désastreux ! Bien sûr, tout ceci a été tenté en simulation, mais certains répertoires semblaient vides alors que d’autres saturaient…
Après avoir débuggé, il apparaissait nettement que le problème n’était pas dans l’algorithme de placement.
Il restait donc plus qu’à remonter aux données…
Les images bs300.jpg et bs303.jpg montrent une représentation graphique du placement des quarts de CCD de deux champs particulièrement atteints.
- le quart 2K de BS300 est clairement décalé vers la gauche et est complétement « hors champ »
- les zones bleues en arrière-plan montrent les emplacements « logique » des CCD
- le champ 3L de BS300 à lui aussi glissé à gauche et chevauche le 2N
- les champs 0N et 6N de BS303 ont eux aussi glissés à gauche et empiètent sur leurs voisins
- des quarts de CCD sont absents, ou fortement réduits
L’image sm001.jpg montre un champ où l’un des quarts de CCD fait défaut.
Un sondage rapide sur quelques champs pris au hasard des différents programmes montre:
- que BS semble seul être affecté par ce problème de quarts de CCD baladeurs (6 champs)
- que CD et LM ne semblent pas affectés – leurs quarts sont présents et bien placés
- que SM présentent des quarts absents –le 7N – mais que les autres quarts sont bien équilibrés
- que GN, GS et TM présentent des quarts manquants ou réduits
Mais il ne s’agit que d’un sondage sur une quinzaine de champs…
Situation
Suite à une discussion avec Marc, j’ai exploré un peu plus le cas du champ BS3002N.
- L’archive regroupant les courbes de lumière d’un quart contient le catalogue des étoiles de ce quart.
- Ce catalogue est dupliqué dans une archive contenant tous les catalogues et tous les fichiers field.
- Le catalogue des archives des courbes de lumière est identique au catalogue de l’archive générale.
- il n’y a donc pas eu une confusion lors de la sauvegarde des catalogues…
- L’exploration du catalogue du quart de CCD à problème BS 300 2N confirme les valeurs enregistrées dans le fichier field.
- Il n’y a donc pas eu d’erreur lors de la construction du fichier field…
Une hypothèse
Il pourrait y a eu une confusion lors du calage des images de références des champs du programme BS.
Si c’est bien le cas, il s’agirait donc que d’effectuer une correction sur les alphas/deltas des étoiles des quarts affectés.
Soit la martingale est simple, il est facile de traiter le cas à Lyon, à condition de connaitre tous les quarts affectés, soit cela suppose un « certain doigté » et il faudra me fournir les catalogues corrigés que je sauverais en remplacement de ceux en erreur.
A faire
- Explorer les différents champs et chercher les situations où il y a recouvrement des quarts de CCD.
- Vérifier dans les fichiers catalogues si les informations contenues dans les fichiers fields sont valides.
- Voir s’il est possible de reconstruire les courbes de lumière à partir des suivis.
- Vérifier les images de référence ayant servies à construire piloter les productions.
- Il serait aussi précieux de pouvoir revenir aux fichiers de référence issus de ces images de référence.
Note sur les quarts de CCD
Le découpage présenté correspond aux propositions faites à l’origine d’Eros. Pour des raisons mystérieuses, le choix finalement adopté fut une organisation verticale :
K M L N
…