Eros Anastasis

Les différents points abordés:

• Migration des images
• Migration des références
• Migration des suivis
• Migration des catalogues
• Migration des courbes de lumière

Pour le détail des migrations, voir le post du 28 Mai 2018: Point migration qui donne les chiffres détaillés des opérations.

Pour la description des programmes scientifiques Eros, voir le post du 4 Mars 2018: Programmes scientifiques Eros II.

Voir le post du 28 Mai 2018: Migration des catalogues et courbes de lumière pour l’organisation des catalogues et courbes de lumière ASCII.

Migration des images

Attention : il ne s’agit là que des images présentes à Lyon, c’est-à-dire les images réduites. Les images brutes ne sont pas disponibles au CC…

• En grande partie terminée :
  • 90% de toutes les images
  • 99,7% des programmes « majeurs » (bs, cg, gn, gs, lm, sm, tm)
    • Il manque des images dans les programmes majeurs (cg, lm)
• Une partie des calibrations est migrée
  • Blocage au niveau des noms des archives qui ne suivent pas la logique générale
  • Traitement spécifique nécessaire
• Il reste des programmes exotiques à migrer
  • Mêmes difficultés
• Les entêtes FITS des images ont été extraits et conservés dans des répertoires distincts d’iRods
  • Deux formats sont proposés : une simple copie de l’entête en format image de carte Fortran, ou suite de lignes au standard UNIX dont les espaces vides situés en fin de lignes ont été supprimés.
    • Le premier format peut être intéressant pour être utilisé avec des librairies usuelles FITS.
    • Le second format est utile pour une exploration avec les outils usuels: éditeurs, commandes du shell, …
  • Les entêtes FITS sont également en ligne sur le disque SPS mais regroupés en format TAR
    • Le NOMBRE de fichiers sur le disque SPS est contraint par un quota.
      Il n’était pas possible de mettre en ligne directement les entêtes FITS.

Notion de production

Les traitements étaient réalisés par lots ayant des paramètres similaires constituant une production.

Plusieurs productions ont été effectuées, mais avec des programmes, des techniques et/ou des versions différentes. Les noms des productions sont basés sur le code du traitement réalisé – P pour Peida – et la version de la production. P5 représente donc la 5ieme production réalisée avec Peida.

Il y a 2 productions majeures : P1 et P5, à peu près équivalente en volume et fichiers.

Les courbes de lumière ASCII semblent être issues de P5…

Migration des références

Rappel : les références sont des fichiers binaires contenant la liste des étoiles suivies par l’expérience et utilisées pour piloter la création des fichiers de suivis.

• En grande partie réalisée pour la production P5 : 99,8%

Migration des suivis

Rappel : les suivis, ou fichiers de suivis, sont des fichiers binaires contenant les paramètres des différentes étoiles suivies par l’expérience nuit après nuit.

• En grande partie réalisée pour la production P5 : 99,7%
  • Il manque quelques fichiers dans CG et LM
    • Peut-on exploiter un suivi s’il manque des blocs ?

Migration des catalogues

Rappel : les catalogues sont des fichiers ASCII contenant les listes des étoiles suivies par l’expérience et différents paramètres généraux : position en alpha delta, magnitudes dans les deux couleurs, erreurs sur les magnitudes, position en pixel, variabilité.

Le nom d’un catalogue est constitué du code du programme scientifique, du champ, du CCD et du sous CCD. L’extension du fichier est « .cat ». bs3000k.cat représente donc le catalogue du quart de CCD k du CCD 0 du champ 300 du programme bs.

Les catalogues sont résumés dans des fichiers « .field » contenant les alpha/delta minimum et maximum trouvés dans le catalogue. Des fichiers « .field » sont proposés pour chaque champ de chaque programme analysé (les 7 majeurs) et contiennent donc les alphas/deltas min et max de chacun des quarts de CCD du champ. Exemple: bs300.field.

Ces fichiers sont eux-mêmes résumés au niveau du programme donnant donc les alphas/deltas min et max de chacun des champs de ce programme. Exemple: bs.field.

• Terminée
  • Les catalogues sont disponibles dans iRods et dans SPS dans une hiérarchie de répertoire programme, champ, ccd, quart.
  • Les fichiers « field » sont également sauvés dans iRods et SPS (programmes et champs)
• Le contenu des fichiers « fields » et les catalogues sont enregistrés dans la base de données.
  • Les alphas/deltas min et max des fichiers « fields » sont enregistrées au niveau de la description des champs et d’une nouvelle structure mise en place spécifiquement pour représenter les sous CCDs.
  • Les catalogues sont conservés sous la forme de blobs (Binary Large Object).
    • Ceci permet la mise en place d’un outil de recherche des étoiles à partir d’alpha/delta.

Migration des courbes de lumière

Rappel : les courbes de lumière sont des fichiers ASCII contenant les mesures nuit après nuit des magnitudes rouges et bleues et les erreurs sur ces magnitudes.

• A faire – voir 2018-06-20 Points à régler

Nous avons une réponse du CC : les administrateurs iRods ne sont pas opposés à l’idée d’avoir 90 millions de fichiers. Il faut cependant organiser les choses de manière assez fine et éviter des répertoires à 10 milles entrées. . .

Je propose donc de subdiviser les répertoires associés aux quarts de CCD – comme prévue dès les origines de l’expérience avec les seizièmes de CCD.

Ceci ne  concernera QUE la distribution des courbes de lumières – et donc les catalogues correspondant – dans l’espace de stockage.

Continuer la lecture →

Je commence à mieux comprendre l’organisation des archives Tar regroupant les courbes de lumière.

Nous sommes en présence de deux ensembles d’archives :

• des archives Tar pour les principaux programmes scientifique et champs de l’expérience – cad les programmes scientifiques analysés sous la forme de fichiers de suivis (bs, cg, gn, gs, lm, sm, tm) ;
• une archive tar contenant les catalogues des étoiles suivis et la description des différents champs.

La structure de ces deux ensembles d’archives est assez complexe. Je pense que la principale difficulté lors de leur construction était d’avoir des fichiers Tar ni trop gros ni trop petits. La problématique aujourd’hui est différente et le but à atteindre est d’avoir l’accès le plus simple possible aux différentes courbes de lumière.

Curieusement, il y a 209 archives représentant des champs alors que 278 champs sont référencés dans la base de données.

Continuer la lecture →

La migration des suivis et des références de la production principale P5 est globalement terminée.

La situation est donc la suivante :

• Images des principaux programmes scientifiques, plus les calibrations : 98.5 %
• Suivis des principaux programmes scientifiques de la production P5 : 99.7 %
• Références des principaux programmes scientifiques de la production P5 : 99.8 %

Continuer la lecture →

La migration des suivis et des références est en cours.
Les références sont en nombre limité. Cela a donc été rapide.
Cependant, j’ai découvert que ces références étaient réparties principalement en 2 grandes productions P1 et P5 (10.000 et 14.000 références, respectivement).

La migration des références P5 est réalisée à 99.9% – il y a eu quelques ratés dans Cg et Lmc que je dois étudier. J’ai peur qu’il ne s’agisse de fichiers perdus ou vides…

Ceci a attiré mon attention sur les suivis, un peu plus compliqué à manipuler. La situation est à peu près la même si ce n’est que la production P1 ne fait « que » 30 000 éléments alors que P5 en compte 75 000… Pour le moment, la migration des suivis P5 de Bs, Gn, Gs, Smc et Tm est réalisée à 99.5% (là encore, il va falloir étudier les ratés). Smc est presque fini (97%). Cg et Lmc progressent.

Deux questions aux experts :

• sur quelle (quelles?) production les courbes de lumière s’appuient elles ?
• y a-t-il un intérêt à migrer les références et les suivis des autres productions ?

Les deux programmes de transfert des fichiers sont installés et fonctionnent.

Exemple :

% ReportImages bs 300 1 0 traitement=r
Nom               Objet Champ Camera Ccd Sousimage Filtre Traitement Nuit        Ordre
----------------- ----- ----- ------ --- --------- ------ ---------- ----------- -----
bs30001trr6f20221 bs    300        0   1 t         r      r          20-Jun-1996   221
bs30001trr6f20220 bs    300        0   1 t         r      r          20-Jun-1996   220
bs30001trr6g1016  bs    300        0   1 t         r      r          10-Jul-1996    16
bs30001trr6g1014  bs    300        0   1 t         r      r          10-Jul-1996    14
bs30001trr6g1010  bs    300        0   1 t         r      r          10-Jul-1996    10
bs30001trr6g1015  bs    300        0   1 t         r      r          10-Jul-1996    15
(...)

Continuer la lecture →

Ou du moins pour le moment la base de données des images et des suivis…

Pour ce faire, j’ai installé à Lyon 4 programmes volontairement très simples :

• ReportImages
• ReportFileImages
• ReportSuivis
• ReportFilesSuivis

dont le but est, comme leur nom le laisse deviner, de présenter les caractéristiques enregistrées dans la base de données des images, des fichiers FITS contenant les images, des suivis et leurs fichiers.

Continuer la lecture →

Les images de programmes scientifiques moins volumineux que les « 7 grands » et les images de calibration ayant servies à la construction des images « réduites » ont été migrées.

La table suivante fait le point de la situation :

Continuer la lecture →

La situation des migrations des 7 majeurs, ce matin ~ 10 heures.

FITS images: 2014920, iRods Fits files: 1748875, migration: 86.80%
  Program bs: Fits images:  37926, iRods files:  37920, migration: 99.98%
  Program cg: Fits images: 670288, iRods files: 668166, migration: 99.68%
  Program gn: Fits images: 126584, iRods files: 126462, migration: 99.90%
  Program gs: Fits images:  31897, iRods files:  31889, migration: 99.97%
  Program lm: Fits images: 725686, iRods files: 678434, migration: 93.49%
  Program sm: Fits images: 147154, iRods files: 145182, migration: 98.66%
  Program tm: Fits images:  60892, iRods files:  60822, migration: 99.89%

La migration des images FITS des 7 principaux programmes scientifiques est en voie d’achèvement.

Plusieurs difficultés sont cependant apparues qu’il va falloir tenter de régler.

Les prochaines étapes vont désormais être la migration des images de programmes scientifiques de moins grandes ampleurs et des images utilisées pour la réduction des images brutes issues des prises de vue.

Puis viendra la migration des fichiers de suivis et des fichiers de références.

Il sera alors temps de s’occuper du cas des courbes de lumière.

Continuer la lecture →