20 Avril 2018 / Quand passent les sept gones

Après quelques débuts balbutiants, la migration des images FITS du HPSS vers iRods semble sur les rails.

La migration des 7 programmes majeurs (d’où {?!} le « titre ») a été lancée : Bs, Cg, Gn, Gs, Lm, Sm et Tm.

Les 3 plus petits, sont passés : Bs, Gs, et Tm.
1 est en voie d’achèvement : Gn.
1 est au deux tiers passé : Sm.
Les deux majeurs, Cg et Lm sont en cours.

Il conviendra d’analyser les scories…

  Program bs: Fits images:  37926, iRods files:  37920, migration: 99.98%
  Program cg: Fits images: 670288, iRods files: 117009, migration: 17.46%
  Program gn: Fits images: 126584, iRods files: 101583, migration: 80.25%
  Program gs: Fits images:  31897, iRods files:  31889, migration: 99.97%
  Program lm: Fits images: 725686, iRods files:  97214, migration: 13.40%
  Program sm: Fits images: 147154, iRods files:  95158, migration: 64.67%
  Program tm: Fits images:  60892, iRods files:  60822, migration: 99.89%

Entêtes FITS et SPS

L’une des idées de la migration était de conserver les entêtes FITS en ligne, afin d’en faciliter la consultation – sans avoir à redescendre les images entières.

Malheureusement, avec plus de 2 Millions d’images, doublés pour avoir aussi les entêtes sous une forme plus maniable que des images de cartes Fortran de 80 caractères sans terminateur de ligne, on butte sur la barrière des quotas du SPS, limité à 1 Million de fichiers pour 100 GB.

Renégocier cette limite doit être possible, mais supposerait un bon argumentaire.

Pour le moment, les entêtes FITS, en format « cartes Fortran » – ou encore Fits Headers, ainsi qu’en format plus « humain », similaire aux propriétés Java – sont conservées individuellement dans iRods, mais regroupées en archives Tar dans SPS.