25 Avril 2018 / Utiliser iRods

Pour utiliser iRods, il faut commencer par installer les commandes puis configurer le chemin d’accès à ces commandes et enfin définir les paramètres de connexion au serveur. Et bien sûr disposer d’un compte iRods.

A chaque session, il faudra définir l’emplacement des commandes iRods.
Une seule fois par site d’utilisation – le CC, son poste personnel, les stations de son institut – il faudra définir les paramètres de connexion à iRods.

AU CENTRE DE CALCUL DE LYON, la définition de l’emplacement des commandes iRods se fait par :

irods_env 4.2.2

Pour votre poste personnel, libre à vous de créer un script similaire.

Pour initialiser les paramètres de connexion, il faut exécuter la commande : iinit.

Cette commande pose plusieurs questions. Les paramètres de connexion sont envoyés par courrier.
Le mot de passe est envoyé dans un courrier séparé. Celui-ci est généré automatiquement mais on peut le changer grâce à ipasswd.  Ceci dit, les paramètres de connexion étant conservés dans des fichiers codés, le mot de passe n’est plus demandé ensuite.

Les commandes iRods miment souvent les commandes UNIX, mais avec un « i » initial. Par exemple, pour visualiser les répertoires, on utilise ils.

Le transfert des fichiers est un peu plus compliqué :

  • copier un fichier iRods en local: iget
  • copier un fichier local dans iRods: iput
  • recopier un fichier d’un répertoire iRods à un autre répertorie iRods : icp
  • déplacer un fichier d’un répertoire iRods à un autre répertorie iRods : imv

Pour plus d’information:

  • le CC propose une page de clients préconstruits pouvant être installés localement, mais il ne semble pas y en avoir pour la v4. Ceci dit, la 3.3 devrait passer :

https://doc.cc.in2p3.fr/clients_irods

  • une description des commandes iRods est disponible à la page :

https://docs.irods.org/4.2.2/icommands/user/

Publié dans Non classé | Laisser un commentaire

25 Avril 2018 / Les migrations

Si si : en deux mots…

Situation des migrations des images Fits à peu près à une semaine du début de la campagne.

% MigrationsSurvey

FITS images: 2014920, iRods Fits files: 1309370, migration: 64.98%
  Program bs: Fits images:  37926, iRods files:  37920, migration: 99.98%
  Program cg: Fits images: 670288, iRods files: 479527, migration: 71.54%
  Program gn: Fits images: 126584, iRods files: 126462, migration: 99.90%
  Program gs: Fits images:  31897, iRods files:  31889, migration: 99.97%
  Program lm: Fits images: 725686, iRods files: 427568, migration: 58.92%
  Program sm: Fits images: 147154, iRods files: 145182, migration: 98.66%
  Program tm: Fits images:  60892, iRods files:  60822, migration: 99.89%

Il reste donc encore deux programmes en cours : Cg et Lm.

Publié dans Non classé | Laisser un commentaire

24 Avril 2018 / Quand ça change, ça change

« Faut jamais se laisser surprendre… »

Une précédente note (du « 6 Avril ») présentait une possible réorganisation des données Eros 2 dans iRods et sur le disque SPS. L’une des idées de cette proposition était de maintenir un miroir entre iRods et SPS, avec pour seule différence les noms des répertoires racines.

L’une des limitations de la proposition est qu’elle ne permettait pas facilement de faire de la place pour les données extérieures, ou plus anciennes, comme les courbes de lumière de Macho ou les images Eros 1 et/ou Eros 2/plaques…

La précédente proposition amende la précédente.

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

20 Avril 2018 / Quand passent les sept gones

Après quelques débuts balbutiants, la migration des images FITS du HPSS vers iRods semble sur les rails.

La migration des 7 programmes majeurs (d’où {?!} le « titre ») a été lancée : Bs, Cg, Gn, Gs, Lm, Sm et Tm.

Les 3 plus petits, sont passés : Bs, Gs, et Tm.
1 est en voie d’achèvement : Gn.
1 est au deux tiers passé : Sm.
Les deux majeurs, Cg et Lm sont en cours.

Continuer la lecture

Publié dans Non classé | Un commentaire

6 Avril 2018 / La longue marche

Les premières migrations batch ont débuté. Les transferts sont organisés par programme scientifique et type de données. Les batchs transfèrent les archives jusqu’à atteindre leur limite en termes de temps CPU (ou elapse) et se relancent automatiquement pour poursuivre les opérations.

Sur les premières évaluations, il faut environ 10 mn par archive FITS. Il y a près de 4 000 archives, mais grâce au mécanisme de batch, il est possible de lancer plusieurs migrations simultanément.

Le nombre d’opérations pouvant être réalisées en parallèle est à négocier avec les administrateurs du Centre, mais comme il n’y a que 7 programmes majeurs, regroupant 85% des données, il doit être acceptable de traiter tous ces cas en même temps.

La répartition des archives par programme scientifique n’est cependant pas équilibrée, et les deux plus importants comptent environ 1 500 archives chaque. Soit un temps très estimable, ou en tout cas estimé, de 15 000 minutes pour chacun de ces programmes, soit 250 heures, ou 10 jours…
Continuer la lecture

Publié dans Non classé | Laisser un commentaire

9 Mars 2018 / La règle et le compas


Il faut être lucide, la répartition des images FITS par date n’est pas utilisable. Il y a trop de cas particuliers. Quant à une répartition arbitraire par répertoire de taille plus ou moins imposée, elle conduit à une organisation difficilement lisible, et s’avère délicate à mettre en œuvre. Il convient donc de chercher un autre angle d’attaque.

Après tout, nos grands anciens ont réussi à organiser les fichiers de l’expérience sous la forme d’archives Tar de tailles raisonnables. Alors pourquoi ne pas s’appuyer sur cet acquis… ? Et il serait d’ailleurs temps d’élucider ce petit mystère : qu’elle est la signification des différents de noms des fichiers Tar du HPSS ?

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

8 Mars 2018 / Objets, Champs, Images

La répartition des images en termes de répertoires dans iRods présente une difficulté : le nombre important d’images pour certains programmes et champs.

Dans cette étude, je ne considère que les images « t » et « r« , c’est-à-dire les images complètes réduites.

Nombre total d’images :2.014.920
Nombre d’images « t » et « r » :1.974.701
Autres images:40.219

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

7 Mars 2018 / Noms des images Eros 2

Le nom d’une image Eros 2 est composé de 9 champs :

  • objet : 2 caractères alphabétiques représentant le programme scientifique
  • champ : 3 digits
  • caméra : 1 digit : 0 ou 1 (n’oublions pas que l’ère du C est advenue)
  • ccd : 1 digit : 0 – 7
  • sous image : 1 caractère alphanumérique (voir Décomposition d’une image)
  • filtre : 1 caractère alphanumérique : ‘b’ pour bleu, ‘r’ pour rouge, mais aussi ‘z’, ‘i’, ‘p’, ‘v’
  • traitement : 1 caractère alphabétique : ‘b’ : brute, ‘r’ : réduit, ‘c’ : composité [?], ‘x’ : colapsée [?], ou ‘f’ (flat ?)
  • nuit : 4 caractères alphanumériques – date de la prise de vue, encodée (voir Date)
  • ordre : n digits – numéro de l’image dans une série réalisée une même nuit

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

5 Mars 2018 / Plan de migration

Le Centre de calcul a recopié les répertoires des données « officielles » d’Eros, à savoir erosfits, erosreferosserv, erossv. Ces répertoires sont installés au sommet de la hiérarchie iRods.

La première étape va consister à faire la distinction entre « l’historique » et les données « consolidées ». Pour cela, deux répertoires vont être mis en place : /eros/legacy et /eros/eros2. Les répertoires principaux provenant du HPSS seront déplacés vers legacy/ puis progressivement transférés dans eros2/. Ceci permettra de clairement séparer ce qui aura été traité et ce qu’il restera à faire.

Continuer la lecture

Publié dans Non classé | Laisser un commentaire

4 Mars 2018 / Programmes scientifiques Eros II

Code Nom                     Description 
---- ----------------------- -----------------------
aj   Amas jeunes             Young clusters/T Tauri 
as   Alain_Special 
bi   bidon 
bs   beta scu                Beta Scuti, lenses 
ca   Calib E9                Calibration fields 
cg   centre gal              Galactic Center, lenses
co   comet 
cp   Cepheides               LMC-SMC cepheids 
dg   centre,gal,montecarlo   microlensing 
eg   clone cg                microlensing 
fl   flat ciel               sky flat fields 
gb   gammabursts 
gn   gamma nor               Gamma Normae, lenses 
gs   gamma scu               Gamma Scuti, lenses 
ko   flat coup               flat fields 
lm   lmc-lentilles           Large Magellanic Cloud 
nr   naines/sn               Red dwarfs 
ob   obscurite               dark fields 
qu   quasars                 Quasars 
sa   objetssaturniens 
sm   smc-lentilles           Small Magellanic Cloud 
sn   supernova 
tm   theta mus               Theta Muscae , lenses 
um   montecarlo-lmc-1        mouvement propre 
vl   Voie Lactee             Milky Way, lenses 
vm   montecarlo-smc-1        mouvement propre 
wg   centre,gal,montecarlo-1 mouvement propre 
xa   APO3.5m 
xi   JKT 
xm   montecarlo-lmc          microlensing 
xt   black hole 
ym   Montecarlo-smc          microlensing 
zz   Venus L4 

Publié dans Non classé | Laisser un commentaire