Eros Anastasis

Le sommaire des fichiers Eros du HPSS, à partir de la liste fournie par le CC, montre plusieurs points qui devront être précisés à partir des fichiers migrés vers iRods.

Fichiers FITS

85% des fichiers FITS correspondent à des programmes connus – autrement dit, référencés dans la base de données.

Mais près de 7% correspondent semble-t-il à 4 programmes de simulations (leur nom inclus les mots Monte Carlo) : dg, eg, um et xm.

Il existe des fichiers correspondant à de pseudo-programmes faciles à deviner : cal, koupl.

D’autres semblent moins compréhensibles : cae, calx…

Par ailleurs, certains programmes semblent avoir été sauvegardés sous deux formes : cg, bs… (voir le sommaire des fichiers HPSS).

Continuer la lecture →

All files:    391503 f  26,8 TB

Regular areas: 11402 f  22,5 TB

  erosfits:     3951 f 15,1 TB
    [bcglsm][a-z]\d{5}_fits\.tar            3392 f  13,2 TB first: \hpss\in2p3.fr\group\eros\erosfits\lm03615_fits.tar
     | bs\d{5}_fits\.tar                      96 f   0,3 TB first: \hpss\in2p3.fr\group\eros\erosfits\bs30000_fits.tar
     | cg\d{5}_fits\.tar                    1328 f   5,0 TB first: \hpss\in2p3.fr\group\eros\erosfits\cg10506_fits.tar
     | gn\d{5}_fits\.tar                     256 f   1,0 TB first: \hpss\in2p3.fr\group\eros\erosfits\gn40615_fits.tar
     | gs\d{5}_fits\.tar                      80 f   0,2 TB first: \hpss\in2p3.fr\group\eros\erosfits\gs20301_fits.tar
     | lm\d{5}_fits\.tar                    1408 f   5,5 TB first: \hpss\in2p3.fr\group\eros\erosfits\lm03615_fits.tar
     | sm\d{5}_fits\.tar                     160 f   1,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\sm00511_fits.tar
     | tm\d{5}_fits\.tar                     136 f   0,5 TB first: \hpss\in2p3.fr\group\eros\erosfits\tm50203_fits.tar

    [^bcglsm][a-z]\d{5}_fits\.tar            266 f   1,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\dg00210_fits.tar
     | dg\d{5}_fits\.tar                      24 f   0,2 TB first: \hpss\in2p3.fr\group\eros\erosfits\dg00210_fits.tar
     | eg\d{5}_fits\.tar                       4 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erosfits\eg00204_fits.tar
     | um\d{5}_fits\.tar                      14 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\um01917_fits.tar
     | xm\d{5}_fits\.tar                      84 f   0,4 TB first: \hpss\in2p3.fr\group\eros\erosfits\xm00101_fits.tar

    [a-z]{2}\d{3}_fits\.tar                   49 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\cg110_fits.tar
    [a-z]{3}\d{4}_fits\.tar                   16 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erosfits\cal1603_fits.tar
    [a-z]{2}\d{3}\-\d{3}_[cx]\w{6}_fits\.tar  48 f   0,2 TB first: \hpss\in2p3.fr\group\eros\erosfits\bs300-305_c6a3150_fits.tar
    [a-z]{3}\d{2}_fits\.tar                   50 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\cae11_fits.tar
    [a-z]{4}\d{3}_fits\.tar                   48 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erosfits\calx000_fits.tar
    [a-z]{5}\d{2}_fits\.tar                   48 f   0,3 TB first: \hpss\in2p3.fr\group\eros\erosfits\koupl01_fits.tar
    [a-z]{2}_fits\.tar                         8 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\vl_fits.tar

    not matching files:                       26 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosfits\astrom_xfiles_old_fits.tar

  erosref:      26 f  0,1 TB
    [a-z]{2}\d{3}\-\d{3}_p5_ref.tar           24 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erosref\bs300-305_p5_ref.tar

    not matching files:                        2 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erosref\xm-um-dg-eg_p5_ref.tar

  erosserv:    211 f  0,5 TB
    [a-z]{2}\d{3}\.tar                       209 f   0,5 TB first: \hpss\in2p3.fr\group\eros\erosserv\tm500.tar

    not matching files:                        2 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erosserv\sds_aubourg.tar

  erossv:     7214 f  6,8 TB
    [bcglsm][a-z]\d{3}\-\d[a-z]_p5_sv\.tar  6480 f   6,1 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\cg\cg084-5l_p5_sv.tar
     | bs\d{3}\-\d[a-z]_p5_sv\.tar           192 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\bs\bs300-0k_p5_sv.tar
     | cg\d{3}\-\d[a-z]_p5_sv\.tar          2619 f   2,3 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\cg\cg084-5l_p5_sv.tar
     | gn\d{3}\-\d[a-z]_p5_sv\.tar           384 f   0,4 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\gn\gn403-6l_p5_sv.tar
     | gs\d{3}\-\d[a-z]_p5_sv\.tar           160 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\gs\gs200-0k_p5_sv.tar
     | lm\d{3}\-\d[a-z]_p5_sv\.tar          2805 f   2,7 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\lm\lm071-1l_p5_sv.tar
     | sm\d{3}\-\d[a-z]_p5_sv\.tar           320 f   0,4 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\sm\sm001-6m_p5_sv.tar
     | tm\d{3}\-\d[a-z]_p5_sv\.tar           192 f   0,2 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\tm\tm501-5m_p5_sv.tar

    [^bcglsm][a-z]\d{3}\-\d[a-z]_p5_sv\.tar  435 f   0,4 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\others\um019-4k_p5_sv.tar
     | dg\d{3}\-\d[a-z]_p5_sv\.tar            43 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\others\dg002-0k_p5_sv.tar
     | eg\d{3}\-\d[a-z]_p5_sv\.tar             4 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\others\eg610-4k_p5_sv.tar
     | um\d{3}\-\d[a-z]_p5_sv\.tar            28 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\others\um019-4k_p5_sv.tar
     | xm\d{3}\-\d[a-z]_p5_sv\.tar           168 f   0,2 TB first: \hpss\in2p3.fr\group\eros\erossv\P5\others\xm019-0l_p5_sv.tar

    [a-z]{2}\d{3}_b5_sv\.tar                  98 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erossv\B5\sm002_b5_sv.tar
    [a-z]{2}\d{3}_m5_sv\.tar                  98 f   0,1 TB first: \hpss\in2p3.fr\group\eros\erossv\M5\lm001_m5_sv.tar
    [a-z]{2}\d{3}_v5_sv\.tar                  10 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\V5\sm001_v5_sv.tar
    [a-z]{2}\d{3}\-\d[a-z]_p2_sv\.tar         32 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\P2\cg003-0k_p2_sv.tar
    [a-z]{2}\d{3}\-\d[a-z]_p6_sv\.tar         33 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\P6\cg002-0k_p6_sv.tar
    [a-z]{2}\d{3}\-\d[a-z]_p9_sv\.tar         28 f   0,0 TB first: \hpss\in2p3.fr\group\eros\erossv\P9\sm001-0k_p9_sv.tar

Special areas:      245 f  0,3 TB
  eros1:                                     245 f   0,3 TB

Special programs: 23206 f  0,2 TB
  BrasSpiraux:                             11089 f   0,1 TB
  SN:                                      12117 f   0,0 TB

User files:     356650 f 3,8 TB
  glicens:                                   320 f   0,5 TB
  hamadach:                                   64 f   0,0 TB
  llg:                                    346451 f   2,8 TB
  tisserand:                                9815 f   0,5 TB

Le CC nous informe que les données sont disponibles.

L’organisation actuelle est la suivante, calquée sur l’organisation du HPSS. Seuls les espaces « officiels » ont été transférés.

/eros/erosfits
/eros/erosref
/eros/erosserv
/eros/erossv
/eros/home
/eros/trash

Le CC nous annonce le délai dans la mise en place de l’espace iRods pour Eros est lié à une question de version des installations. La nouvelle instance doit utiliser une version récente d’Irods (4.2) sur une version récente de Scientific Linux (v 7).

Le Centre réalise lui-même l’opération de transfert des données. L’intérêt de cette solution réside dans l’optimisation des mouvements de cartouches. Tous les fichiers sont transférés en une fois, alors que l’approche que j’avais proposée – réaliser nous-mêmes les transferts ; aurait entrainée de multiples « mouvements de bandes ».

Les données devraient être accessibles dans la semaine du 26 Février.

Suite à une relance de ma part, le CC annonce que la mise en place de la zone iRods pour l’expérience Eros est quelque peu retardée, jusqu’à début Mars au moins.

Heu, un point de vocabulaire d’informaticien…

HPSS : High Peformance Storage System

C’est un robot intelligent de bandes magnétiques.

On accède aux fichiers via un catalogue qui est structuré comme une arborescence UNIX.

C’est nettement plus pratique que de devoir demander le montage d’une bande, se positionner sur la bande en donnant le numéro du fichier, … Mais cela reste derrière des bandes magnétiques

SRB : Storage Resource Broker

Système distribué de gestion de fichiers.

Abandonné au profit d’iRods – Voir iRods

iRods : Integrated Rule Oriented Data System

Un système intelligent de stockage de fichiers, pouvant gérer des espaces disques, des bandes magnétiques, des bases de données, …

On n’accède plus directement aux bandes magnétiques, mais on passe par un serveur qui conserve les fichiers dans un espace disque temporaire avant de les migrer vers les bandes, ou de les placer en permanence sur disque. Le choix des mouvements internes est dicté par des règles – par exemple en fonction de la taille des fichiers, de l’encombrement des espaces disques, …
Les fichiers, même migrés sur bandes, restent quelques temps en ligne, ce qui permet un accès bien plus rapide et efficace.

Mais cela reste fondamentalement un système de staging.

Pratique, mais moins performant qu’un espace disque… Mais cet espace est visible de l’ensemble du monde, contrairement aux disques.

SPS : Semi-Permanent Storage

Un ensemble de disques permettant un accès efficace aux données, mais bien sûr limité en termes de capacité.

Par ailleurs, et contrairement à des systèmes distribués, les données ne sont visibles que depuis un ordinateur du Centre.

AFS : Andrew File System

Système distribué de gestion de disque.

Les deux points forts d’AFS sont la possibilité d’accéder à un espace disque distant « comme s’il était local » et la qualité du système de mots de passe utilisé.

Le système est basé sur un mécanisme de cache local. Le fichier accédé est partiellement copié en local, ce qui, une fois la première copie réalisée, donne des performances très correctes.

Mais le système est assez peu efficace pour des traitements massifs et sur des gros volumes de données, et est donc en parti abandonné par le CC.

Base de donnée

L’accès à la base de données Eros marche, du moins avec l’outil standard Oracle, sqlplus.

Les noms des comptes et les mots de passe ont été conservés. Mais la chaîne de connexion est différente (en tout cas, par rapport à mes souvenirs). Mais cela est sans conséquence pratique.

iRods

J’ai fait une demande pour avoir les paramètres permettant d’accéder à l’espace iRods depuis le compte erosprod.

En attente.

Cette page est dédiée à la valorisation des données de l’expérience Eros 2 conservées au Centre de calcul de l’IN2P3.

3 objectifs

1. Créer un catalogue des fichiers sauvegardés dans l’espace iRods.
2. Croiser ce catalogue avec le catalogue des images et des courbes de lumière de la base de données Oracle.
3. Mettre en place des outils, éventuellement simples, pour accéder aux fichiers.