5 Mars 2018 / Plan de migration

Le Centre de calcul a recopié les répertoires des données « officielles » d’Eros, à savoir erosfits, erosreferosserv, erossv. Ces répertoires sont installés au sommet de la hiérarchie iRods.

La première étape va consister à faire la distinction entre « l’historique » et les données « consolidées ». Pour cela, deux répertoires vont être mis en place : /eros/legacy et /eros/eros2. Les répertoires principaux provenant du HPSS seront déplacés vers legacy/ puis progressivement transférés dans eros2/. Ceci permettra de clairement séparer ce qui aura été traité et ce qu’il restera à faire.

Les fichiers du HPSS sont organisés en archives Tar. Cette organisation n’est pas très pratique, mais elle avait été adoptée pour permettre d’avoir des fichiers de plus grande taille dans le HPSS. La deuxième  étape va donc consister à installer les fichiers individuellement dans iRods. Fort heureusement, il existe un grigri qui permet de rendre les fichiers visibles sans avoir à les dupliquer.

La troisième étape va consister à redéfinir les nouveaux emplacements des fichiers dans la base de données.

Et la quatrième portera sur la mise à jour éventuelle des enregistrements réalisés à partir des fichiers, en particulier les images.

Les opérations seront réalisées par type de données et par programmes d’études. Les 7 « majeurs » seront traités en priorité. Les 4 « monte carlos » pourront être transférés ensuite. A l’issue de ce processus, les fichiers restant dans legacy/ devront être analysés individuellement et éventuellement insérés dans le dispositif général.

L’une des particularités de ce plan est qu’à l’exception de la dernière phase, aucun mouvement de fichiers n’est réalisé. Tout ce passe au niveau des catalogues et de la base de données.

Il existe également  une zone eros1 dans le HPSS – qui n’a pas été recopié par le CC car nous ne l’avions pas précisé. Cette zone est assez petite : 245 archives pour 0.3 TB. Elle sera traitée séparément. En effet, l’architecture mise en place pour Eros 2 / CCD n’est sans doute pas compatible avec les données Eros 1. Cela ne veut pas dire qu’il est impossible de les intégrer à une structure globale, mais il faudra sans doute quelques développements.

Au final, la structure dans le HPSS devrait ressembler à ceci :

/eros
    /eros1
    /eros2
        /fits
            /bs
            /cg
            /dg            ? à confirmer
            /eg            ?   "
            /gn
            /gs
            /lm
            /sm
            /tm
            /um            ?   "
            /xm            ?   "
        /references
            /... même structure
        /suivis
            /P5
               /... même structure
    /legacy
        /erosfits 
        /erosref 
        /erosserv 
        /erossv
    /home
    /trash
Ce contenu a été publié dans Non classé. Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *