24 Avril 2018 / Quand ça change, ça change

« Faut jamais se laisser surprendre… »

Une précédente note (du « 6 Avril ») présentait une possible réorganisation des données Eros 2 dans iRods et sur le disque SPS. L’une des idées de cette proposition était de maintenir un miroir entre iRods et SPS, avec pour seule différence les noms des répertoires racines.

L’une des limitations de la proposition est qu’elle ne permettait pas facilement de faire de la place pour les données extérieures, ou plus anciennes, comme les courbes de lumière de Macho ou les images Eros 1 et/ou Eros 2/plaques…

La précédente proposition amende la précédente.

La nouvelle organisation proposée est décrite dans le schéma suivant – des notes d’explications sont proposées à la fin.

Irods

/eros/
    data/                  racine des données
        eros2/                 espace pour les données Eros 2
            fits/              répertoire des images FITS
            fits-headers/      répertoire des entêtes FITS
            fits-props/        répertoire des entêtes en format libre
            …/
            tars/          archives Tar du HPSS migrées avec succès (note n° 2)
                fits/
                …/
        legacy/            espace pour les archives HPSS non encore migrées
            servfits/
            …/

SPS

/sps/hep/eros/
    data/
        eros2/
            fits-headers/    voir note n° 1
            fits-props/
            migrations/     voir note n° 3
                fits/
                …
            …/
        legacy/            voir note n° 4
            …/
        softs/             voir note n° 4
            ErosTools/
            …
        users/             voir note n° 4
            …/

Remarques

  1. Du fait de contraintes du SPS en termes de nombres de fichiers autorisés, les entêtes FITS ont été regroupées en archives TAR.
    1. Mais elles sont sauvées individuellement dans iRods.
  2. Les archives Tar provenant du HPSS sont dans la zone legacy de iRods. Au fur et à mesure de la progression des migrations, celles-ci sont déplacées vers data/eros2/tar.
  3. Le répertoire data/eros2/migrations/fits est utilisé pour conserver les logs des jobs de migration. Il n’existe pour le moment que sur SPS mais devra être recopié vers iRods a-zap.
  4. La migration des anciens répertoires issus des espaces AFS se heurtent pour le moment à l’impossibilité du CC de conférer aux responsables Eros la possibilité de réaliser les migrations.
Ce contenu a été publié dans Non classé. Vous pouvez le mettre en favoris avec ce permalien.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *