Compte-rendu de la réunion technique du 4 Novembre 2019.
Présents: Marc Moniez, Tristan Blaineau, Jean-Noël Albert
Thème:
- Le sujet de la réunion était de déterminer les besoins de l’expérience pour l’année à venir, et si possible les années suivantes, et de transmettre ces besoins au Centre de calcul afin de pouvoir y travailler sur les données Eros.
- Nous avons aussi discuté du nettoyage de l’espace occupé par des données obsolètes.
Rapporteur:
- Ce post est basé sur les notes de Marc Moniez
Demande de ressources
Temps CPU
- l’utilisation du Centre pour l’année 2019 a été de 330 000 heures, soit 275 000 heures, soit … 3 CPU;
- la période de calcul va de Mai à Juillet puis Septembre;
- nous avons demandé 200 000 heures par trimestre pour 2020.
Stockage Disque SPS
- nous disposons de 5 TB dans l’espace de stockage semi-permanent SPS, occupé à 75%;
- cet espace est actuellement utilisé comme tampon pour la récupération des images Macho, avant leur transfert vers iRods;
- nous avons demandé 2 fois 1.5 TB pour les deux premiers trimestres de 2020 afin de disposer d’un tampon pour les données Super Macho et la vérification des transferts des données Eros du HPSS vers iRods.
Stockage Cartouches iRods
- nous utilisons actuellement 48 TB d’espace de stockage iRods cartouches;
- cet espace contient la copie des données Eros transférées du HPSS et réorganisées de manière à permettre un accès plus aisé;
- la stratégie de réorganisation à consister à mettre en ligne les données sans effacer les archives transférées;
- nous occupons donc actuellement deux fois plus d’espace que réellement nécessaire (aka: 24 TB);
- la validation des transferts va occuper une partie des deux trimestres à venir;
- une fois terminé, les doublons seront effacés;
- nous avons donc demandé 2 fois 10 TB dans l’espace de stockage cartouche de iRods afin de passer le cap de cette vérification et permettre l’intégration des données Macho et Super Macho.
Stockage HPSS
- nous utilisons 28 TB dans le HPSS, dont environ 24 TB de données de l’expérience actuellement transférées dans iRods;
- ce qui fait qu’un fichier Eros existe actuellement 3 fois…
- il reste donc dans le HPSS environ 4 TB de données « non officielles »;
- nous n’avons bien sûr demandé aucune ressource (autre que iRods – voir ci-dessus).
Base de données
- nous avons demandé un accroissement de 200 GB de l’espace Oracle afin de pouvoir y enregistrer la description des fichiers Macho et Super Macho.
2021 – 2022
- il est bien sûr délicat de faire des demandes à long terme, mais comme au moins une thèse est en cours, nous avons anticipé les demandes pour les 2 années à suivre sur la base des demandes de 2020, soit 1 million d’heures CPU / an et 10 TB cartouches / an.
Nettoyage des espaces de stockage
Un nombre important de fichiers privés sont conservés dans le HPSS et dans l’espace disque commun SPS [un état des lieux doit être fait…]. Dans SPS, il s’agit de copies de l’ancien espace GROUP_DIR/AFS. La situation de HPSS est plus confuse.
La décision prise est d’essayer de dégager ces très vieux fichiers, si possible en conservant quelque part des archives (version moderne de « la mise à la cave »).
Le plan est le suivant :
- établir un état des lieux par utilisateur
- contacter les utilisateurs pour leur demander de faire eux-mêmes du ménage
- ou du moins nous donner des directives concernant ces vieux fichiers (codes, données, documents)
- supprimer ou archiver les données
Sauvegarde des données Eros
Marc doit contacter le service informatique du LAL pour tenter d’avoir un duplicata local des données Eros.
Cela pourrait atteindre 25 TB.