Les deux programmes de transfert des fichiers sont installés et fonctionnent.
Exemple :
% ReportImages bs 300 1 0 traitement=r Nom Objet Champ Camera Ccd Sousimage Filtre Traitement Nuit Ordre ----------------- ----- ----- ------ --- --------- ------ ---------- ----------- ----- bs30001trr6f20221 bs 300 0 1 t r r 20-Jun-1996 221 bs30001trr6f20220 bs 300 0 1 t r r 20-Jun-1996 220 bs30001trr6g1016 bs 300 0 1 t r r 10-Jul-1996 16 bs30001trr6g1014 bs 300 0 1 t r r 10-Jul-1996 14 bs30001trr6g1010 bs 300 0 1 t r r 10-Jul-1996 10 bs30001trr6g1015 bs 300 0 1 t r r 10-Jul-1996 15 (...)
% ReportImages bs 300 1 0 traitement=r | grep bs | wc -l 407 % GetImages -verb bs 300 1 0 traitement=r 16-May-2018 14:55 (INFO) 407 files to copy 16-May-2018 14:55 (INFO) Destination directory: /sps/hep/eros/data/eros2/migrations/work 16-May-2018 14:55 (INFO) Transfer mode: abort 16-May-2018 14:55 (INFO) Size of the transfer blocks: 100 16-May-2018 14:55 (INFO) Copying selected files from 1 to 100 16-May-2018 14:56 (INFO) Copying selected files from 101 to 200 16-May-2018 14:57 (INFO) Copying selected files from 201 to 300 16-May-2018 14:57 (INFO) Copying selected files from 301 to 400 16-May-2018 14:58 (INFO) Copying selected files from 401 to 407
Soit 407 fichiers de 8.1 M, soit 3.2 G en ~ 3-4 mn Þ 10-15 MB/s… Ce qui est bien sans être transcendant…
On notera en outre qu’en relançant le transfert de la même sélection peu de temps après, les performances sont bien meilleures:
% GetImages -verb bs 300 1 0 traitement=r -replace 16-May-2018 15:10 (INFO) 407 files to copy 16-May-2018 15:10 (INFO) Destination directory: /sps/hep/eros/data/eros2/migrations/work 16-May-2018 15:10 (INFO) Transfer mode: replace 16-May-2018 15:10 (INFO) Size of the transfer blocks: 100 16-May-2018 15:10 (WARNING) Replacing already copied file bs30001trr6g1016.fits 16-May-2018 15:10 (WARNING) Replacing already copied file bs30001trr6g1131.fits 16-May-2018 15:10 (WARNING) Replacing already copied file bs30001trr6g220.fits 16-May-2018 15:10 (WARNING) Replacing already copied file bs30001trr6g152.fits (...) 16-May-2018 15:10 (INFO) Copying selected files from 1 to 100 16-May-2018 15:10 (INFO) Copying selected files from 101 to 200 16-May-2018 15:10 (INFO) Copying selected files from 201 to 300 16-May-2018 15:11 (INFO) Copying selected files from 301 to 400 16-May-2018 15:11 (INFO) Copying selected files from 401 to 407
Soit de l’ordre de 2 minutes…
Ceci tient à l’effet de cache de iRods : les fichiers récemment accédés sont conservés quelques temps sur disque. Leur accès est donc plus rapide.
Bien sûr, les exemples sont donnés pour le Centre de calcul, où les données ne transitent que sur le réseau interne.