Antoine rappelle l’école IN2P3  « Parallélisme sur matériel hétérogène » organisée par David la semaine prochaine. Participants du LAL : François, Justine et Stéphane Plaszczynski. Le lundi (23), LoOPS organise une journée consacrée aux mêmes thèmes que l’école en profitant de la présence des intervenants au centre de recherche Inria Saclay (sur le campus de Polytechnique). http://reseau-loops.github.io/journee_2016_05.html

LoOPS, comme annoncé la dernière fois, organise des cafés de 13 à 14 tous les 1er et 3e mardis de chaque mois (orthographe garantie 1er choix ;-).

http://reseau-loops.github.io/cafes_loops.html

Christian Arnault nous présente son projet actuel d’évaluation de la techno SPARK dans la manip LSST, évaluation à laquelle participe Axel dans le cadre de son stage de 3,5 mois de dernière année de DUT. Encore à un stade qualitatif (mais il faut se familiariser avec beaucoup de nouvelles technologies, dont certaines « ASR »). Voir les diapos jointes. https://indico.lal.in2p3.fr/event/3227/material/slides/0.pdf

Le projet repose sur l’utilisation du cloud OpenStack de Virtual Data.

Discussion sur le workshop HSF actuellement en cours au LAL. Un peu à boire et à manger…

La section LAL de LoOPS va organiser d’ici la fin de l’année une session locale de l’école « mini-ENVOL », une offre de DEVLOG clés en main, 3 jours consacrés aux tests. Il suffit de prévoir l’annonce, les inscriptions, trouver une salle ( 203) et les repas de midi.

Les 24-25 mai auront lieu deux jours de cours « Software Carpentry » au PROTO204. Au programme : Unix shell, python, Git

Détails :

You are invited to a two-day Software Carpentry course that will take place on
May 24-25th, 2016  (Tuesday - Wednesday) at PROTO204 in Bures-sur-Yvette,
France (Paris metropolitan area).

Software Carpentry is a programming course for beginners, which covers most
important skills for everyday use of scientists (automating tasks with the
shell, programming in Python, data analysis and visualisation, keeping track of
project changes with git).  The course is aimed at graduate students and other
researchers. You don't need to have any previous knowledge of the tools that
will be presented at the workshop. Some prior programming experience (in any
language), although not required, will be useful.

The teaching language of the course is English (but there will be
helpers around that can assist in French).

The registration to the course is free, but due to limited space it is
mandatory.  The registration will open on May, 11th at 10am and the seats will be
distributed on first-come-first-serve basis.

More information and registration at: https://paris-swc.github.io/2016-05-24-proto204/

The course is organized by computational scientists from the Paris area: Jan
Antolik (UNIC, CNRS), Andrew Davison (UNIC, CNRS), Loïc Estève (Pariétal,
Inria), Eric Bray (LRI, Université Paris-Sud), Konrad Hinsen (CBM, Orléans),
Samuel Lelièvre (Math, UPSud), Camille Marini (Telecom ParisTech, CNRS), Marcel
Stimberg (Institut de la Vision, UPMC), Bartosz Teleńczuk (UNIC, CNRS), Maria
Teleńczuk (Institut de la Vision, UPMC)

About Software Carpentry

Scientists spend more and more time on programming. While techniques for
writing software are constantly evolving, only few scientists have been trained
to use them. As a result, instead of doing their research, they spend far too
much time writing deficient code and reinventing the wheel. This course is a
two-day hands-on tutorial tailored to the needs of novice Python programmers or
seasoned users of other programming languages. It introduces them to modern
standards of scientific software development. http://software-carpentry.org

PSPA : la bourse de Marica a été accordée. Marica pasera au LAL 3 jours en début de semaine prochaine.

L’appel à contribution pour les JI est ouvert jusqu’au 18 mai prochain.

• Webinaires
  • Christian H. rappelle que le RI3 relance une animation connue sous le nom (malheureux) de « webinaires ». Il ne s’agit pas de webinaires au sens traditionnel du net, mais d’espaces d’échanges « sans murs » au sein du RI3
  • pourrait-on l’enregistrer ? C’est un espace d’échanges et discussion, mais pas dans la tradition de l’enregistrer ;
  • Valérie est l’animatrice du groupe en charge des webinaires ; une de ses idées est d’avoir pour chaque édition un «auteur» et un autre son de cloche
  • suggestion de CH : avoir un doc collaboratif persistant après le séminaire (etherpad.in2p3.fr)
  • manque d’un système de chat pour interagir avec les sites perturbateurs
  • fait pour être émis/réceptionné dans une salle équipée en vidéoconférence, pas pour se connecter d’un poste individuel, sauf exception
  • actuellement, sujets plutôt orientés vers ASR, mais aux développeurs de changer ça
• LoOPS :
  • comment s’inscrire ? il faut s’inscrire sur la mailing list du réseau LoOPS, où sont envoyées les annonces et autres informations. Lien sur le site de LoOPS : http://reseau-loops.github.io/about.html
  • la prochaine journée a lieu jeudi 7 avril (Apache Spark)
  • les journées LoOPS sont de la veille et interactions entre développeurs et non de la formation
• HEP software foundation :
  • s’inscrire au prochain workshop qui se tiendra au LAL en choisissant «payer plus tard» https://indico.cern.ch/event/496146/
  • précédentes éditions organisés par CERN et SLAC
  • du 2 au 4 mai 2016
• Ecole info IN2P3 2016 :
  • parallélisme sur matériel hétérogène
  • 23 au 27 mai
  • le processus d’inscription peut sembler un peu intrusif, mais il permet d’avoir plus d’info pour les organisateurs
• Ecole GEANT4
  • au LAL, du 23 au 27 mai. L’occasion de revoir Laurent.
• JI IN2P3-IRFU
  • Le Lioran (Cantal) 26-29 septembre
  • reprise du principe des ateliers
  • appels à candidatures pour les présentations
  • possibilité d’un atelier Arduino ?
• CHEP 2016 :
  • San Francisco 10-14 octobre
  • dead line soumission repoussée au 18 avril
• Calendrier dev@lal :
  • possibilité de créer un calendrier sur owncloud (Philippe)
• Réunion Paris-Saclay du 1/4 (Philippe y a assisté, il a publié un CR sur forum-lal)
• Listes de diffusion :
  • Forum-lal : http://listserv.in2p3.fr/cgi-bin/wa?SUBED1=FORUM-LAL-L
  • Réseau instrumentation :
    • https://forge.in2p3.fr/projects/slowcontrol-4-instru-le-reseau-controle-commande-in2p3
    • forum : https://forge.in2p3.fr/projects/slowcontrol-4-instru-le-reseau-controle-commande-in2p3/boards
    • liste de diffusion : http://listserv.in2p3.fr/cgi-bin/wa?A0=INSTRUM-CONTROL-COMMAND-L
  • LoOPS (le réseau des informaticiens du campus : https://groupes.renater.fr/sympa/info/loops) ;
  • RI3 (réseau des informaticiens IN2P3 et IRFU : http://informatique.in2p3.fr/?q=ri3) ;
  • dev-l (développeurs du RI3 : DEV-L-subscribe-request@IN2P3.FR) ;
• Site SI :
  • Il faudrait y mettre les listes de discussions (comme ci-dessus)
  • Hadrien a écrit un petit mémo hg pour des utilisateurs de git ? Le mettre sur le site ou sur Atrium ?
• Eduroam
  • Eduroam est un système d’authentification global qui permet d’accéder au WiFi de maintenant quasiment tous les établissements de recherche/enseignement supérieur. Pour l’installer sur sa machine, consulter le site support.

Rédigé par CH à partir des notes de Philippe

Le thème principal de cette réunion était la refonte du site du service informatique.

On songeait en particulier à créer une partie dédiée aux problématiques de développement. Cette partie contiendrait au minimum une page par projet de développement actif au LAL. Il a aussi été discuté d’y mettre une discussion de l’infrastructure existante et utilisée pour le développement logiciel :

• Au LAL comme ailleurs (IN2P3 notamment, dont les outils collaboratifs sont mal documentés)
• Devrait parler de mailing lists (annuaire et guide pour la création)
• Devrait aussi discuter de la gestion du source (Gitlab, etc.) et mettre un lien vers les dépôts publics
• Le but est d’informer sur l’existant, et non d’imposer un outil aux autres

Une question qui n’a pas été vraiment résolue est de savoir si l’on souhaite, ou non, avoir des pages intranet et extranet séparées. L’intérêt de maintenir un intranet est d’y garder des informations qu’on ne souhaite pas rendre publiques ou qui n’aurait pas d’intérêt pour les extérieurs, mais est-ce qu’on désire ces choses-là au point de s’infliger l’effort supplémentaire?

La problématique de la politique éditoriale a été soulevée. Parmi les questions qui ont été soulevées, j’ai noté…

• La standardisation entre les pages projets (agréable à lire pour les utilisateurs, contrainte pour les auteurs)
• La nécessité d’un responsable éditorial pour secouer les personnes qui participent au site quand elles « s’endorment »
• La question des droits d’écriture: qui peut publier ? Souhaite-t-on une soumission d’article préalable à la publication ?

Sur ce dernier point, la discussion semble avoir convergé vers un système où tout le monde peut publier, mais il est recommandé de soumettre à relecture d’abord. Il y aurait un module WordPress qui permet de faire ça, mais il est buggé (n’envoie pas des notifications par mail quand il le devrait).

Justine a aussi un peu parlé de son projet, qui est la migration d’un système de gestion de carrière du personnel, auparavant basé sur FileMaker, vers une application web PHP/MySQL. Elle a utilisé le framework Symfony et l’ORM Doctrine. Ce point a fait l’objet d’une grande discussion avec Antoine sur les possibilités d’une migration simplifiée du schéma et des données depuis FileMaker.

La question de la journée LoOPS sur MapReduce et Apache Spark (le 7 avril prochain, à l’amphi du LAL et salle 203 pour les TP) a aussi été évoquée. Le nombre de participant maximum est atteint, mais on se rend compte que si certaines personnes ne participent pas aux ateliers — ce qui est très probable — on peut prendre plus de monde en plénière. On va essayer de rectifier le tir [Fait].

Notes rédigées par Hadrien.

PSPA

PSPA est actuellement à une date clé de son parcours : après une première implémentation, déjà bien fonctionnelle, mais pour l’instant surtout utilisée pour démo, il doit à court terme faire face à deux évolutions importantes :

• s’ouvrir à des utilisateurs en dehors du petit cercle actuel, et donc gérer une base d’utilisateurs, à la fois au point de vue de l’authentification et au point de vue des droits
• mettre en place un mécanisme de gestion des modules qui découple le plus possible un noyau stable de la prise en compte de ces modules (intégration, paramétrage et exécution). L’idéal serait de pouvoir ajouter un module « à chaud », sans recompiler ni même arrêter le noyau.

Toutes les expériences sur ces deux sujets sont les bienvenues, en particulier les expériences d’utilisation de modules open source qui faciliteraient l’implémentation de ces fonctionnalités dans PSPA.

Christian Arnault décrit l’approche de Nuxeo (utilisé pour Atrium), pour l’ajout de modules « via HTML » (écosystème POLYMER). Oleg fait part de son expérience  pour Xtremweb d’authentification déléguée à Google par exemple ; la technologie utilisée est oauth, qui permet de demander à l’utilisateur à quelles ressources de son compte il autorise l’accès par PSPA (PSPA voudrait utiliser le google drive en l’occurrence). Le mode d’emploi du  service d’authentification par Google est décrit dans le guide Identity Toolkit for Websites.

Personne ne connait de package de gestion de comptes disponible sur le marché. Christian Helft évoque Grouper, d’Internet2, peut-être un marteau-pilon pour l’usage visé.

Philippe décrit ce qui est envisagé pour ThomX, avec plusieurs grands groupes d’utilisateurs (vide, alimentations, etc). Il n’est pas encore bien défini à quoi serviront ces groupes (limitations d’accès ou personnalisation de l’interface utilisateur).

École informatique IN2P3

David présente la prochaine édition de l’école informatique IN2P3, fin mai au LLR. Voir la lettre informatique qui vient de sortir. Le thème est le parallélisme (sous plusieurs formes) sur des infrastructures matérielles variées, voire hybrides. À surveiller : le « run-time » HPX, qui a vocation à être intégré dans de futures versions de C++. Le lundi 23 mai, les intervenants vedette de l’école animeront une journée LoOPS, donc sur les mêmes thèmes mais évidemment en plus concentré (ou plus superficiel). Rappel : la prochaine journée LoOPS est consacrée à SPARK, la distribution de calculs selon Hadoop.

JNA a commencé à regarder Python dans le cadre de LSST. Il s’étonne, voire conteste qu’on puisse écrire des programmes sécurisés, lisibles et maintenables dans ce langage. Quelques tentatives de relativiser par les Christian et Antoine ne l’ébranlent pas. Il va regarder les promesses de Groovy (==Python « compatible » JAVA ?) et nous en dira plus plus tard.

On décide de limiter à l’avenir toute discussion sur la guerre des langages à 10 mn.

De la même façon, on recommande de limiter les présentations (évoquées lors de notre dernière rencontre) sur un sujet à 10mn. Dans les tuyaux : l’école NOSQL par Antoine/Justine et ASCIIDoc, bien meilleur que Sphinx, par Hadrien.

Christian H. rappelle que LoOPS propose de « tirer le portrait » des développeurs de Paris Saclay sur son site. Il est évident que plusieurs développeurs de dev@lal devraient émarger à cette initiative. David l’a déjà fait, Antoine a déjà promis de le faire… Qui d’autre ?

http://reseau-loops.github.io/interview/

Philippe rend compte de sa visite au cyclotron d’Orléans dans le cadre de ThomX : influence de l’ergonomie de la salle de contrôle sur divers incidents de sécurité. Il serait intéressant de comparer avec d’autres salles de contrôle où l’intervention d’ergonomes a certainement eu lieu dans la conception de la salle (CERN ?).

Marica Biagini passera un an au LAL à partir de l’été 2016 dans le cadre du projet PSPA. Elle fera l’interface entre le projet et ses utilisateurs potentiels (ingénieurs machine auprès d’accélérateurs), à la fois en local (Soleil, IPNO, IRFU) et à plus large horizon (SLAC, Japon, Italie…).

On rappelle la journée WikiData au 204 le 2 février : http://proto204.co/portfolio/wikidata-pour-la-science/wikimedia/

CH mentionne l’intervention d’Henri Verdier, nouveau directeur de la DINSIC, aux JRES, qui encourage pas seulement l’utilisation, mais bien la *participation* active aux développements opensource :

https://www.jres.org/fr/videotheque?iditem=192&resolution=720 (à partir de 27’30)

http://www.modernisation.gouv.fr/ladministration-change-avec-le-numerique/par-son-systeme-dinformation/un-forum-pour-mieux-cerner-usage-des-logiciels-libres-dans-administration]

Petite discussion sur les diverses utilisations de GitHub au delà de sa fonction première (un espace de production collaborative de logiciel selon CH) : site de marketing pour un développement, de discussion sur un développement, voire une problématique, etc.

En relation avec la dernière journée LoOPS, on apprend que Docker a acheté Unikernel (qu’on pourrait définir comme un OS dont on ne retient que les modules strictement nécessaires à une application donnée).

Monique fait remarquer la déshérence totale du site du SI pour ce qui est des développements : il est impossible de se faire une idée des différents développements en cours au LAL en consultant ce site. On décide de remédier à cet état de fait en créant une page WordPress qui servira de portail aux sites spécifiques à chaque développement.

Philippe propose de créer un calendrier dev@LAL qui permettrait de répertorier les évènements intéressants pour les membres du groupe.

Antoine promet un compte-rendu circonstancié de l’école NOSQL qu’il a suivie début janvier avec Justine. Au programme : Redis, Cassandra, MongoDB. Oleg a suivi un Coursera sur Cassandra, voir avec lui pour plus de renseignements.

La prochaine journée LoOPS (7 avril 2016) sera consacrée à SPARK, et animée par Julien Nauroy de la DSI de l’Université, et qui a travaillé au LAL, notamment avec Guillaume.

On prévoit également une journée OpenStack.

Jean-Noël suggère que chacun réfléchisse à présenter un projet, une problématique, un produit intéressant dev@LAL lors d’une courte présentation à une rencontre dev@lal. Le principe est de ne pas consacrer plus de 2 h à la préparation d’une telle présentation, elle doit faire partie de l’activité normale ou de sa veille technologique ordinaire.

Antoine par exemple cite Flask, un framework Python « léger » (par rapport à Django), comme une technologie qui mérite un coup d’œil, et qu’il a eu l’occasion de mettre en œuvre avec Marc pour un petit développement dans le cadre de l’enseignement NPAC.

1 – Hadrien décrit son parcours : double formation physique (du solide) et informatique (autodidacte, mais approfondie), il choisit finalement d’être un informaticien capable de physique plutôt que le contraire. Thèse à l’institut Louis Néel à Grenoble). Au LAL, il travaille avec David et Antoine sur la parallélisation (==capacité à exploiter les architectures multicœurs) de framework, notamment Gaudi (LHCb et ATLAS), dans le cadre du projet H2020 Aida. Plus tard, parallélisation de logiciel trigger avec des GPUs.

2 – Philippe, Jean-Claude et Olivier ont suivi une formation sur les automates Siemens qui seront utilisés pour ThomX (principalement pour la sécurité, des personnes et des matériels). Le matériel pédagogique est disponible sur Atrium (mais est très spécifique à ces automates).

3 –  Rappel : Antoine et Justine sont en train de suivre une formation NOSQL

4 – Information sur les listes qui peuvent intéresser dev@lal : en plus de la liste dev@lal, les listes de LoOPS, du RI3 et de devlog. Il serait utile de documenter ces listes sur une page web de référence (où ?)

5 – Petite enquête sur les listes utilisées par les projets : Cyclone : une seule liste (une par WP aurait été peut-être plus efficace, mais c’est trop tard). Oleg constate que l’info qui pourrait rester dans ces listes est dupliquée dans plusieurs outils (Github, et surtout slack, qui est un système d’instant messaging (payant et hébergé chez le fournisseur…)). Hadrien nous dira plus tard à combien de listes sa participation à Atlas l’a conduit à s’inscrire.

6 – CA liste les principaux outils collaboratifs utilisés par LSST : Trello (dashboard partagé), hipchat pour l’instant messaging, Jira pour le bug tracker, Github pour le code, et surtout Confluence pour la gestion documentaire. Les Américains n’ont aucun état d’âme à faire héberger leurs idées chez un prestataire de service privé comme Trello (Philippe mentionne l’équivalent opensource Kanboard, http://kanboard.net). JNA s’offusque que des collaborations scientifiques confient leurs données à des entreprises privées. C’est justement l’occasion d’annoncer la mise en place par le RI3 d’un groupe de travail sur la mise en œuvre des outils collaboratifs à l’IN2P3 sur un mode plus …collaboratif que jusqu’à présent (où 99% de l’effort est fourni un peu unilatéralement par le CC). C’est Jean-René Rouet qui est chargé de l’animation de ce GT, dont les travaux vont démarrer fin janvier.

7 – CA mentionne que LSST explore les potentialités des technologies NOSQL pour stocker ses données (MogoDB, Sparc). Et justement, la prochaine journée LoOPS (dont la date n’est pas encore fixée) est consacrée à Spac (et Hadoop), pour ceux et celles que ce produit intrigue.

1 – Notification des rencontres de dev@lal : en plus du rappel la veille, en faire un autre quelques minutes avant le début d’une réunion.

2 – Bilan des JRES. CH relate une des seules interventions à couleur « dev », à savoir « MANAGE AN IMMUTABLE INFRASTRUCTURE IN CONTAINERS WITH DOCKER« . En pratique, elle aussi était très orientée ASR, mais cette notion d’infrastructure immuable (immutable peut-il se traduire par immuable ? plutôt « non mutable » ?), selon laquelle il est interdit de modifier l’environnement d’une appli en production, du pain béni pour Docker, est intéressante même pour le développeur.

https://www.jres.org/fr/videotheque?iditem=180&resolution=720

S’en suit une discussion sur Docker, impossible à relater succinctement.

3 – David fait état des difficultés qu’il a rencontrées lors de la formation sur C++ qu’il a assurée à la DR5, pour la partie TP sur le multithreading.

4 – Le support de C++ pour Jupyter est désormais assuré par l’équipe de développement de ROOT.

5 – Justine et Antoine suivront une formation organisé par DEVLOG+RBDD sur NOSQL début janvier.

6 – Antoine est de plus en plus séduit par Flask, le framework « léger » en python qu’on utilise pour une petite application de suivi de la progression des étudiants NPAC lors de notre module d’informatique