Tous les articles par Christian Helft

Réunion du 29 Juin 2016

Rédaction des minutes des rencontres dev@lal

Christian H. ne sera plus là à partir du 12 octobre 2016 : il faut trouver un repreneur pour rédiger les minutes des réunions de dev@lal. Les noms qui sont évoqués sont Jean-Noël (qui a posé la question ;-), Hadrien et Philippe (qui ont tous les deux déjà contribué à la rédaction de ces minutes). Toute nouvelle suggestion est la bienvenue. Jean-Noël a commencé à reverser les minutes depuis Indico vers le site de dev@lal. Christian s’engage à créer des comptes pour tous les membres de la liste dev@lal sur ce site avant la publication des minutes de cette réunion [NDLR : fait. Pour l’instant, tous les membres sont « auteur », à voir si c’est le bon réglage pour favoriser les contributions au site].

Les JIs

Les inscriptions sont ouvertes, et il faudrait se décider et s’inscrire vite maintenant. En plus des contributions du LAL déjà évoquées, Gérard Marchal présentera Utentomatic, l’application qu’il a développée au LAL pour créer et gérer les comptes Active Directory (désormais la seule base de comptes au LAL), et en particulier les champs spécifiques à UNIX mis en place par Emiliano.

Christian et Antoine rappellent l’appel à contribuer à l’animation de ces JIs par la fabrication de plongeons, tutoriels d’introduction à des technos informatiques quelconques que les participants pourront pratiquer sur place. Les infos sont disponibles sur le site des JI2016.

Journées Tango

Philippe a participé aux journées Tango à Toulouse. Jusqu’ici utilisé essentiellement dans le contrôle des accélérateurs, on constate une ouverture de Tango vers les détecteurs, notamment les télescopes. Nouveau site Web. Effort sur la documentation. Autre mouvement de fond : évolution de CORBA vers 0MQ, CORBA montrant des problèmes de montée en charge, et 0MQ apportant des fonctionnalités de broadcast/abonnement.

SVOM

Marc a participé à une réunion SVOM, initiative franco-chinoise qui se propose de capter les évènements détectés par LIGO/VIRGO pour pointer rapidement ses moyens d’observation (télescope et satellite) vers les régions du ciel correspondantes. Collaboration avec Jean-Paul Lefèvre de l’IRFU. Physicien du LAL : Nicolas Leroy.

Docker natif sur macOS (et Windows)

À partir de la version 1.12, la distribution macOS de Docker inclut une virtualisation Linux qui permet d’éviter d’avoir à installer et lancer VirtualBox sur un Macintosh.

Réunion du 15 Juin 2016

La Lettre Informatique

La 34 est sous presse, et contient un article d’Oleg sur Cyclone, un de Cécile Cavet sur l’utilisation de Docker sur un cloud, et un de Sébastien Binet sur Go. L’interview est celle de notre récemment nommé Directeur adjoint scientifique en charge du domaine « Calcul et données » : Volker Beckmann.

Christian (H.) fait partie du comité de rédaction (avec Frédérique Chollet, du LAPP, Dirk Hoffmann, du CPPM, et Virginie et Gaëlle du CCINP2), et cherche un repreneur.

JI2016

Les prochaines JI du RI3, organisées par le LPC Clermont, se tiendront au Liorant (Cantal – région Auvergne) fin septembre. Pour la partie développements, le LAL a proposé trois présentations : Hadrien sur AIDA2020, Christian A. sur SPARK et Justine et Serge sur le bilan de 6 ans d’utilisation de Symfony; Antoine secondera Sébastien pour l’atelier Docker. David a proposé une nouvelle forme de contribution : la piscine (numérique), en clin d’œil aux séances de codage intensif qui regroupent tous les candidats étudiants à certaines écoles d’informatique telle la 42. Aux JI, il s’agira d’une séance d’une heure où tous les participants pourront choisir une session d’initiation à une technologie en libre service, avec l’auteur (le maitre nageur) du tutoriel correspondant présent dans la salle. Les appels à « plongeons » (propositions de tutoriels) vont démarrer dès l’ouverture des inscriptions, imminente. David et Antoine réfléchissent à définir un framework de tutoriels et sont ouverts à toute suggestion/participation.

KOANS

Oleg mentionne une page Web qu’il a trouvée très fonctionnelle pour lui permettre de s’initier rapidement à Ruby (un des développeurs de Cyclone a codé sa partie en Ruby) : KOANS. David, après un bref regard à son ami Google, fait remarquer que RubyKoans a inspiré des répliques, par exemple PythonKOANS.

Support Cloud au LAL

Oleg annonce qu’il existe désormais une mailing list user et un système de ticket pour utiliser le cloud openStack disponible au LAL. On trouve tout ça sur le site support du Cloud@LAL

Note : Slipstream, qui facilite pour le développeur le déploiement d’une application multi-composantes sur un cloud, ne marche pas encore sur openStack V3 (la faute à Clojure ?).

Antoine : Ruby a-t-il des fonctionnalités fonctionnelles (gasp), comme Python ? Oleg : oui.

SemVer

Semver, mentionné par Philippe, est une initiative de formalisation de la numérotation des versions successives d’un programme, en y injectant du coup une petite dose, ajustable et paramétrable selon les besoins, de sémantique.

Antoine rappelle l’existence sur GitHub d’autres initiatives sur des sujets plus ou moins connexes comme le formatage du ChangeLog.

Cafés LoOPS

Le premier café LoOPS s’est tenu mardi dernier, autour d’une dizaine de personnes (majorité du comité de pilotage de LoOPS…). C’est de 13 à 14h tous les premier et troisième mardis du mois, au PROTO204.

Le meilleur moyen d’être au courant de tels évènements est encore de s’inscrire sur la liste LoOPS.

1/2 journées LoOPS sur SPARK

À la suite du succès de la journée LoOPS sur SPARK, Julien Naurois (DSI U-PSud) organise des 1/2 journées régulières sur le sujet. Au programme de la prochaine, LSST avec Christian Arnault

Réunion du 18 Mai 2016

Antoine rappelle l’école IN2P3  « Parallélisme sur matériel hétérogène » organisée par David la semaine prochaine. Participants du LAL : François, Justine et Stéphane Plaszczynski. Le lundi (23), LoOPS organise une journée consacrée aux mêmes thèmes que l’école en profitant de la présence des intervenants au centre de recherche Inria Saclay (sur le campus de Polytechnique). http://reseau-loops.github.io/journee_2016_05.html

LoOPS, comme annoncé la dernière fois, organise des cafés de 13 à 14 tous les 1er et 3e mardis de chaque mois (orthographe garantie 1er choix ;-).

http://reseau-loops.github.io/cafes_loops.html

Christian Arnault nous présente son projet actuel d’évaluation de la techno SPARK dans la manip LSST, évaluation à laquelle participe Axel dans le cadre de son stage de 3,5 mois de dernière année de DUT. Encore à un stade qualitatif (mais il faut se familiariser avec beaucoup de nouvelles technologies, dont certaines « ASR »). Voir les diapos jointes. https://indico.lal.in2p3.fr/event/3227/material/slides/0.pdf

Le projet repose sur l’utilisation du cloud OpenStack de Virtual Data.

Réunion du 4 Mai 2016

Discussion sur le workshop HSF actuellement en cours au LAL. Un peu à boire et à manger…

La section LAL de LoOPS va organiser d’ici la fin de l’année une session locale de l’école « mini-ENVOL », une offre de DEVLOG clés en main, 3 jours consacrés aux tests. Il suffit de prévoir l’annonce, les inscriptions, trouver une salle ( 203) et les repas de midi.

Les 24-25 mai auront lieu deux jours de cours « Software Carpentry » au PROTO204. Au programme : Unix shell, python, Git

Détails :

You are invited to a two-day Software Carpentry course that will take place on
May 24-25th, 2016  (Tuesday - Wednesday) at PROTO204 in Bures-sur-Yvette,
France (Paris metropolitan area).

Software Carpentry is a programming course for beginners, which covers most
important skills for everyday use of scientists (automating tasks with the
shell, programming in Python, data analysis and visualisation, keeping track of
project changes with git).  The course is aimed at graduate students and other
researchers. You don't need to have any previous knowledge of the tools that
will be presented at the workshop. Some prior programming experience (in any
language), although not required, will be useful.

The teaching language of the course is English (but there will be
helpers around that can assist in French).

The registration to the course is free, but due to limited space it is
mandatory.  The registration will open on May, 11th at 10am and the seats will be
distributed on first-come-first-serve basis.

More information and registration at: https://paris-swc.github.io/2016-05-24-proto204/

The course is organized by computational scientists from the Paris area: Jan
Antolik (UNIC, CNRS), Andrew Davison (UNIC, CNRS), Loïc Estève (Pariétal,
Inria), Eric Bray (LRI, Université Paris-Sud), Konrad Hinsen (CBM, Orléans),
Samuel Lelièvre (Math, UPSud), Camille Marini (Telecom ParisTech, CNRS), Marcel
Stimberg (Institut de la Vision, UPMC), Bartosz Teleńczuk (UNIC, CNRS), Maria
Teleńczuk (Institut de la Vision, UPMC)

About Software Carpentry

Scientists spend more and more time on programming. While techniques for
writing software are constantly evolving, only few scientists have been trained
to use them. As a result, instead of doing their research, they spend far too
much time writing deficient code and reinventing the wheel. This course is a
two-day hands-on tutorial tailored to the needs of novice Python programmers or
seasoned users of other programming languages. It introduces them to modern
standards of scientific software development. http://software-carpentry.org

PSPA : la bourse de Marica a été accordée. Marica pasera au LAL 3 jours en début de semaine prochaine.

L’appel à contribution pour les JI est ouvert jusqu’au 18 mai prochain.

Réunion du 6 Avril 2016

  • Webinaires
    • Christian H. rappelle que le RI3 relance une animation connue sous le nom (malheureux) de « webinaires ». Il ne s’agit pas de webinaires au sens traditionnel du net, mais d’espaces d’échanges « sans murs » au sein du RI3
    • pourrait-on l’enregistrer ? C’est un espace d’échanges et discussion, mais pas dans la tradition de l’enregistrer ;
    • Valérie est l’animatrice du groupe en charge des webinaires ; une de ses idées est d’avoir pour chaque édition un «auteur» et un autre son de cloche
    • suggestion de CH : avoir un doc collaboratif persistant après le séminaire (etherpad.in2p3.fr)
    • manque d’un système de chat pour interagir avec les sites perturbateurs
    • fait pour être émis/réceptionné dans une salle équipée en vidéoconférence, pas pour se connecter d’un poste individuel, sauf exception
    • actuellement, sujets plutôt orientés vers ASR, mais aux développeurs de changer ça
  • LoOPS :
    • comment s’inscrire ? il faut s’inscrire sur la mailing list du réseau LoOPS, où sont envoyées les annonces et autres informations. Lien sur le site de LoOPS : http://reseau-loops.github.io/about.html
    • la prochaine journée a lieu jeudi 7 avril (Apache Spark)
    • les journées LoOPS sont de la veille et interactions entre développeurs et non de la formation
  • HEP software foundation :
    • s’inscrire au prochain workshop qui se tiendra au LAL en choisissant «payer plus tard» https://indico.cern.ch/event/496146/
    • précédentes éditions organisés par CERN et SLAC
    • du 2 au 4 mai 2016
  • Ecole info IN2P3 2016 :
    • parallélisme sur matériel hétérogène
    • 23 au 27 mai
    • le processus d’inscription peut sembler un peu intrusif, mais il permet d’avoir plus d’info pour les organisateurs
  • Ecole GEANT4
    • au LAL, du 23 au 27 mai. L’occasion de revoir Laurent.
  • JI IN2P3-IRFU
    • Le Lioran (Cantal) 26-29 septembre
    • reprise du principe des ateliers
    • appels à candidatures pour les présentations
    • possibilité d’un atelier Arduino ?
  • CHEP 2016 :
    • San Francisco 10-14 octobre
    • dead line soumission repoussée au 18 avril
  • Calendrier dev@lal :
    • possibilité de créer un calendrier sur owncloud (Philippe)
  • Réunion Paris-Saclay du 1/4 (Philippe y a assisté, il a publié un CR sur forum-lal)
  • Listes de diffusion :
  • Site SI :
    • Il faudrait y mettre les listes de discussions (comme ci-dessus)
    • Hadrien a écrit un petit mémo hg pour des utilisateurs de git ? Le mettre sur le site ou sur Atrium ?
  • Eduroam
    • Eduroam est un système d’authentification global qui permet d’accéder au WiFi de maintenant quasiment tous les établissements de recherche/enseignement supérieur. Pour l’installer sur sa machine, consulter le site support.

Rédigé par CH à partir des notes de Philippe

Réunion du 23 Mars 2016

Le thème principal de cette réunion était la refonte du site du service informatique.

On songeait en particulier à créer une partie dédiée aux problématiques de développement. Cette partie contiendrait au minimum une page par projet de développement actif au LAL. Il a aussi été discuté d’y mettre une discussion de l’infrastructure existante et utilisée pour le développement logiciel :

  • Au LAL comme ailleurs (IN2P3 notamment, dont les outils collaboratifs sont mal documentés)
  • Devrait parler de mailing lists (annuaire et guide pour la création)
  • Devrait aussi discuter de la gestion du source (Gitlab, etc.) et mettre un lien vers les dépôts publics
  • Le but est d’informer sur l’existant, et non d’imposer un outil aux autres

Une question qui n’a pas été vraiment résolue est de savoir si l’on souhaite, ou non, avoir des pages intranet et extranet séparées. L’intérêt de maintenir un intranet est d’y garder des informations qu’on ne souhaite pas rendre publiques ou qui n’aurait pas d’intérêt pour les extérieurs, mais est-ce qu’on désire ces choses-là au point de s’infliger l’effort supplémentaire?

La problématique de la politique éditoriale a été soulevée. Parmi les questions qui ont été soulevées, j’ai noté…

  • La standardisation entre les pages projets (agréable à lire pour les utilisateurs, contrainte pour les auteurs)
  • La nécessité d’un responsable éditorial pour secouer les personnes qui participent au site quand elles « s’endorment »
  • La question des droits d’écriture: qui peut publier ? Souhaite-t-on une soumission d’article préalable à la publication ?

Sur ce dernier point, la discussion semble avoir convergé vers un système où tout le monde peut publier, mais il est recommandé de soumettre à relecture d’abord. Il y aurait un module WordPress qui permet de faire ça, mais il est buggé (n’envoie pas des notifications par mail quand il le devrait).


Justine a aussi un peu parlé de son projet, qui est la migration d’un système de gestion de carrière du personnel, auparavant basé sur FileMaker, vers une application web PHP/MySQL. Elle a utilisé le framework Symfony et l’ORM Doctrine. Ce point a fait l’objet d’une grande discussion avec Antoine sur les possibilités d’une migration simplifiée du schéma et des données depuis FileMaker.

La question de la journée LoOPS sur MapReduce et Apache Spark (le 7 avril prochain, à l’amphi du LAL et salle 203 pour les TP) a aussi été évoquée. Le nombre de participant maximum est atteint, mais on se rend compte que si certaines personnes ne participent pas aux ateliers — ce qui est très probable — on peut prendre plus de monde en plénière. On va essayer de rectifier le tir [Fait].


 

Notes rédigées par Hadrien.

Réunion du 9 Mars 2016

PSPA

PSPA est actuellement à une date clé de son parcours : après une première implémentation, déjà bien fonctionnelle, mais pour l’instant surtout utilisée pour démo, il doit à court terme faire face à deux évolutions importantes :

  • s’ouvrir à des utilisateurs en dehors du petit cercle actuel, et donc gérer une base d’utilisateurs, à la fois au point de vue de l’authentification et au point de vue des droits
  • mettre en place un mécanisme de gestion des modules qui découple le plus possible un noyau stable de la prise en compte de ces modules (intégration, paramétrage et exécution). L’idéal serait de pouvoir ajouter un module « à chaud », sans recompiler ni même arrêter le noyau.

Toutes les expériences sur ces deux sujets sont les bienvenues, en particulier les expériences d’utilisation de modules open source qui faciliteraient l’implémentation de ces fonctionnalités dans PSPA.

Christian Arnault décrit l’approche de Nuxeo (utilisé pour Atrium), pour l’ajout de modules « via HTML » (écosystème POLYMER). Oleg fait part de son expérience  pour Xtremweb d’authentification déléguée à Google par exemple ; la technologie utilisée est oauth, qui permet de demander à l’utilisateur à quelles ressources de son compte il autorise l’accès par PSPA (PSPA voudrait utiliser le google drive en l’occurrence). Le mode d’emploi du  service d’authentification par Google est décrit dans le guide Identity Toolkit for Websites.

Personne ne connait de package de gestion de comptes disponible sur le marché. Christian Helft évoque Grouper, d’Internet2, peut-être un marteau-pilon pour l’usage visé.

Philippe décrit ce qui est envisagé pour ThomX, avec plusieurs grands groupes d’utilisateurs (vide, alimentations, etc). Il n’est pas encore bien défini à quoi serviront ces groupes (limitations d’accès ou personnalisation de l’interface utilisateur).

École informatique IN2P3

David présente la prochaine édition de l’école informatique IN2P3, fin mai au LLR. Voir la lettre informatique qui vient de sortir. Le thème est le parallélisme (sous plusieurs formes) sur des infrastructures matérielles variées, voire hybrides. À surveiller : le « run-time » HPX, qui a vocation à être intégré dans de futures versions de C++. Le lundi 23 mai, les intervenants vedette de l’école animeront une journée LoOPS, donc sur les mêmes thèmes mais évidemment en plus concentré (ou plus superficiel). Rappel : la prochaine journée LoOPS est consacrée à SPARK, la distribution de calculs selon Hadoop.

Réunion du 24 février 2016

JNA a commencé à regarder Python dans le cadre de LSST. Il s’étonne, voire conteste qu’on puisse écrire des programmes sécurisés, lisibles et maintenables dans ce langage. Quelques tentatives de relativiser par les Christian et Antoine ne l’ébranlent pas. Il va regarder les promesses de Groovy (==Python « compatible » JAVA ?) et nous en dira plus plus tard.

On décide de limiter à l’avenir toute discussion sur la guerre des langages à 10 mn.

De la même façon, on recommande de limiter les présentations (évoquées lors de notre dernière rencontre) sur un sujet à 10mn. Dans les tuyaux : l’école NOSQL par Antoine/Justine et ASCIIDoc, bien meilleur que Sphinx, par Hadrien.

Christian H. rappelle que LoOPS propose de « tirer le portrait » des développeurs de Paris Saclay sur son site. Il est évident que plusieurs développeurs de dev@lal devraient émarger à cette initiative. David l’a déjà fait, Antoine a déjà promis de le faire… Qui d’autre ?

http://reseau-loops.github.io/interview/

Philippe rend compte de sa visite au cyclotron d’Orléans dans le cadre de ThomX : influence de l’ergonomie de la salle de contrôle sur divers incidents de sécurité. Il serait intéressant de comparer avec d’autres salles de contrôle où l’intervention d’ergonomes a certainement eu lieu dans la conception de la salle (CERN ?).

Marica Biagini passera un an au LAL à partir de l’été 2016 dans le cadre du projet PSPA. Elle fera l’interface entre le projet et ses utilisateurs potentiels (ingénieurs machine auprès d’accélérateurs), à la fois en local (Soleil, IPNO, IRFU) et à plus large horizon (SLAC, Japon, Italie…).

Réunion du 27 janvier 2016

On rappelle la journée WikiData au 204 le 2 février : http://proto204.co/portfolio/wikidata-pour-la-science/wikimedia/

CH mentionne l’intervention d’Henri Verdier, nouveau directeur de la DINSIC, aux JRES, qui encourage pas seulement l’utilisation, mais bien la *participation* active aux développements opensource :

https://www.jres.org/fr/videotheque?iditem=192&resolution=720 (à partir de 27’30)

[La DINSIC a ouvert un forum sur l’approche de l’opensource par la fonction publique :

http://www.modernisation.gouv.fr/ladministration-change-avec-le-numerique/par-son-systeme-dinformation/un-forum-pour-mieux-cerner-usage-des-logiciels-libres-dans-administration]

Petite discussion sur les diverses utilisations de GitHub au delà de sa fonction première (un espace de production collaborative de logiciel selon CH) : site de marketing pour un développement, de discussion sur un développement, voire une problématique, etc.

En relation avec la dernière journée LoOPS, on apprend que Docker a acheté Unikernel (qu’on pourrait définir comme un OS dont on ne retient que les modules strictement nécessaires à une application donnée).

Monique fait remarquer la déshérence totale du site du SI pour ce qui est des développements : il est impossible de se faire une idée des différents développements en cours au LAL en consultant ce site. On décide de remédier à cet état de fait en créant une page WordPress qui servira de portail aux sites spécifiques à chaque développement.

Philippe propose de créer un calendrier dev@LAL qui permettrait de répertorier les évènements intéressants pour les membres du groupe.

Antoine promet un compte-rendu circonstancié de l’école NOSQL qu’il a suivie début janvier avec Justine. Au programme : Redis, Cassandra, MongoDB. Oleg a suivi un Coursera sur Cassandra, voir avec lui pour plus de renseignements.

La prochaine journée LoOPS (7 avril 2016) sera consacrée à SPARK, et animée par Julien Nauroy de la DSI de l’Université, et qui a travaillé au LAL, notamment avec Guillaume.

On prévoit également une journée OpenStack.

Jean-Noël suggère que chacun réfléchisse à présenter un projet, une problématique, un produit intéressant dev@LAL lors d’une courte présentation à une rencontre dev@lal. Le principe est de ne pas consacrer plus de 2 h à la préparation d’une telle présentation, elle doit faire partie de l’activité normale ou de sa veille technologique ordinaire.

Antoine par exemple cite Flask, un framework Python « léger » (par rapport à Django), comme une technologie qui mérite un coup d’œil, et qu’il a eu l’occasion de mettre en œuvre avec Marc pour un petit développement dans le cadre de l’enseignement NPAC.

Réunion du 13 janvier 2016

1 – Hadrien décrit son parcours : double formation physique (du solide) et informatique (autodidacte, mais approfondie), il choisit finalement d’être un informaticien capable de physique plutôt que le contraire. Thèse à l’institut Louis Néel à Grenoble). Au LAL, il travaille avec David et Antoine sur la parallélisation (==capacité à exploiter les architectures multicœurs) de framework, notamment Gaudi (LHCb et ATLAS), dans le cadre du projet H2020 Aida. Plus tard, parallélisation de logiciel trigger avec des GPUs.

2 – Philippe, Jean-Claude et Olivier ont suivi une formation sur les automates Siemens qui seront utilisés pour ThomX (principalement pour la sécurité, des personnes et des matériels). Le matériel pédagogique est disponible sur Atrium (mais est très spécifique à ces automates).

3 –  Rappel : Antoine et Justine sont en train de suivre une formation NOSQL

4 – Information sur les listes qui peuvent intéresser dev@lal : en plus de la liste dev@lal, les listes de LoOPS, du RI3 et de devlog. Il serait utile de documenter ces listes sur une page web de référence (où ?)

5 – Petite enquête sur les listes utilisées par les projets : Cyclone : une seule liste (une par WP aurait été peut-être plus efficace, mais c’est trop tard). Oleg constate que l’info qui pourrait rester dans ces listes est dupliquée dans plusieurs outils (Github, et surtout slack, qui est un système d’instant messaging (payant et hébergé chez le fournisseur…)). Hadrien nous dira plus tard à combien de listes sa participation à Atlas l’a conduit à s’inscrire.

6 – CA liste les principaux outils collaboratifs utilisés par LSST : Trello (dashboard partagé), hipchat pour l’instant messaging, Jira pour le bug tracker, Github pour le code, et surtout Confluence pour la gestion documentaire. Les Américains n’ont aucun état d’âme à faire héberger leurs idées chez un prestataire de service privé comme Trello (Philippe mentionne l’équivalent opensource Kanboard, http://kanboard.net). JNA s’offusque que des collaborations scientifiques confient leurs données à des entreprises privées. C’est justement l’occasion d’annoncer la mise en place par le RI3 d’un groupe de travail sur la mise en œuvre des outils collaboratifs à l’IN2P3 sur un mode plus …collaboratif que jusqu’à présent (où 99% de l’effort est fourni un peu unilatéralement par le CC). C’est Jean-René Rouet qui est chargé de l’animation de ce GT, dont les travaux vont démarrer fin janvier.

7 – CA mentionne que LSST explore les potentialités des technologies NOSQL pour stocker ses données (MogoDB, Sparc). Et justement, la prochaine journée LoOPS (dont la date n’est pas encore fixée) est consacrée à Spac (et Hadoop), pour ceux et celles que ce produit intrigue.