Windows Subsystem for Linux

Avec les dernières mises à jour de Windows 10, il est possible d’ajouter un support de l’API Linux au noyau Windows, le Windows Subsystem for Linux (WSL). Cela rappelera peut-être aux anciens des souvenirs des Windows Services for Unix il y a 20 ans.

WSL permet d’exécuter des applications Linux sous Windows avec des modifications et des coûts en performance très faibles (pas d’émulation matérielle, juste une traduction d’API). Même si l’analogie a ses limites, cette technologie est comparable à Wine, qui permet l’exécution d’applications Windows sous Linux.

Il n’y a pas d’émulation matérielle, donc le système Linux invité (plusieurs distributions Linux sont utilisables) voit les fichiers du système Windows hôte et vice-versa. La traduction d’API peut cependant avoir d’autres coûts, par exemple en termes de performance (émuler un système de fichier Linux a un coût) ou de fonctionnalités (jusqu’à récemment, il n’était même pas possible de lancer une application Linux en tâche de fond).

Malgré ces limites, le Windows Subsystem for Linux est globalement très apprécié par tous les utilisateurs habitués à jongler entre les deux mondes qui l’ont essayé. On a même réussi à y faire tourner Apache Spark !

Spark et LSST

Les utilisateurs LSST sont désormais conscients du problème de passage à l’échelle inhérent à cette expérience, mais ne sont pas encore convaincus que l’outil actuel ne peut pas passer à l’échelle et que si il faut changer d’outil, Spark est la bonne solution.

Un Data Challenge va prochainement être organisé dans LSST.  Il faudra alors démontrer, sur un grand jeu de données  (0.5 milliards de fichier, O(500) TB), que Spark est une alternative viable au pipeline précédemment envisagé.

Actuellement l’injection des données prend 1 semaine, car il faut passer par une conversion en CSV avant injection. Au NERSC, il a été montré qu’on peut traiter 1 To de données en 2 secondes sur 1000 cœurs.

Des jeux d’essais unitaires ont été faits précédemment, à l’époque où la France n’était pas impliquée. Ils permettront de valider que la solution est au moins aussi bonne que l’ancienne et donc rassurer les personnes responsables, mais pour l’instant aucun essai n’a vraiment validé le passage à l’échelle.

Toute personne intéressée souhaitant participer à ce projet est la bienvenue.

Parmi les difficultés attendues, on sait que l’algorithme actuel ne peut être distribué, et que la compression de données n’est pas suffisante pour être utilisable. Un pis-aller actuel est donc de compresser en zip, puis déplacer le fichier vers sa destination.

Julius indique que Grigori a mis en place une compression Hadoop très rapide au niveau 10. Cela pourrait être un argument pour plaider une sortie au format Hadoop.

Evénements

ANF programmation fonctionnelle

La proposition, principalement portée par Antoine, visant à organiser une ANF CNRS en 2019 sur le thème « La programmation fonctionnelle dans notre vie de tout les jours » a été acceptée!

Le programme prévisionnel est de faire 1 ou 2 jours de théorie dans un langage fonctionnel pur (type Haskell/OCaml), et 1 ou 2 jours plus pratiques centrés sur les utilisations du paradigme fonctionnel dans nos environnements et langages de tous les jours (C++, Python…).

La formation inclura notamment des exercices de refactoring de code impératif dans un style plus fonctionnels, ainsi que des études de cas où il est pertinent de le faire.

Prochain café LoOPS

Le café LoOPS du mardi 3 juin sera centré sur la RGPD, une réforme européenne des lois informatique et libertés. Il sera animé par un membre de l’association de libertés civiles La Quadrature du Net.

En parallèle, un webinaire RI3 est organisé la même semaine pour présenter du point de vue institutionnel du CNRS sur cette question.

Formation Git

Hadrien anime ce 30 mai et le 1er juin une formation Git dans le cadre de la formation permanente d’Île de France. Les slides et autres matériaux sont en lignes sur owncloud :
https://owncloud.lal.in2p3.fr/index.php/s/YrK8dADMGEQfaP3

David en a fait un portage « piscine », qui est en ligne sur
https://gitlab.in2p3.fr/MaitresNageurs/GenieLeaugiciel/

A ceux qui se demandaient si ça vaut le coup d’en faire un format plongeon, il a répondu que les TPs « portés » sont déjà presque des « plongeons ».

Piscines aux JIs 2018

L’offre de piscines s’étoffe sur https://gitlab.in2p3.fr/MaitresNageurs/GenieLeaugiciel/ .

Chacun est encouragé à y apporter les contributions qu’il souhaite et à signaler tout sujet manquant.

Ateliers Docker

Les heures Docker se sont bien passées. Les retours des participants sont bons, ils trouvent que David a fait du bon boulot !

Nicolas Leroy a apprécié, et voudrait d’autres formations de ce style sur des sujets informatique.

Une possibilité serait d’organiser une formation Git à partir du matériau produit par Hadrien.

Serge rejoint SVOM

Serge rejoint l’équipe SVOM pour contribuer au segment « au sol » de l’expérience.

Le lancement du satellite est actuellement envisagé courant 2021.