Archives de catégorie : Non classé

Réunion du 16 mai 2019

Nouveaux arrivants

Marco a été embauché par l’université à la DSI et se formera sur des projets du laboratoire, notamment ceux autour de Spark. Il sera au LAL 4 j/semaine pendant 6 mois, puis 3j/semaine une fois recruté en CDI.  Il a été chercheur sur la physique des matières molles.

Deux apprentis ont été obtenus par le CNRS, un pour l’exploitation et un pour le développement. Concernant ce dernier, un candidat L3 de l’IUT a été reçu hier, et effectue actuellement un stage avant son début d’alternance dès fin juin. Il ferait son apprentissage sur le développement web en python : coding pool et PSPA

École programmation fonctionnelle

Cet automne, le LAL participe à l’organisation d’une ANF de programmation fonctionnelle au centre Jean Bosco (Lyon).

Le but (et l’originalité) de ce projet est d’aborder l’utilisation de ce modèle de programmation dans les environnements de programmation impératifs classiques de nos communautés.

La formation commencera par une introduction à la programmation fonctionnelle via OCaml, qui sera assurée par Gabriel Scherer de l’INRIA. Ensuite, ces bases étant posées, la formation se concentrera sur l’application aux langages plus couramment utilisés dans un cadre IN2P3, à savoir Python, C++, et les langages JVM (via Java et Scala).

Le but sera alors d’explorer dans quels cas l’application du paradigme fonctionnel peut être utile dans ces langages, et comment on le met en oeuvre dans ces environnements impératifs. Il sera possible d’effectuer les TPs dans deux environnements parmi les trois proposés.

Les intervenants sont :

  • Gabriel Scherer de l’INRIA pour l’introduction en OCaml
  • Julien et Sylvain Reynaud du CC pour la partie Java/Scala
  • Hadrien et David pour la partie C++
  • Antoine, Julien et quelqu’un d’autre pour la partie Python
  • Jean-René du CC
  • Alexandre Delanoë, ingénieur CNRS de l’ISPC (labo SHS), qui présentera son utilisation d’Haskell pour l’exploration des graphes de réseaux sociaux.

Nouveaux appels à projets Google

Cette année, le LAL participe de nouveau, via HSF, au Google Summer of Code. Pour rappel, il s’agit d’une sorte d’appel à projet où Google finance des étudiants pendant 3 mois estivaux pour travailler sur des projets open-source.

36 projets ont été présentés à HSF. L’un d’eux a été rejeté car l’étudiant n’était pas disponible pendant 3 semaines de la période convenue. Il existe une tolérance, mais elle se limite à une semaine, et nécessite un accord préalable du mentor et de l’organisation. Idéalement, la semaine en question doit bien sûr être rattrapée.

Nous participons également cette année à Google Season of Docs, un homologue de Summer of Code dédié à la documentation, sur un format temporel est plus long (3 ou 6 mois), et avec un financement cette fois facultatif. Le LLR ont recruté un collaborateur français par ce biais.

On peut se demander ce que Google gagne à financer ces projets. Plusieurs explications ont été proposées :

  • Une meilleure image de marque, important pour une entreprise championne de l’évasion fiscale et de la surveillance de masse.
  • Une visibilité sur des projets open-source intéressants, et sur d’éventuels candidats pour les embauches futures.

Bonnes pratiques en folie

De nombreuses discussions ont récemment eu lieu sur la liste DevLOG autour des bonnes pratiques de développement logiciel, sur des sujets comme la gestion des données personnelles et l’économie des ressources naturelles. Nous pouvons mentionner…

Ces guides ne sont bien entendu pas les seules activités des groupes en question. Par exemple, Green code lab accepte des contributions extérieures à son référentiel de bonnes pratiques, et participe à des études soutenues par l’ADEME sur l’impact écologique du surf web, y compris côté utilisateur. On y apprend par exemple que la stratégie de gestion de cache de Chrome était, en 2013, beaucoup plus énergivore que celles de Firefox et Internet Explorer.

En 2011, l’ADEME a aussi publié une étude évaluant l’impact carbone des courriers électroniques, en se basant sur la norme de l’époque des pièces jointes de 1 Mo. On peut penser que cette taille moyenne a sans doute augmenté depuis du fait de l’évolution des téléphones mobiles et de leurs appareils photo.

De son côté, ÉcoInfo organise des conférences dont les supports et enregistrements sont publiés en ligne.

Et sur le même sujet de l’environnement, on peut aussi mentionner le think tank « Shift Project », qui étudier l’impact environnemental d’activités humaines (dont les activités numériques, mais pas seulement).

Brèves

Justine travaille actuellement à une application de gestion des ressources humaines pour le laboratoire fusionné.

ThomX a besoin d’une base de données pour gérer ses pannes, et Antoine a commencer à développer un prototype. Il existait une infrastructure similaire pour ELI-NP, mais les évolutions requises pour l’adaptation à ThomX ne semblaient pas faisables.

Il y a une demande pour des outils graphiques pour gérer les conflits de fusion. De par leur nature graphique, ceux-ci sont généralement spécifiques à un système d’exploitation. Sous Linux, Hadrien utilise beaucoup Meld. Un regret exprimé par rapport à ces outils est qu’il n’est pas toujours facile de savoir quels sont les commits parents affichés par l’outil, ce qui oblige à faire des requêtes supplémentaires.

Idées pour une prochaine fois

  • Gérer l’identifiant de version d’un paquet Python avec « bumpversion ».
  • Créer une image Docker avec l’intégration continue du Gitlab du CC, ou les services d’intégration continue utilisables sous GitHub.
  • Effectuer une mise à jour de façon asynchrone sous Flask.
  • Nouvelles de LSST et Spark.
  • SQLAlchemy
    • Son ORM
    • L’outil Alembic pour gérer l’évolution de BdD

Réunion du 31 janvier 2019

Tour de table

Justine

Dans le cadre de la refondation, un nouveau système d’information commun (administratif ?) va être mis en place. Son développement va occuper Justine pour longtemps…

Christian

Trois propositions autour de Spark ont été présentées à HSF pour le Google Summer of Code.

Jean-Eric Campagne a développé en Scala un programme de machine learning pour repérer les amas de matière noire. Pour tirer le meilleur parti des mécanismes d’optimisation de Spark, il est en effet préférable d’écrire du code Scala.

Une problématique pour LSST est de répondre aux alertes (signalement de phénomènes astrophysiques vers lesquels le télescope devrait se tourner ?).

François

Le front-end pour PSPA a maintenant été fourni par la société. Mais il y a encore du travail pour le connecter aux back-ends de François et Antoine.

Guy

Guy a mis au point un client graphique qui reçoit des graphes de scènes du réseau, dans un format binaire maison, et les traite localement. Le système est compatible avec le mur d’images.

Serge

Le CNES a effectué sa première revue de SVOM. L’organisation était relativement « légère », adaptée à la petite taille de la manip. Les conclusions sont  positives.

A ce stade, le projet possède une série de boîtes logicielles relativement vides qui discutent entre elles. Il va maintenant falloir les remplir d’algorithmes avec l’aide des physiciens, et travailler sur l’intégration continue. Ce dernier point pourrait être discuté avec l’équipe du cours d’informatique NPAC, qui a pas mal travaillé le sujet.

Comme LSST, SVOM doit pouvoir répondre à des alertes.

David

Quand on développe un IDE ou un éditeur de texte, il faut implémenter le support de différents langages. Si on le fait naïvement, on se retrouver à coder N x M connecteurs avec N le nombre d’éditeurs de code et M le nombre de langages supportés, ce qui ne passe pas bien à l’échelle. Pour répondre à ce problème, Microsoft proposent le Language Server Protocol, qui vise à rendre les plugins de support de langage de programmation indépendants de l’éditeur hôte.

Depuis quelques temps, on voit se développer sur GitHub des listes de liens vers des documents ou listes de logiciels intéressants, les « awesome lists ». En toute logique, le nombre de ces listes allant croissant au fil du temps, d’autres personnes essaient maintenant de maintenir des méta-listes de « awesome listes » telles que https://github.com/sindresorhus/awesome .

Spark au LAL et à l’Université PSud

Spark

Un étude de la technologie Spark est en cours au LAL, ou plus précisément dans la cadre de l’Université PSud et de l’appel d’offre ERM/MRM qui a été soumis et accepté le 21 octobre 2016.

Le projet Equipement de Recherche Mutualisé

L’objectif du projet est de fournir un environnement d’expérimentation réaliste des traitements dits «Big Data», intégré dans la plate-forme Cloud@VirtualData. Cloud@VirtualData est une infrastructure d’informatique scientifique, au double sens de calcul et de données. L’Université Paris-Sud a engagé une action de mutualisation interdisciplinaire, qui s’intègre dans une réflexion globale sur les modèles de traitement informatique dans son périmètre et dans le contexte de Paris- Saclay. Cette réflexion a mis en évidence l’intérêt d’un modèle de production basé sur une technologie cloud ainsi que d’un modèle d’exploitation décentralisé. La période précédente a en particulier mis à disposition un environnement d’informatique en nuage : Cloud@VirtualData.

L’équipement demandé permettra de créer des clusters Spark à la demande sous forme de machines virtuelles à l’intérieur du nuage Cloud@VirtualData. Le modèle de calcul Spark, récent, est devenu un standard de facto dans le monde économique comme dans la recherche, pour le traitement des données à toutes les échelles. Cet équipement permettra à l’Université de renforcer son rôle moteur dans la stratégie DataCenter de Paris Saclay. Il est cohérent avec la stratégie de mutualisation des ressources mise en oeuvre par l’Université Paris-Sud.

Historique

Suite à la journée LoOPS qui a été organisée en avril 2016, a été mise en place une expérimentation sur la technologie Spark au LAL.

Puis le projet ERM décrit plus haut a rassemblé plusieurs équipes multidisciplinaires de l’Université PSud pour explorer les potentialités de Spark dans différentes thématiques de recherches dont l’astrophysique via l’expérience LSST au LAL.

L’équipe autour de Guillaume Philippon s’implique désormais pour organiser et étudier les aspects technologiques de Spark sur la plateforme OpenStack de VirtualData (gestion des ressources pour une approche multi-cluster, optimisation de la gestion disque autour des technologies Ceph/Hadoop)

Ressources documentaires

Un Wiki Spark a été déployé pour collecter la documentation Spark dans le contexte du projet ERM/MRM

Vous y trouverez de la documentation sur Spark proprement dit, et les informations sur les actions entreprises dans le cadre du projet ERM

Ecole Spark mars 2017

Une école de 2 jours (14 et 15 mars 2017) est en préparation au LAL essentiellement pour les acteurs de l’ERM. Mais l’école sera aussi ouverte (dans limite des places disponibles) aux développeurs du LAL.

 

 

Introduction aux Blockchain

Introduction à la blockchain

Use cases,  Press reports and Blogs

IBM blockchain

Microsoft « Bletchley »

Hyperledger

 

😉