XtremWeb-HEP 8

XtremWeb-HEP 8 introduces virtualization by permitting end users to submit their own virtual machines. XWHEP 8 raises security level to grid standards.

News

XtremWeb-HEP 8.3.0 supports certified certificates

The release 8.3.0 of XtremWeb-HEP 8 is a breakthrough in the world of Desktop Grid Computing.

For the first time, Desktop Grid security is raised to grid standards.

XtremWeb-HEP 8.0.0 Gets Support for Virtual Appliance

With XtremWeb-HEP 8 , for the first time, DG users are able to register their own Virtual Images for their preferred OS and applications and remotely deploy them on Volunteer PC.

Thanks to the embedded IBIS Smartsockets technology, users can directly and securely connect (through ssh) to the remote VM even if the PC is located behind firewall.

The convergence of Desktop Grid Computing and Cloud Computing is there.

On January 20th, 2012, the middeware is deployed at LAL for our final tests. The middleware will be released when these tests are successfully passed.

A new web site has been set up : Flying-Grid.org.

Documentation

The documentation is available here.

Bug tracking

You can glance at our trac server.

Versions

– May 7th, 2014 : XWHEP 8.3.3


– novembre 12th, 2013 : XWHEP 8.3.2


– Oct 7th, 2013 : XWHEP 8.3.1


– Sept 18th, 2013 : XWHEP 8.3.0

  • Corrections
    1. https://trac.lal.in2p3.fr/DGHEP/ticket/120 : the server can now be certified by a Certificate Authority
    2. https://trac.lal.in2p3.fr/DGHEP/ticket/123 : after login through OpenId server the web page shows the user email address
    3. https://trac.lal.in2p3.fr/DGHEP/ticket/126 : at submission, one and only one application can be selected
    4. https://trac.lal.in2p3.fr/DGHEP/ticket/122 : server dashboard; everything is now embedded in the xwhep server using https protocol only (because recent web browser cowardly refuses to display/use any part referenced using http and not https)
    5. https://trac.lal.in2p3.fr/DGHEP/ticket/128 : a error message is sent to the client web browser on any OpenId delegation error
  • New features
    • n/a

– Jun 24th, 2013 : XWHEP 8.2.3

  • Corrections
    1. client (CLI and REST API) online help improved
    2. a bug corrected in session removal (https://trac.lal.in2p3.fr/DGHEP/ticket/114)
    3. a security hole corrected on user retrieval: certificate and password must not be transmitted through the network (https://trac.lal.in2p3.fr/DGHEP/ticket/109)
    4. OpenID improved: the server sends HTML status 401 on credential error (https://trac.lal.in2p3.fr/DGHEP/ticket/116)
    5. job submission corrected in the web interface; we can now select data for input (https://trac.lal.in2p3.fr/DGHEP/ticket/117)
  • New features
    • n/a

– Jun 7th, 2013 : XWHEP 8.2.2

  • Corrections
    1. When inserting a new session, we must force owneruid if not set
    2. When trying to insert a new object not subject to be inserted by the client (task, host), we must throw an exception and return an error to the client
    3. Some code has been rewritten in a more object oriented way. IdRpc and XWTag now have embedded memthods to create (repectively) XMLRPCCommands and TableInterfaces.
      This permits to avoid the usage of switch(idrpc) and switch(xwtag)

    4. A bug corrected on client side, in the macro parser
  • New features
    1. n/a

– April 16th, 2013 : XWHEP 8.2.1

  • Corrections
    1. character encoding forced to UTF-8
    2. an inter-thread synchonization bug corrected in server
  • New features
    1. n/a

– Feb 26th 2013 : XWHEP 8.2.0

  • Corrections
    1. LiveCD are now configured as follow
      – the login is now “vmuser” in place of “xwuser”
      – the script to create new LiveCD is in /usr/local/sbin/ (ubuntu_crealtelivecd.sh and/or sl5_createlivecd.sh)
      – the user “vmuser” is in /etc/sudoers to be able to execute /sbin/poweroff and /usr/local/sbin/ (ubuntu_crealtelivecd.sh and/or sl5_createlivecd.sh)
      – dirsetup is not allowed any more: it was a security hole
      – context.sh is executed at the end of the boot process

    2. Executor : a bug corrected regarding cleaning processes
    3. Web Interface v0.2 :
      – help migrated into the “XtremWeb-HEP User Guide”
      – introducing Web workers

    4. Virtualization contextualization nows follow the HEPiX Virtualization Working Group recommandations (http://grid.desy.de/vm/hepix/vwg/doc/html/index.shtml)
    5. bugs corrected in shell scripts
    6. code cleaned for a better usage of the Jetty library
    7. in order to integrate jopenid, several libraries upgraded
      – jetty from 6.1.7 to 8.1.8
      – log4j from 1.2.9 to 1.2.17
      – slf4j from 1.5.3 to 1.7.2
      – servlet api from 2.5 to 3.0
  • New features
    1. introducing the WALLCLOCKTIME mechanism
    2. introducing RESULTREQUEST status
    3. introducing FORCENEWUID in the worker configuration file to ease deployment over clouds
    4. we can now retrieve jobs per status
    5. introducing openid usage to ease platform usage

– June 25th 2012 : XWHEP 8.1.2

    – Corrections

    1. on server side, the scheduling improved : hosts.incomingconnection is
      now taken into account to ensure a server like job is not sent to
      a volunteer resource where incoming connections are not allowed
    2. on server side, the scheduling improved : restoring a feature from XtremWeb 1.8.0 by INRIA : “expected host” so that the end user can specify at submission time the expected volunteer resource to run the job. Note, that if the expected host does not request a job or does not match the requirements (OS, CPU…), the job is never computed.
    3. the DG to SG bridge is now compatible with shared applications so that we can use VirtualBox on EGI resources
    4. some bugs corrected on client side regarding application registration and task management
    5. a bug corrected on temporary file usage: they are now cleaned at software exit
    6. the REST interface has been completely rewritten. The <xwhep></xwhep> root element MUST be used. Examples:
      – to send a new application
      https://server/sendapp/?XWPARAM=
      – to retrieved registered applications
      https://server/getapps
    7. a bug corrected in HTTP data download
    8. SmartSocket usage corrected; inter node communications fully functional now; thank to the support of Jason Maassen from the Netherlands eScience Center in Amsterdam

    – New features

    1. the creation of new Live CD can be customized by providing several optional files:
      • a text file ‘user.packages’ may be provided to install custom packages; this file must contain a space separated packages list
      • a text file ‘user.hostname’ may be provided to customize the LiveCD hostname; this file must contain the host name only

      • any package files are installed on the fly (*.rpm or *.deb, depending on the LiveCD OS)
    2. the client can now be used to create SmartSockets end point, independently of any task. This may be useful to create SmartSockets tunnel from a running VM to the client PC (e.g. mount the client FS inside the running VM)
    3. a new Mac OS X package “xwhep.vworker” to deploy the middleware inside a VM
    4. the server contains an embedded Web service interface available through HTTPS

– May 3rd, 2012 : XWHEP 8.0.2

    – Corrections

    1. on server side, the scheduling improved : hosts.incomingconnection is
      now taken into account to ensure a server like job is not sent to
      a volunteer resource where incoming connections are not allowed

    2. on server side, the scheduling improved : restoring a feature
      from XtremWeb 1.8.0 by INRIA : “expected host” so that the end user can
      specify at submission time the expected volunteer resource to run the job.
      Note, that if the expected host does not request a job or does not match
      the requirements (OS, CPU…), the job is never computed.

    3. the DG to SG bridge is now compatible with shared applications so that
      we can use VirtualBox on EGI resources

    4. some bugs corrected on client side regarding application registration and task management
    5. a bug corrected on temporary file usage: they are now cleaned at software exit
    6. the REST interface has been completely rewritten. The end user MUST have a valid X509 certificate.
      The root element MUST be used.
      e.g.:

      • https://server/sendapp/?XWPARAM=: to send a new application
      • https://server/getapps : to retrieved registered applications
      • https://server/getusers: to retrieved registered users
      • etc.
      • https://server/get/objectUID : to retrieved a specific registered object

    – New features

    1. the creation of new Live CD can be customized.
      This is done by providing several optional files:

      • a text file ‘user.packages’ may be provided to install custom packages
        this file must contain a space separated packages list

      • a text file ‘user.hostname’ may be provided to customize the LiveCD hostname
        this file must contain the host name only

      • any package files are installed on the fly (*.rpm or *.deb, depending on the LiveCD OS)
    2. the client can now be used to create SmartSockets end point, independently of any task.
      This may be useful to create SmartSockets tunnel from a running VM to the client PC (e.g. mount the client FS inside the running VM)

    3. a new Mac OS X package “xwhep.vworker” to deploy the middleware inside a VM

– Feb 20th, 2012 : XWHEP 8.0.1

    – Corrections

    1. a bug corrected in Socket Time out management: reconnection must be automatic
    2. the client now compressed any data, if necessary
    3. worker must not use the “connected” mode introduced in 7.4.0
    4. worker and dispatcher must not use any device at all : setProperty(“java.awt.headless”, “true”)
      (See http://java.sun.com/developer/technicalArticles/J2SE/Desktop/headless/)

    5. a bug corrected on URI usage: ampersand are now accepted if written as “&amps;”
    6. on client side, bugs corrected on XML file usage (whith “–xwxml”)
    7. on client side, a bug corrected when retrieving user group

    – New features

    1. worker definition has new attributes:
      • shared applications : comma separated list of application names shared as volunteer sharing
      • shared library : comma separated list of library names shared as volunteer sharing
      • shared data : comma separated list of data names shared as volunteer sharing
      • incomingconnections : volunteer resoure may accept communication tunneling. The middleware does not modify the resource firewall in any manner
    2. usage of IBIS Smartsockets to interconnect jobs running on worker side (to each other and to/from client)
    3. a new CommandLineOption : KEEPZIP (for debug purposes)
    4. work definition has new attributes:
      • readydate : when the work has been downloaded by the worker
      • datareadydate : when all data of the work has been downloaded by the worker
      • compstartdate : when the worker has started the job
      • compenddate : when the worker has ended the job
    5. tasks have their own UID now (it used to be their related work one)
      this aims to keep track of all event over the platform
      we can now retrieve all run informations (all start dates and host informations per task)

    6. a work can be modified by its owner or the administrator
      this is needed by SpeQulOS (EDGI JRA2)

    7. we can force the cache content path for any entry
      this is needed by Bitdew/XWHEP interconnection (still under development)

XtremWeb-HEP 8

XtremWeb-HEP 8 introduit la virtualisation en permettant aux utilisateurs de soumettre leurs propres machines virtuelles. XtremWeb-HEP 8 implémente un niveau de sécurité au niveau des standards de la grille.

A la une

XtremWeb-HEP 8.3.0 prend en charge les certificats certifiés par une Autorité de Certification

La version 8.3.0 de XtremWeb-HEP est un tournant majeur pour le monde des grilles de PC.

Pour la première fois, la sécurité d’une plate forme de calcul global atteind le niveau des standards de la grille de calcul.

XtremWeb-HEP 8.0.0 prend en charge les applications virtuelles

Avec XtremWeb-HEP 8, pour la première fois, les utilisateurs peuvent soumettre leurs propres machines virtuelles sur des PC volontaires.

Grâce à la technologie IBIS SmartSockets, les utilisateurs peuvent se connecter en toute sécurité (à travers un tunnel ssh) à leur VM, même si elle tourne sur un PC volontaire derrière un pare-feu.

La convergence entre les grilles de PC et le Cloud est là.

En date du 20 janvier 2012, cette version est installée au LAL pour les tests finaux. Le middleware sera mis en ligne à la fin de ces tests.

Un nouveau site web est disponible: Flying-Grid.org.

Documentation

La documentation est disponible ici.

Suivi de bugs

Vous pouvez accéder à notre serveur trac.

Versions

– 7 mai 2014 : XWHEP 8.3.3


– 12 novembre 2013 : XWHEP 8.3.2


– 7 octobre 2013 : XWHEP 8.3.1


– 18 septembre 2013 : XWHEP 8.3.0

  • Corrections
    1. https://trac.lal.in2p3.fr/DGHEP/ticket/120 : le serveur peut maintenant être certifié par une Authorité de Certification
    2. https://trac.lal.in2p3.fr/DGHEP/ticket/123 : le dashboard affiche maintenant l’adresse mail comme login
    3. https://trac.lal.in2p3.fr/DGHEP/ticket/126 : pour soumettre un job depuis le dashboard on doit selectionner une et une seule application
    4. https://trac.lal.in2p3.fr/DGHEP/ticket/122 : le dashboard est désormais entièrement transféré avec le protocole https
    5. https://trac.lal.in2p3.fr/DGHEP/ticket/128 : une page d’erreur s’affiche dans le browser du client, en cas de problème, quel qu’il soit
  • Nouvelles fonctionnalités
    • n/a

– 24 juin 2013 : XWHEP 8.2.3

  • Corrections
    1. amélioration de l’aide en ligne du client (CLI et REST API)
    2. un bug corrigé dans la suppression des sessions (https://trac.lal.in2p3.fr/DGHEP/ticket/114)
    3. un trou de sécurité corrigé: les certificats et mot de passe ne doivent pas circuler sur le réseau(https://trac.lal.in2p3.fr/DGHEP/ticket/109)
    4. amélioration de OpenID: le serveur retourne le status HTML 401 en cas d’erreur d’authetification (https://trac.lal.in2p3.fr/DGHEP/ticket/116)
    5. la soumission de job par l’interface Web a été corrigée; l’utilisateur peut maintenant sélectionner des données en entrée (https://trac.lal.in2p3.fr/DGHEP/ticket/117)
  • Nouvelles fonctionnalités
    • n/a

    – 7 juin 2013 : XWHEP 8.2.2

  • Corrections
    1. un bug corrigé dans l’insertion de session; le server doit positionner le champ owneruid si le client ne l’a pas fait
    2. une exception et un code d’erreur sont désormais levés si le client tente d’insérer un objet de type non insérable: host et task
    3. certaines parties de code ont été réécrite plus POO
    4. un bug corrigé dans le client, au niveau du parser de macro
  • Nouvelles fonctionnalités
    1. n/a

    – 16 avril 2013 : XWHEP 8.2.1

  • Corrections
    1. l’encodage est forcé à UTF-8
    2. un bug de synchronisation inter-thread a été corrigé au niveau du serveur
  • Nouvelles fonctionnalités
    1. n/a

– 26 février 2013 : XWHEP 8.2.0

  • Corrections
    1. les LiveCD sont désormais configurés comme suit
      – le login est maintenant “vmuser” et non plus “xwuser”
      – le script pour créer un nouveau LiveCD est maintenant dans /usr/local/sbin/ (ubuntu_crealtelivecd.sh ou sl5_createlivecd.sh)
      – l’utilisateur “vmuser” et dans /etc/sudoers afin de lui permettre d’exécuter /sbin/poweroff et /usr/local/sbin/ (ubuntu_crealtelivecd.sh ou sl5_createlivecd.sh)
      – dirsetup n’est plus autorisé: c’était un trou de sécurité
      – context.sh est exécuté à la fin du process de boot

    2. Executor : un bug corrigé dans le process de nettoyage de fin d’exécution
    3. Web Interface v0.2 :
      – l’aide a été mise dans le “XtremWeb-HEP User Guide”
      – introduction des Web Workers

    4. la contextualisation de la Virtualization suit désormais les recommandations de "HEPiX Virtualization Working Group" (http://grid.desy.de/vm/hepix/vwg/doc/html/index.shtml)
    5. des bugs corrigés dans les scripts shell
    6. le code a été nettoyé pour une meilleur utilisation de la librarie "Jetty"
    7. les librairies suivantes ont du être mises à jour pour intégrer OpenId
      – jetty from 6.1.7 to 8.1.8
      – log4j from 1.2.9 to 1.2.17
      – slf4j from 1.5.3 to 1.7.2
      – servlet api from 2.5 to 3.0
  • Nouvelles fonctionnalités
    1. introduction du mécanisme de WALLCLOCKTIME
    2. introduction du status RESULTREQUEST
    3. introduction de la variable FORCENEWUID dans la configuration des workers, afin de faciliter le déploiement des workers sur un cloud
    4. les jobs peuvent maintenant être retrouvés par status
    5. introduction de OpenId pour faciliter l’utilisation de la platform

– 25 juin 2012 : XWHEP 8.1.2

    – Corrections

    1. l’ordonnauceur a été amélioré : il prend maintenant correctement en compte "hosts.incomingconnection" ainsi que quot;exptedhost"
    2. le bridgee DG – SG est compatible avec l’application partagée "VirtualBox"
    3. des corrections ont été apportées concernant la registration d’application et la gestion de tâches
    4. les fichiers temporaires sont maintenant correctement effacés
    5. l’interface REST a été entièrement r éécrite. L’élément racine <xwhep></xwhep> doit être présenté. Exemples:
      – pour envoyer une application:
      https://server/sendapp/?XWPARAM=
      – pour retrouver les applications
      https://server/getapps
    6. un bug corrigé dans le download des données par HTTP
    7. SmartSocket fonctionne correctement; les communications inter noeuds sont implémentées; merci à Jason Maassen de Netherlands eScience Center à Amsterdam, pour son aide

    – Nouvelles fonctionnalités

    1. la création des live CD peut être customisée
    2. le client peut être utilisé pour créer un SmartSockets end point, indépendemment de toute tâche (e.g. monter le file système du client dans une VM)
    3. un nouveau package Mac OS X : "xwhep.vworker" pour déployer le middleware dans une VM
    4. le server a une interface Web disponible par HTTPS

– May 3rd, 2012 : XWHEP 8.0.2

    – Corrections

    1. l’ordonnanceur a été amélioré : il tien désormais compte de hosts.incomingconnection
    2. l’ordonnanceur utilise le champ “expectedhost” qui permet à un utilisateur de spécifier la ressource volontaire qui doit exéctuer le job.
      Notons que si cette machine ne vient pas prendre de job ou si cette machine ne répond pas aux exigences (OS, CPU…), le job ne sera jamais exécuté

    3. le bridge DG vers SG est compatible avec les applications partagées. L’application VirtualBox peut donc être utilisée sur les ressource EGI
    4. la gestion des applications et des tâches ont été améliorées
    5. le client nettoie correctement ses fichiers temporaires
    6. l’interface REST a été entièrement réécrite. L’utilisateur doit avoir un ertificat X509 valide.
      L’élément racine doit être utilisé
      Exemple:

      • https://server/sendapp/?XWPARAM=: pour soumettre une application
      • https://server/getapps : pour retrouver la liste des applications enregistrées
      • https://server/getusers: pour retrouver la liste des utilisateurs enregistrés
      • etc.
      • https://server/get/objectUID : pour retrouver un object spécifique

    – Nouvelles fonctionnalités

    1. la création des LiveCD peut être customisée en fournissant des fichiers optionnels:
      • un fichier texte ‘user.packages’ pour spécifier des packages optionnels; ce fichier doit contenir une liste de packages séparés par des espaces
      • un fichier texte ‘user.hostname’ pour spécifier un host name. Ce fichier doit contenir le host name et lui seul.
      • tout fichier de package et installé au vol (*.rpm or *.deb, en fonction de l’OS)
    2. le client peut créer des SmartSockets end point, indépendemment de tout job.
      Cela peut être utile pour creer des tunnels SmartSockets de la VM au client (ex. monter le client FS dans la VM)

    3. un nouveau package OS X “xwhep.vworker” pour deployer le middleware dans une VM (typiquement pour tourner un worker dans une VM)

-20 février 2012 : XWHEP 8.0.1

    – Corrections

    1. un bug corrigé dans la gestion des dépassements de délai au niveau des communications: la reconnection est maintenant automatique
    2. le client compresse désormais les données automatiquement, si nécessaire
    3. les workers ne doivent pas utiliser le mode connecté introduit dans la version 7.4.0
    4. les workers et le server ne doivent pas utiliser de terminal (setProperty(“java.awt.headless”, “true”))
      (Cf http://java.sun.com/developer/technicalArticles/J2SE/Desktop/headless/)

    5. un bug corrigé dans l’utilisation des URI : les ampersand sont maintenant acceptés s’ils sont écrits sous la forme “&amps;”
    6. un bug corrigé au niveau du client dans l’utilisation des fichiers XML (avec “–xwxml”)
    7. dans le client, la gestion des groupes d’utilisateurs a été corrigée

    – Nouvelles fonctionnalités

    1. les workers ont de nouveaux attributs:
      • shared applications : la liste des applications partagées par la ressource
      • shared library : la liste des librairies partagées par la ressource
      • shared data : la liste des données partagées par la ressource
      • incomingconnections : un booléen indiquant si la ressource accepte la gestion des tunnels SmartSocket l’intergiciel ne modifie en aucune manièere le pare-feu de la ressource
    2. utiliation de IBIS SmartSockets pour la gestion des tunnels de communication
    3. une nouvelle option pour le client KEEPZIP (pour le debugging)
    4. les works ont de nouveaux attributs:
      • readydate : date à laquelle la ressource a reçu le work
      • datareadydate : date à laquelle la ressource a reçu toutes les données du work
      • compstartdate : date à laquelle le work a été lancé par le worker
      • compenddate : date à laquelle le work a été terminé par le worker
    5. les tasks ont désormais leur prorpre UID (elles avaient celui de leur work associé jusqu’à présent). Ceci permet de garder trace de toutes les tâches. On peut donc maintenant suivre toutes les tentatives de calcul pour un work donné.
    6. un work peut être modifié par son propriétaire. Ceci est une demande de SpeQulOS (EDGI JRA2)
    7. on peut maintenant indiquer le path de stockage pour chaque entrée du cache (sinon le path par défaut est utilisé). Ceci est nécessaire pour les interconnections XWHEP/Bitdew (en cours de dévéloppement)