Flash informatique 2008 - no 8 - HPC by EPFL

Spécial calcul à haute performance à l’EPFL Callisto l 128 nœuds bi-processeur quadri-cœur, 3.0GHz l 32GB de RAM/nœud l InfiniBand à 20 Gb/s

Alcor l 24 nœuds bi-processeur double-cœur, 3.0GHz l 16GB de RAM/nœud l Myrinet à 2 Gb/s

Blue Gene/L Ressources de calcul du DIT

l 4096 nœuds double-cœur 700MHz l 512MB de RAM/nœud l Interconnexion à 2.8 Gb/s

Mizar

Greedy

l 224 nœuds bi-processeur 2.4GHz l 4GB de RAM/nœud l Myrinet à 2 Gb/s

l l l l

Desktop Grid ~ 600 nœuds ~ 1GB de RAM/nœud Divers OS

Mizar SMP l machine SMP l 16 processeurs, 1.6GHz l 64GB de RAM

Panorama des ressources de calcul disponibles au Domaine IT FI 8 – 14 octobre 2008 – page 1

Pourquoi un numéro spécial en octobre ? Jacqueline.Dousson@epfl.ch, Domaine IT

Sommaire FI 8/2008 2 Pourquoi un numéro spécial en octobre ? Jacqueline Dousson 3 Les ressources de calcul du DIT – Panorama des ressources disponibles Michela Thiémard, Chistian Clémençon, Jacques Menu, Jean-Claude Leballeur & Pascal Jermini 5 Let’s SwiNG Michela Thiémard & Pascal Jermini

Les

lecteurs du Flash informatique sont habitués au spécial été … et les voilà avec un numéro spécial automne ! Les circonstances ont voulu que plusieurs articles concernant le HPC (Calcul à haute performance) étaient annoncés, les équipes FI et serveurs de calcul du DIT ont décidé de marquer le coup et d’en profiter pour mettre en avant un thème qui reste souvent mal connu des non-spécialistes. En effet, Blue Gene/L, ce n’est pas qu’un effet d’annonce et de gros sous, c’est aussi et surtout un magnifique outil pour la recherche. Et, plus discrets mais tout aussi nécessaires, il y a les clusters généralistes du DIT, avec leurs noms de constellations (Mizar, Alcor, Callisto). Et en ces temps d’informatique durable, comment oublier cet outil de partage qu’est la grille naissante de l’EPFL ? Comme vous pourrez le lire dans ce journal, la parole a aussi été donnée aux utilisateurs des ressources mises à disposition par le DIT. DIT, DIT …. Il n’y a pas qu’au DIT que s’effectue du calcul à haute performance à l’EPFL ! j’entends déjà les mécontents, et ils ont raison bien sûr. Nombreux sont les clusters de faculté, de laboratoire, sans parler du cluster Pléiades qui se situe à mi-chemin entre les serveurs d’institut et les machines centrales et qui vient de s’étendre à 960 processeurs (pleiades.epfl.ch). Les voies du calcul à l’EPFL sont nombreuses et complémentaires, et si ce numéro est centré sur les ressources gérées par le DIT, c’est parce que c’était plus naturel et plus facile à mettre sur pied … mais il n’est pas interdit de relever le défi et de faire un numéro calcul haute performance à l’EPFL avec un plus large spectre de machines et d’applications. Toute personne intéressée peut bien sûr me contacter ! NB: Vous retrouvez toutes les rubriques habituelles du Flash informatique, calendrier des cours, dit-info,… dès les mois de novembre. n

Pro

c h a i n e s

p a r u t i o n s

délai de rédaction

parution

9 10

30.10.08 27.11.08

18.11.08 16.12.08

6 IBM Blue Gene/L à l’EPFL – Trois ans de bons et loyaux services Christian Clémençon & Pascal Jermini 8 Panorama des projets de recherche sur le Blue Gene/L de l’EPFL Pierre Maruzewski 13 Exploiter la puissance de calcul du Blue Gene/L – Un exercice d’équilibriste Felix Schürmann 16 Deux ans d’activité de Greedy – Point de vue d’utilisateurs Interviews faites par Pascal Jermini & Michela Thiémard 18 Les machines HPC généralistes du DIT – Point de vue d’utilisateurs Interviews faites par Jacques Menu & Jean-Claude Leballeur

flash informatique Les articles ne reflètent que l’opinion de leurs auteurs. Toute reproduction, même partielle, n’est autorisée qu’avec l’accord de la rédaction et des auteurs. Abonnement à la version électronique du FI en envoyant un courrier à: fi-subscribe@

listes.epﬂ.ch

Rédacteur en chef: Jacqueline Dousson, fi@epfl.ch Mise en page & graphisme: Appoline Raposo de Barbosa Comité de rédaction: Omar Abou Khaled, Aristide Boisseau, Jean-Daniel Bonjour, Patrice Fumasoli, Jean-Damien Humair, Laurent Kling, Pierre Kuonen, Daniel Rappo, Vittoria Rezzonico, François Roulet, Christophe Salzmann, Predrag Viceic & Jacques Virchaux Impression: Atelier de Reprographie EPFL Tirage: 4000 exemplaires Adresse Web: dit.epfl.ch/FI-spip Adresse: Domaine IT EPFL CP 121, CH-1015 Lausanne 15 Téléphone: +4121 69 32246 & 32247

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 2

Les ressources de calcul du DIT Panorama des ressources disponibles Michela.Thiemard@epfl.ch, Chistian.Clemencon@epfl.ch, Jacques.Menu@epfl.ch, Jean-Claude.Leballeur@epfl.ch & Pascal.Jermini@epfl.ch, Domaine IT – cellule HPC-Grid

Introduction Le DIT offre à la communauté de l’EPFL différentes ressources de calcul à haute performance, mais il n’est pas toujours évident de s’y retrouver et de choisir la ressource la mieux adaptée au type de problème que l’on souhaite résoudre. En effet, les applications ne s’exécutent généralement pas de manière optimale sur toutes les machines de calcul à disposition, étant donné leur architecture souvent très différente. Il peut en résulter une utilisation contre-productive des ressources, ce qui n’est pas dans l’intérêt des utilisateurs ! Chaque serveur de calcul a des caractéristiques particulières, comme notamment le type de réseau d’interconnexion entre les nœuds de calcul, ou bien la quantité de mémoire par nœud. Ces différences sont importantes, car la plupart des applications ne se comportent pas de manière similaire suivant l’environnement dans lequel elles sont exécutées. Par exemple, une application très gourmande en mémoire ne pourra pas s’exécuter convenablement sur une machine n’en disposant que peu: il devient donc intéressant de déplacer ce genre d’applications sur des machines ayant une plus grande capacité mémoire et de laisser la place aux applications pouvant se contenter d’une quantité moindre de mémoire. Connaître les différences et les limitations de chaque machine permet de choisir le serveur de calcul le plus adapté et ainsi d’optimiser l’utilisation des ressources: il serait en effet dommage d’exécuter une application peu adaptée sur une machine, alors qu’une autre pourrait tout à fait remplir la tâche, et ce, de manière optimale.

Les machines à disposition Nous allons décrire les ressources de calcul que le DIT met à disposition des chercheurs de l’EPFL. Il ne s’agit pas d’une description détaillée (pour ceci voir la page web des ressources de calcul centrales1), mais plutôt d’une présentation de l’éventail des machines disponibles, avec leurs spéciﬁcités, le type d’applications qui y sont particulièrement bien adaptées, ainsi que quelques autres informations utiles. Toutes les machines parallèles à mémoire répartie (Mizar, Alcor, Callisto et Blue Gene/L) se basent sur le standard MPI

(Message Passing Interface) pour la communication entre les nœuds de calcul. Il est donc indispensable que les applications utilisées sur ces serveurs fassent usage de MPI pour implémenter leur parallélisme. Le DIT offre régulièrement un cours de quatre jours, axé sur la programmation parallèle avec MPI. Les dates du prochain cours ne sont pas encore connues, mais il a lieu en général deux à trois fois par année en mars et en septembre.

Mizar, Alcor & Callisto

Ces machines sont des clusters généralistes avec un réseau rapide dédié entre les nœuds de calcul: z Mizar est constituée de 224 nœuds bi-processeur AMD Opteron à 2.4GHz avec chacun 4GB de mémoire. Les nœuds de calcul sont interconnectés entre eux par un réseau rapide Myrinet. z Mizar SMP est arrivée sur le campus il y a trois ans, en même temps que Mizar. C’est une machine SMP (symmetric multiprocessing), constituée de 16 processeurs Itanium à 1.6GHz avec 64GB de mémoire partagée. Chaque processeur voit en effet les 64GB de mémoire comme une seule mémoire unifiée, ce qui n’est pas le cas des autres machines, où chaque processeur ne voit que la mémoire présente localement dans le nœud. z Alcor, arrivée en 2006 est basée sur la même architecture que Mizar. Elle est constituée de 24 nœuds bi-processeur double-cœur (dual-core) Intel Woodcrest à 3.0GHz, avec chacun 16GB de mémoire et interconnectés entre eux par un réseau rapide Myrinet. z Callisto est la dernière machine généraliste arrivée sur le campus et elle vient d’être ouverte aux utilisateurs. Elle est consituée de 128 nœuds bi-processeur quadri-cœur (quad-core) Intel Harpertown à 3.0GHz, avec chacun 32GB de mémoire, reliés par un réseau rapide de type InfiniBand. z Les jobs idéaux pour Mizar, Alcor et Callisto sont parallélisés et nécessitent plusieurs nœuds de calcul, afin d’exploiter le réseau rapide. Les jobs exécutés sur ces machines ont trait à des domaines variés, voir les interviews en page 18. Ceux pour Mizar SMP sont aussi des jobs parallèles, mais nécessitant beaucoup de mémoire. Contact: dit-hpc-admin@groupes.epfl.ch Web: dithpcbatch.epfl.ch/

hpc-dit.epﬂ.ch/details.php

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 3

Les ressources de calcul du DIT – Panorama des ressources disponibles

Blue Gene/L

z Blue Gene/L est un ordinateur massivement parallèle, arrivé sur le campus Politique d’accès mi-2005, qui convient exclusivement aux ressources de calcul du DIT aux applications parallèles s’exécutant sur un très grand nombre de procesDès janvier 2009, une nouvelle politique d’achat et d’accès aux seurs (au moins 512 jusqu’à un maxiressources centrales sera appliquée. On dénombre trois catégories mum de 8192). de serveurs de calcul disponibles au DIT: z Ce qui fait la particularité de cette z supercalculateur (Blue Gene/L) machine est son très grand nombre de z cluster standard (Mizar, Alcor, Callisto) nœuds (4096 nœuds double-cœur) z grille de calcul (Greedy) interconnectés par plusieurs réseaux Pour la première, l’accès est réservé à des projets de recherche spécialisés, la faible vitesse de ses proapprouvés par la Direction. cesseurs (700 MHz) et la relativement Pour la deuxième, tout membre de l’EPFL peut y accéder, avec cepetite taille de mémoire locale par pendant une priorité plus élevée pour les personnes contribuant nœud (512 MB). à l’achat de ces machines. En effet, l’EPFL (VPAI/DIT) finance z Vu l’architecture très spéciale de 2/3 du matériel et du logiciel, le 1/3 restant étant financé par Blue Gene/L et notamment la faible des laboratoires, instituts, sections, facultés. quantité de mémoire disponible par Pour la troisième, tout membre de l’EPFL y accède gratuitement nœud de calcul, la programmation de avec la même priorité. cette machine demande une attention À noter que l’allocation des ressources centrales est gérée par le particulière quant à l’exploitation Comité de pilotage HPC. du parallélisme et à la gestion de la La nouvelle politique d’accès n’est pas encore complètement mémoire. De par ses caractéristiques – définie: le texte sera finalisé et officialisé dans les semaines qui faible vitesse des processeurs et réseaux vont suivre.n d’interconnexion rapides – cette machine convient à des applications dont le rapport communication/calcul est élevé, c’est à dire des applications dont les tâches doivent beaucoup communiquer. Parmi les jobs les plus représentatifs on peut citer les z Sur Greedy, il n’est possible de soumettre que des jobs simulations de colonnes néo-corticales et des simulations mono-processeur. Leur durée idéale est de 3 ou 4 heures de dynamique moléculaire. vu la volatilité de la puissance de calcul disponible. Par Contact: bgl-admin@groupes.epfl.ch contre, Greedy accepte des jobs compilés, ainsi que des Web: bluegene.epfl.ch jobs utilsant Matlab, Mathematica, R, Octave,… Contact: grid-admins@groupes.epfl.ch Greedy Web: greedy.epfl.ch. z Cette ressource de calcul est différente des précédentes et est disponible depuis mi-2006. Elle a pour but de récupérer les cycles de calcul non utilisés sur les PC des En résumé… salles des étudiants et des collaborateurs. On est donc en présence de ressources décentralisées et non dédiées. Le tableau ci-dessous résume les caractéristiques princiEn effet, le propriétaire des nœuds de calcul est toujours pales des différents serveurs de calcul centraux que le DIT prioritaire sur les jobs. met à la disposition des utilisateurs. z Les systèmes d’exploitation installés sur Greedy sont très Ces informations permettent de faire un premier choix variés, vu qu’elle est constituée de machines personnelles. sur la machine la mieux adaptée au type d’application que On y trouve donc diverses versions de Windows, Linux l’on souhaite exécuter. Ce ne sont pas les seuls critères dont et Mac OSX. La mémoire disponible par nœud de calcul il faut tenir compte, mais c’est déjà un bon début ! n’est pas très élevée (environ 1 GB). Ressource

Nombre de cœurs

Fréquence

Mémoire/Cœur

Puissance théorique en Tﬂops

Mizar

448

2.4 GHz

2048 MB

2.15

Myrinet (2Gb/s)

Mizar SMP

1.6 GHz

4096 MB

0.1

(SMP) (–)

Alcor

3.0 GHz

4096 MB

1.15

Myrinet (2Gb/s)

1024

3.0 GHz

4096 MB

12.29

InﬁniBand (20Gb/s)

Blue Gene/L

8192

700 MHz

256 MB

Greedy

~600

–

~1GB

~ 0.72

Callisto

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 4

Interconnexion (vitesse)

Propriétaire (2.8Gb/s) – (–)

Les ressources de calcul du DIT – Panorama des ressources disponibles

Conclusion Comme le montre la section précédente, le DIT offre une variété de machines de calcul aux caractéristiques et buts divers. Au premier abord, il peut être difﬁcile de choisir la bonne machine, adaptée aux besoins spéciﬁques d’une application donnée. Il est donc judicieux d’en discuter avec les administrateurs des machines qui sauront vous aiguiller vers la bonne ressource de calcul. Une utilisation correcte des ressources est dans l’intérêt de tous les utilisateurs, car ces ressources sont toujours plus sollicitées !

Une fois que le choix de la machine désirée est arrêté, il faut encore savoir comment l’utiliser, notamment savoir soumettre des jobs, connaître leur état ou bien tout simplement se familiariser avec l’environnement de travail. Outre la documentation utilisateurs spéciﬁque à chaque serveur, le DIT offre un nouveau cours, intitulé Utilisation des serveurs de calcul du DIT. Ce cours a pour but de présenter en une journée comment utiliser les serveurs de calcul centraux et le Grid (par exemple soumission de jobs, les différents espaces de stockage) et sera donné selon la demande des utilisateurs.n

Let’s SwiNG Michela.Thiemard@epﬂ.ch & Pascal.Jermini@epﬂ.ch, Domaine IT

Non,

ce bref article ne va pas parler de danse, et encore moins de golf ! Il a simplement comme but de présenter la SwiNG (Swiss National Grid Association)1, une association créée il y a maintenant presque une année et qui a les missions suivantes: z assurer la compétitivité scientifique, l’éducation et l’industrie suisse au travers du partage de ressources; z établir et coordonner une infrastructure de grille nationale, composée de ressources réparties sur plusieurs sites et avec des domaines administratifs différents; z fournir une plate-forme pour des collaborations interdisciplinaires afin d’exploiter les activités suisses de grid, en proposant un support aux utilisateurs finaux, chercheurs, centres d’éducation, fournisseurs de ressources et l’industrie; z représenter les intérêts de la communauté grid nationale par rapport aux organismes nationaux et internationaux. SwiNG essaie d’être le point d’entrée national pour la promotion des services de type grid (que ce soit des grilles de connaissances, de données ou de calcul), de manière à pouvoir mettre en place des collaborations interdisciplinaires et interinstitutionnelles. SwiNG est composé de plusieurs organes administratifs, et parmi ceux-ci deux sont particulièrement intéressants: le Conseil Scientifique (Scientific Council), chargé de proposer le programme scientifique et technique de SwiNG, et les Groupes de Travail (Working Groups), qui implémentent les programmes proposés par le Conseil Scientifique.

Tout groupe de recherche ou de travail local à une institution peut demander à être membre du Conseil Scientifique, afin de participer aux discussions concernant le programme scientifique et technique de l’association et de donner son avis sur la direction que devrait prendre le panorama suisse du grid. Parmi les groupes de travail créés en 2008, il faut citer le Campus Grid Working Group, qui est un forum de discussions et d’échange pour les projets actuels et futurs de grid déployés sur un campus, tel que le service de grille de calcul de l’EPFL, Greedy2. L’EPFL y participe, au travers du DIT, afin de faire profiter d’autres institutions suisses de l’expérience positive faite avec Greedy et de rester informée des avancées technologiques dans ce domaine. Un autre groupe de travail important est le SMSCG (Swiss Multi-Science Computing Grid), qui traite de l’installation, le déploiement et l’exploitation d’une grille de calcul nationale, répartie sur plusieurs sites académiques suisses, avec la participation d’applications venant de divers domaines scientifiques. Ce groupe de travail est aussi l’objet d’un projet SWITCH-AAA3, que le DIT souhaite rejoindre dès 2009. Une entité telle que SwiNG faisait défaut en Suisse. En effet, nos pays voisins s’en étaient dotés depuis quelques années déjà. Cette légitime représentation de la Suisse dans des réunions européennes ayant trait au grid est dorénavant assurée.n

www.swing-grid.ch greedy.epﬂ.ch 3 www.switch.ch/aaa/ 2

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 5

IBM Blue Gene/L à l’EPFL Trois ans de bons et loyaux services Christian.Clemencon@epfl.ch & Pascal.Jermini@epfl.ch, Domaine IT

juillet 2005, l’EPFL acquérait un superordinateur IBM de type BG/L (Blue Gene/L). À ce momentlà, fort de ses 18.2 Tflops Linpack (18.2x1012 opérations en virgule flottante par seconde), le système figurait au 9ème rang mondial dans la classification Top500 (source: www.top500. org). Trois ans après, en juin 2008, il est passé au 103ème rang mondial, mais c’est toujours l’ordinateur le plus performant de Suisse. Pendant ces trois années de service à l’EPFL, la machine a tourné près de 150’000 jobs de simulation pour le compte de 6 projets majeurs, et a permis d’obtenir dans certains cas des résultats significatifs, notamment dans le cadre du projet Blue Brain (voir l’article de Felix Schürmann Exploiter la puissance de calcul du Blue Gene/L : un exercice d’équilibriste). L’article Panorama des projets de recherche sur le Blue Gene/L de l’EPFL de Pierre Maruzewski décrit les 6 principaux projets qui ont bénéficié de la puissance de calcul du BG/L. La machine est gérée par le groupe Exploitation du DIT (DIT-EX). Dans cet article, après un bref rappel de la structure du BG/L, nous avons choisi de présenter deux aspects qui nous ont paru symptomatiques des trois années d’exploitation du BG/L à l’EPFL, à savoir le mode et les statistiques d’utilisation de la machine, ainsi que le taux de pannes.

nœud est essentiellement constitué par le chip biprocesseur PowerPC 440 et par de la mémoire. Une carte de calcul comprend deux nœuds et constitue le plus petit élément physique remplaçable de la machine (celui qui sera changé par le support d’IBM en cas de défectuosité). Un tiroir, comprenant 32 nœuds, est la plus petite partie de la machine qui peut être allouée à un utilisateur pour un job. Le mid-plane, est quant à lui la plus petite partie qui puisse être arrêtée individuellement sans perturber le reste de la machine, pour des interventions de maintenance sur le matériel par exemple. C’est aussi la plus petite partition dont les 512 nœuds peuvent être interconnectés en un tore tridimensionnel (de dimension 8x8x8). Une armoire (ou rack) contient deux midplanes, c’est-à-dire 1’024 nœuds. Et ﬁnalement, un système BG/L comprend plusieurs armoires organisées en lignes et colonnes (2x2 à l’EPFL), et dont les nœuds sont interconnectés par trois réseaux globaux, dont le tore tridimensionnel (de dimension 16x16x16 à l’EPFL).

Structure physique du BG/L Le BG/L est un ordinateur massivement parallèle. La configuration de l’EPFL compte 4’096 nœuds double cœur avec 512 MB de mémoire chacun (8’192 processeurs et 2 TB de mémoire en tout). Afin de réaliser une Figure 1 : structure hiérarchique du Blue Gene/L de l’EPFL machine peu gourmande en énergie, IBM a choisi des processeurs relativement lents (de type PowerPC 440 cadencés à 700 MHz). Cette approche a permis un packaging simple et homogène Utilisation du BG/L à L’EPFL d’un très grand nombre de composants dans un volume réduit, tolérant un refroidissement à air peu coûteux. Comme le Un utilisateur souhaitant exécuter un job demande au montre la figure 1, la structure de la machine est hiérarchique. système BG/L les ressources nécessaires, c’est-à-dire essenElle permet ainsi l’assemblage de très grandes configurations, tiellement le nombre de nœuds désirés. Si la demande peut tout en conservant l’homogénéité de l’ensemble. Le plus être satisfaite, l’utilisateur reçoit alors une partie physique grand BG/L existant à ce jour compte 106’496 nœuds homogène de la machine, appelée partition (ou bloc), qui (212’992 processeurs) répartis dans 104 racks. inclut les ressources demandées. Le job a dès lors l’accès exLes différents composants d’un système BG/L, illustrés clusif à toutes les ressources de sa partition (CPU, mémoire, sur la figure 1, se décrivent de la manière suivante. Un FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 6

Blue Gene/L à l’EPFL – Trois ans de bons et loyaux services réseaux d’interconnexion) et peut commencer son exécution. Plusieurs jobs de différents utilisateurs peuvent bien entendu s’exécuter simultanément sur des partitions disjointes de la machine. À l’EPFL, nous distinguons trois modes d’utilisation de la machine: Interactif: réservé aux jobs courts, s’exécutant sur un petit nombre de nœuds (32 ou 128), pour la mise au point des codes. Production: pour les jobs d’une durée maximale de 24 heures, s’exécutant sur au moins 512 nœuds (un mid-plane) et au plus 2048 nœuds. Réservation: pour des cas particuliers, ou ponctuellement pour des jobs s’exécutant sur les 4096 nœuds de la machine entière. Un mid-plane est dédié en permanence aux jobs interactifs, et les sept autres aux jobs de production et/ou aux réservations. La ﬁgure 2 montre les statistiques d’utilisation de la machine par projet pour la période de 2 ans et demi, entre le 1er janvier 2006 et le 30 juin 2008.

Non alloué 24 %

Autres

of.

F. Av el

lan )

Atomic Scale (Prof. A. Pasquarello)

Taux de pannes

Un job interrompt brutalement son exécution lorsqu’un des composants matériels de sa partition subit une défaillance. C’est en général une carte de calcul qui en est la cause. On a pu constater que 90% des crashs sont dus à des erreurs mémoire. Lorsqu’un job s’arrête à cause d’un problème matériel, l’exécution de tous ses processus associés se termine immédiatement et la partition qu’il occupe est libérée. Les autres jobs ne sont pas affectés. Pour calculer la moyenne des temps entre deux pannes (MTBF - Mean Time Between Failures) de la machine entière en nombre de jours, nous avons considéré la période allant du 1 janvier 2006 au 30 juin 2008, soit 912 jours. Pendant cette période, il y a eu 209 jours pendant lesquels au moins un job a crashé, soit un MTBF de 4.36 jours (900/209). Cela signifie qu’un job tournant sur les 4096 nœuds de la machine a en moyenne 4.36 jours de durée de vie sans risquer un crash. À première vue, ce chiffre peut paraître ridiculement bas. Mais en tenant compte qu’il y a 2048 cartes de calcul dans la machine, on obtient un MTBF par carte de calcul de 8937 jours, soit environ 25 ans ! C’est donc bien le nombre très important de composants participant à l’exécution d’un job qui augmente le risque de crash de manière significative. Donc, plus un job utilise de ressources et plus Blue Brain Project il est long, plus il a de chances de crasher. Pour se prémunir de ce risque, nous conseillons vivement (Prof. H. Markram) à nos utilisateurs de recourir aux points de reprise, c’est-à-dire de sauver périodiquement l’état du job, pour pouvoir repartir de la dernière sauvegarde en cas de crash. Le système BG/L fournit une librairie de checkpoint/restart pour faciliter la programmaMCD tion de points de reprise. De plus, le BG/L de (IBM/Rüschlikon) l’EPFL a un système de fichiers très performant (~800 MB/s de débit en accès parallèles), ce qui permet de sauver l’état de la majeure partie des applications dans un laps de temps négligeable par rapport au temps total d’exécution.

Prion (Prof. U. Röthlisberger)

Conclusion

(Pr

Notre expérience nous a montré que l’administration du BG/L est relativement aisée, grâce aux outils système d’IBM qui offrent une vision globale de la machine. D’autre part, les nœuds n’ayant pas d’état propre, il n’y a jamais de problème d’incohérence à ce niveau. En ce qui concerne les interventions hardware, la structure homogène et ﬁg. 2 – répartition des ressources BG/L par projet de janvier 2006 à juillet 2008 hiérarchique du BG/L permet d’opérer localement, sans perturber les jobs qui occupent d’autres parties de la machine. Nous observons que le taux d’occupation effectif de la Comme effet collatéral (comme on dit aujourd’hui) de machine (en temps d’exécution de jobs) est de 76%, auquel la puissance d’une telle machine, le taux de pannes devient il faudrait ajouter un certain pourcentage pour les périodes un aspect dont on ne plus s’affranchir dans des applications de réservation non consommées, ainsi que les périodes de de simulation de grande envergure. Il faut impérativement maintenance. Le pourcentage de ressources non allouées, qui s’en prémunir à l’aide de points de reprise. peut paraître relativement élevé, s’explique par la granularité Ces trois années d’exploitation du BG/L de l’EPFL ont d’allocations. En effet, l’ordonnanceur de tâches du système montré que la machine a été pleinement utilisée, et qu’il y batch ne dispose que de sept unités d’allocation (sept mida donc un vrai besoin pour ce type de superordinateur au planes) pour satisfaire les demandes des utilisateurs. C’est bien sein de l’École.n entendu trop peu pour atteindre un meilleur remplissage.

Plasmas (Prof. L. Villard)

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 7

Panorama des projets de recherche sur le Blue Gene/L de l’EPFL Pierre.Maruzewski@epfl.ch, EPFL – LMH et HPCTech

Calcul Haute Performance, HPC pour les intimes, est devenu depuis cette dernière décade un support informatique et numérique indispensable pour comprendre les phénomènes physiques existant dans la vie de tous les jours afin d’améliorer notre quotidien. L’EPFL s’est ainsi construite un pool de calculateurs et super calculateur afin de satisfaire la communauté HPC grandissante au sein de l’Ecole. Cet article se focalise sur le super calculateur IBM Blue Gene/L (abrégé BG/L) acquis par l’EPFL en 2005 (fig. 1) en présentant les grandes activités de recherche HPC dans les domaines des sciences de la vie, des sciences de base, des sciences et techniques pour l’ingénieur. Depuis l’installation en 2005, il existe six projets en mode production. Le projet Blue Brain représente une rencontre entre la neuroscience et le domaine HPC afin de comprendre les mécanismes de fonctionnement du cerveau par la reconstruction par ingénierie inverse de composants biophysiques et la mise en place de nouveaux modèles mathématiques pour la recherche médicale. Le projet Blue Brain est dirigé par le professeur Henry Markram de l’Institut des neurosciences de l’EPFL et compte plus de 35 neurobiologistes, modélisateurs, numériciens et architectes. La première phase de Blue Brain achevée en 2007 a permis de reconstruire virtuellement une colonne cérébrale d’un jeune rat. Pourquoi un rat ? En fait, le cerveau du rat est le plus proche homothétiquement parlant de celui de l’homme. Ainsi cette colonne cérébrale est constituée de 10’000 neurones complexes et de 30’000’000 synapses dynamiques à partir de cellules réelles de ce jeune rat (fig. 2).

ﬁg. 1 – le Blue Gene/L de l’EPFL Les simulations menées par l’équipe du Dr. Felix Schürmann sont réparties de la manière suivante: z algorithme génétique de reconnaissance de formes pour des milliers de cellules à partir d’une base de données biophysique validé sur 2’048 processeurs par S. Druckmann et al [1]; z algorithme de connexion entre les cellules nécessitant les 8’000 processeurs par J. Kozloski et al; z simulation complète du réseau neuronique sur 8’192 processeurs par M. Hines et al. L’article Exploiter la puissance du Blue Gene/L: un exercice d’équilibriste de Felix Schürmann, en page 13, détaille certains aspects du développement des simulateurs Blue Brain sur BG/L, et présente des mesures de performance.

ﬁg. 2 – colonne cérébrale du rat et neurone in vitro contre in silico FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 8

Panorama des projets de recherche sur le Blue Gene/L de l’EPFL Le projet PRION permet l’alchimie entre la dynamique moléculaire et le domaine HPC dans le but d’éradiquer la protéine Prion, agent infectieux et à l’origine de la tremblante du mouton et de la vache folle (fig. 3). Le projet Prion est dirigé par le Professeur Ursula Röthlisberger du LCBC (Laboratoire de chimie et de biochimie computationnelles) de l’EPFL. L’objectif du projet Prion est de déterminer pour la première fois un modèle structurel de la tremblante du mouton, de localiser les régions protéiniques contenant ces instabilités structurelles et enfin de comprendre le rôle spécifique des ions métalliques dans ce processus. La simulation numérique de la protéine Prion est réalisée par l’algorithme parallèle de dynamique moléculaire QM/ MM-Car-Parrinello et nécessite de grandes ressources de calcul. La modélisation de la molécule Prion et la compréhension de son développement nécessitent des études préalables pour comprendre les mécanismes utilisés par la nature pour assurer la photostabilité des protéines. En fait, certains composants de protéines comme les acides aminés Trp (tryptophane), Phe (phénylalanine) et Tyr (tyrosine) absorbent la lumière à haute énergie proche des ultra-violets et donc altèrent la photostabilité des protéines. Ainsi dans le cadre du projet Prion, des simulations des propriétés photophysiques du Trp, aussi bien à l’état gazeux qu’en environnement protéinique sous la forme albumine humaine, ont été réalisées (fig. 4). Les résultats obtenus montrent que la nature utilise des interactions spécifiques avec la molécule d’eau pour garder ces protéines stables. Par contre, si on ôte l’eau, la protéine est alors détruite par la lumière [2]. Le projet Multi Component Device relie la modélisation de nanotubes et le domaine HPC. Il est dirigé par le Professeur Wanda Andreoni du centre européen de calcul atomique et moléculaire, CECAM. L’objectif du

ﬁg. 3 – la protéine Prion

ﬁg. 4 – albumine humaine

ﬁg. 5 – nanotube de carbone avec l’extrémité gauche en Pd et l’extrémité droite en Al. FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 9

Panorama des projets de recherche sur le Blue Gene/L de l’EPFL projet MCD est de réaliser des simulations dites ab initio afin d’étudier la structure atomistique des nanotubes de carbone grâce au code de dynamique moléculaire Car-Parrinello. Les nanotubes de carbone semblent être à l’heure actuelle les meilleurs nouveaux composants pour remplacer les composants existants de type CMOS. Ces simulations permettent de trouver quel type d’électrode peut être couplé au nanotube de carbone. Deux métaux ont été testés: Pd (palladium) et Al (aluminium) (fig. 5). Et les résultats numériques obtenus sont en bon accord avec les résultats expérimentaux existants [3]. Le projet Turbulence dans les plasmas en fusion allie la turbulence appliquée à la modélisation de tokamak et la simulation numérique directe dans le domaine HPC. Ce projet est sous la direction du Professeur Laurent Villard du CRPP (Centre de recherche en physique des plasmas) de l’EPFL. Les simulations numériques révèlent l’apparition et les caractéristiques de ces turbulences. Dans un tokamak tel qu’ITER (fig. 6) on s’efforce de confiner un mélange d’ions et d’électrons, à l’encontre des turbulences, pour déclencher des réactions de fusion. Les lignes de champ magnétique s’enroulent en hélice sur des surfaces magnétiques imbriquées en couches superposées (figure du haut). Dans une vue en coupe (figure en bas à droite) les trajectoires des particules, l’une piégée, l’autre passante, dérivent hors des surfaces magnétiques, mais restent confinées. Une vue de détail (figure en bas à gauche) montre la trajectoire d’une particule [4]. Les perturbations du potentiel électrostatique sont représentées sur la figure 7. Deux vues en coupe, en haut, perpendiculaires au champ magnétique, prises à des instants différents, montrent le développement de perturbations de courte longueur d’onde par rapport aux dimensions du tokamak. La figure en haut à gauche se situe à une phase plus précoce du développement de la turbulence. La vue tridimensionnelle, en bas, d’une surface magnétique montre que les perturbations forment des structures alignées avec le champ magnétique, dont les lignes de champ sont représentées sur la figure 6. Ces simulations ont été réalisées grâce au code parallèle de turbulence du CRPP nommé ORB5. Du point de vue scalabilité le code ORB5 est bien adapté à l’architecture BG/L comme le montre la figure 8. De plus, pour modéliser le cœur entier du tokamak ITER, seul 6.4 gigas particules sont nécessaires.

ﬁg. 6 – configuration d’un tokamak

ﬁg. 7 – simulation de la turbulence

ﬁg. 8 – scalabilité du code de turbulence ORB5 FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 10

Panorama des projets de recherche sur le Blue Gene/L de l’EPFL respectivement dans l’industrie des fibres optiques et dans la technologie de la microélectronique. Ainsi les travaux de Peter Broqvist montrent que le HfO2 est un matériau désordonné pouvant remplacer ou être couplé au SiO2 pour former un nouveau semi-conducteur Si-HfO2 (fig. 9). La recette pour l’obtenir compte 4 phases: z une simulation de dynamique moléculaire par le code Car-Parrinello pour générer la phase HfO2; z émission de la phase SiO2 par relaxation structurelle, z émission du semi-conducteur Si-HfO2 par relaxation structurelle, z étude des propriétés électroniques, localisation et élimination des défauts. Ainsi, le semi-conducteur-oxyde Si-HfO2 obtenu par simulation HPC est en bon accord avec les mesures expérimentales disponibles dans la littérature (fig. 10) [5].

Le projet Matériaux désordonnés relie la mécanique quantique par la théorie de la fonctionnelle de la densité au domaine HPC. Ce projet est dirigé par le professeur Alfredo Pasquarello de la chaire de simulation à l’échelle atomique de l’EPFL. Une des motivations principales consiste à donner une description réaliste des mécanismes qui ont lieu à l’échelle atomique et nanométrique, aﬁn de fournir des informations complémentaires par rapport à l’expérience. Les interactions entre les atomes sont simulées à l’aide de calculs de haute performance. Ils permettent de visualiser les processus atomiques, agissant ainsi comme de véritables microscopes. Avec la montée en puissance des nanotechnologies, l’utilisation de ces techniques s’étend mondialement, touchant aux domaines de la physique, de la chimie, de la biologie et des sciences des matériaux. Des projets de recherche actuels concernent l’étude des matériaux désordonnés et des interfaces semi-conducteurs-oxydes, trouvant ainsi des applications

ﬁg. 9 – semi-conducteur-oxyde Si-HfO2

ﬁg. 10 – densité électronique et énergie du semi-conducteur-oxyde Si-HfO2

Execution Time [s]

Le projet HydroDyna permet de re800,0 lier le monde des machines hydrauliques à la simulation numérique du domaine HPC. Ce projet est dirigé par le professeur 600,0 François Avellan du laboratoire de machines hydrauliques de l’EPFL. L’objectif de 400,0 ce projet est de porter soit des logiciels commerciaux de simulation numérique Horiz. Channel, 10M en mécanique des fluides, CFD, sous 200,0 Horiz. Channel, 20M BG/L, soit de créer des logiciels maison Horiz. Channel, 40M dédiés à l’architecture de BG/L afin de Horiz. Channel, 80M 0,0 les appliquer dans la compréhension des phénomènes physiques mis en jeu dans les machines hydrauliques. No. of Processors [-] Ainsi, un prototype du logiciel comfig. 11 – performance du code CFX version BG/L. mercial ANSYS CFX-R11 a été mis en place par l’équipe de développement CFX de Thomas Frank pour la plate-forme BG/L. Cette version est testée dans le cas d’un écoulement dans une conduite droite et infinie. Le nombre de nœuds du maillage augmente de 10 millions à 80 millions. Il est observé que le code prototype est bien paramétré pour le cas 40 millions de nœuds sur 512 processeurs. L’application de CFX version BG/L pour une machine hydraulique complète nécessite au préalable le développement d’un partitionnement en adéquation avec l’architecture de BG/L. Par conséquent, la portabilité optimale de CFX pour BG/L est encore loin d’être atteinte. FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 11

Panorama des projets de recherche sur le Blue Gene/L de l’EPFL

ﬁg. 12 – impact d’une boule de billard sur la surface de l’eau. [2] S.R. Mercier, O.V. Bojarkin, A. Kamariothis, M. Guglielmi, M. Cascella, I. Tavernelli, Interaction of proteins with light, U.R., T.R. Rizzo, JACS 128, 16938, 2006. [3] Vincenzo Vitale, Alessandro Curioni and Wanda Andreoni, Metal-Carbon Nanotube Contacts: The Link between Schottky Barrier and Chemical Bonding, J. AM. CHEM. SOC., 130, 5848-5849, 2008. [4] P. Angelino, A. Bottino, R. Hatzky, S. Jolliet, O. Sauter, T. M. Tran and L. Villard, Effects of plasma current on nonlinear interactions of ITG turbulence, zonal ﬂows and geodesic acoustic modes, Plasma Phys. Control. Fusion 48, 557-571, 2006. [5] Peter Broqvist and Alfredo Pasquarello, Oxygen vacancy in monoclinic HfO2: A consistent interpretation of trap assisted conduction, direct electron injection, and optical absorption experiments, APPLIED PHYSICS LETTERS 89, 262904, 2006. [6] Pierre Maruzewski, Guillaume Oger, David Le Touzé and John Biddiscombe, High performance computing 3D SPH model: Sphere impacting the free-surface of water, IIIrd International ERCOFTAC SPHERIC Workshop, Lausanne, June, 4-6, 2008.n

La deuxième approche est alors de développer un code propre à l’architecture du BG/L. Dans ce cas, la méthode lagrangienne particulaire, SPH, a permis de mettre en place la simulation de l’impact d’un solide sur la surface libre de l’eau (ﬁg. 12). Nous obtenons des performances moyennes et encourageantes pour 124’105’571 particules sur 2’048 processeurs (ﬁg. 13) [6].

Conclusion La communauté HPC de l’EPFL dispose de machines de calcul très performantes, dont le BG/L, indispensables de nos jours pour mener des activités de recherche dans de nombreux domaines scientiﬁques de pointe.

Bibliographie [1] S. Druckmann et al., A Novel Multiple Objective Optimization Framework for Constraining ConductanceBased Neuron Models by Experimental Data, Frontiers in Neuroscience 2007. Speedup

2'048 1'024 512 256 128 64 32 16

Idéal 124'105'571 61'869'993 30'820'287 15'328'629 7'590'719

8 4

* *

3'690'987

1'927'697 965'789 462'269

2 1

241'529 124'517 1

128

256

512

1024 2048

Nombre de processeurs

ﬁg. 13 – performance d’un code SPH sur BG/L FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 12

Exploiter la puissance de calcul du Blue Gene/L un exercice d’équilibriste Felix.Schuermann@epﬂ.ch, EPFL – Projet Blue Brain Traduit de l’anglais par Christian.Clemencon@epﬂ.ch, Domaine IT

Programmer

le BG/L (supercalculades processeurs de puissance modeste (de type PowerPC teur IBM Blue Gene/L) 440 cadencés à 700 MHz) disposant de relativement peu n’est de prime abord pas très différent que de programmer de mémoire vive (256 MB par processeur). Cette approche d’autres systèmes parallèles, sauf qu’en cas d’erreur, au lieu de a permis un packaging simple et homogène d’un très grand quelques messages, ce sont souvent des milliers qui défilent nombre de composants dans un volume réduit, tolérant un sur la console, rendant la mise au point des programmes refroidissement à air peu coûteux. La puissance de calcul ardue. D’autres problèmes plus subtils sont également à du BG/L réside donc essentiellement dans la multitude considérer lors du développement d’applications massivede processeurs, et non dans leur puissance individuelle. ment parallèles: en particulier, bénéficier de toute la puisPour pouvoir bénéficier du parallélisme massif qu’inspire sance de calcul du BG/L de l’EPFL requiert une répartition ce très grand nombre de processeurs, il est essentiel de les fine et équilibrée des calculs sur les 8’192 processeurs que interconnecter efficacement. BG/L dispose à cet effet de compte la machine, ce qui constitue généralement un défi plusieurs réseaux spécialisés: l’un pour les communications majeur. Mais c’est bien entendu aussi le très grand nombre de processeur à processeur (dites point à point), un second de processeurs qui fait tout l’intérêt de ce supercalculateur. pour les communications entre plusieurs processeurs (dites Une application bien adaptée, qui pourrait par exemple collectives), un troisième pour les synchronisations (dites par résoudre un problème en 10 minutes sur toute la machine, barrière), et finalement un réseau pour les entrées-sorties. La nécessiterait 57 jours sur un seul processeur. Cela fait toute machine est dite équilibrée, car la vitesse des processeurs, la la différence sur le type et l’ampleur des problèmes scientifiques qu’il est désormais envisageable lorsqu’on dispose d’une telle puissance de Quelques conseils et pièges à éviter pour calcul. Dans le cadre du projet Blue développer sur BG/L Brain [1], qui a démarré en même temps que l’acquisition par l’EPFL Il est généralement contre-productif de commencer à écrire et paralléliser du BG/L en juillet 2005, nous une application sur BG/L. Un PC à deux cœurs, équipé d’une librairie MPI-2 avons développé différentes appliopen-source, fera très bien l’affaire. Porter ensuite le code MPI existant est assez cations qui tournent sur la machine simple, du moins pour un premier jet non optimisé. IBM fournit les compilaentière, nous permettant ainsi de teurs croisés C, C++ et Fortran ainsi que les librairies système nécessaires pour construire, simuler et analyser de produire un exécutable, incluant une librairie MPI-2. Il faut toutefois noter que le manière efficace un modèle de 1 3 BG/L ne supporte pas l’édition de liens dynamique. Seules les librairies statiques mm de tissu du cerveau d’un rat. sont donc admises. De plus, le micro noyau des nœuds n’autorise pas les codes multitâches. Une autre difficulté provient de la taille relativement modeste de la mémoire (512 MB par nœud, ou 256 MB par processeur) qui nécessite parfois Caractéristiques du un redécoupage délicat du problème. D’autre part, sur les processeurs de type Blue Gene/L PowerPC, le tas et la pile croissent l’un vers l’autre, ce qui peut provoquer des crashs vicieux en cas de chevauchement involontaire. Pour améliorer les perforAvant de porter une applicamances, préférez les primitives de communication collectives, très rapides sur tion sur BG/L, il est essentiel de BG/L, aux combinaisons maison complexes de Send/Receive. En ce qui concerne bien comprendre les spécificités les entrées/sorties, évitez de produire une multitude de petits fichiers. Utilisez de l’architecture de la machine. plutôt les primitives MPI-IO collectives qui sont optimisées pour l’architecture Les concepteurs du BG/L ont en du BG/L et de son système de stockage. effet veillé à ce que la machine Pour debugger, des printf judicieusement placés peuvent s’avérer indissoit équilibrée. Nous verrons plus pensables. Un debugger GBD très rudimentaire est aussi disponible. Finaleloin ce que recoupe exactement ce ment, IBM fournit un kit d’outils assez complet d’aide à l’optimisation des terme dans le contexte de machine performances.n parallèle. Pour parvenir à réaliser une machine fiable et peu gourmande en énergie, IBM a choisi FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 13

Exploiter la puissance de calcul du Blue Gene/L: un exercice d’équilibriste bande passante de la mémoire et des différents réseaux sont dans des proportions qui conviennent à des applications pouvant s’exécuter sur un très grand nombre de processeurs et devant s’échanger fréquemment beaucoup d’informations. C’est notamment le cas d’applications de simulation dans de nombreux domaines scientiﬁques.

Parallélisme intrinsèque Concevoir un logiciel extensible (scalable en anglais) à des milliers de processeurs, c’est avant tout concevoir un logiciel intrinsèquement parallèle. Typiquement, une conception centralisée introduisant un goulot d’étranglement - telle que celle de type maître/esclave, ou celle où un processeur unique est dédié aux entrées-sorties - est à bannir. Le modèle de programmation parallèle supporté par IBM pour le BG/L est basé sur le standard MPI-2 (Message Passing Interface 2). MPI-2 inclut notamment les primitives MPIO pour faciliter les entrées-sorties parallèles collectives, grâce auxquelles par exemple 8’192 processeurs peuvent lire ou écrire dans un même ﬁchier exactement comme un seul processeur le ferait, sans devoir se soucier des problèmes complexes sous-jacents de synchronisation, de gestion des tampons, de routage de messages, etc.

interconnectés. Le problème d’équilibre de charge vient du fait que (1) il y a plus de neurones que de processeurs, et (2) la complexité des neurones peut varier d’un facteur de cinq en fonction de leur morphologie. En répartissant simplement des neurones entiers sur les processeurs, la simulation est ralentie par les processeurs qui ont hérité des neurones les plus complexes. Ce problème de scalabilité est illustré sur la ﬁgure par les carrés noirs, qui montrent clairement que la performance s’inﬂéchit à partir de 2’048 processeurs déjà.

2048

1024

512

sec 256

Équilibre de la charge Une autre difﬁculté majeure de toute application non trivialement parallèle (dont les processeurs communiquent) est l’équilibre de la charge (load-balance en anglais) entre les différents processeurs. Il est en effet évident que la puissance de calcul est gaspillée, si par exemple 8’191 processeurs se tournent les pouces en attendant le résultat d’un processeur surchargé. De tels déséquilibres de charge se manifestent souvent dans des opérations collectives, car les processeurs les moins chargés parviennent en premier au point de synchronisation et doivent attendre, inactifs, que les processeurs les plus lents y arrivent aussi. Malheureusement, l’équilibre de charge est largement dépendant du type d’application, et peut varier en fonction du nombre de processeurs, de la taille du problème, et même en cours d’exécution (équilibre de charge dynamique). Dans le cadre du projet Blue Brain, nous avons été confrontés à un déﬁ particulier d’équilibre de charge dans notre simulateur NEURON [2]. Une simulation consiste à reproduire la propagation d’impulsions électriques dans un réseau de 10’000 neurones formant une colonne néocorticale. Le calcul s’effectue par étapes successives dans le temps. À chaque étape, le simulateur calcule le signal électrique qui se forme dans chaque neurone en fonction de sa morphologie (telle qu’elle a été déterminée expérimentalement en laboratoire). Après un certain nombre d’étapes, certains neurones produisent une impulsion électrique qui est propagée aux neurones récepteurs, selon la topologie du réseau neuronal, et ainsi de suite. Il est à noter que, pour propager les impulsions, il s’est avéré plus avantageux d’utiliser une communication collective impliquant tous les processeurs (MPI_allgather), fortement optimisée pour le BG/L, plutôt que des paires de communications point à point n’impliquant que les neurones

128

1024

2048

CPUs

4096

8192

Temps de simulation en secondes d’une colonne néocorticale de 10,000 neurones en fonction du nombre de processeurs. Les carrés pleins représentent le cas où les processeurs ne traitent que des neurones entiers, alors que les cercles pleins le cas où les neurones sont fractionnés et répartis sur plusieurs processeurs pour équilibrer la charge. Les cercles vides montrent le temps moyen utile de calcul. La ligne traitillée montre la performance théorique idéale par rapport au temps de calcul séquentiel sur un processeur. Pour remédier à ce problème, nous avons développé un algorithme parallèle de simulation du neurone [3]. À chaque étape de simulation, le calcul du signal électrique dans un neurone s’effectue par une discrétisation spatiale de ce dernier en compartiments, qui décrit la topologie interne du neurone. Une matrice tridiagonale représente cette topologie en arbre. Il faut ensuite résoudre plusieurs systèmes d’équations différentielles pour chaque compartiment et ﬁnalement réduire la matrice par une élimination de Gauss. Notre algorithme parallèle peut fractionner la matrice sur plusieurs processeurs et ainsi répartir la résolution des équations différentielles d’un neurone, tout en conservant un schéma de résolution globale implicite nécessaire à la

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 14

Exploiter la puissance de calcul du Blue Gene/L: un exercice d’équilibriste stabilité de la solution. Grâce à cette parallélisation au niveau du neurone, et en connaissant la complexité des neurones impliqués dans une simulation, il est possible de calculer à l’avance une répartition générale de toutes les parties de neurones afin d’obtenir une scalabilité linéaire quasi parfaite, comme illustrée par les cercles noirs sur la figure. Dans ce cas de figure, c’est donc une répartition de charge statique qui s’opère au début de chaque simulation.

Conclusion Dans le cadre du projet Blue Brain, c’est bel et bien la puissance de calcul du BG/L de d’EPFL qui est déterminante. En moins d’une semaine, nous pouvons régénérer les modèles mathématiques de neurones en utilisant un algorithme génétique massivement parallèle spécialisé [4], calculer un réseau de dix à cent mille neurones constituant un tissu virtuel de cerveau, grâce à une infrastructure massivement parallèle de détection de contacts [5] et ﬁnalement, comme nous l’avons décrit ci-dessus, effectuer des dizaines de simulations de colonne néocorticale. De plus, pour analyser la pertinence des résultats obtenus, nous disposons d’une puissante machine

Présentation par Sun Microsystems et

SGI Prism Extreme avec 300GB de mémoire partagée et équipée de logiciels de visualisation scientiﬁques spécialisés.

Références [1] Markram, H. (2006). The blue brain project. Nat Rev Neurosci 7(2): 153-60. [2] Hines, M. L. & Carnevale, N. T. (1997). The NEURON simulation environment. Neural Computation, 9, 1179-1209. [3] Hines, M., H. Markram, F. Schürmann (2008). Fully Implicit Parallel Simulation of Single Neurons», Journal of Computational Neuroscience (in press, e-print available ahead of print). [4] Druckmann, S., Y. Banitt, et al. (2007). A novel multiple objective optimization framework for constraining conductance-based neuron models by experimental data. Frontiers in Neuroscience 1(1): 7-18. [5] Kozloski, J., K. Sfyrakis, et al. (2008). Identifying, tabulating, and analyzing contacts between branched neuron morphologies. IBM Journal of Research and Development 52(1/2). n

Il y a 20 ans dans le FI

Acceleris des nouveautés OPEN STORAGE et X64

Dans le numéro du FI4/88 paru le 10 mai 1988, Ralf Gruber 1écrivait dans l’article CRAY X-MP/28 & CRAY 2: leur complémentarité:

Salle de conférence du DIT bât. MA A0 354 Mardi 4 nov. 2008 de 10h à 11h30

Open Storage – À nouveau, Sun fait preuve d’innovation et annonce l’Open Storage qui vous permet de stocker plus en dépensant moins. Les nouveaux produits Open Storage de Sun proposent un stockage de données fiable, peu coûteux, de grande capacité pouvant évoluer jusqu’à 480 To. Le serveur hybride Sun Fire X4540 de nouvelle génération et la famille de baies de stockage Sun Storage J4000 satisfont aux exigences de performances des datacenters les plus exigeants. X64 – Atteignez vos objectifs plus rapidement avec les solutions X64 Sun optimalisées par AMD et Intel. Rapide, efficace, souple, évolutif et facile à gérer Sun propose la gamme la plus riche de systèmes x64, articulés autour des processeurs Intel(r) Xeon(r) ou AMD Opteron qui vous offrent performances, évolutivité, efficacité énergétique, facilité de gestion et longévité. Que vous exécutiez Solaris, Linux ou Windows, les systèmes X64 de Sun couvrent les besoins de l’informatique haute performance, de la consolidation des serveurs et de l’infrastructure Web. Jean-Luc Bocquet, Sun Microsystems & René Walpen, Acceleris

[…]Les plus grands avantages du CRAY 2 sont son temps de cycle 4.1 nanosecondes et son énorme mémoire de 256 millions de mots de 64 bits. Cette mémoire devant être bien intégrée, ne devant pas dégager trop de chaleur et ne devant surtout pas coûter trop cher est forcément une mémoire lente. Dans le cas de la machine qui sera installée en septembre 1988 à l’EPFL, le temps d’accès sera de 37 temps de cycle. Notre CRAY 2 aura 2 processeurs, chacun ayant un seul canal (lecture ou écriture) à la mémoire globale. Ce petit nombre d’accès lents constitue le plus grand problème du CRAY 2. […]L’utilisation du langage assembleur pour la programmation de certains modules fréquemment appelés peut engendrer un grand gain si l’accès à la mémoire locale est encouragé. Comme exemple on peut mentionner les mesures d’efficacité pour la résolution d’un système linéaire d’une matrice de dimension 100x100. Avec LINPACK (voir J. Dongarra) écrit en FORTRAN, 15 Mflop/s ont été mesurés tandis que A.K. Dave et i.S. Duff mentionnent 167 Mflop/s pour un programme écrit en CAL (CRAY Assembler Language) […] Nous laissons le lecteur faire la comparaison avec les ressources de calcul aujourd’hui disponibles au DIT ! 1

Ralf Gruber, pionnier du calcul à haute performance à l'EPFL, vient d'ailleurs de prendre sa retraire. Un symposium en son honneur s'est déroulé en juin dernier au CRPP, pour en savoir plus visitez: hpcm.epfl.ch.

TTTTTTT Erratum: la rédaction n’a pas retrouvé de version numérique des Flash informatique de 1988, la citation publiée en septembre dernier a donc été recopiée … et ceci explique qu’un terminal d’un nouveau type s’est glissé dans le texte, le VT1000, les plus de … années auront corrigé d’eux-mêmes, il était fait référence au bien connu VT100 !

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 15

Deux ans d’activité de Greedy Point de vue d’utilisateurs Interviews faites par Pascal.Jermini@epﬂ.ch & Michela.Thiemard@epﬂ.ch, Domaine IT

campus de l’EPFL, compte environ 3’000 ordinateurs appartenant au personnel, ainsi qu’environ 850 ordinateurs dans des salles de cours réservées aux étudiants. Généralement, ces machines ne sont que très peu utilisées pendant la nuit et le week-end. Pourquoi donc ne pas proﬁter des périodes d’inactivité pour mettre à contribution des chercheurs de l’EPFL la puissance de calcul de ces différentes machines, qui serait sinon perdue ? C’est le but de Greedy.

La récupération de cycles de calcul Voilà maintenant deux ans que Greedy, le service de grille de calcul de l’EPFL fourni par le DIT, est disponible sur le campus. Le produit qui a été choisi pour le gérer est Condor1, logiciel depuis peu sous la licence Apache 2.0, dont le but principal est de récupérer des cycles de calcul inutilisés. Il permet une gestion très fine des règles d’utilisation des ressources: il est en effet possible de spécifier selon quels critères une machine fera don de ses cycles de calcul qui seraient perdus autrement. Un exemple parmi tant d’autres est le suivant: les machines sont mises à disposition uniquement la nuit, de 20h à 8h, et pendant tout le week-end (c’est la politique actuelle par défaut, qui reste modifiable par le propriétaire de la machine). Condor est un logiciel qui existe depuis maintenant 20 ans, et qui a fait ses preuves en termes de fonctionnalités et de stabilité. Son futur semble aussi assuré, car son développement continue toujours (les principaux développeurs de Condor sont des membres de l’université du Wisconsin, USA) et régulièrement de nouvelles mises à jour sont disponibles. De plus, l’ouverture récente du code source a permis de créer de plus amples collaborations avec des distributeurs de Linux, comme RedHat, afin d’intégrer au mieux Condor dans les canaux de distribution usuels de Linux. Pendant ses deux premières années de vie, Greedy a rendu service à un bon nombre de chercheurs, et a totalisé plus de 1’800’000 heures de calcul récupérées sur quelque 400 machines réparties dans tout le campus.

La parole aux utilisateurs Nous avons choisi trois de nos utilisateurs, aﬁn qu’ils nous parlent de leur expérience avec Greedy. Ils viennent de deux domaines scientiﬁques: la physique et la cryptographie. Sans plus tarder, cédons-leur la parole.

Julien Dorier

s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis doctorant à l’EPFL à la CTMC (Chaire de théorie de la matière condensée de l’Institut de théorie des phénomènes physiques), sous la direction du Prof. Frédéric Mila. s Comment avez-vous entendu parler de Greedy ? t J’ai reçu un e-mail de votre part. De plus, j’en ai entendu parler par un collègue. s Sur quoi porte votre travail pour lequel vous utilisez Greedy ? t J’essaye de déterminer le diagramme de phase d’un système de spins frustrés (modèle Shastry-Sutherland) en utilisant une approximation semi-classique qui a l’avantage de demander peu de ressources de calcul par rapport aux autres approches numériques (qui ne sont presque d’aucune utilité pour ce modèle étant donné sa complexité). Le but de ce travail est d’essayer de déterminer si ce modèle permet de reproduire les plateaux dans la courbe d’aimantation du composé SrCu2(BO3)2, et si c’est le cas, de pouvoir prédire le type d’ordre sur et autour des différents plateaux. s En quoi Greedy vous est-il utile ? t J’utilise Greedy pour déterminer les états qui minimisent l’énergie du système. Cette opération est répétée en variant les paramètres du système, ce qui permet d’obtenir un diagramme de phase du modèle. Greedy m’est particulièrement utile, car je peux séparer le processus de minimisation en plusieurs jobs totalement indépendants. Des scripts me permettent de récupérer les résultats et de ne garder que ceux qui ont la plus faible énergie. Il est difficile de faire tourner mon code sur d’autres clusters qui n’acceptent pas des programmes si simples (pas de programmation parallèle, pas besoin de grosses ressources). L’alternative aurait été de faire tourner mes jobs sur les 20 PC du labo … s Quel(s) logiciel(s) utilisez-vous sur Greedy ? t Code C++, fait maison. s Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ? t Environ 500’000 pour cette année selon greedy.epfl. ch et beaucoup plus depuis que j’utilise Greedy. (en fait 760’000) s Un commentaire, une remarque ? t Merci ! ! ! Grâce à Greedy, j’ai pu réunir suffisamment de données pour un premier article concernant le modèle Shastry-Sutherland qui vient d’être soumis à Physical Review Letters.

www.condorproject.org

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 16

Deux ans d’activité de Greedy – Point de vue d’utilisateurs

Joppe Bos

Davide Sarchi

s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis doctorant à l’école doctorale d’informatique, communications et information. Le nom du laboratoire est LACAL (Laboratoire de cryptologie algorithmique), dirigé par le Professeur A. Lenstra. Au LACAL nous nous intéressons à des implémentations plus efficaces de (et donc aussi des attaques plus efficaces contre) tous types de primitives cryptographiques de bas niveau, telles que les systèmes de cryptographie à clé publique, les fonctions de hachages cryptographiques et les méthodes de chiffrement par blocs. s Par quel moyen avez-vous entendu parler de Greedy ? t Les administrateurs de Greedy nous ont contactés il y a quelques années. s Sur quoi porte votre travail pour lequel vous utilisez Greedy ? t Un des systèmes de cryptographie à clé publique les plus utilisés dans le monde est RSA. La sécurité de ce système cryptographique est basée sur le problème de la factorisation de grands nombres entiers. De manière à donner une bonne estimation de la taille des clés, c.-à-d. taille des nombres à factoriser, qui devrait être utilisée en pratique, un effort international est en cours, pour essayer de factoriser de grands nombres. s Pourquoi utilisez-vous Greedy ? Et en quoi vous est-il utile ? t Actuellement, la méthode la plus rapide qui soit connue pour factoriser de grands nombres entiers est l’algorithme de factorisation par crible sur les corps de nombres. Cet algorithme est composé de plusieurs étapes, et la partie la plus longue en terme de temps de calcul peut être parallélisée sans aucune pénalité de temps. C’est cette étape qui est exécutée sur Greedy. s Quel(s) logiciel(s) utilisez-vous sur Greedy ? t Le logiciel utilisé est une implémentation de Number Field Sieve, un algorithme de factorisation par crible sur les corps de nombres généralisé.Cette implémentation a été faite par le Prof. Franke et par Thorsten Kleinjung à l’université de Bonn. Ce logiciel est open source, sous licence GPL. s Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ? t Il est très difficile de faire une estimation, étant donné que le cluster n’est pas homogène, certains nœuds de calcul étant beaucoup plus rapides comparés à d’autres. Mais pour une estimation très grossière, on pourra dire à peu près 100’000 heures (en fait 315’000) s Un commentaire, une remarque ? t Merci d’avoir créé le grid Greedy, il a le pouvoir de faire la différence pour nos calculs !

s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis chercheur post-doc à l’EPFL dans le GTN (Groupe de Théorie des Nanostructures) dirigé par le Prof. V. Savona à l’ITP (Institut de Physique Théorique). Nos deux activités principales sont l’étude des polaritons excitoniques de microcavité (condensation et photoluminescence : propriétés de cohérence et thermodynamiques) et l’étude des processus de couplage dans les boites à semiconducteur. s Par quel moyen avez-vous entendu parler de Greedy ? t Par un article et des commentaires de collègues de l’EPFL. s Sur quoi porte votre travail pour lequel vous utilisez Greedy ? t J’étudie l’effet du désordre sur la photoluminescence de polariton de microcavité. s Pourquoi utilisez-vous Greedy ? Et en quoi vous est-il utile ? t J’utilise une méthode basée sur une généralisation des techniques Bogoliubov de Gennes, normalement utilisées pour traiter le problème de la condensation de Bose Einstein des gaz d’atomes. Cette méthode est très puissante, parce qu’elle permet de déterminer la photoluminescence directement avec un calcul en espace réel, donc sans demander de connaître les modes normaux (un concept qui n’est même pas valable pour un système hors équilibre). Toutefois, cette méthode demande une énorme mémoire si on veut produire des résultats réalistes pour un système 2D, parce qu’il faut résoudre un grand nombre de problèmes linéaires pour des grandes matrices creuses (de l’ordre de 100000*100000), avec des routines ARPACK. s Quel(s) logiciel(s) utilisez-vous sur Greedy ? t Matlab s Selon vous, combien d’heures de calcul avez-vous effectuées sur Greedy ? t presque 100’000, en comptant les calculs en queue. (en fait 37’000) s Un commentaire, une remarque ? t Ce type de recherche, qui a l’ambition de reproduire quantitativement des résultats expérimentaux et fournir des indications utiles pour la projection de nouveaux systèmes, serait impossible sans la ressource de Greedy. En plus, je trouve que la gestion de Greedy et le support donné aux utilisateurs sont excellents tant d’un point de vue technique que humain.

Devenir utilisateur ou contribuer à Greedy ? Rien de plus simple, rendez-vous sur greedy.epﬂ.ch ou contactez les administrateurs pour toute question, grid-admins@groupes.epﬂ.ch.n FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 17

Les machines HPC généralistes du DIT Point de vue d’utilisateurs Interviews par Jacques.Menu@epﬂ.ch & Jean-Claude.Leballeur, Domaine IT

l’occasion de ce numéro spécial, nous avons demandé à certains utilisateurs réguliers de nos machines leur motivation pour les utiliser et ce que cela leur apporte. Ils ont répondu à un bref questionnaire, et nous publions ciaprès leurs réponses telles quelles (celles d’Isabelle Bey et de Geoffrey Wood ont été traduites par Jacques Menu).

Isabelle Bey s À quel laboratoire êtes-vous rattachée et quelles sont ses principales activités ? t Je suis professeure assistante au LMCA (Laboratoire de modélisation de la chimie atmosphérique). Nous développons et appliquons des modèles globaux de transport chimique et de chimie du climat. Nos objectifs sont de tester notre compréhension actuelle des processus gouvernant les distributions globales de traces gazeuses et de particules intervenant dans la qualité de l’air et le climat. s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? t Discussions s Que faites-vous sur ces machines ? t Simulation de la composition globale de l’atmosphère s En quoi vous sont-elles utiles ? t Les machines sont en général bien adaptées à nos besoins et nous pouvons parler aux administrateurs système quand nous avons un problème. s Quels logiciels utilisez-vous ? t Les modèles GEOS-Chem et ECHAM5-HAMMOZ. s Selon vous, combien d’heures de calcul avez-vous effectuées sur ces machines ? t Je n’ai pas les chiffres en tête, mais nous en utilisons beaucoup J.

Geoffrey P. F. Wood s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je travaille au LCBC (Laboratoire de chimie et biochimie computationnelles), dirigé par la Prof. Ursula Röthlisberger. Nos domaines de recherches sont concentrés sur des méthodes de dynamique moléculaire ab initio basées sur la théorie de la densité fonctionnelle (simulations CarParinello) et leur application, adaptation et extension à des systèmes présentant un intérêt chimique et/ou biologique. Cela inclut les sujets de recherche suivants: – développement de méthodes QM/MM hybrides pour des simulations combinées quantique/classique de Car-Parinello:

– développement de méthodes d’états excités, en particulier la DFT (théorie de la fonctionnelle de la densité); – simulations in situ de réactions chimiques dans la phase gazeuse et dans des solutions; – simulations ab initio de systèmes biologiques; – développement et application de techniques d’échantillonnage améliorées comme la dynamique moléculaire des échanges de replicas (REMD). s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? et que faites-vous sur ces machines ? t Les machines du DIT sont une partie intégrante de notre recherche et nous les utilisons depuis longtemps. Bien que nous puissions acheter de la puissance de calcul en interne au laboratoire et parce que les besoins de calcul de notre groupe sont importants, nous nous appuyons sur des machines massivement parallèles partagées. Le ﬁnancement et l’exploitation de ce type de machines ne peuvent venir que de grands centres. C’est pourquoi nous utilisons les machines centrales du DIT (Callisto, Mizar, Blue Gene/L). En outre, nous utilisons les machines du centre national de calcul (CSCS) installées à Manno. s Quels logiciels utilisez-vous ? t Une palette de programmes incluant: Gaussian, TURBOMOL, AMBER, GROMOS et CPMD.

Eric Germaneau s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis un ancien doctorant au LCR1 (Laboratoire de cristallogaphie 1) qui étudie les cristaux incommensurables. J’étais chargé de simuler des propriétés de ces structures. s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? t C’était mon unique moyen de travail. s Que faites-vous sur ces machines ? t Calculs de Monte Carlo et dynamique moléculaire. s En quoi vous sont-elles utiles ? t La puissance de calcul fournie permet de simuler de gros systèmes sur un temps relativement long. s Quels logiciels utilisez-vous ? t Principalement le programme de D. Brown, ddgmq. s Selon vous, combien d’heures de calcul avez-vous effectuées sur ces machines ? t Je ne sais pas, mais je pense faire partie des gros utilisateurs. s Un commentaire, une remarque ? t Oui, je souhaite mettre en avant l’extraordinaire travail des administrateurs qui mettent tout en œuvre pour

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 18

Les machines HPC généralistes du DIT – Point de vue d’utilisateurs satisfaire les utilisateurs, et ils y arrivent. L’utilisation de ces ressources de calculs est donc très efﬁcace.

Andreas Läuchli s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis chargé de cours à l’IRRMA. Nous étudions la physique des matériaux par des simulations numériques . s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? t J’ai visité les pages Web du DIT. s Que faites-vous sur ces machines ? t Nous étudions les propriétés exotiques de la matière quand les effets de la mécanique quantique deviennent importants. Nous nous intéressons aux systèmes magnétiques frustes, aux supraconducteurs, aux ordinateurs quantiques, etc. s En quoi vous sont-elles utiles ? t Le problème numérique à résoudre consiste à trouver les valeurs et vecteurs propres de l’équation de Schrödinger pour un problème à N-corps. Pour ceci des algorithmes puissants venant de l’analyse numérique existent et sur les ordinateurs HPC du DIT nous arrivons à obtenir des solutions pour des problèmes jusqu’a 108 degrés de liberté. s Quels logiciels utilisez-vous ? t Nous utilisons des codes C++ développés par nous-mêmes ou par des groupes de recherche avec lesquels nous collaborons. s Selon vous, combien d’heures de calcul avez-vous effectuées sur ces machines ? t 200’000 h CPU -> 22 ans de calcul sur un processeur. s Un commentaire, une remarque ? t La diversité des services HPC (BG/L, Callisto, Pléiades, Alcor, Mizar, Greedy) est un atout important de l’EPFL et la rend très attractive pour les sciences numériques.

Aniruddha Bhargava Jamadagni s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis étudiant en Section de systèmes de communication et je travaille sur les algorithmes en cryptographie. s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? t Bouche à oreille. s Que faites-vous sur ces machines ? t La factorisation des grands nombres. s En quoi vous sont-elles utiles ? t La parallélisation des calculs est favorable à ce projet pour accélérer les factorisations. s Quels logiciels utilisez-vous ? t GMP et GMP-ECM. s Selon vous, combien d’heures de calcul avez-vous effectuées sur ces machines ? t 4000h.

Jean-Luc Desbiolles s À quel laboratoire êtes-vous rattaché et quelles sont ses principales activités ? t Je suis collaborateur scientifique au LSMX (Laboratoire de simulation des matériaux) dont l’activité principale recouvre l’analyse des procédés de solidification des alliages métalliques, l’étude des microstructures et des défauts rencontrés lors des transformations de phase, le développement de modèles mathématiques de ces phénomènes et leur simulation numérique. s Comment avez-vous entendu parler des machines de calcul parallèle généralistes du DIT ? t C’est l’arrivée de BlueGene qui a fait germer au sein du laboratoire l’idée de porter certains modèles sur des machines parallèles pour bénéficier d’une puissance de calcul inaccessible sur des machines monoprocesseur. s Que faites-vous sur ces machines ? t Plusieurs doctorants du laboratoire utilisent ces machines. Leurs travaux sont axés sur l’étude des structures qui se forment à l’échelle microscopique (de 1 à 10 μm) lors de la solidification des alliages métalliques. Ces microstructures de nature dendritique peuvent être comparées à des cristaux de neige. Tous les mécanismes de formation de ces morphologies ne sont pas, aujourd’hui encore, totalement compris. Les travaux effectués sont donc importants d’un point de vue fondamental, mais ils présentent aussi un intérêt pratique car la microstructure a un effet sur les propriétés macroscopiques des produits finis et sur l’apparition d’éventuels défauts. s En quoi vous sont-elles utiles ? t Dans les problèmes de solidification, la description précise de l’interface entre le solide et le liquide requiert un maillage très fin et implique par conséquent un très grand nombre d’inconnues. Sur des machines monoprocesseur, seuls des problèmes bidimensionnels pouvaient être traités du fait des limitations liées au matériel. L’utilisation des machines de calcul parallèle a permis le passage à des géométries tridimensionnelles et ouvert la porte à des simulations plus réalistes des phénomènes physiques. Précisons encore que le LSMX utilise les machines mises à disposition par le DIT car il ne pourrait à lui seul acquérir, installer et gérer de tels moyens de calcul. s Quels logiciels utilisez-vous ? t Un programme de simulation de la croissance dendritique développé au laboratoire, basé sur la méthode du champ de phase. Il résout les équations aux dérivées partielles du modèle par une technique de différences finies explicite. La version parallèle du programme utilise le protocole MPI pour la communication entre les processeurs. s Selon vous, combien d’heures de calcul avez-vous effectuées sur ces machines ? t Depuis le début de l’année et pour l’ensemble des collaborateurs du LSMX, notre estimation est d’environ 9000 jours × processeurs. s Un commentaire, une remarque ? t Je tiens à remercier les personnes impliquées dans la gestion de ces machines pour l’excellence du service offert ainsi que l’École pour la mise à disposition de ces moyens indispensables à notre recherche. n

FI 8 – numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 19

Cours proposés par le DIT Le DIT offre régulièrement deux cours qui ont trait au domaine HPC:

MPI, Introduction à la programmation parallèle

Le MPI (Message Passing Interface) est un des standards les plus utilisés pour développer des programmes parallèles. Il est utilisé de manière intensive sur les ressources de calcul du DIT. Ce cours a pour but d’enseigner les bases de MPI et de la programmation parallèle. Il s’adresse à toute personne devant développer du code en C, C++ ou Fortran nécessitant MPI.

Utilisation des serveurs de calcul du DIT

Ce cours a pour but de donner une introduction à l’utilisation des serveurs de calcul du DIT mis à disposition de la communauté de l’EPFL. Il est destiné principalement aux nouveaux utilisateurs de ces ressources, mais il reste toutefois ouvert aussi aux utilisateurs actuels, qui souhaiteraient approfondir leurs connaissances des outils mis à disposition au DIT. Une première partie du cours est dédiée aux clusters généralistes tels que Mizar, Alcor et Callisto, tandis que la deuxième moitié est consacrée à la grille de calcul Greedy. Ces deux cours sont agendés selon la demande des utilisateurs: si vous êtes intéressés par un de ces cours, veuillez envoyer un e-mail à l’adresse suivante: cours.dit@epfl.ch, afin que les démarches soient entreprises pour planifier ces cours. Ce numéro du FI étant consacré aux calcul haute performance, nous n’avons pas fait paraître l’habituel programme des cours, il est accessible en permanence sur le Web: dit.epfl.ch/formation. Vous y trouverez aussi le programme complet en format PDF.

MESSAGERIE IM P ORTANT

Responsables informatique d’unités, réservez

l’après-midi du 6 novembre 2008 pour le Forum IT d’automne. Il aura lieu

à 14h15, dans la salle CM5 Ordre du jour: 1. IT@EPFL: survol de ces six derniers mois 2. myPrint: un outil pour gérer les impressions 3. MySQL: une nouvelle prestation du DIT 4. Adobe Connect: démonstration du service de Webconférence géré par SWITCH 5. Discussions/échanges autour d’un verre. Page du Forum-IT: dit.epﬂ.ch/page55589.html

À partir du 30 novembre 2008, l’utilisation d’un protocole sécurisé pour accéder aux boîtes aux lettres gérées par le DIT sera obligatoire. Si votre client de messagerie fonctionnant en mode IMAP ou POP (Thunderbird, AppleMail, Outlook, Entourage …) n’est pas configuré correctement, il vous sera impossible à partir de cette date d’accéder à votre boîte aux lettres. Vérifiez dès maintenant votre configuration en suivant les liens depuis la page dit.epfl.ch/mail ou contactez votre responsable informatique. N.B. Si vous avez configuré votre client (Entourage, Outlook) pour travailler en mode connexion directe à Microsoft Exchange (=MAPI), ou si vous utilisez une interface Web (webmail.epfl.ch ou ewa.epfl.ch), vous n’êtes pas concerné par cettte annonce.

Numéro spécial Calcul à haute performance à l’EPFL – 14 octobre 2008 – page 20

ISSN 1420-7192