éCOLE POLYTECHNIQUE FéDéRALE DE LAUSANNE
p/a EPFL - Domaine IT - CP 121 - CH 1015 Lausanne 15 - tél. +41 21 69 322 11 - Web: http://dit.epfl.ch
myPrint Une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie... Catherine.Cornaz@epfl.ch & Thomas.Becker@epfl.ch, Domaine IT
Au
temps des imprimantes matricielles (et des listings monochromes et bruyants), le coût des impressions n’était pas la préoccupation majeure. Aujourd’hui, il devient un facteur important dans la gestion des budgets de chacun et dans l’écologie quotidienne. La prestation myPrint a donc pour but de donner à chacun les outils permettant le contrôle des flux financiers s’y rapportant. De plus, elle vise à uniformiser les processus d’impression en mettant à disposition différentes procédures; celles-ci permettront à tout un chacun d’utiliser ce nouvel outil de manière rapide et efficace et de rester calme et créatif... Avant myPrint, chaque responsable de périphériques d’impression gérait ses tâches d’installation et de supervision de manière autonome et individuelle. Chacun réinventait la poudre dans son coin, les utilisateurs ne pouvaient pas se fier à une seule et unique procédure pour imprimer et les serveurs d’impression étaient nombreux. Aujourd’hui, les procédures et les nomenclatures sont standardisées; tout le monde y gagne. On rationalise sans perte de confort. Les étudiants se déplacent énormément (avec ou sans leur ordinateur
portable) et souhaitent pouvoir imprimer depuis n’importe quel endroit du campus; grâce au nouveau service de géo-positionnement, ils pourront désormais installer les imprimantes situées à proximité. De plus, leurs impressions seront simultanément et identiquement comptabilisées quel que soit l’endroit d’où ils impriment. A titre d’exemple d’uniformisation, les imprimantes intégrées à la solution myPrint seront nommées (et étiquetées) de manière identique: leurs noms commencent tous par le nom du local où se trouve l’imprimante, suivi du plus grand format supporté puis d’une lettre (C pour Couleur ou N pour NoirBlanc); un numéro d’ordre permet ensuite de différencier les imprimantes du même type. Certaines imprimantes permettant de libérer physiquement le job par l’intermédiaire de la carte CAMIPRO verront leur nom greffé d’un suffixe -RS (pour release station). Pour les périphériques d’unité, le nom du local est remplacé par l’acronyme officiel de l’unité.
suite en page
4
Sommaire FI 1/2009 1 myPrint Catherine Cornaz & Thomas Becker 2 L’informatique à l’EPFL en 2008 Jacqueline Dousson 3 SuperComputing SC08 Pascal Jermini & Jean-Claude Leballeur 9 Nouvelles formations au DIT: How to… Jean-Philippe Forestier 10 Programme des cours 15 InfiniBand – l’exemple de Callisto Jacques Menu 20 Il y a 20 ans dans le FI
Prochaines parutions No
Délai de rédaction
Parution
2
05.02.09
24.02.09
3
05.03.09
24.03.09
4
30.03.09
21.04.09
5
07.05.09
26.05.09
6
04.06.09
23.06.09
SP
30.06.09
01.09.09
7
03.09.09
22.09.09
8
08.10.09
27.10.09
9
05.11.09
24.11.09
10
03.12.09
22.12.09
FI 1 – 27 janvier 2009 – page 1
L’informatique à l’EPFL en 2008 Jacqueline.Dousson@epfl.ch, Domaine IT
En 2008,
le Domaine IT a été rattaché à la Vice-présidence des Affaires Institutionnelles de l’EPFL, auparavant il dépendait de la Vice-présidence Planification et Logistique. La COSI (Coordination Opérationnelle des Systèmes Informatiques (cosi.epfl.ch) s’est réunie 9 fois. Parmi les principaux sujets abordés figurent les processus d’achats IT, la migration à un serveur de mail unique, les évolutions des ressources centrales de stockage et la mise en place d’un système de gestion des impressions. La DIS (Direction Informatique Stratégique, dis.epfl.ch) ne s’est pas réunie en 2008; cette commission devrait reprendre en 2009 sous une forme un peu différente.
Messagerie
Début 2008, le DIT a pris la décision de passer à un système de messagerie unique, Microsoft Exchange; la migration des 10'000 comptes utilisateurs s’est déroulée sans problème durant l’été.
Information aux utilisateurs
Un blog secure-it.epfl.ch informe rapidement sur les attaques dont l’EPFL est victime, notamment les attaques de phishing de plus en plus nombreuses; deux Forum-IT ont réuni les responsables informatique d’unité; le Flash spécial été fut consacré au green computing.
en service du réseau dans le nouveau bâtiment SV et connexion de l’IMT à Neuchâtel au réseau de l’EPFL.
Systèmes d’information
Gestion électronique de documents: la solution choisie a été installée avec les premières applications au service académique. Un serveur Subversion (gestion des codes-sources) est à la disposition de la communauté EPFL. Plus de 50'000 publications provenant de 80% des laboratoires sont dans Infoscience, qui devient de plus en plus un outil incontournable pour la vie académique du campus.
Informatique pour les étudiants
Une nouvelle prestation myPrint (en page 1 de ce journal) a vu le jour pour mieux gérer les volumes d’impression. La gestion des salles de la Coupole a été reprise par la Faculté STI.
Installation de logiciels
Des approches complémentaires ont été développées: z système d’images DVD/clé USB live (pour examens et restauration de systèmes) z Poseidon Installer, permet d’installer sur les portables ou postes fixes des logiciels, puis de les tenir à jour. n
Sécurité informatique
Ce point reste une préoccupation permanente du DIT, la sécurisation des données sensibles a été améliorée en rendant obligatoire l’utilisation d’un protocole sécurisé pour accéder aux mails et en cryptant les données d’ordinateurs portables de membres des services centraux.
Serveurs centraux
HPC: une nouvelle politique de répartition des coûts entre le DIT et les facultés a été adoptée: les clusters centraux seront financés pour un tiers par les facultés, les clusters partagés s’ils ne sont pas centraux seront financés à moitié par le DIT. Callisto, serveur de calcul généraliste a été mis en service durant l’été et près de 2 millions d’heures de calcul ont été exécutées sur une grille de machines réparties. Hébergement: plus de soixante machines virtuelles sont mises à la disposition des faculté et une nouvelle prestation d’hébergement de bases de données est proposée: mysql.epfl.ch.
Réseau
WiFi: un nouveau réseau Eduroam est accessible (pour les visiteurs d’institutions académiques européennes); mise FI 1 – 27 janvier 2009 – page 2
flash informatique Les articles ne reflètent que l’opinion de leurs auteurs. Toute reproduction, même partielle, n’est autorisée qu’avec l’accord de la rédaction et des auteurs. Abonnement à la version électronique du FI en envoyant un courrier à: fi-subscribe@
listes.epfl.ch
Rédacteur en chef: Jacqueline Dousson, fi@epfl.ch Mise en page & graphisme: Appoline Raposo de Barbosa Comité de rédaction: Aristide Boisseau, Paulo de Jesus, Patrice Fumasoli, Jean-Damien Humair, Laurent Kling, Vittoria Rezzonico, François Roulet, Christophe Salzmann, Predrag Viceic & Jacques Virchaux Impression: Atelier de Reprographie EPFL Tirage: 4000 exemplaires Adresse Web: dit.epfl.ch/FI-spip Adresse: Domaine IT EPFL CP 121, CH-1015 Lausanne 15 Téléphone: +4121 69 32246 & 32247
SuperComputing SC08 Pascal.Jermini@epfl.ch, Jean-Claude.Leballeur@epfl.ch – DIT-EX
Du
15 au 22 novembre 2008 a eu lieu l’événement international incontournable du HPC (High Performance Computing), stockage et réseaux à Austin au Texas. Il s’agit ni plus ni moins de la conférence SC08 (International Conference for High Performance Computing, networking, Storage and Analysis – http://sc08.supercomputing.org), lieu de rendez-vous annuel des acteurs dans ce domaine, des fournisseurs aux utilisateurs en passant par les chercheurs qui développent de nouvelles technologies. Avec des centaines de présentations, 337 exposants et 11’000 visiteurs venus du monde entier, l’édition 2008 de SuperComputing est l’année de tous les records. SuperComputing a aussi célébré son 20ème anniversaire depuis la première édition et a été un très grand succès selon le comité d’organisation. Cette conférence est l’occasion pour les fournisseurs d’annoncer de nouveaux produits et des nouvelles technologies, ainsi que de décerner des prix aux acteurs majeurs du Supercomputing. Les thèmes principaux que l’on retrouve chez un bon nombre d’acteurs de ce domaine sont le Green IT / Green Datacenter, les accélérateurs basés sur des systèmes Cells (des processeurs similaires à ceux que l’on peut trouver dans une console PlayStation 3) ou des puces graphiques (GPU). Le Green Computing est un thème pris très au sérieux: d’abord pour des raisons écologiques, mais aussi pour des raisons économiques: le prix de l’électricité ayant tendance à augmenter, il est avantageux pour les centres de calcul d’avoir du matériel ayant un bon rapport performance/ consommation électrique. De plus ce genre de matériel aura aussi l’avantage de dissiper moins de chaleur, ce qui peut aider à réduire les frais liés à l’infrastructure nécessaire au refroidissement. Concernant les accélérateurs (Cells et GPU), il y a naturellement toute la gamme de produits logiciels, tels que compilateurs et bibliothèques qui servent à rendre plus aisée la programmation de ces nouvelles plates-formes, qui ne sont pas toujours évidentes à exploiter. Il reste important de rappeler que toutes les applications ne peuvent pas tirer parti de la puissance de ces accélérateurs. En effet, le gain en performance dépend étroitement des algorithmes de calcul, qui ne sont pas tous adaptables sur ces architectures. Une technologie qui était absente (ou du moins très discrète) sont les cartes de type ClearSpeed, qui ont laissé leur place aux accélérateurs basés sur des technologies un peu plus marché de masse. Dans le domaine des interconnects rapides, la norme InfiniBand (telle qu’utilisée sur le cluster Callisto du DIT, voir article dans ce numéro) semble prendre le dessus sur les autres technologies (telles que Myrinet ou bien 10Gigabit Ethernet). En effet un grand nombre de constructeurs et d’intégrateurs de clusters se basent sur InfiniBand pour
l’interconnexion des nœuds de calcul. Myrinet semble perdre du terrain, et la nouvelle norme 10Gigabit Ethernet ne semble pas encore prête à être déployée dans des clusters de calcul, probablement à cause de sa latence encore en retrait par rapport à InfiniBand. Toujours dans le domaine de l’interconnexion InfiniBand, SC08 fut aussi l’occasion d’annoncer la roadmap de cette technologie, avec notamment l’arrivée du QDR (Quad Data Rate), qui offre une performance pratiquement doublée par rapport au DDR (Double Data Rate), utilisé actuellement sur Callisto. La crise économique que nous traversons actuellement a aussi été mentionnée, et dans le domaine du HPC, en 2008 cette crise ne semble pas avoir eu d’impacts significatifs, peut-être parce que les engagements de gros budgets étaient déjà sur rails avant l’explosion de la crise. Les analystes restent néanmoins prudents, et ont préféré retarder la publication de leurs rapports à une date ultérieure afin d’avoir plus de recul. Le futur reste tout de même incertain sur les impacts que la crise pourrait avoir dans ce domaine. Concernant le problème du stockage des données, la montée en puissance des clusters a fait apparaître un nouveau problème: la quantité de données générées devient rapidement très grande et leur stockage va devenir un véritable défi. Outre la nécessité de disques de grande capacité et ayant un débit conséquent, les problèmes actuels se situent aussi au niveau de la fiabilité de ces supports et de la capacité de pouvoir reconstruire les données en un temps raisonnable en cas de problèmes sur les disques. À plus bas niveau, la montée en puissance des processeurs semble toutefois se heurter aux limites de la physique: il devient en effet de plus en plus difficile de miniaturiser les processeurs et d’augmenter leur fréquence. Il est donc indispensable de pousser le concept du multi-cœur (plusieurs processeurs sur un même chip) toujours plus loin. Ce concept risque donc de prendre son véritable envol d’ici quelques années avec des processeurs à 128 cœurs par exemple. Lors d’une présentation à SC08, le problème suivant a été soulevé: les développeurs d’applications scientifiques vont devoir commencer à faire attention à la manière dont ils programment: si jusqu’à maintenant ils pouvaient s’appuyer sur la montée en fréquence des processeurs pour obtenir des performances accrues, il n’en sera plus de même dans le futur, où les fréquences ne vont plus augmenter de manière dramatique et donc il sera nécessaire d’exploiter le parallélisme offert par les processeurs multi-cœurs. Le rendez-vous pour SC09 est déjà connu: la conférence aura lieu à Portland, Oregon, en novembre 2009. Ce sera l’occasion de voir entre autres si la crise économique a épargné le monde du HPC, ou si comme bien d’autres domaines on aura observé un ralentissement tant au niveau de la recherche que de l’achat de machines de calcul. n FI 1 – 27 janvier 2009 – page 3
myPrint – une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie...
suite de la première page
Historique Déjà en 2005, l’idée d’optimiser l’utilisation des ressources d’impression était présente dans couloirs du DIT et de la Vice-Présidence de la Planification et Logistique. En 2006, le cahier des charges de la nouvelle carte d’accès CAMIPRO II intégrait le contrôle des impressions; mais lorsque l’étude du volet impression (qui devait être réalisé après l’implémentation des nouvelles cartes) commença, les versions des logiciels de contrôle d’accès et de gestion des restitutions sur papier se révélèrent malheureusement incompatibles. De ce fait, les projets Netprinting et Camipro II furent dissociés et le DIT se vit confier la réalisation de la partie impression. Une étude comparative de plusieurs produits finit par opposer Equitrac à Watchdoc. Et c’est vers le milieu de l’année 2007 que la décision fut prise d’opter pour Equitrac pour sa robustesse, son évolutivité et sa maturité comparée à son concurrent, qui lui, ne s’intégrait pas à un contexte multi-domaines. C’est en juillet 2008 que le projet Netprinting prit son envol… et la prestation qui en découla prit le doux nom de myPrint.
Fonctionnement Toute personne inscrite à l’EPFL possède un Compte Impression. Un logiciel de comptabilisation (nommé Equitrac) enregistre les impressions effectuées sur les imprimantes reliées à la solution myPrint. À l’instar d’un système e-banking, toutes les transactions sont reportées sur le compte et les détails sont accessibles depuis une interface Web. Le premier semestre 2008-2009 permettra d’obtenir des statistiques d’utilisation et servira de base pour l’implémentation du système à plus grande échelle. Par la suite (dès le semestre de printemps 2009), les sections ou facultés intéressées à rejoindre la solution payante (c’est-à-dire mettant à contribution dans un premier temps les étudiants, puis dans un deuxième temps les collaborateurs) pourront bénéficier des outils de comptabilisation et d’encaissement d’argent destinés aux impressions.
Le site Web: myPrint.epfl.ch Que ce soit pour une question de format, de qualité, de rapidité ou de modèle, il existe sans aucun doute une imprimante accessible et proche de vous ! Une interface de recherche très conviviale vous permettra de trouver THE imprimante qui correspond à vos souhaits! et surtout, vous donnera toutes les clés pour l’installer rapidement...
l’interface de recherche
le résultat de la recherche
Implémentation actuelle et chiffres Pour l’instant, seules les sections d’Architecture et de Génie Civil de l’ENAC ont décidé d’implémenter le système myPrint, mais dès le 2e semestre, la SIE rejoindra les deux autres sections… C’est en tout une quarantaine d’imprimantes qui sont accessibles par les étudiants et les collaborateurs de cette faculté. À la Bibliothèque Centrale, 2 imprimantes sont installées et tournent à plein rendement; la Faculté STI et le Collège du Management ont rejoint dernièrement la prestation. Depuis la mise en production (15 septembre 2008) 600’000 pages dont 75% en noir et blanc sont sorties des 55 imprimantes installées et plus de 3’000 planches A0 ont été imprimées sur des traceurs grands formats. FI 1 – 27 janvier 2009 – page 4
le détail de l’imprimante avec la procédure d’installation et le mail pour contacter le service responsable
myPrint – une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie... Vous connaissiez déjà l’application plan.epfl.ch pour la recherche d’un local ou d’un service de restauration... Et bien, aujourd’hui, depuis le 8 janvier 2009, les imprimantes gérées par myPrint sont également reportées sur ce plan et peuvent être localisées aisément !
de recharger leur compte impression par l’intermédiaire d’une carte de crédit (VISA ou MasterCard) ou d’une carte Post-Finance. Les tarifs des impressions calculés en fonction des coûts estimés moyens sont différents suivant le format et distinguent la mono- de la polychromie, le recto seul du recto-verso. Pour certains périphériques, notamment les traceurs, ils varient également en fonction du type de papier, ou de la qualité de l’impression elle-même. Tout (ou presque) ce que vous avez toujours voulu savoir sur myPrint se trouve dans les FAQ;-): myprint.epfl.ch/page73251.html.
Architecture de la solution
Les utilisateurs trouveront sur le site des procédures d’installation pour les différents systèmes d’exploitation (Windows, Mac OS X ou Linux). Quant aux administrateurs, il leur suffira d’être en possession d’un poste de travail Windows, ainsi que des outils d’administration, pour installer les files d’impression sur le serveur de leur faculté. Jusqu’à présent, il existait plusieurs systèmes de monétique destinés à encaisser l’argent dépensé pour les consommables. Par exemple, le système PAS (ancêtre d’Equitrac) était utilisé par les sections d’Architecture et de Génie civil de l’ENAC. La recharge des comptes fut tout d’abord réalisée manuellement par les apprentis du Génie civil puis par la responsable de la Salle des Périphériques Graphiques de l’ENAC et son équipe d’assistants-étudiants. Aujourd’hui, grâce à une étroite collaboration entre inForm, PayOnLine et myPrint, une interface de paiement en ligne est disponible et permet aux étudiants des sections ENAC-SAR et ENAC-GC (actuellement les seuls sous le régime payant)
La définition de l’architecture cible fut l’objet d’amples réflexions. Afin de garantir la pérennité du concept tout en permettant les évolutions futures, l’architecture devait tenir compte z de la charge, z de la disponibilité et des performances attendues, z d’un grand nombre de services d’impression répartis dans l’École, z d’un nombre grand, mais imprécis de périphériques, z des besoins de clients humains et logiciels très hétérogènes, z de l’immuabilité du poste de travail (non installation de client local), z de moyens financiers limités. Ainsi, les principaux objectifs de l’architecture ont été identifiés: 1. garantir un haut niveau de disponibilité, 2. garantir de bonnes performances d’impression même avec un très grand nombre de périphériques et de clients simultanés, 3. faciliter la maintenance et l’évolution, 4. permettre la délégation de gestion (cogestion).
Schémas serveurs FI 1 – 27 janvier 2009 – page 5
myPrint – une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie...
Haute disponibilité et performances
Les termes haute disponibilité sont particulièrement en vogue aujourd’hui; il ne s’agit donc pas d’offrir ce niveau de service pour la beauté du geste. Il est donc nécessaire de s’interroger sur les éléments nécessitant un tel soin. Dans le cas présent, il s’agit d’offrir un service d’impression quasi permanent permettant au processus imagé suivant de se réaliser:
Nous voyons que les processus tels que la génération de rapports, l’écriture des transactions d’impression, la consultation et la recharge des comptes impression sont exclus des éléments faisant l’objet de haute disponibilité. Les postes de travail, le réseau et les périphériques d’impression sortant du périmètre du projet et du domaine de compétences des responsables de la prestation, les éléments devant être hautement disponibles sont les serveurs d’impression et les applications permettant le déroulement du processus. Nous avons nommé le spouleur d’impression, et le parseur de jobs. Commençons par le spouleur d’impression: Il s’agit d’un service offert par Windows Server 2003 que Microsoft a prévu d’implémenter en cluster. Pour garantir le service d’impression, il faut disposer d’au moins deux machines avec un stockage partagé. Nous ne nous étendrons pas sur la configuration d’un cluster Microsoft, Internet regorge de tels documents. Dans notre cas, il s’agit de créer un groupe de ressources cluster contenant z un disque partagé agissant comme spoule disque z une adresse IP pour le service z un nom réseau pour le service z un service spouleur. Afin de garantir la disponibilité de ces éléments en cas de panne matérielle, du système d’exploitation ou lors d’opérations de maintenance matérielle ou logicielle, ce groupe de ressources peut tourner sur deux machines, PRINT11. intranet.epfl.ch ou PRINT12.intranet.epfl.ch, mais sur une seule à un moment donné.
D’un point de vue plus technique, voici une capture d’écran de l’outil Cluster Administrator, montrant le nom des ressources, leur état fonctionnel, le nœud propriétaire et le type de ressource.
Et les performances alors? Un seul serveur pour toute l’École ? Comme mentionné plus haut, un groupe de ressources ne peut s’exécuter, c’est-à-dire offrir du service, que sur un nœud à la fois. Pour offrir de meilleures performances, les deux serveurs agissent comme serveur d’impression, simultanément. Nous réalisons donc de la répartition de charge en utilisant un nom de la forme <acronyme_de_faculté>print pour chaque entité, à l’exception des services centraux qui utiliseront tous le serveur PRINT1.
Maintenance et évolution facilitées
Les serveurs d’impression et de comptabilité sont intégrés à Active Directory, ce qui facilite les changements de configuration, la gestion de la sécurité et l’évolution matérielle et logicielle de la prestation. Les GPO (Group Policy Objects) permettent de configurer automatiquement la quasi-totalité des paramètres du système d’exploitation. Pour le reste, des scripts peuvent être lancés périodiquement.
Exemple pour la délégation de gestion
Quatre aspects de la gestion d’Equitrac peuvent être délégués: Account Management: gestion des comptes utilisateur, des départements et codes de refacturation (projets), Device Management: gestion des périphériques (périphériques physiques, ports d’impression, files d’impression), Report Management: génération de rapports, System Management: gestion de l’ensemble du système (et donc des trois éléments ci-dessus). Afin de déléguer efficacement la gestion de ces différents éléments, il est nécessaire de créer un groupe local pour chacun de ces aspects puis d’y ajouter des objets issus d’Active Directory. Un script de démarrage VBScript se charge de cette tâche. Il s’agit ensuite d’utiliser la fonctionnalité de groupes restreints (Restricted Groups) pour populer automatiquement, mais également limiter les membres de ces groupes. Par imbrication successive d’utilisateurs et de groupes issus d’Active Directory dans ces groupes locaux, il devient très facile de gérer les personnes ayant accès à tel ou tel élément de la configuration.
FI 1 – 27 janvier 2009 – page 6
myPrint – une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie...
Par analogie, à l’exception de l’installation des différents composants que nous souhaitons réaliser manuellement, l’ensemble de la configuration des serveurs de comptabilité et d’impression est automatique. En cas de besoin, un ou plusieurs serveurs d’impression peuvent rejoindre ceux déjà existants avec un effort minimal. Ceci permet également d’appliquer en une seule fois des changements de configuration, et ce presque instantanément à l’ensemble de l’infrastructure myPrint.
Gestion des files d’impression, aussi déléguée!
À l’instar de gestion d’Equitrac pour laquelle des groupes sont imbriqués successivement les uns dans les autres, la structure Active Directory de la prestation myPrint est arborescente. Ceci sert à autoriser les administrateurs des différentes facultés, collèges et vice-présidences de gérer les objets qui leur sont propres.
Comme dans bon nombre d’écoles et institutions de recherche, la gestion de l’informatique à l’EPFL est répartie entre services centraux (Domaine IT) et de proximité (serFI 1 – 27 janvier 2009 – page 7
myPrint – une gestion centralisée des impressions à l’EPFL mission délicate mais en bonne voie... vices IT de faculté). La prestation myPrint se doit de tenir compte de cet état de fait et de permettre aux administrateurs des différents services de restitution sur papier d’intégrer euxmêmes leurs périphériques et d’en gérer la configuration et le contrôle d’accès. À terme, tous les périphériques destinés aux étudiants devraient être intégrés à myPrint. Les gestionnaires de périphériques peuvent d’ores et déjà rattacher leurs imprimantes aux serveurs centraux en suivant les instructions de la page myprint.epfl.ch/page73229.html. En voici les principales étapes: 1. Demande d’un nom réseau pour le périphérique respectant la nomenclature (http://myprint.epfl.ch/page73228. html). 2. Créer les groupes de sécurité liés au périphérique (<nom_file_impression> Print, <nom_file_impression> ManageDocuments et <nom_file_impression> ManagePrinter). Ceci se fait grâce à un script mis à disposition sur le site de la prestation. 3. Sur l’interface de configuration de l’imprimante, autoriser les serveurs d’impression centraux à imprimer sur le périphérique. 4. À l’aide de PMC (Print Management Console), vérifier si les pilotes pour le périphérique sont installés sur les serveurs et, le cas échéant les installer. 5. Créer la file d’impression sur le serveur. 6. Configurer le pilote et notamment les valeurs par défaut (recto/verso, formats de papier, etc.). 7. Modifier les permissions sur la file d’impression en utilisant les groupes créés au point 2. 8. Contacter myPrint@epfl.ch afin de convertir le port d’impression en port Equitrac. 9. Effectuer des tests pour vérifier que l’impression et le comptage s’effectuent correctement. 10. Déployer la file d’impression sur les postes de travail et supprimer au besoin les références aux anciennes files d’impression. 11. Informer les utilisateurs de l’existence de la file d’impression.
Processus d’impression Pour comptabiliser les jobs d’impression, Equitrac se base sur un parseur de jobs; c’est-à-dire qu’un composant
est installé sur chaque serveur d’impression et analyse les jobs avant d’autoriser ou refuser la transaction en fonction de règles et de l’état du compte de l’usager.
Développements en cours Pour les collaborateurs, la répartition des coûts des consommables par unité ne sera plus un véritable supplice... Grâce à la nouvelle interface de libération (en cours de développement), il est prévu de vous laisser choisir le centre financier pour lequel vous compterez imprimer. Un décompte annuel, voire mensuel pourra être réalisé grâce à l’outil de comptabilisation par centre de frais. Les membres de l’EPFL auront par défaut le droit d’imprimer sur les centres de frais qui correspondent à leurs accréditations; mais certaines personnes pourraient être amenées à imprimer pour une unité dans laquelle elles ne sont pas accréditées. Le droit myPrint de l’application Accréditation pourra être alors utilisé dans ces cas de figure, ainsi que pour les personnes hors EPFL qui devraient imprimer pour le compte d’une unité. Ce droit sera attribué par le responsable informatique ou le responsable accréditation de l’unité. Affaire à suivre... Les périphériques multifonctions seront pris en charge et les anciennes cartes à photocopies seront reprises et leur solde transféré sur le compte impression correspondant.
Davantage de lecture un peu plus tard … Dans les articles suivants, nous aborderons sur le plan technique les processus de gestion des comptes (création/ modification/suppression), la recharge par le Web, le déploiement automatique des files d’impression, les périphériques multifonctions et la recherche de périphériques. Des sujets moins techniques tels que les flux financiers feront l’objet de quelques lignes dans ce journal. La prestation myPrint est encore en plein développement; les gestionnaires de périphériques d’impression peuvent contacter myprint@epfl.ch afin d’y intégrer leurs imprimantes. Pour tout complément d’information, une seule adresse: myprint.epfl.ch.
Remerciements Nos chaleureux remerciements vont à Ion Cionca pour le rapide et excellent travail réalisé pour l’interface de recherche, à Berthold Walther pour ses conseils et son soutien pour la recharge automatique par le Web, à toute l’équipe ENAC-IT qui participa activement aux tests et fournit des conseils de grande valeur, à Pierre Mellier ainsi qu’à Yves Bolognini de Camptocamp SA pour la géoposition des périphériques sur le plan et à Pierre Crevoisier pour la configuration d’inForm pour la recharge des comptes.n FI 1 – 27 janvier 2009 – page 8
de nouvelles formations proposées par le DIT
HOW TO… Jean-Philippe Forestier, Cross Systems SA, jpf@osyx.fr NDR: Le DIT vous forme ! Le service de formation du DIT vous rappelle que tous les collaborateurs et étudiants EPFL peuvent bénéficier des cours d’informatique de tous niveaux oragnisés par le DIT. Que vous soyez débutants, simples utilisateurs ou informaticiens expérimentés, le DIT répond à vos besoins. Nous vous offrons des formations variées allant de 2 heures sur un sujet précis à des formations complètes de plusieurs jours. Que ce soit en bureautique, en administration de système Linux ou Windows, en langages de programmation de toutes sortes et bien plus encore, nous sommes là pour vous former et par là même vous faire gagner du temps ! N’hésitez pas à consulter le programme ci-après et/ou notre page Web dit.epfl.ch/ cours, vous y trouverez sans doute les cours qu’il vous faut. N’hésitez pas non plus à nous faire part de vos suggestions pour de nouvelles formations !
Environ
deux fois par an, le service support aux utilisateurs du DIT, en collaboration avec les différents formateurs, réfléchit à la mise en place de nouvelles formations. Ayant la chance, depuis déjà quelques années, de faire partie des formateurs du DIT, j’ai proposé pour cette année un nouveau type de cours. La nouveauté n’est pas cette fois dans le sujet, mais plus dans la forme que prendront ces nouvelles formations. L’idée est de mettre en place des cours très pratiques sur un thème particulier. Un peu à l’idée des How to du monde Linux, le but de ces formations est de répondre, le plus simplement et le plus concrètement possible à des questions que chacun se pose de manière récurrente sur un sujet particulier. Prenons l’exemple d’une formation que nous baptiserons pour le moment How To Apache . Cette formation How to Apache proposerait donc, par exemple, sur une durée de deux jours, de répondre aux questions suivantes: z Comment arrêter et démarrer Apache? z Comment configurer des hôtes virtuels? z Comment mettre en place une procédure d’authentification pour accéder à telle ou telle page? z Comment diviser les paramètres de configuration d’Apache en plusieurs fichiers? z Comment mettre en place une communication sécurisée par SSL? z Comment contrôler la taille des fichiers de log? z Comment rediriger les requêtes à destination d’une page vers une autre? z ... et bien d’autres encore
Durant la formation, pour chaque question, après quelques explications données par l’enseignant sur la démarche à utiliser, les participants pourront mettre en œuvre la réponse sur leurs propres postes. Intéressant ? J’espère que certains d’entre vous répondront par l’affirmative, mais votre soif de connaissance est telle que vous allez sûrement trouver cette liste de questions, aussi longue soit-elle, incomplète, et c’est bien naturel. Sans doute aimeriez-vous trouver dans cette formation la réponse à la question que vous vous posez depuis si longtemps: Comment faire pour que ce bidule marche avec ce machin en mode truc ? mais elle ne figure pas dans la liste des questions à traiter ... Eh bien, qu’à cela ne tienne, ce nouveau type de formation se veut interactif et dynamique: vous allez pouvoir proposer à l’enseignant responsable de la formation d’ajouter à la liste la fameuse question qui vous tient tant à cœur. Après avoir validé que celle-ci est bien pertinente, qu’elle n’est pas trop proche d’une autre question prévue au programme,… le formateur la rajoutera donc à la liste de celles à traiter durant le cours. Dans le planning du cours, environ un quart de la durée de la formation est ainsi laissé aux questions proposées par les participants et ce faisant, ces cours se rapprochent au plus près de vos besoins et deviennent de plus en plus sur-mesure. Quels sont les sujets qui pourraient être traités par ce type de formations ? z L’administration et l’utilisation des systèmes d’exploitation, Linux notamment. z L’installation et la paramétrage de certains logiciels: Apache comme évoqué plus haut, mais pourquoi pas MySQL, JBoss, Tomcat… z Certains cours pour développeurs Java, PHP ou .Net par exemple. On peut ainsi supposer que certaines personnes ayant déjà les bases de la programmation avec tel ou tel langage de programmation souhaitent qu’il soit répondu à tel ou tel problème spécifique: comment envoyer un email depuis une page PHP, comment traiter les fichiers de log avec Java, comment analyser facilement un fichier XML avec VB.Net… Bien sûr, ce genre de cours n’a pas vocation à remplacer les formations traditionnelles qui proposent l’apprentissage de tel ou tel langage, système ou outil, mais doit être vu comme un outil complémentaire plus orienté vers la pratique et le concret. J’en profite pour vous signaler un autre nouveau cours pour ce premier semestre 2009, dans un format traditionnel, lui. Il présente le CMS Open source SPIP, son titre: SPIP pour gérer et personnaliser un site Web Alors, à très bientôt dans les salles de cours du DIT. n
FI 1 – 27 janvier 2009 – page 9
Formation
Programme des cours organisés par le Domaine IT de l’EPFL
Renseignements (les matins des lu, ma & ve) Daniele.Gonzalez@epfl.ch ✆ 021/69 353 14 Fax: 021/69 322 20
Ces cours sont ouverts à tous, membres ou non de l’EPFL. Pour le personnel de l’EPFL, le DIT se charge des frais de cours. Les descriptifs des cours sont sur Internet: dit.epfl.ch/formation Vous pouvez nous atteindre à l’adresse: cours.dit@epfl.ch
Renseignements (tous les matins) Josiane.Scalfo@epfl.ch ✆ 021/69 322 44 Fax: 021/69 322 20
CONDITIONS D’INSCRIPTION En cas d’empêchement à suivre le(s) cours, l’élève avertira le Domaine IT au minimum une semaine à l’avance (sauf cas exceptionnel), faute de quoi le DIT se réserve le droit de facturer à son unité les frais occasionnés pour le cours. Une confirmation parviendra à l’élève avant le(s) cours. S’il est déjà complet, l’élève sera informé de suite et son nom placé en liste d’attente. Dès qu’un cours identique sera fixé, il recevra un courriel l’informant des nouvelles dates. Le DIT se réserve le droit d’annuler un cours si le nombre minimum de 4 participants n’est pas atteint ou pour des raisons indépendantes de sa volonté. Aucune compensation ne sera due par le DIT.
introduction au poste de travail
Nom du cours système Mac OS X rapido: Mail et Carnet d’adresses optimiser la gestion de vos dossiers et documents
n°
date(s)
09-0107 09-0108
horaire
1/2 j.
05.02.09 13:30 - 15:30 1 09.02.09 08:30 - 12:00 1
acquisition et traitement de données
Nom du cours Nouveau DIAdem Advanced Basics I LabVIEW Basics I Basics II CLD / CLA DAQ FPGA/CRIO Intermediate I Intermediate II Real-Time un travail efficace grâce à la version 8.6 Nouveau VBAI Vision/IMAQ Nouveau LabWindows/CVI I LabWindows/CVI I Nouveau TestStand I TestStand I FI 1 – 27 janvier 2009 – page 10
système
n° 09-0022 09-0021
09-0026 09-0019 09-0032 09-0025 09-0023 09-0028 09-0031 09-0035 09-0024 09-0051 09-0052
date(s)
horaire
1/2 j.
19 & 20.02.09 08:30 - 17:00 4 16 au 18.02.09 08:30 - 17:00 6 23 au 25.03.09 29 & 30.01.09 22.05.09 18 au 20.03.09 23 au 25.02.09 22 au 24.04.09 19 & 20.05.09 17 au 19.06.09 26.02.09 21.04.09 30.04 & 01.05.09
08:30 - 17:00 08:30 - 17:00 08:00 - 12:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00
6 4 1 6 6 6 4 6 2 2 4
09-0039
22 au 24.07.09 08:30 - 17:00 6
09-0040
27 au 29.07.09 08:30 - 17:00 6
Formation applications de gestion de l’EPFL
Nom du cours système n° Accréditation Accréditation EPFL 09-0130 Service financier et CCSAP Comptabilité à l’EPFL, Infocentre, Notes de frais 09-0041
date(s)
horaire
1/2 j.
27.02.09 08:30 - 12:00 1 09, 11 & 12.02.09 08:30 - 12:00 3
base de données
Nom du cours FileMaker Pro 9 1-introduction 2-les modèles 3-les listes de valeurs et options 3-les listes de valeurs et options 4-les scripts et boutons 4-les scripts et boutons 5-développement d’une base de données 5-développement d’une base de données
système dessin
Nom du cours Illustrator CS3 introduction PhotoShop CS3 retouche d’images
n°
date(s)
09-0150 09-0151 09-0058 09-0152 09-0059 09-0153 09-0060 09-0157
05.03.09 12.03.09 03.02.09 19.03.09 10.02.09 26.03.09 03, 10 & 17.03.09 21, 28.04 & 05.05.09
horaire
1/2 j.
08:30 - 12:00 08:30 - 12:00 13:30 - 17:00 13:30 - 17:00 13:30 - 17:00 13:30 - 17:00 13:30 - 17:00 08:30 - 12:00
1 1 1 1 1 1 3 3
- image
système
n°
date(s)
horaire
1/2 j.
09-0077
09 & 12.02.09 13:30 - 17:00 2
09-0131
09, 11, 16 & 18.03.09 13:30 - 17:00 4
édition
Nom du cours système n° Acrobat 8 rapido intro à la création de documents .pdf 09-0109 LaTeX 09-0158 Nouveau avancé (en anglais) introduction (en anglais) 09-0147 Word 2007 comment bien gérer les styles 09-0100 création de modèles personnalisés 09-0106 Nouveau rapido: gagner du temps grâce aux automatismes 09-0103 rapido: la gestion des images et des colonnes 09-0102 rapido: la gestion des tableaux 09-0101 rapido: partager efficacement vos documents 09-0104 rapido: publipostage (mailing) 09-0105 transition et nouveautés 09-0091
date(s)
horaire
1/2 j.
02.02.09 08:30 - 10:30 1 06 au 08.04.09 08:30 - 17:00 6 09, 10, 12 & 13.03.09 08:30 - 17:00 8 05.02.09 31.03.09 26.03.09 26.02.09 16.02.09 02.03.09 03.04.09 23.03.09
13:30 - 17:00 08:30 - 12:00 08:30 - 10:30 08:30 - 10:30 13:30 - 15:30 08:30 - 10:30 08:30 - 10:30 13:30 - 17:00
1 1 1 1 1 1 1 1
FI 1 – 27 janvier 2009 – page 11
Formation Word Mac 2004 ou PC 2003 comment bien gérer les styles création de modèles personnalisés Nouveau longs documents rapido: gagner du temps grâce aux automatismes rapido: la gestion des images et des colonnes rapido: la gestion des tableaux rapido: partager efficacement vos documents rapido: publipostage (mailing)
organisation
Nom du cours MindManager Pro 7 MindManager Pro 7 Outlook 2007 calendrier, tâches et notess calendrier, tâches et notess messagerie et contactss Project 2007 1-introductions VisualMind Nouveau VisualMind
09-0092 09-0098 09-0066 09-0097 09-0093 09-0094 09-0095 09-0096
03.02.09 23.02.09 12 & 19.03.09 10.03.09 10.02.09 17.02.09 27.02.09 05.03.09
08:30 - 12:00 13:30 - 17:00 13:30 - 17:00 08:30 - 10:30 08:30 - 10:30 08:30 - 10:30 08:30 - 10:30 13:30 - 15:30
1 1 2 1 1 1 1 1
- planification
système
n°
date(s)
horaire
1/2 j.
09-0078
02.02.09 13:30 - 17:00 1
09-0062 09-0064 09-0063
29.01.09 13:30 - 17:00 1 16.03.09 13:30 - 17:00 1 09.03.09 13:30 - 17:00 1
09-0081
10 & 17.03.09 08:30 - 12:00 2
09-0079
20.02.09 08:30 - 12:00 1
présentation
Nom du cours PowerPoint 2007 rapido: 1-dessin et objets rapido: 2-modèles et masques rapido: 3-diaporama rapido: transition et nouveautés PowerPoint Mac 2004 ou PC 2003 rapido: 1-dessin et objets rapido: 2-modèles et masques rapido: 3-diaporama
Nom du cours AJAX développement d’applications Web 2.0 Apache Nouveau How To Apache FI 1 – 27 janvier 2009 – page 12
système
n°
date(s)
horaire
1/2 j.
09-0085 09-0086 09-0087 09-0088
24.02.09 10.03.09 24.03.09 03.02.09
09-0082 09-0083 09-0084
28.01.09 08:30 - 10:30 1 04.02.09 08:30 - 10:30 1 12.02.09 08:30 - 10:30 1
programmation système n°
date(s)
13:30 - 15:30 13:30 - 15:30 13:30 - 15:30 13:30 - 15:30
horaire
1 1 1 1
1/2 j.
09-0121
16 au 18.03.09 08:30 - 17:00 6
09-0148
20 & 21.04.09 08:30 - 17:00 4
Formation C apprentissage du langage C++ la programmation objet Nouveau templates et STL Java apprentissage du langage JavaScript développer en HTML dynamique MPI Introduction à la programmation parallèle PERL apprentissage du langage Serveurs de calcul du DIT Serveurs de calcul du DIT Nouveau SPIP gérer et personnaliser un site Web
09-0125
31.03 au 03.04.09 08:30 - 17:00 8
09-0050 09-0143
02 au 06.02.09 08:30 - 17:00 10 05 & 06.03.09 08:30 - 17:00 4
9-0123
23 au 26.03.09 08:30 - 17:00 8
09-0142
04 au 06.05.09 08:30 - 17:00 6
09-0132
17 au 20.02.09 08:30 - 17:00 8
09-0122
19 & 20.03.09 08:30 - 17:00 4
09-0134
09.02.09 08:30 - 17:00 2
09-0124
27 & 30.03.09 08:30 - 17:00 4
système
Nom du cours Linux à l’EPFL 1-premiers pas Linux 3-administration et réseau 4-sécurité Nouveau How To Linux Windows Server 2008 1-infrastructure réseau 2-Active Directory 3-accès centralisé aux applications Windows Vista 1-installation et configuration 2-dépannage et maintenance 2-dépannage et maintenance 3-support applications et système 3-support applications et système
système
n°
date(s)
horaire
1/2 j.
09-0145
22 au 24.04.09 08:30 - 17:00 6
09-0119 09-0146 09-0149
24 au 27.02.09 08:30 - 17:00 8 25 au 27.05.09 08:30 - 17:00 6 18 & 19.05.09 08:30 - 17:00 4
09-0011 09-0012 09-0013
05 & 06.03.09 08:30 - 17:00 4 12 & 13.03.09 08:30 - 17:00 4 07 & 08.04.09 08:30 - 17:00 4
09-0014 09-0009 09-0015 09-0010 09-0016
16 & 17.04.09 05 & 06.02.09 07 & 08.05.09 11 & 12.02.09 14 & 15.05.09
08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00 08:30 - 17:00
4 4 4 4 4
tableur
Nom du cours Excel 2007 1-introduction 2-feuilles de calcul
système
n° 09-0071 09-0140
date(s)
horaire
1/2 j.
23.02.09 13:30 - 17:00 1 02, 05 & 17.03.09 13:30 - 17:00 3 FI 1 – 27 janvier 2009 – page 13
Formation base de données rapido: les graphiques rapido: transition et nouveauté VBA 1-introduction Excel Mac 2004 ou PC 2003 2-feuilles de calcul base de données rapido: les graphiques
www
Nom du cours Dreamweaver CS3 introduction Inform création de formulaires EPFL Jahia 4 création de sites web EPFL
09-0074 09-0073 09-0111 09-0144 09-0068 09-0070 09-0069
01.04.09 25.03.09 10.02.09 03 & 04.03.09
13:30 - 17:00 13:30 - 15:30 13:30 - 15:30 08:30 - 17:00
30.01, 05 & 11.02.09 08:30 - 12:00 3 06.03.09 08:30 - 12:00 1 25.02.09 08:30 - 10:30 1
- Web
système
n°
date(s)
horaire
1/2 j.
09-0055
03, 06, 10 & 13.02.09 08:30 - 12:00 4
09-0112
11.02.09 13:30 - 17:00 1
09-0076
02 & 05.03.09 08:30 - 12:00 2
INSCRIPTION POUR LES COURS ORGANISÉS PAR LE DIT A retourner à Josiane Scalfo ou à Danièle Gonzalez, DIT-EPFL, CP 121, 1015 Lausanne 15 Je, soussigné(e) Nom:_____________________________________ Prénom:_ ___________________________ Tél.:__________________________________________________ E-Mail:_____________________________ Fonction:______________________________________________ Institut: _______________________________________________ Faculté:_____________________________ Adresse:_ ___________________________________________________________________________________ m’engage à suivre le(s) cours dans son (leur) intégralité et à respecter l’horaire selon les conditions d’inscription: Nom du cours
N° du cours
N° cours de remplacement
Date du cours
__________________________________________________________________________________________ __________________________________________________________________________________________ Date:_ ______________________________________________
signature:___________________________
Autorisation du chef hiérarchique:_ _____________________________________________________________ Nom lisible:____________________________________________
signature:_ _________________________
Intérêt et souhait pour d’autres cours______________________________________________________________ Description ou titre des cours que je souhaite voir organiser par le DIT:_ ______________________________________ __________________________________________________________________________________________ FI 1 – 27 janvier 2009 – page 14
1 1 1 4
InfiniBand – l’exemple de Callisto Jacques.Menu@epfl.ch, Domaine IT – http://hpc-dit.epfl.ch/
Introduction
Le présent article est tiré d’une présentation faite par le soussigné au groupe DIT-Exploitation, dont la version PDF est disponible à l’URL: hpc-dit.epfl.ch/papers/InfiniBand. pdf. Nous remercions la maison Voltaire Inc (www.voltaire. com/), l’un des fournisseurs majeurs de cette technologie, pour les précisions techniques qu’elle nous a fournies, et en particulier M. Ghislain de Jacquelot qui a contrôlé la cohérence de la présentation. Le lecteur intéressé peut aller voir en particulier le document: hpc-dit.epfl.ch/papers/FoundationsInfiniBandImp actModules090808.pdf.
Pourquoi InfiniBand ?
InfiniBand est un réseau à haut débit. Il est destiné aussi bien aux communications internes qu’externes. La technologie InfiniBand a des atouts à faire valoir, en particulier: z la qualité de service (QoS – fr.wikipedia.org/wiki/Qualité_de_service), qui s’appuie sur des niveaux pour assurer que les paquets urgents passent toujours; z l’absence de pertes: un paquet émis peut être considéré comme reçu; z la vitesse: 20 Gbits/s (Double Data Rate ou DDR) depuis un certain temps et 40 Gbits/s (Quadruple Data Rate ou QDR) depuis fin 2008. C’est la technologie qui a été choisie pour l’interconnexion rapide dans Callisto1 par le groupe technique HPC de l’EPFL.
Le besoin d’interconnexion rapide
z une grande vitesse; z une faible latence, ce qui mesure le temps de transmission minimal des paquets d’information (wikipedia.biz/ wikipedia/la/Latency.html); z l’emploi de RDMA (Remote Direct Memory Access) pour court-circuiter processeurs et système d’exploitation (en. wikipedia.org/wiki/Remote_Direct_Memory_Access).
Avantages
InfiniBand est un standard de l’industrie, maintenu par la Infiniband Trade Association, www.infinibandta.org. Il offre: z une montée en taille (scalability) linéaire, quel que soit le nombre de machines interconnectées; z la sécurité; z la haute disponibilité; z une gestion de la qualité de service; z les moyens de gérer l’infrastructure. Parmi les machines HPC les plus puissantes du moment (www.top500.org/), 141 utilisent InfiniBand, dont le numéro un, Road Runner, (www.top500.org/system/9707).
ASICs de base
Pratiquement tout le monde utilise les ASIC (Applications Specific Integrated Circuit) de Mellanox (mellanox.com/), aussi bien pour les connexions internes qu’externes. Il y a actuellement deux types de circuits ASIC: z InfiniScale III: 24 ports, DDR 4X par défaut, illustré à la figure 1; z InfiniScale IV: 36 ports, QDR, qui arrive sur le marché actuellement.
Dans un cluster HPC/MPC: z on dédie des nœuds au calcul; z un job consiste en des processus exécutés sur les nœuds qui lui sont alloués; z Ethernet (Fast ou Giga) est insuffisant pour certaines applications. Citons comme solutions typiques: z Quadrics, employé dans Janus il y a quelques années; z Myrinet, utilisé sur Mizar et Alcor; z InfiniBand, qui a été choisi pour Callisto. La part de l’interconnexion rapide dans le prix total d’une machine n’est plus aussi importante aujourd’hui qu’à l’époque de Janus.
Caractéristiques d’InfiniBand Cible visée
InfiniBand a été pensé pour connecter les CPU aux entrées/sorties dans des installations de grande taille, en offrant:
fig. 1 – InfiniScale III Tout se fait à la base avec ces circuits, auxquels les constructeurs en adjoignent d’autres de gestion et de contrôle. QLogic (qlogic.com/default.aspx) va aussi sortir son propre ASIC tout prochainement.
Topologies
Toutes les topologies sont possibles avec InfiniBand. Il
1
Callisto, cluster de 128 nœeuds bi-processeurs, insallé au DIT au printemps 2008; voir hpc-dit.epfl.ch/
FI 1 – 27 janvier 2009 – page 15
InfiniBand – Exemple de Callisto suffit de relier entre eux les switches et machines selon les besoins. Dans les clusters, essentiellement des réseaux de Clos (Bell Labs) sont utilisés. Un réseau de Clos (en.wikipedia. org/wiki/Clos_network): z est un cas particulier de Fat Tree (en.wikipedia.org/wiki/ Fat_tree); z est redondant et reconfigurable; z implique peu de sauts (hops) intra-switch; z est modulaire; z peut être non bloquant (full bisectionnal bandwidth) ou bloquant, selon les besoins des applications; z se prête à la redondance multichemins. La bande passante bisectionnelle est le maximum de ce qui peut passer entre les deux moitiés d’un réseau. Une topologie à N nœuds est dite Full bisection bandwidth si elle offre N/2 flux de communication simultanés. Tous les nœuds d’une moitié du réseau peuvent alors communiquer avec les nœuds de l’autre moitié à pleine vitesse, voir la figure 2. L’analogie avec la téléphonie consiste à avoir N/2 conversations sans qu’il y ait partage de ligne dans le central. (2) ISR 9024 24-Port Switches
Core Switches
(48) Inter-switch Cables (from ISR 9024 to ISR 9024)
6
6
6
6 6
6
6
6
12
12 Compute Nodes
12
12 Compute Nodes
Il se fait par un mécanisme de crédits: z des compteurs de crédits sont gérés dans chaque direction pour chaque VL sauf VL 15; z le crédit du port d’envoi d’un VL correspond à la taille de tampon disponible dans le port récepteur de ce VL; z le crédit sur le VL de chaque port d’envoi est décrémenté pour chaque paquet envoyé, et incrémenté par des messages spécifiques retournés par le port récepteur. Si un receveur n’a plus de tampon disponible, il arrête d’envoyer des messages link credit à l’émetteur: z ce dernier arrêtera d’envoyer des paquets sur ce VL; z on parle de back pressure; z d’où un arbre de congestion en cas de problème, dont les engorgements du trafic routier en cas de perturbation donnent une idée très claire. Ce même mécanisme traite aussi le problème d’une rupture de connexion, les messages link credit ne parvenant pas à l’émetteur dans ce cas non plus.
Connectique
On appelle HCA (Host Channel Adapter) les interfaces InfiniBand. Le lien 1X est la brique de base, illustrée à la figure 4. Il est composé de: z une paire différentielle pour la réception (RX); z une paire différentielle pour l’envoi (TX). Il existe des connecteurs en cuivre, optiques, et des convertisseurs optique-cuivre, illustrés aux figures 5 et 6 respectivement. On multiplie simplement les brins pour augmenter la bande passante.
(4) ISR 9024 24 -Port Switches
Edge Switches 12
Contrôle du trafic
12
12 Compute Nodes
12 Compute Nodes (48) Compute Nodes
Compute Nodes
Summary: (6) ISR 9024 Switches, (96) Cables, (48) HCAs
fig. 2 – Réseau de Clos non bloquant
1x Link TX
TX
RX
RX Differential Pair fig. 4 – 1X Link
Qualité de service
Un chemin virtuel (Virtual Lane ou VL) est une paire de tampons Send et Receive, (fig. 3). Chaque port a de 2 à 16 VLs: VL0: chemin virtuel par défaut pour les paquets de données; VL15: chemin virtuel dédié aux paquets de gestion du subnet. Un port avec plus d’un VL pour les données utilise une correspondance Niveau de service -> VL.
VL0
...
VL14
VL15 RcV Send
RcV Send . . . RcV Send TX
RX
fig. 3 – Chemins virtuels FI 1 – 27 janvier 2009 – page 16
fig. 5 – Connecteurs cuivre 4X et optique 4X
fig. 6 – Convertisseur optique vers cuivre
InfiniBand – Exemple de Callisto
Vitesses, débits et longueurs limites
Selon la version de la technologie utilisée, on a les valeurs présentées dans le tableau ci-après: DataRate
GHz
Gbits/s
cuivre (m)
fibre (m)
SDR
1.25
2.5
20
300
DDR
2.5
5.0
12
150
QDR (fin 2008)
5.0
10.0
5à7 (plus si actif )
100
Optimisation du routage
Adressage
InfiniBand utilise 2 identifiants par nœud:
Identifiants
Dans les ASIC, un DLID unicast sert d’index dans la LFT, qui indique le port de sortie indépendamment du port d’entrée. La latence port à port est de 140 ns dans le cas de l’Infiniscale III et de 100 ns dans celui de l’Infiniscale IV. La congestion dépend de qui communique avec qui (communication pattern). L’en-tête des paquets IB contient un champ informant le destinataire qu’il y a de la congestion du côté de l’expéditeur.
Dimension
Signification
Equivalent
GUID
64 bits
Global Unique IDentifier
adresse physique
LID
16 bits
Local IDentifier
adresse IP dynamique
Le Subnet Manager (SM, il n’y en a qu’un): z reconnaît automatiquement les nœuds connectés; z détermine le routage, toujours statique, et le recalcule en cas de changement dynamique, par exemple si des nœuds rejoignent ou quittent le réseau; z télécharge les informations de routage dans les LFT (Linear Forwarding Table) des switches; z ne participe pas au flot des paquets.
Routage
Le DLID (Destination LID) indique en fait la route pour le paquet: z 48 K valeurs sont utilisées pour de l’unicast; z 16 K valeurs pour du multicast.
Il y a diverses possibilités, citons: z routage multi-chemins (multipath) pour OpenMPI 2 (www.open-mpi.org/), qui est la version vers laquelle tout le monde semble se diriger: w on définit des LIDs multiples (alias) pour les ports HCA; w on met en place autant de routes différentes interswitches pour les atteindre; w cela exploite le côté fat tree en envoyant des paquets sur ces routes parallèles; z routage adaptatif; z partitionnement; z routage spécifique à une application.
Exemple de routage multichemins
On définit deux LIDs pour les HCA, ici A, B, C, D et E. OpenMPI ventile les paquets sur les deux routes interswitches disjointes pour A <-> C, resp. B <-> E. La figure 7 montre le détail des tables de routage dans les trois switches concernés.
Protocoles
La palette des protocoles est très riche, comme on le voit ci-dessous (pour mémoire, GigaEthernet a une latence de 30 µs).
LFT 1
1 2 3 4
DLID A1 A2 B1 B2 C1 C2 D1 D2 E1 E2
LFT 2.1 DLID A1 A2 B1 B2 C1 C2 D1 D2 E1 E2
Port 3 3 4 4 1 2 1 2 1 2
1 2 3 4 5
A1/A2
B1/B2
Port 1 2 1 2 3 4 3 4 3 4
1 2 3 4 5
C1/C2
D1/D2
E1/E2
LFT 2.2 DLID A1 A2 B1 B2 C1 C2 D1 D2 E1 E2
Port 1 2 1 2 3 3 4 4 5 5
fig. 7 – Routage Multichemins 2
Voltaire Inc est un contributeur très important à ce logiciel ouvert très utilisé dans le domaine HPC
FI 1 – 27 janvier 2009 – page 17
InfiniBand – Exemple de Callisto
Communication
IPoIB (IP over IB); SDP (Sockets Direct Protocol), 10 µs de latence; uDAPL (User level Direct Access Provider Library) court-circuit du noyau, mode natif; Verbs, la couche de plus bas niveau pour accéder à RDMA.
Stockage
iSER (iSCSI over RDMA), accès déchargeant les CPU; SRP (SCSI RDMA Protocol); NFS-RDMA (NFS over RDMA).
Pile logicielle Voltaire
Elle est présentée à la figure 8. La latence de la librairie MPI (Message Passing Interface) est de 1.2 µs.
Switch Voltaire
Callisto est équipée d’un switch Voltaire ISR 2012 (DDR), qui a les caractéristiques suivantes: z 1 rack de 15 U; z maximum de 288 ports; z latence port-à-port: 420 ns (3x140 ns); z 11.52 Tbits/s; z les ports supportent des adaptateurs optiques externes. Le réseau interne du ISR 2012 est présenté à la figure 10. C’est un réseau de Clos non bloquant à deux niveaux. Les Fabric Board (colonne du centre) sont sur la face avant. les Line Board, qui offrent les 288 ports (12 x 24), sont sur la face arrière (colonnes gauche et droite). On voit que les trois sauts (hops) sont nécessaires dans le pire des cas pour aller d’un port à un autre, via un Fabric Board le cas échéant.
Performances La théorie…
20 Gbits/s, avec 10 bits par octet transmis, donnent un débit de 16 Gbits/s nominal, soit 2 Gbytes/s. Ces connexions devraient donc être difficiles à saturer !
…et la pratique:
On mesure en fait les valeurs suivantes sur Callisto: environ 12 Gbits/s entre brins au lieu de 16; la cause en est les cartes PCI-Express, qui limitent la bande passante. Les cartes PCI-Express gen2 feront sauter ce bouchon, des tests faits par Voltaire Inc ayant donné 1.9 GBytes/s dans chaque direction.
fig. 8 – Pile Logicielle Voltaire
Le cas de Callisto L’architecture de Callisto est présentée à la Figure 9. Le réseau InfiniBand relie les blades de calcul et les deux frontales. Il est utilisé pour les communications avec MPI mais aussi pour accéder au système de fichiers, géré par GPFS (General purpose Parallel File System) d’IBM. InfiniBand network Blade center "i" (i=1–10) blade “ j”
Voltaire switch Ethernet switch Console switch
Admin network (172.30/16)
Fi callisto1
NFS
nel
han
c ber
Users & Scratch
28 disks 750GB each (RAID5) Total: 18TB available
callisto2
callisto.epfl.ch (ipvs)
Campus network J. Menu – 04/11/2008
fig. 9 – architecture de Callisto FI 1 – 27 janvier 2009 – page 18
fig. 10 – Reseau interne ISR 2012
InfiniBand – Exemple de Callisto
fig. 11 – ISR 2012, face avant
fig. 12 – ISR 2012, face arrière
Exemple de Périphériques InfiniBand Deux ports d’une des frontales de Callisto. Seul le port 1 est utilisé en fait: root@cal1 > ibv_devinfo hca_id: mthca0 fw_ver: 4.8.200 node_guid: 0008:f104:0398:f8a4 sys_image_guid: 0008:f104:0398:f8a7 vendor_id: 0x08f1 vendor_part_id: 25208 hw_ver: 0xA0 board_id: VLT0040010001 phys_port_cnt: 2 port: 1 state: PORT_ACTIVE (4) max_mtu: 2048 (4) active_mtu: 2048 (4) sm_lid: 1 port_lid: 25 port_lmc: 0x00 port: 2 state: PORT_DOWN (1) max_mtu: 2048 (4) active_mtu: 512 (2) sm_lid: 0 port_lid: 0 port_lmc: 0x00
OFED
La OFA (OpenFabrics Alliance, www.openfabrics.org/) développe Open Fabrics Enterprise Distribution, une pile logicielle pour les réseaux offrant RDMA. Sélection des informations affichées par ofed_info sur Callisto: root@cal1 > ofed_info . GridstackTM Voltaire The Grid BackboneTM
fig. 13 – Blade Center H c 2007 Voltaire Ltd. All rights reserved. . VoltaireOFED-5.1.3.1_5 OFED-1.3.1 libibverbs: ... ... ... ... ... ibsim: git://git.openfabrics.org/ofed_1_3/ibsim.git ofed_1_3 commit 55113d9f919709c7c97ea41d29991941b9c8be70 ofa_kernel-1.3.1: Git: git://git.openfabrics.org/ofed_1_3/linux2.6.git ofed_kernel commit 39e1dc833f98e5134f91fcf7f33df402adf4bc0c # MPI mvapich-1.0.1-2533.src.rpm mvapich2-1.0.3-1.src.rpm openmpi-1.2.6-1.src.rpm
FI 1 – 27 janvier 2009 – page 19
InfiniBand – Exemple de Callisto
fig. 14 – Réseau et accès au stockage intégré par InfiniBand
Conclusion InfiniBand ou DCE ?
L’interconnexion InfiniBand est utilisée dans nombre de machines HPC parmi les plus puissantes. Elle semble promise à un brillant avenir selon Voltaire, et est condamnée à moyen terme selon Cisco qui mise sur Data Center Ethernet, lequel ne sera pas complètement disponible avant fin 2009. Les deux approches visent à intégrer sur un seul brin les connexions ré-
seau et stockage, et prédisent que les équipes correspondantes vont fusionner… À SC08 (International Conference for High Performance Computing, networking, Storage and Analysis) en novembre 2008, InfiniBand tenait manifestement le haut du pavé par rapport à DCE. La figure 14 montre un exemple de cette intégration entre accès au stockage par Fiber Channel et réseau InfiniBand. Les premiers équipements de stockage accédés en InfiniBand, sans Fiber Channel, arrivent sur le marché.n
Il y a 20 ans dans le FI Bernard Borcard écrivait dans le FI1/89 dans deux articles: Deux utilitaires importants pour la communication entre ordinateurs – Telnet Telnet et FTP sont deux utilitaires installés sur la quasi totalité des équipements qui communiquent selon le protocole TCP/IP […]Telnet, vous l’utilisez peut-être sans le savoir. En effet, depuis le 1er janvier 1989, tous les terminaux de l’Ecole sont reliés au réseau EPNET par l’intermédiaire de serveurs de terminaux qui utilisent le protocole TCP/IP, et la communication entre votre terminal et votre ordinateur préféré est en fait une session Telnet. […] et FTP et TCP/IP et le Cray 2 […] Le transfert de données sur le canal Cray se fait à 100 Mbits/s, du côté des réseau Ethernet il ne se fait qu’à 10 Mbits/s par réseau. Il y a là hiatus entre ces deux valeurs. Si notre choix s’est porté sur ce matériel Hyperchannel-DX pour la connexion aux réseaux c’est qu’il est prévu pour recevoir une carte de connexion à un réseau fibre optique à la norme FDDI (Fiber Distributed Data Interface) à la vitesse de 100 Mbits/s. Bien entendu, il existe un projet pour le remplacement de l’épine dorsale du réseau Epnet par une épine dorsale fibre optique FDDI. La réalisation est prévue dans le courant de l’année 1990. Pourquoi un tel délai ? Pour la simple raison que les normes ne sont pas complétement établies, que les premiers matériels ne seront disponibles que dans le courant de l’année et qu’il importe de faire quelques essais avant de se lancer dans un projet aussi ambitieux. Il ne faudrait toutefois pas croire que les vitesses de transfert réelles augmenteront d’un facteur 10, ce n’est que la durée d’un bit qui diminue de ce facteur. Les transferts de données, eux, dépendent de protocoles dont la vitesse d’exécution est déterminée par divers paramètres extérieurs au réseau (CPU, écriture du logiciel, …) et qui resteront inchangés, il ne faut donc pas s’attendre à des écarts très importants, simplement le réseau pourra supporter une charge beaucoup plus importante.
FI 1 – 27 janvier 2009 – page 20
ISSN 1420-7192