Nous sommes fiers de vous présenter notre premier dossier thématique DCmag, consacré à lʼimmersion (qui accompagne également Datacenter Magazine n°6). Merci à Hyperion et Motul, ainsi quʼà la Communauté de communes de lʼErnée qui a déployé deux datacenters en immersion, de nous avoir accompagnés dans ce projet.
Notre prochain dossier thématique sera consacré aux baie, PDU et au confinement dans le datacenter.
Si vous souhaitez que DCmag réalise un dossier sur un sujet datacenter qui vous concerne ou vous interpelle, inviter et interpeller la communauté du datacenter dans vos locaux, vous faire connaître sur une technologie ou une pratique, contactez-nous.
refroidissement par immersion dans le datacenter
Le refroidissement par immersion dans le data center
Les data centers existants, les data centers en edge et les infrastructures de puissance (IA et HPC) peinent à répondre aux exigences de technologies qui demandent à supporter des solutions de refroidissement efficaces, peu gourmandes en énergie, aux coûts d'exploitation maîtrisés, et qui réduisent leur empreinte écologique. Le refroidissementparimmersionestuneréponseinnovante apportée à ces attentes. Et cʼest un véritable marché en devenir. Datacenter Magazine lui consacre ce dossier.
L'immersion dans des fluides diélectriques ou “immersion cooling” marque une étape innovante utilisée dans plusieurs applications, notamment pour le refroidissement des systèmes électroniques comme les serveurs informatiques et les data centers. L'immersion dans un liquide diélectrique permet en effet une dissipation de la chaleur plus efficace que le refroidissement à air traditionnel, ce qui est crucial pour maintenir la performance et la durée de vie des composants. En immergeant directement les composants électroniques dans des fluides diélectriques, la chaleur est dissipée de manière plus homogène, ce qui réduit la nécessité de systèmes de refroidissement supplémentaires tels que les ventilateurs et les climatiseurs. Cela se traduit par une réduction significative de la consommation d'énergie pour le refroidissement, la plus importante après lʼalimentation des équipements informatiques.
Pourquoi l'immersion devient-elle populaire dans les data centers ? Au-delà de la dissipation de la chaleur, les expériences menées par des centres de calcul, le Crédit Agricole ou encore Microsoft, montrent que lʼimmersion offre un meilleur contrôle de la température, même lorsque les composants sont très rapprochés, ce qui permet une plus grande densité de calcul. Les data centers haute performance peuvent ainsi répondre aux demandes dʼinfrastructures dʼIA (Intelligence Artificielle) et de
HPC (High Performance Computing). Et accueillir plus de serveurs dans un espace donné sans risque de surchauffe. L'immersion réduit également les coûts opérationnels associés aux infrastructures de refroidissement telles que les systèmes de climatisation. Elle diminue aussi les besoins en maintenance, car les composants immergés sont protégés de la poussière et d'autres contaminants présents dans l'air, ce qui prolonge leur durée de vie. Enfin les fluides diélectriques empêchent les courts-circuits et la corrosion, ce qui améliore la fiabilité et réduit le risque de défaillance du matériel. Cette fiabilité accrue est essentielle pour les data centers, où les temps d'arrêt non planifiés peuvent entraîner des coûts élevés et des interruptions de service.
Les techniques de l'immersion
Il existe principalement deux techniques d'immersion dans les data centers :
• Lʼimmersion à phase unique
Dans cette méthode, les équipements sont immergés dans un fluide diélectrique liquide qui reste à l'état liquide tout au long du processus de refroidissement. La chaleur est dissipée dans le fluide, qui est ensuite refroidi par un échangeur de chaleur externe. Cette technique est simple et économique, idéale pour les applications où une maintenance facile est essentielle. Lʼimmersion à phase unique utilise principalement des fluides à base d'hydrocarbures et de biotechs, dérivés de minéraux et qui sont généralement moins coûteux.
• Lʼimmersion à deux phases
Ici, les équipements sont immergés dans un fluide diélectrique qui s'évapore à une température relativement basse. Lorsque le fluide chauffe, il change de phase (de liquide à gaz), il monte dans un réservoir, où il est condensé et retourne à l'état liquide. Les fluides biphasés à changement de phase offrent une excellente
performance de refroidissement grâce à leur capacité à absorber une grande quantité de chaleur lors du changement d'état. Cette méthode est donc plus efficace pour le refroidissement de haute densité et offre une meilleure performance thermique, mais elle est plus complexe à déployer, à maintenir et elle nécessite des fluides plus spécifiques, ce qui la rend plus coûteuse. Lʼimmersion à deux phases utilise des fluides fluorés, qui ont un point d'ébullition bas et sont efficaces pour les applications de haute densité de puissance, mais qui peuvent être plus coûteux et posent des questions environnementales.
• Lʼinnovation dans lʼimmersion Dans lʼimmersion, les innovations portent sur de nombreux domaines. A commencer par les fluides de refroidissement. Leur performance se mesure à leur capacité de transfert thermique, à leur stabilité thermique pour résister aux températures élevées sans dégradation, à
L’histoire
la réduction de la viscosité, et à leur engagement écologique avec des huiles issues des biotechs. Les fluides sont des produits transformés, qui peuvent être augmentés avec lʼajout dʼadditifs. Ils peuvent donc être adaptés à des usages ou apporter des fonctionnalités supplémentaires appréciées. Plusieurs expériences ont été menées sur des fluides synthétiques, développés pour offrir une meilleure performance thermique, mais issus de la chimie la question environnementale est posée, et leur coût est plus élevé.
Lʼinnovation porte également sur la conception des supports pour les serveurs. Certains sont des tiroirs à placer dans des racks, aux emplacements des serveurs, ces derniers étant placés dans ces tiroirs. Mais la majorité des fabricants proposent des bacs, que lʼon remplit de fluides, et dans lesquels on immerge les serveurs. Cette conception de châssis permet une disposition optimisée des serveurs pour maxi-
de l’immersion dans l’industrie et l’informatique
Lʼimmersion nʼest pas chose nouvelle. Lʼimmersion dans des fluides est même une technique largement utilisée dans plusieurs secteurs industriels, tels que le refroidissement, le nettoyage, l'usinage, la protection ou la transformation. Dans le cadre qui nous intéresse ici, le refroidissement par immersion est une méthode qui permet de dissiper la chaleur générée par des équipements ou des processus en les plongeant dans des fluides à haute capacité thermique. Les premières applications industrielles datent du début du 20e siècle, la technique a été initialement utilisée pour refroidir les moteurs et les systèmes électriques. Des fluides comme l'huile ou l'eau étaient utilisés pour empêcher la surchauffe dans les transformateurs et les moteurs électriques industriels. L'huile agissant également comme isolant, les bains dʼhuile se sont développés dans les années 1920-1940 pour les transformateurs électriques, pour dissiper efficacement la chaleur et éviter les décharges électriques. Dans les années 1950, avec lʼapparition de composants électroniques et de circuits de plus en plus compacts, lʼimmersion dans des liquides de refroidissement a commencé à être utilisée pour gérer la dissipation thermique, notamment dans les ordinateurs de grande taille. Depuis les années 2010 et aujourdʼhui, le développement de technologies avancées, telles que lʼimmersion dans des fluides diélectriques, révolutionne le refroidissement des serveurs dans les data centers, en réduisant considérablement l'énergie nécessaire pour refroidir l'équipement.
La durabilité de l’immersion
La durabilité est un argument majeur en faveur de l'immersion, car elle permet de réduire la consommation d'énergie et d'eau, tout en offrant une meilleure gestion thermique.
miser l'efficacité du refroidissement et faciliter la maintenance. On notera également que des technologies avancées de surveillance des fluides et des équipements permettent de détecter les problèmes potentiels en temps réel et d'automatiser la gestion du refroidissement.
Le support et la maintenance de l’immersion
Les pratiques autour de l'immersion impliquent des changements significatifs dans la conception des data centers et la gestion des opérations. Constatons tout dʼabord que les solutions d'immersion sont soutenues par un écosystème croissant de fabricants d'équipements, de constructeurs de serveurs, de fournisseurs de fluides, dʼinfogéreurs et de mainteneurs, et de bureaux dʼétudes spécialisés dans la conception de data centers.
Les installations d'immersion ne nécessitent pas la présence dʼun faux plancher, mais dʼun sol solide aux normes industrielles. Elles sont souvent conçues pour être modulaires, ce qui permet des
ajouts ou des modifications sans interruption majeure des opérations. Si peu dʼinfogéreurs offrent aujourdʼhui des services sur lʼimmersion, force est de constater que la maintenance de ces installations est simplifiée : les systèmes immergés nécessitent moins de maintenance des systèmes de refroidissement (comme les ventilateurs et les climatiseurs). Elle demande par contre des protocoles de maintenance spécifiques pour la manipulation des fluides et la gestion des équipements immergés. Le personnel doit donc être formé aux nouvelles pratiques de gestion des systèmes d'immersion, y compris la manipulation sécurisée des fluides et la maintenance des systèmes immergés.
Des serveurs pour l’immersion
Si lʼimmersion, les équipements et les fluides diélectriques ne sont plus réellement un sujet dʼinterrogation, et cela depuis bien longtemps, il nʼen est pas de même des équipements informatiques à immerger dans les
Fluides diélectriques, une efficacité scientifiquement démontrée
Les tests scientifiques de l'immersion et des fluides diélectriques sont cruciaux pour assurer la sécurité, la performance, et la durabilité des systèmes utilisant ces fluides. Ils englobent une large gamme d'évaluations destinées à mesurer les propriétés électriques, thermiques, chimiques et mécaniques des fluides pour garantir leur adéquation à diverses applications industrielles et technologiques.
Conductivité Électrique :
Les fluides diélectriques possèdent une très faible conductivité électrique pour être utilisés en toute sécurité avec des composants électroniques. Des tests sont effectués pour mesurer la résistivité électrique et assurer que le fluide reste non-conducteur, même en présence de contaminants comme l'eau ou les particules de poussière.
Propriétés Thermiques :
Les propriétés thermiques des fluides diélectriques, comme la capacité thermique et la conductivité thermique, ont démontré leur efficacité à dissiper la chaleur. Cela comprend des tests pour évaluer le comportement du fluide à différentes températures et sous différentes charges thermiques.
Compatibilité Matériaux :
Lors de l'immersion de composants dans des fluides diélectriques, il est essentiel dʼassurer la compatibilité chimique du fluide avec les matériaux des composants (tels que le plastique, le caoutchouc et les métaux). Ces tests garantissent que le fluide n'endommage pas les composants, qu'il ne provoque pas de corrosion ou de dégradation chimique.
Durabilité et Vieillissement :
Les fluides diélectriques se comportent très bien sur de longues périodes sous des conditions de fonctionnement. Des tests évaluent la stabilité chimique et physique du fluide, son éventuelle dégradation thermique et oxydative, et ses effets sur les composants immergés au fil du temps.
Isolation :
Étant donné que les fluides diélectriques sont utilisés principalement pour leur capacité d'isolation électrique, leur efficacité à prévenir les décharges électriques pour l'isolation électrique a été vérifiée. Ces tests incluent des mesures de rigidité diélectrique, qui indiquent la capacité du fluide à résister à des champs électriques sans se décomposer.
Performance en Conditions Extrêmes :
Les limites d'utilisation des fluides diélectriques sous des conditions extrêmes de température, de pression, et de charge électrique ont été évaluées. Elles permettent de comprendre comment ces fluides réagissent dans des situations où les systèmes pourraient être poussés à leurs limites, comme dans des environnements industriels rigoureux ou des opérations informatiques intensives.
bains. En effet, les serveurs ne sont pas immédiatement compatibles avec l'immersion, car à lʼorigine ils nʼont pas été conçus pour fonctionner dans ces environnements. Le problème ne vient pas du fonctionnement du serveur, un serveur immergé fonctionne comme celui qui est refroidi à lʼair, mis à part que le refroidissement est autrement plus efficace dans une fluide, nous lʼavons vu. La vraie problématique provient de la compatibilité de certains matériaux avec les fluides, à lʼimage de certains plastiques qui font office de gaine des câbles.
Un serveur standard utilisé dans les data centers peut théoriquement être rendu compatible avec l'immersion via des modifications spécifiques. A commencer par retirer ou désactiver les composants non essentiels au fonctionnement qui sont inutiles et pourraient être endommagés par les fluides, comme les ventilateurs et les carters dʼorientation des flux dʼair.
Pour autant, cela ne suffit pas car certains éléments du serveur comme des câbles peuvent sʼoxyder, se durcir, et se désagréger dans le fluide. A une époque également des fluides qualifiés de diélectriques circulaient sur le marché mais leur composition nʼétait pas adaptée aux usages informatiques. Cʼest ce qui explique
des expériences malheureuses qui ont terni lʼimage de lʼimmersion voici quelques années, mais qui aujourdʼhui appartiennent au passé.
Reste quʼil est nécessaire de sʼassurer de la compatibilité des serveurs avec lʼimmersion.
Ces problèmes sont résolus aujourdʼhui avec des constructeurs qui conçoivent et fabriquent des serveurs destinés à lʼimmersion et utilisables directement dans des environnements de refroidissement immergés. Ces serveurs sont construits avec des matériaux compatibles avec les fluides diélectriques et sans composants mobiles tels que les ventilateurs.
Les câbles, les connecteurs, et autres composants sensibles sont également sélectionnés pour leur compatibilité avec les fluides utilisés.
• Quelle garantie pour les serveurs ?
La question se pose évidemment sur la garantie de ces serveurs. Pendant des années, aucun fabricant de processeur nʼacceptait de garantir leurs produits pour lʼimmersion. Mais un grand pas a été franchi en 2023, via lʼOCP (Open Compute Project), le projet dʼarchitectures open source matérielles porté par Facebook et les géants du cloud, où Intel a présenté le premier système de refroidissement par im-
La compatibilité des matériaux immergés
La compatibilité des matériaux est une considération cruciale lors de la préparation des serveurs pour l'immersion. Voici les matériaux couramment utilisés dans les serveurs et leur compatibilité avec les fluides diélectriques :
• Plastiques : Certains plastiques peuvent se dégrader lorsqu'ils sont exposés à des fluides diélectriques. Il est important de s'assurer que les plastiques utilisés pour les connecteurs, les supports de cartes et les câbles sont compatibles avec le fluide.
• Métaux : La plupart des métaux couramment utilisés dans les serveurs, tels que l'aluminium et l'acier inoxydable, sont compatibles avec les fluides diélectriques. Cependant, certains métaux comme le cuivre peuvent subir une corrosion à long terme dans certains types de fluides, nécessitant une attention particulière ou des traitements de surface.
• Composants électroniques : Les composants électroniques, comme les puces et les condensateurs, sont généralement compatibles avec les fluides diélectriques, tant qu'ils sont correctement encapsulés. Les circuits imprimés doivent être protégés pour éviter tout risque de court-circuit en cas de contamination du fluide.
mersion de référence pour lʼindustrie à propriété intellectuelle ouverte, et annoncé la certification de tous ses processeurs pour serveur sur lʼimmersion. Ses concurrents ont suivi et aujourdʼhui la plupart des CPU sont acceptés et les serveurs entrent dans le cycle classique des garanties et du support. Ce qui cependant ne veut pas dire que tous les intégrateurs et les infogéreurs supportent les serveurs en immersion, encore faut-il que leurs équipes soient formées et qualifiées…
Un cas de résistance existe cependant, les GPU pour lʼIA. Le géant Nvidia ne certifie pas ses GPU, en immersion les serveurs dʼIA ne sont pas garantis. Cʼest une question dʼordre plutôt ʻpolitiqueʼ, comme pour les fabricants de fluides, les constructeurs de composants peuvent accorder le support à certains constructeurs de serveurs. Cʼest ainsi quʼun même serveur, embarquant les mêmes composants, pourra être garanti sous une marque, mais pas sous lʼautre. Une problématique de jeunesse, tout le monde finira par entrer dans
les rangs, cʼest une question de temps. En attendant, avant de procéder à une immersion complète, il est conseillé de se rapprocher des constructeurs de serveurs pour valider leur compatibilité, ou alors dʼeffectuer des tests avec des composants individuels pour s'assurer qu'ils fonctionnent correctement lorsqu'ils sont immergés.
• La préparation des serveurs pour l'immersion
Partant dʼun serveur ʻstandardʼ, plusieurs étapes sont nécessaires à sa préparation pour lʼimmersion. Tout dʼabord, le retrait des composants incompatibles. Les ventilateurs et les autres composants mobiles sont retirés des serveurs, car ils ne sont pas nécessaires dans un environnement immergé et pourraient ne pas fonctionner correctement dans un liquide. Les cartes électroniques et les connecteurs ʻremplaçablesʼ sont vérifiés pour sʼassurer qu'ils sont compatibles avec l'immersion. Les composants sensibles aux liquides doivent être remplacés ou protégés. Avant d'immerger un
serveur, il est crucial de le nettoyer de toute poussière, graisse, ou autres contaminants qui pourraient interagir avec le fluide diélectrique.
Enfin, il faut sʼassurer que le fluide diélectrique choisi est compatible avec tous les matériaux des composants du serveur, y compris les plastiques, les métaux et les composites.
• Lʼimmersion des équipements réseaux
Peut-on immerger les équipements réseaux ?
En théorie, rien ne sʼy oppose, la composition de ces équipements est proche de celle des serveurs. Dans la réalité, la réponse est plus délicate, car cela dépend de leur conception, de leur compatibilité avec les fluides diélectriques, certes, mais aussi des câbles aux origines diverses. Ainsi quʼà lʼengagement des constructeurs, et ces derniers se montrent beaucoup moins favorables que leurs homologues sur les serveurs ! Les commutateurs et routeurs standards peuvent être adaptés pour l'immersion, ce qui comme pour les serveurs nécessite le retrait de tous les composants mobiles, comme les ventilateurs, et l'utilisation de matériaux compatibles. Concernant les câbles et les connecteurs optiques, il est essentiel de vérifier la compatibilité avec les fluides diélectriques pour éviter toute dégradation des matériaux ou lʼaltération des performances optiques.
Comme pour les serveurs, les équipements réseaux doivent être soigneusement nettoyés et testés avant l'immersion pour s'assurer qu'ils fonctionnent correctement dans le fluide diélectrique. Cependant, la connexion réseau dans un environnement immergé peut présenter des défis, notamment en ce qui concerne la gestion des câbles et des connecteurs. Ceux-ci doivent être sélectionnés et protégés pour éviter toute corrosion ou dégradation. Et surtout, si le serveur demande peu dʼinterventions une fois quʼil est immergé, lʼaffaire se corse avec les équipements réseaux, qui réclament plus de gestes de proximité et plus régulièrement, ce qui généralement ne fait pas lʼaffaire des tech-
Normes, certifications et réglementations pour l'immersion
Sʼil n'existe pas de norme internationale spécifique à l'immersion cooling, elle est soumise à un ensemble de normes, de certifications et de réglementations en constante évolution avec les technologies, et visant à garantir la sécurité, la fiabilité et la performance des systèmes dans le data center. Ces normes couvrent différents aspects, tels que la sécurité incendie, la compatibilité électromagnétique, la protection des personnes et la protection de l'environnement.
De plus, les solutions d'immersion sont variées, ce qui complexifie la définition de normes génériques. Les solutions mises en œuvre doivent respecter les normes en vigueur et les bonnes pratiques de l'industrie.
Normes générales applicables
• Normes électriques: Les équipements utilisés dans les data centers en immersion doivent respecter les normes électriques en vigueur dans chaque pays (NF C 15-100 en France). Ces normes définissent les caractéristiques techniques des équipements, les méthodes d'installation et les mesures de protection.
• Normes de sécurité incendie: Les liquides diélectriques utilisés pour l'immersion sont généralement des hydrocarbures. Les normes de sécurité incendie s'appliquent pour prévenir et combattre les incendies potentiels (NF EN 60079 pour les atmosphères explosibles).
• Normes environnementales: Les normes environnementales (ISO 14001) visent à limiter l'impact de l'immersion sur l'environnement, notamment en matière de gestion des déchets et de recyclage des liquides diélectriques.
niciens qui parfois nʼapprécient pas dʼintervenir au contact des fluides.
Les avantages de l'immersion dans les data centers
L'immersion présente plusieurs avantages significatifs.
• Efficacité énergétique : L'immersion est plus efficace que le refroidissement par air ou par liquide conventionnel. Les fluides utilisés dans les systèmes d'immersion sont bien meilleurs conducteurs de chaleur que l'air, ce qui permet de réduire considérablement l'énergie nécessaire pour refroidir les équipements.
• Réduction des coûts d'exploitation : Les coûts liés à l'énergie pour le refroidissement peuvent être réduits de 30 % à 50 % grâce à l'immersion. De plus, la réduction de l'usure des composants (comme les ventilateurs) et l'absence de climatisation lourde réduisent les frais de maintenance.
• Densité de puissance accrue : Les systèmes d'immersion permettent de placer davantage de serveurs dans un espace plus réduit car la dissipation thermique est beaucoup plus efficace. Cʼest particulièrement avantageux dans les data centers où l'espace est limité.
• Réduction du bruit et des vibrations : L'immersion élimine le besoin de ventilateurs pour le refroidissement, ce qui réduit le bruit et les vibrations, contribuant à un environnement de travail plus silencieux et plus stable pour les équipements informatiques.
• Écologie et durabilité : Les systèmes d'immersion utilisent moins d'énergie et d'eau par rapport aux méthodes traditionnelles,
ce qui contribue à une empreinte carbone plus faible et à une meilleure durabilité environnementale.
• Fiabilité et stabilité accrue : Les systèmes immergés sont moins sensibles aux fluctuations de température de l'air et aux conditions environnementales extérieures. Ils sont donc plus fiables et nécessitent moins de surveillance.
DLC (Direct Liquid Cooling) ou immersion ?
Si le refroidissement liquide est une technologie de plus en plus utilisée dans les data centers, les entreprises sʼinterrogent quant au choix technologique qui se présente à elles : DLC (Direct Liquid Cooling) ou immersion ? Ces deux méthodes partagent un principe commun - l'utilisation d'un liquide pour évacuer la chaleur - mais elles présentent des différences notables.
• DLC - Direct Liquid Cooling
Le liquide de refroidissement circule directement sur les composants électroniques (CPU, GPU, etc.) à travers des canaux de refroidissement intégrés. Cette méthode a lʼavantage de la flexibilité, elle peut être adaptée à différents types de composants, et de la précision, elle permet un contrôle précis de la température de chaque composant. Cependant, son usage sʼavère complexe et lourd, car elle nécessite une conception thermique spécifique pour chaque composant, et quʼelle impose de démultiplier les équipements au contact des serveurs, des échangeurs sur les composants, et les équipements de refroidissement et de traitement de la chaleur transportée. Ce qui complexifie également les gestes de proximité et la maintenance.
Contraints par lʼaugmentation de la densité des équipements - qui impose de revoir lʼurbanisation des salles informatiques et les méthodes de refroidissement en passant de lʼair au liquide -, beaucoup dʼexploitants sont prêts à adopter le DLC. Mais certains hésitent à lʼemployer car souvent, pour des raisons économiques, le liquide de refroidissement est de lʼeau. Et lʼeau ne fait pas bon ménage avec lʼélectricité… Lʼusage dʼautres fluides frigorigènes est possible, mais fortement réglementé. Notons également quʼen matière dʼentretien, les liquides employés pour le DLC se dégradent et peuvent se révéler corrosifs pour la tuyauterie, générant des dépôts, et que les canaux de refroidissement peuvent s'obstruer avec le temps.
• Immersion
Les composants électroniques sont entièrement immergés dans un liquide diélectrique. Cʼest un refroidissement très efficace grâce à une surface d'échange thermique maximale. La conception est plus simple, car il n'y a pas de canaux de refroidissement à intégrer. Les huiles diélectriques sont sans danger, mais leur usage peut rebuter. Elles supportent des additifs qui peuvent en accentuer certains effets positifs.
Passé lʼeffet psychologique du trempage du serveur dans un fluide, qui au départ est une opération surprenante qui peut heurter certains sensibilités, lʼimmersion doit répondre à la critique du coût, l'investissement initial est en effet plus élevé en raison du réservoir et du liquide. Mais lʼefficacité immédiate, ce qui permet un RoI rapide. En matière de sécurité, le fluide diélectrique nʼest pas conducteur, le risque électrique nʼest pas dans les bacs, qui nécessitent par contre des précautions particulières pour éviter les fuites.
•
Choisir, DLC ou immersion ?
Chaque technologie de refroidissement a ses avantages et ses inconvénients. DLC est idéal pour les systèmes où la flexibilité et le contrôle précis de la température sont essentiels, comme les serveurs haute performance ou lʼIA. Pour les entreprises, il sʼimpose lorsque lʼâge ou la conception du data center ne permettent pas dʼévolution lourde de lʼinfrastructure. Lʼimmersion est parfaite pour les applications nécessitant une densité de calcul très élevée et une efficacité énergétique maximale, comme les data centers hyperscale, lʼIA et le HPC, mais aussi pour les petites infrastructures qui souhaitent ou sont contraintes à la durabilité. On y ajoutera à lʼusage une simplicité autre-
Immersion, le point de vue du bureau d’étude : APL
Nous avons rencontré Julien Molina, Responsable du pôle performance énergétique innovation du bureau dʼétude APL, afin quʼil nous apporte sa vision de lʼimmersion.
Datacenter Magazine : Quelle est votre perception de lʼimmersion ?
Julien Molina : Les besoins capacitaires et la densification explosent, qui demandent des puissances à la baie ou unitaire, mais on nʼy arrive plus avec lʼair, pour lequel la performance du refroidissement cʼest la différence entre le fluide rejeté et la température extérieure. La densification impose de répondre à lʼobjectif du refroidissement et à valoriser la chaleur émise. Lʼimmersion est un cas de niches, nous ne voyons pas encore de passage à lʼéchelle. Et les demandes sont spécifiques au calcul intensif ou au rendu vidéo.
Pour vous, la solution serait plutôt dans le DLC ?
Le passage à lʼéchelle se fait plutôt sur le DLC, dont lʼavantage est quʼil adresse des organisations plutôt classiques, qui éprouvent le besoin de contrôler lʼambiance en salle. Avec lʼimmersion, il nʼest pas besoin de salle blanche, de contrôler lʼair et lʼhumidité. Par contre, côté exploitabilité, il faut adapter les procédures. Il faut aussi prendre en compte la montée en puissance de Nvidia, qui exploite le même régime dʼeau que sur lʼair. Est-ce quʼavec lʼimmersion nous allons devoir revoir à la baisse les régimes dʼeau ? Les cartes GPU ont une taille définie, avec la même surface, mais pour extraire plus de chaleur il faudrait augmenter la taille. Le seul moyen, cʼest dʼabaisser la température, même avec le DLC. Nous arrivons à tant de densité au mètre carré et de puissance que le seul moyen de rejeter la température, cʼest de lʼabaisser, ce qui oblige à climatiser. Mais sur lʼair on y arrive pas.
Qu'est-ce qui pousse à ne pas le faire ?
Pour le moment, cʼest beaucoup la faisabilité, et les réponses sur le matériel IT pour les garanties. Ce sont aussi les contraintes dʼexploitation, lʼusage de câbles spếcifiques, la difficulté de connecter la fibre, lʼaménagement des salles. Lʼimmersion invite à revoir la distribution hydraulique, à ramener des tuyaux, de lʼéclectique. Parmi les contraintes, il faut parfois revoir les faux plancher, selon les arrivées dʼalimentations, et repenser la densité au mètre carré, la structure est à étudier systématiquement. Cʼest aussi le blocage sur les réseaux de chaleur, qui sont davantage tournés vers les régimes hauts. Reste que lʼimmersion est attendue sur le développement durable, intellectuellement et sur le réglementaire.
ment
Les freins à l’immersion
Nous ne pouvons proposer un dossier sur lʼimmersion sans rappeler que, malgré ses avantages, plusieurs obstacles freinent l'adoption généralisée de l'immersion. A commencer par la résistance au changement. Comme pour toute nouvelle technologie, il existe une résistance naturelle au changement, surtout lorsque les méthodes traditionnelles sont bien établies et que les gestionnaires de data centers ne sont pas familiarisés avec certaines pratiques. Sʼy ajoute un effet de perception particulier, lié au fait de placer un serveur dans un fluide ! Par ailleurs, le coût initial pour la mise en place de systèmes de refroidissement par immersion peut nécessiter un investissement initial important, car elle implique des équipements spécialisés, des fluides qui restent coûteux, et souvent des modifications structurelles des infrastructures existantes. L'intégration de systèmes d'immersion dans des data centers existants peut également exiger des adaptations importantes, lʼadoption de bacs ou le remplacement de racks standards par des racks adaptés à l'immersion. Lʼopération peut être considérée comme complexe. Enfin, concernant lʼentretien, les fluides de refroidissement nécessitent une gestion rigoureuse, notamment en ce qui concerne leur manipulation, leur stockage et leur remplacement. De plus, il y a des préoccupations liées à la sécurité et à l'environnement si les fluides ne sont pas manipulés correctement.
Lʼimmersion est une technologie nouvelle qui nécessite un temps dʼacceptation et dʼintégration, cʼest ainsi que ces barrières sont franchies chaque jour. Pour lʼexploitant de data center comme le DSI, deux autres freins sont plus problématiques, même sʼils trouveront eux-aussi leurs solutions. Le manque de standardisation par l'absence de normes uniformes pour les
technologies d'immersion, ce qui peut rendre difficile l'interopérabilité entre différents systèmes et fournisseurs, limitant ainsi la flexibilité et l'évolutivité. La formation et les compétences, le personnel des data centers doit être formé aux nouvelles techniques de refroidissement par immersion, ce qui peut représenter un coût supplémentaire et un frein à l'adoption. Mainteneurs et infogéreurs y travaillent.
Investir dans l’immersion
Qui sont les acteurs de l’immersion ?
Le refroidissement par immersion est une technologie prometteuse pour les data centers. Si le coût dʼinvestissement initial est plus élevé quʼune infrastructure de refroidissement DLC et plus encore par air, il offre des gains économiques significatifs à long terme, réduction des coûts dʼexploitation, amélioration de la performance, efficacité énergétique et densité de calcul, avec un RoI (Retour sur Investissement)
Le marché de lʼimmersion dans le data center affiche une croissance rapide, au rythme annuel de 20% à 30% dans les prochaines années. Cette croissance profite dʼune demande forte pour des solutions de refroidissement plus efficaces en énergie, particulièrement dans les secteurs du cloud computing, de l'IA et du calcul haute performance (HPC).
Les acteurs commencent à être nombreux. Sans chercher à être exhaustifs, nous citerons chez les fabricants les français Hyperion et DiveIT, Asperitas et Submer en Europe, et chez les américains le pionnier GRC (Green Revolution Cooling), Iceotope, Allied Control et LiquidStak. Certaines gammes de produits de ces constructeurs se retrouvent au catalogue dʼintégrateurs comme Schneider Electric et Vertiv, voire de fabricants de serveurs, comme Dell et HPE.
Concernant les fluides diélectriques, nous citerons les français Motul et Total Energy, les britanniques Shell et Castrol, lʼaméricain Engineered Fluids, et plus généralement la majorité des pétroliers qui voient dans lʼimmersion une marché de substitution à certains de leurs produits.
Pour la maintenance et lʼinfogérance, il nous est plus difficile de citer des acteurs, chacun préparant plutôt des réponses adaptées à la demande. Citons cependant Metaline qui pratique depuis longtemps des gestes de proximité dans ces environnements.
rapide.
Les coûts d'investissement associés à l'immersion sont principalement liés aux bacs et réservoirs ; aux systèmes de circulation du liquide, pompes et filtres qui sont essentiels pour assurer la circulation et la filtration du liquide ; aux systèmes de sécurité, détection de fuites, extincteurs spécifiques et dispositifs de sécurité électrique ; aux équipements de monitoring, capteurs et logiciels de surveillance requis pour contrôler les paramètres du liquide et des équipements ; et à l'adaptation des infrastructures existantes, modifications de ces infrastructure, intégration de nouveaux équipements, et adaptations pour la gestion des fluides.
Du côté des coûts d'exploitation de l'immersion, ils comprennent la consommation énergétique des pompes, des filtres et des équipements de surveillance ; la maintenance, le remplacement des filtres, la vérification du niveau de liquide, la maintenance préventive, et les interventions régulières ou les réparations ; le coût du liquide diélectrique qui doit être remplacé périodiquement (périodes de longue durée), en fonction de sa durée de vie et des conditions d'utilisation ; et les coûts de personnel, avec des compétences spécifiques requises pour la gestion et la maintenance des systèmes d'immersion.
Concernant le fluide diélectrique, les liquides biphasés sont plus coûteux que les liquides monophasés. Et la technologie biphasique né-
cessite des investissements plus lourds en équipements adaptés. Le prix du fluide varie selon la formulation chimique et surtout la marque ! Une fois le bac rempli, le fluide est filtré pour écarter dʼéventuels contaminants, particules fines ou poussière. Il faut parfois revoir les niveaux, mais les systèmes en immersion consomment peu de fluide. Les fabricants conseillent de changer le liquide… tous les 10 ans. Et dans lʼindustrie, il nʼest pas rare de rencontrer des systèmes qui fonctionnent sur le même fluide plusieurs dizaines dʼannées.
Concernant la maintenance, notons que les systèmes en immersion nécessitent moins de maintenance que les systèmes de refroidissement par air, car ils n'ont pas de pièces mobiles comme les ventilateurs et sont moins sujets à la poussière et aux débris
• Avantages économiques de l'immersion
Malgré les coûts initiaux, l'immersion offre des avantages économiques à long terme. A commencer par la réduction de la consommation énergétique, qui peut être significative. L'immersion permet également d'augmenter la densité de calcul des serveurs, ce qui peut réduire le coût par watt de calcul. Lʼamélioration de la fiabilité et la prolongation de la durée de vie des équipements, en particulier les températures plus basses réduisent la contrainte thermique sur les composants électroniques, ce qui peut prolonger leur durée de vie. Sans oublier la réduction de l'empreinte carbone.
Le RoI (retour sur investissement) de l'immersion dans les data centers dépend de nombreux facteurs, notamment les économies d'énergie, les réductions des coûts de maintenance, et l'augmentation de la densité des serveurs. Lʼamortissement du coût initial, selon la taille de lʼinstallation, et lʼintensité énergétique des opérations, peut être atteint en 2 à 5 ans. Les solutions d'immersion maximisent le RoI tout en garantissant la fiabilité et l'efficacité à long terme.
Top 10 des bonnes pratiques de fiabilité et de sécurité des systèmes d’immersion
Nous vous proposons de partager notre Top 10 des bonnes pratiques du refroidissement par immersion qui nous ont été confiées par des utilisateurs de cette technologie que nous avons rencontrés.
1. Choisir le bon liquide de refroidissement
Le fluide diélectrique doit être non conducteur pour éviter les courts-circuits et avoir une grande capacité de transfert de chaleur. Et privilégier des liquides non toxiques, écologiques, et recyclables pour réduire la toxicité et minimiser l'impact environnemental.
2. Conception modulaire des cuves
Les cuves d'immersion doivent être modulaires, pour faciliter leur déploiement (par exemple dʼune largeur suffisante pour passer les portes) et la maintenance. Elles doivent être isolées pour prévenir toute fuite de chaleur et minimiser l'évaporation du fluide.
3. Maintenance proactive et surveillance des fluides
Le monitoring régulier du fluide permet de détecter dʼéventuelles dégradations ou contaminations, ce qui permet de prolonger la durée de vie du liquide et d'éviter des pannes soudaines.
La mise en place dʼun système de filtration ou
de régénération continue permet de conserver la qualité du fluide.
4. Gestion thermique efficace
La disposition des serveurs dans la cuve permet dʼoptimiser le flux de chaleur à travers les composants afin dʼassurer un refroidissement uniforme et dʼéviter les points chauds. Lʼutilisation de pompes de circulation ou de systèmes de refroidissement passifs (comme la convection naturelle) maximise le transfert de chaleur depuis la cuve vers les systèmes externes de dissipation.
5. Sécurité des équipements
Lʼintégration de systèmes de détection de fuites et de mécanismes d'arrêt d'urgence prévient tout incident lié à des fuites ou des dysfonctionnements.
6. Formation du personnel
La formation du personnel à la manipulation des fluides et à la maintenance des systèmes immergés le familiarise avec cette technologie, met fin aux éventuelles réactions de rejet, et réduit les risques.
7. Optimisation énergétique avec des équipements secondaires
Pour dissiper la chaleur évacuée par les fluides d'immersion, il est conseillé dʼutiliser des systèmes de refroidissement secondaire efficaces, comme des échangeurs de chaleur ou des refroidisseurs adiabatiques. Et dʼintégrer des systèmes de récupération de chaleur pour réutiliser la chaleur excédentaire (chaleur fatale), par exemple pour chauffer des bureaux, des équipements sportifs, ou encore des processus industriels.
8. Conformité et documentation
Veiller à respecter les normes industrielles et les réglementations locales concernant la ges-
tion des liquides et la sécurité des installations. Et pour faciliter la gestion des risques, maintenir une documentation précise sur la maintenance, les interventions et la gestion des fluides.
9. Test et validation avant le déploiement
Toujours effectuer des tests à petite échelle avant le déploiement à grande échelle pour s'assurer de la compatibilité entre les équipements et le fluide. S'assurer que les composants électroniques peuvent bien fonctionner en immersion prolongée, et que leur durabilité n'est pas affectée par le fluide choisi.
10. Planification à long terme
Prendre en compte la durée de vie des fluides et les coûts de remplacement dans la planification opérationnelle du data center. Prévoir des
mécanismes de recyclage des fluides en fin de vie pour minimiser les déchets.
Immersion et innovation
Le refroidissement par immersion est une technologie clé pour construire des data centers plus efficaces et plus durables, qui répondent aux enjeux du numérique. Pour conclure notre dossier, évoquons les recherches qui continuent d'avancer à un rythme rapide, offrant de nouvelles perspectives pour l'avenir de lʼimmersion.
Parmi ces perspectives, évoquons lʼoptimisation en temps réel des systèmes de refroidissement par lʼutilisation de lʼIA, qui ajuste les paramètres en fonction de la charge de travail et des conditions environnementales.
Le développement de nouveaux matériaux est une source dʼinnovations. Les matériaux à changement de phase peuvent stocker de grandes quantités de chaleur lors de leur changement d'état, puis la relâcher progressivement. Quant aux matériaux conducteurs thermiques, ils sont développés pour améliorer les performances des systèmes de refroidissement. Ainsi l'utilisation de microcanaux permet dʼaugmenter la surface d'échange thermique et d'améliorer l'efficacité du refroidissement.
De nouveaux fluides diélectriques élargissent également ces perspectives, dont les fluides biphasés à changement de phase. Ils offrent une excellente performance de refroidissement grâce à leur capacité à absorber une grande quantité de chaleur lors du changement d'état. L'ajout de nanoparticules aux liquides de refroidissement, aussi appelés nanofluides, améliore considérablement leur conductivité thermique, permettant ainsi d'évacuer plus efficacement la chaleur. Enfin des recherches sont menées sur l'utilisation de liquides naturels, biodégradables et non toxiques, comme l'eau ou des huiles végétales, pour réduire l'impact environnemental.
Dernier axe dʼinnovation à suivre, lʼintégration de plusieurs technologies, comme refroidissement par immersion et immersion directe, ou refroidissement liquide et refroidissement par air, des solutions de refroidissement hybride, adaptées à différents types de composants, et qui optimisent l'efficacité énergétique.
A suivre…
https://www.youtube.com/watch?v=Y5O1eLDV8o8
Hyperion à l’état de l’art de l’immersion dans le datacenter
Nicolas Boulinguiez
fondateur et dirigeant Hyperion
Nicolas Boulinguiez, fondateur et dirigeant du groupe Numains (MCT, Delta, Hyperion), crée et intègre des équipements pour lʼimmersion des datacenters, sous la marque Hyperion. Et il sʼapprête en 2025 à ouvrir son propre datacenter également en immersion. DataCenter Magazine lʼa rencontré pour évoquer son attrait pour lʼimmersion et ses projets.
Datacenter Magazine - Pour-
quoi un tel investissement dans lʼimmersion ?
Nicolas Boulinguiez - Nous avons créé une activité dédiée à l'industrie du datacenter, pour un data center et un numérique plus responsable, qui s'appelle Hyperion. Et qui est dédiée aux solutions de liquide cooling en immersion, avec une technologie de fluides diélectrique afin de minimiser l'impact des datacenters dans le monde qui nous
entoure. C'est à notre avis dʼune importance majeure que de minimiser nos impacts pour accompagner un numérique plus durable et plus responsable pour les années qui viennent.
Pour nous, l'immersion, c'est un aboutissement de la maîtrise de l'impact énergétique des datacenter. On a toujours eu dans notre ADN de minimiser notre empreinte sur les consommations énergétiques,
dans toutes les salles qu'on a construites, dans toutes celles qu'on a exploitées depuis toutes ces années. Et l'aboutissement de ce projet, qui va démarrer fin 2025, cʼest de dédier un data center à l'immersion, qui va se positionner pour aller accompagner un réseau de chaleur pour emmener la calorie qui va être utilisée pour faire fonctionner l'IT à destination d'un bâtiment. Pour pouvoir justement minimiser encore plus l'impact du numérique et également se servir de ce numérique pour aller réchauffer ce bâtiment.
Des opérateurs de data centers, des DSI, des techniciens sont attirés par cette technologie, mais ont encore peur de faire la bascule, dʼutiliser des outils qui sont dans de l'huile. Que leur répondez-vous ?
Ils appréhendent surtout. Le mieux, c'est de venir nous voir pour pouvoir mettre les mains dedans, pour voir que ça ne sent pas les hydrocarbures,
que c'est une machine qui va parfaitement s'intégrer dans un environnement de data center qui est pensé pour être exploité. C'est d'abord notre métier que d'exploiter des salles et de l'IT en salle. On l'a vraiment pensé de cette manière là, pour que ça puisse se faire en grand nombre avec notre vision qui est celle de l'immersion en mode filière, avec nos partenaires industriels. Donc venez nous visiter, nous rencontrer en Mayenne pour qu'on vienne vous présenter et vous expliquer tout ça.
Ajoutons quʼil y a aussi le service, qui est indispensable aujourd'hui.
Oui, c'est très juste. Nous sommes d'abord une entreprise de service et la partie immersion est une brique par rapport aux autres services qui sont les nôtres et une des forces qui sont les nôtres. En plus de la maîtrise industrielle, de la technologie et de la fabrication des cuves et de
toute l'intégration bâtimentaire avec nos partenaires, c'est également la capacité à accompagner les DSI, de les migrer d'environnement air cooling en immersion cooling, soit dans du rétrofit de datacenter, soit de l'intégration sur des collectivités comme on a pu le faire récemment pour une collectivité qui a souhaité se rééquiper on-premise chez elle avec des cuves en immersion, parce qu'elle voulait minimiser son empreinte énergétique dans ses locaux.
Nous sommes sur une filière française, avec des fabricants français, et des personnes qui participent à la conception française de ce produit.
Nous sommes sur une chaîne de valeur intégrée, effectivement, avec des partenaires français de premier choix. La SERAP est un spécialiste des cuves en inox depuis des générations. Motul est un fabricant de fluides français avec lequel on a travaillé des re-
cettes spécifiques pour être au top en termes de récupération énergétique, d'effet sur les mains et sur les équipements pour pouvoir traiter convenablement cette appréhension pour les techniciens. Et enfin Wilo qui nous a également accompagné et qui est à nos côtés sur la partie circulation des fluides. Pour maximiser la récupération de chaleur et la dissipation calorifique.
Notre reportage se déplace dans le Lab d’Hyperion, où Nicolas Boulinguez nous présente les premiers bacs à immersion développés par la société, et un bac en cours d'intégration et de test pour un client.
Parlons de votre premier projet en immersion, la maquette en quelque sorte.
Le tout premier prototype est un usage détourné d'une cuve à fromage à l'origine, sur laquelle nous avons réalisé les premiers tests en labo qui nous ont permis de concevoir effectivement la technologie qui est maintenant sur le marché. La cuve était déjà en inox, pour une vision de durabilité et de machine industrielle à intégrer dans des environnements industriels.
Elle nous a appris que cela nous permettait en l'état de récupérer de la calorie, mais qu'on pouvait optimiser notre méthodologie de récupération de chaleur en mettant en place un système de convection en plus du système de circulation en paroi. Également que le mode de récupération de calories est réellement nécessaire et qu'il fallait plus réfléchir en mettant un groupe froid pour intégrer du froid, mais qu'il fallait d'abord extraire les calories et la chaleur pour en faire un usage tierce et être dans une vision de l'économie circulaire. Le bac à double paroi offre une isolation double peau qui permet de traiter le syndrome de la porte du four qui nʼest pas chaude. L'intégralité de la calorie doit rester dans la cuve et ne pas se diffuser dans le datacenter. La chaleur reste dedans avant dʼêtre extraite avec le système de circulation.
C'est dans ce Lab Hyperion que vous avez expérimenté vos technologies en immersion jusquʼau produit fini devant nous.
Exactement. Le Lab a été notre première intégration dans un bâtiment dédié à cela, avec la partie pilotage et automatismes qui se trouve derrière la gestion hydraulique, et l'intégration bâtimentaire avec la tuyauterie blanche qui est le modèle dédié pour nous à l'extraction de chaleur sans revalorisation. La tuyauterie noire avec le ballon tampon permet d'utiliser la calorie extraite de la chaleur numérique de manière à pouvoir la revaloriser à son maximum. La partie noire vient alimenter tout le bâtiment. Cette installation nous permet de revaloriser le déchet qu'est l'énergie électrique qui est consommée pour faire fonctionner l'IT. Vous avez le système de portique qui était pour nous une
Qu'est ce que cette maquette vous a appris?
égoutter les machines et gérer le trop plein quand on fait des mouvements. En termes d'entrées et sorties de matériel, il est une évidence que le trop plein de fluide doit être géré. Cela fait partie des choses que l'on a rajouté à la cuve proto.
Vous avez également développé tout ce qui permet de piloter l'installation.
Nous avons deux circuits : un circuit primaire pour la circulation des fluides, sur lequel on a travaillé avec un partenaire industriel ; et le circuit secondaire qui est juste la partie système hydraulique d'eau pour lequel on doit pouvoir piloter les variations des circulateurs pour aller optimiser la récupération, ouvrir, fermer des vannes pour pouvoir extraire plus ou moins en fonction de la puissance IT qui est intégré dans les cuves. Nous avons fait le choix de l'esthétique rudimentaire et industrielle. Ce nʼest pas quelque chose où lʼon met du clinquant avec
Pour concevoir ce bac à immersion, vous avez activé la filière locale.
Sur la partie marché de l'immersion, on travaille en mode filière avec plusieurs partenaires industriels. Concernant les fluides diélectriques pour faire fonctionner les équipements, nous avons un partenaire industriel français de premier choix, Motul. Notre second partenaire est Wilo pour des circulateurs que l'on a intégrés et qui nous a permis de doubler le système de circulation. La partie cuve en inox est produite par une entreprise mondialement connue, la Serap, qui est dédiée au marché de l'inox et à l'étanchéité des cuves, qui est une appréhension forte que l'on peut avoir avec nos interlocuteurs à qui lʼon explique que nous ne ne sommes pas un chaudronnier. Notre vision de la filière est de travailler avec des partenaires industriels de premier plan, qui nous permettent de sécuriser et de justifier la qualité et le fait que les installations ne fuiront pas.
Nous poursuivons notre échange avec Nicolas Boulinguez sur le lieu d’implantation du futur data center d’Hyperion, où un système en immersion est déjà en production.
Ce site est celui de notre projet de data center full en immersion au sein de l'agglomération de Laval, pour lequel on a démarré la mise en production du bac.
On constate que c'est finalement assez facile à installer...
C'est l'idée, en fait. A la différence des racks que vous pouvez connaître, des racks en air qui peuvent être montés sur site, là on amène des cuves sur le site de destination intégralement déjà étanches et sur roulettes.
Nous avons travaillé sur des cuves qui sont en largeur 80, facilement transportables,
qui permettent de s'installer à peu près n'importe où à partir du moment où on a simplement la partie récupération de chaleur sur le circuit secondaire au niveau de l'hydraulique.
Justement, parlons des fluides. Vous travaillez en particulier avec Motul. Est ce que la sélection du fluide a posé un problème et comment vous en êtes arrivés à travailler avec eux ?
La sélection du fluide n'est pas un problème, c'est la solution. À la différence de l'air, qui est un isolant, le fluide est un conducteur. Donc pour nous, c'était un élément majeur que l'on devait être capable de maîtriser en termes de risque. Notamment pour les techniciens qui interviennent, par les parties du toucher et olfactives, et par l'appréhension car c'est vraiment un changement de métier que d'avoir des équipements IT qui
sont en immersion. Donc, nous avons travaillé un certain nombre de fluides différents, plusieurs recettes de fluides qui ont été faites et validées avec Motul, qui est l'entreprise de choix pour accompagner notre stratégie de filière française de technologie, de fluides et d'immersion. Ici, nous sommes sur un fluide qui en plus a une empreinte spécifique, notamment sur le fait que le fluide qui reste sur les doigts y reste très peu longtemps. Aujourd'hui, vous avez d'autres fluides du marché, qui sont également des fluides diélectriques, mais qui restent très longtemps sur les mains. Le nôtre y reste très peu, dès qu'on s'essuie les mains, ça s'en va immédiatement.
C'est étonnant, je m'attendais à ce que vous nous parliez des capacités conductrices, de la chaleur, etc.
Mais en fait, le vrai problème c'est l'acceptation par les équipes.
Tous les fluides diélectriques ont une capacité de récupération calorifique qui est à peu près la même, à plus ou moins quelques pour cent.
Nous avons fait des tests avec le pôle Cristal, qui est le laboratoire avec lequel on travaille à Dinan. Sur différents types de fluides, ça se joue à un ou 2 %, ce n'est pas représentatif. Le vrai enjeu, effectivement, c'est l'acceptation de ce que ça fait pour les équipes techniques de mettre les mains dans un fluide. C'est en fait le choix qui a été le nôtre, de nʼimmerger aucune des connectiques. Il nʼy a uniquement que la partie compute calcul et chipset qui est en immersion. Toute la partie connecteur est vraiment au-dessus du fluide de manière à ce que ça permette l'acceptation pour les équipes techniques, de ne pas mettre les mains dans un fluide en fait.
Pour la partie connectique, qui a été placée à l'arrière, nous avons redondé l'intégralité de la chaîne, que ce soit la partie LAN, la partie électrique, la partie hydraulique, justement pour être capable de pouvoir changer des équipements en mode production. L'enjeu majeur de la dernière version de notre bac, ce sont les travaux qu'on a fait au niveau des circulateurs par rapport à la pompe initiale. Nous avons désormais deux circulateurs qui nous permettent de gérer avec une variation la nécessité d'évacuation de la calorie ou de récupération selon comment on se positionne dans la chaîne primaire ou secondaire. Et avec un système de pilotage en mode bus qui nous permet de remonter dans l'intégralité des tableaux de contrôle et de pilotage de la cuve elle-même. Il faut savoir que dans le choix que l'on a fait dans nos installations, chaque cuve est indépendante. On ne
mélange pas les fluides d'une cuve à une autre pour des raisons diverses, notamment dans nos choix de maintenance. Nous faisons de manière annuelle un prélèvement sur le fluide pour être sûr qu'il garde toutes ses facultés et qu'il n'y a pas une hygrométrie trop forte au niveau du fluide.
Le circuit secondaire est du même acabit d'un point de vue pilotage, on a mis également des circulateurs. Wilo est capable de gérer au plus fin la partie gestion de la calorie et récupération de la chaleur fatale en termes de variation, de données et de métriques. Tout est intégré sur la cuve, avec la partie pompe. Dans une installation sur laquelle on enchaîne les cuves, on supprime le placard technique, et on traite toute la partie pompage et échangeur dans un local qui est dédié. En termes de gains, c'est une vraie question parce que c'est un des enjeux majeurs. Aujourd'hui, on baisse de 40 % la consommation énergétique parce qu'on n'a pas du tout besoin de climatisation. Et surtout on récupère aujourd'hui plus de 90 % de la chaleur fatale que lʼon convertit à plus de 90 % en l'électricité pour des usages X ou Y, soit en eau chaude sanitaire, soit en chauffage de bâtiment ou en apport calorifique sur une piscine.
Retrouvez l’intégralité des interviews de Nicolas Boulinguiez d’Hyperion sur notre chaine YouTube.
Motul : production française de fluide au service de l’immersion
Christophe Lacroix
directeur de lʼinnovation et du développement durable Motul
Si la société familiale française Motul est plus connue pour ses huiles dans les courses automobiles, elle entretient également lʼesprit de curiosité et dʼinnovation dʼune entreprise de la mobilité. Jusquʼà travailler avec Hyperion afin dʼélaborer un fluide diélectrique monophasé qui répond aux attentes de la solution dʼimmersion en data center de ce dernier.
Nous nous sommes entretenus avec Christophe Lacroix, directeur de lʼinnovation et du développement durable de Motul.
Datacenter Magazine : Comment Motul en est venue à développer un fluide diélectrique pour le refroidissement par immersion dans le data center ?
Christophe Lacroix : Motul est fabricant de fluides spéciaux depuis plus de 170 ans et a toujours trouvé sa croissance via une grande curiosité et un désir de performance, tout cela soutenu par de lʼinnovation. Nous avons plusieurs verticales définies pour les mobilités de demain, notamment sur le véhicule élec-
trique pour lequel nous travaillons sur le refroidissement des batteries avec des fluides diélectriques qui circulent autour des cellules, des batteries à immersion. Le fluide diélectrique dispose de la capacité dʼextraire de la chaleur et il est non conducteur. Dans cette configuration, toute la batterie et son électronique sont immergés. Dʼune carte pour une solution de BMS (Battery Management System) jusquʼaux serveurs, il y a ce pas que nous avons franchi.
Comment concevoir un fluide pour le data center ?
Notre produit est un fluide monophasé développé sur une base biosourcée et renouvelable. Le refroidissement par immersion permet dʼutiliser moins dʼélectricité et ne nécessite pas dʼeau froide. Il contribue donc à réduire lʼimpact environnemental du data center tout en assurant une performance optimale dʼextraction de calories. Pour son développement, nous avons travaillé avec un de nos partenaires, Nicolas Boulinguez et Hyperion (lire notre interview). Outre le fluide, de très nombreuses choses entrent en ligne de compte. Avec le risque de sortir un produit qui ne correspond pas au cahier des charges. Nous devons répondre à un besoin client, prendre en compte la typologie du bain, le type et la densité des serveurs, qui optimise la performance des pompes, etc...
Concernant les matériaux dans les serveurs, nous effectuons de nombreux de tests en fonction de la nature des câbles, des pattes, des joints, car le fluide peut interagir avec certains de ces matériaux. Cʼest pour cela que nous effectuons des tests sur tous les câbles, ainsi que sur tous les matériaux de type plastique et joints hors la carte mère.
Motul est suffisamment agile pour optimiser ses formules et répondre au mieux aux besoins clients, apporter support, solutions, et suivi dans le temps. Nous ne sommes pas intégrés verticalement avec notre propre raffinerie, mais nous avons par contre la capacité dʼoptimiser différents fluides ( huiles et autres), et dʼajouter des additifs pour remplir le cahier des charges. Notre approche artisanale nous permet de répondre à un besoin spécifique. Nous disposons également de services, dont de si-
mulation numérique pour optimiser les flux hydrodynamiques et thermiques, et pas seulement le fluide. Et à la demande, nous effectuons la prise dʼéchantillons pour suivre lʼévolution.
Quelle est votre perception de lʼimmersion dans les data centers ?
Lʼimmersion change la donne pour le monde du data center. Il ne faut plus raisonner en salles IT, mais sʼadapter à la salle, à la compatibilité des équipements. Nous avons travaillé en interaction avec Hyperion. Il faut analyser les flux dʼécoulement, comme dans les batteries, se poser la question des débits, des bains, des différentes technologies de
refroidissement. Nous avons par exemple développé un fluide de nettoyage pour retirer le fluide et accélérer le séchage. Nous avons fait le choix de travailler à impact carbone réduit, avec des produits majoritairement biosourcés car lʼimmersion dans le monde du data center participe aussi à réduire son impact environnemental.
Les premières expériences dʼimmersion des serveurs ont rencontré des difficultés de corrosion liées à la qualité des huiles et à celle des composants.
Nous avons minimisé un grand nombre de problèmes de compatibilité des matériaux, afin de ne pas affecter
la qualité des cables et perturber les signaux. Notre produit assure une homogénéité de propriétés indispensables au bon fonctionnement de lʼimmersion et répond favorablement à des cahiers des charges précis. Nous supportons la compatibilité OCP (Open Compute Project) si besoin. En fait, OCP partage un guide mais il nʼexiste pas de réelles normes actuellement pour ces fluides. Leurs caractéristiques sont intimement liées aux configurations. On peut citer par exemple des demandes qui portent sur des produits différents, des viscosités très faibles proches de lʼeau pour certains types de refroidissement (fontaine, spray…), des produits dont la viscosité permet dʼoptimiser la puissance des pompes dʼune installation, … Cʼest dans ce sens là que nous faisons du sur mesure et quʼil est nécessaire dʼavoir une interaction forte avec le client.
Lʼinnovation semble porter sur le biphasique…
Le fluide biphasique est aujourdʼhui une base fluorée. Sa caractéristique, cʼest quʼil change dʼétat, se vaporise au contact dʼune surface chaude. Lʼextraction de la chaleur se produit lors du changement de phase (dans des systèmes ouverts on peut observer la formation de bulles qui recondensent après dans le fluide).
Mais sa production nʼest pas facile au niveau chimie, son bilan carbone de fabrication est beaucoup moins favorable.
Et lʼimmersion face en DCL (Direct Liquid Cooling) ?
Le DLC est une chose qui marche très bien, avec de lʼeau glycolée. Cʼest un solution existante très efficace au regard de lʼimmersion mais qui peut présenter des inconvénients : dans le temps on peut constater la présence de champignons, de bactéries qui peuvent venir de lʼeau, et les fuites qui existent peuvent endommager très fortement les GPUs et CPUs. Ceci peut causer des problèmes de coût (au regard du prix des GPU par exemple), dʼinterruptions de service, de contrôle des températures, etc. Tout doit être maîtrisé dans le DLC, la mainte-
nance, la qualité de lʼeau, la plomberie, les débits…
Lʼimmersion est une technologie robuste, soit en statique (avec une inertie du bain suffisante) et/ou dynamique (lʼécoulement entre les serveurs). Cʼest lié à la forme du bain, à la densité des serveurs, aux surfaces de contact. Et la durée de vie dʼun fluide est de plus de 10 ans. Les propriétés diélectriques ne changent pas dans le temps. Il faut juste vérifier la qualité du fluide en cas de changement et de renouvellement des serveurs, lors des manipulations, sinon il nʼy a pas de consommation. Lʼimmersion est durable dans le temps et sʼinscrit dès lors dans une démarche environnementale.
La Communauté de communes de l’Ernée déploie un système
d’immersion cooling
Laurent LEMAITRE
Responsable Service
Système dʼInformation Communauté de communes de lʼErnée
La Communauté de communes de lʼErnée, soutenue par le département de la Mayenne, devient la 1ère collectivité territoriale française à déployer dans ses locaux un système dʼimmersion cooling, en partenariat avec le Groupe Numains et sa filiale Hyperion. Datacenter Magazine revient sur ce projet avec Laurent LEMAITRE, Responsable Service Système dʼInformation de la Communauté de communes.
Datacenter Magazine : La Communauté de communes de lʼErnée sʼest engagée à
déployer deux datacenters durables pour lʼensemble des 15 communes membres de son service commun Systèmes dʼInformation. Pourquoi avoir choisi la solution de lʼimmersion ?
Laurent LEMAITRE : Lʼimmersion est une solution qui colle au besoin de ne pas surclimatiser la salle informatique dans le cadre de notre engagement pour des actions responsables. Dans notre recherche de solutions de Green-IT dans le respect de nos obligations locales, nous
avons fait le choix dʼéviter le reconditionnement aux coûts élevés, et de trouver de vraies actions. Cʼest là quʼa émergé lʼidée de lʼimmersion. Nous avons lancé un appel dʼoffre, auquel a répondu le Groupe Numains avec lequel nous travaillons déjà, et dont la situation géographique nous est proche.
Nous éprouvions le besoin de revoir notre infrastructure et de passer par l'hyper convergence. La solution devait décoréler lʼIT du siège, sur deux sites. Un site principal dont
toute la chaleur entre dans le préchauffage du centre aquatique et dʼun centre de fitness. Et un site de redondance interconnecté au chauffage classique à eau, avec un PRA (Plan de reprise dʼactivité). Et en plus, gagner sur la sur-climatisation des équipements en air. La solution proposée par le Groupe Numains et sa filiale Hyperion, un bac en immersion sur chaque site, a été retenue après une étude de faisabilité réalisée avec Cegelec DC. Numains est un contact à taille humaine, qui facilite le dialogue et les échanges. Avec lequel nous avons travaillé sur des solutions pour minimiser les impacts. Nous avons également privilégié les acteurs locaux sur le département. Cʼest un saut dans le grand bain !
Quelles étaient les spécificités de votre projet ?
Nous avons conçu ce projet dans lʼoptique dʼun changement de paradigme avec un énorme enjeu environnemental. Cʼest une action qui sʼinscrit dans celui dʼactions plus globales, dont la performance énergétique, subventionnées par
le département de la Mayenne. Cʼest un investissement sur 15 ans dont le montant global est public : 506 000 € HT. Les deux bac à immersion ont représenté environ 90 000 € HT - cʼest le coût de lʼinnovation, le saut technologique est couvert par des subventions - auxquels il faut ajouter lʼintégration de la fibre, lʼaménagement des locaux, lʼinfrastructure de PRA (plan de reprise dʼactivité), la maintenance et le licencing. Ce dernier poste de coût représente un cinquième du projet.
On imagine que la relation et l'accompagnement sont essentiels dans ce type de projet innovant.
En effet, et nous avons profité dʼune relation exceptionnelle avec nos prestataires. Il est important de se faire accompagner, surtout quand il sʼavère un peu compliqué de comprendre les hydrauliques. Cʼest pourquoi nous avons demandé une étude de faisabilité auprès de Cegelec DC. Un projet de data center à refroidissement en immersion est un investissement à long terme, qui nécessite lʼaménage-
ment des locaux, le renouvellement des infrastructures, du licencing.
Le site de production principal est situé au sous-sol dʼune piscine. Cʼest un environnement corrosif, avec de la vapeur et de lʼoxydation. Nous avons donc demandé une cuve en aluminium, avec moins de pliures et de soudures. Et pour obtenir une déperdition minimale, une double paroi. Le choix des serveurs nʼest pas un problème, lʼimmersion participe à la durabilité des matériels, il nʼy a pas de poussière et pas de panne. Et nous pourrons faire évoluer notre infrastructure au gré de nos besoins, la solution offre beaucoup de flexibilité. Cʼest une configuration hybride, avec des couches applicatives accessibles uniquement en mode SaaS, qui nous permet de ne pas mettre tous nos œufs dans le même panier.
Quels conseils donneriezvous aux organisations qui souhaiteraient sʼengager sur un projet de data center en immersion ?
De correctement dimensionner les économies engagées. Et pour cela de réaliser une étude de faisabilité en amont, à la fois sur le projet financier et sur le RoI (retour sur investissement). Et ne pas avoir peur dʼy aller, cʼest une technologie qui devient accessible. Il nʼy a pas de gros frein. Il y a une barrière que je me mettais moi-même, mais le liquide est sans problème pour la santé. Tout est aisé. Je me posais des questions sur les économies à terme, la réponse est venue de lʼétude de faisabilité en amont. Pour le reste, on est sur une infrastructure classique. Et cʼest un travail dʼéquipe, lʼIT, le service environnement, les services techniques, le service
des eaux pour les interco… Pour pouvoir basculer sur un RoI, il faut prendre en compte le coût de l'énergie et faire attention à ce que lʼon consomme. Lʼidée globale est de changer de paradigme, avec le soutien des élus. Cʼest un projet dans le grand projet. La Communauté de communes de lʼErnée a choisi de sʼengager dans cette démarche dans le cadre dʼune politique globale de développement durable. Plus quʼun engagement envers le numérique responsable, cʼest avant tout un engagement pour lʼavenir, contre le gaspillage énergétique des datacenters, pour la souveraineté numérique et vers la neutralité carbone dʼici 2040.
