L’IA peut-elle lire dans nos pensées ?

EN BREF

£ Une IA a été capable de reconstituer sous forme d’images des scènes observées par des individus au moyen d’une simple analyse de l’activité électrique de leur cerveau par IRM fonctionnelle.

£ Cette prouesse a été rendue possible après que l’IA a appris à associer images et activité électrique cérébrale, grâce à une importante banque de données issues de 10 000 IRM fonctionnelles avec leurs images.

£ L’IA n’est en revanche pour l’instant pas en mesure de déterminer ce à quoi pense un individu, mais seulement de reconstituer ce qu’il observe dans la réalité.

L’imagerie par résonance magnétique fonctionnelle (IRMf) est un des outils les plus avancés pour comprendre comment nous pensons. Lorsqu’une personne placée dans un scanner IRMf accomplit diverses tâches mentales, la machine livre des images colorisées de grande qualité de son cerveau en action, chaque couleur permettant d’apprécier l’intensité de l’activité cérébrale.

Les neuroscientifques sont ainsi en mesure d’identifer avec précision les zones du cerveau utilisées chez une personne lors d’une tâche mentale. À ce jour, toutefois, cela ne leur permettait pas d’accéder à ce qu’elle pense, voit ou ressent. Cette situation pourrait être en passe de changer. Deux scientifques japonais ont récemment combiné des données issues de l’IRMf avec la puissance d’une intelligence artifcielle (IA) de pointe génératrice d’images, afn de reconstituer les images mentales d’une personne à partir de son activité cérébrale. Résultat : les scènes visuelles engendrées par l’IA ont une ressemblance saisissante avec celles que les personnes testées ont vues pendant qu’on scannait leur cerveau. Les images originales et les images recréées par l’IA sont présentées ci-dessous, et peuvent être consultées sur le site web des chercheurs.

UNE FUTURE AIDE AUX PARALYSÉS ?

« Nous pourrions utiliser ce type de techniques pour construire de potentielles interfaces cerveau-machine », explique Yu Takagi, neuroscientifque à l’université d’Osaka, au Japon, et l’un des auteurs de l’étude. Ces futures interfaces pourraient un jour venir en aide aux personnes qui ne peuvent pas communiquer, incapables de parler ou de réagir, mais encore conscientes [en faisant voir à l’entourage les images mentales auxquelles pense le patient, ndlr].

L’étude, récemment acceptée pour être présentée à la Conference on Computer Vision and Pattern Recognition 2023, a d’ores et déjà suscité des remous depuis qu’elle a été publiée en ligne en décembre 2022 sous forme de préimpression, ou « préprint » (étude non examinée par des pairs ou pas encore publiée). Des commentateurs en ligne ont même comparé cette technologie à la « lecture de l’esprit ». Mais, selon certains experts, cette description en surestimerait les capacités.

« Je ne crois pas qu’il s’agisse ici de lire réellement dans les pensées », détaille ainsi Shailee Jain, neuro-informaticienne à l’université du Texas à Austin, qui n’a pas participé à l’étude en question. « Et je ne pense pas non plus que cette technologie puisse être utile de sitôt aux patients – ni qu’elle soit employée à de mauvaises fns – pour le moment. Mais cela s’améliore de jour en jour. »

Cette nouvelle étude est loin d’être la première à utiliser l’IA pour reconstruire des images visualisées par des personnes à partir de leur activité cérébrale. Lors d’une expérience menée en 2019, des chercheurs de Kyoto, au Japon, ont utilisé un type d’apprentissage automatique appelé « réseau neuronal profond » pour reconstruire des images vues par des personnes à partir de scans IRMf de leur cerveau. Mais les résultats ressemblaient davantage à des peintures abstraites qu’à des photographies… (bien qu’il ait toutefois été aisé pour les chercheurs de faire correspondre avec précision les images créées par l’IA aux images originales).

Or, depuis, les neuroscientifques ont poursuivi ce travail avec des générateurs d’images d’IA plus récents et plus performants. Dans cette récente étude, les chercheurs ont utilisé un modèle dit « de diffusion », créé par la start-up londonienne Stability AI, appelé Stable Diffusion. De tels modèles fonctionnent en ajoutant du bruit (visuel) aux images qu’on leur soumet. Comme les parasites à la télévision, le bruit déforme les images, mais d’une manière prévisible que l’IA fnit par repérer et apprendre. De sorte qu’à la fn elle est capable de produire des images à partir de simples parasites. C’est notamment d’après ce principe que fonctionne la plus connue des IA génératrices d’images, Dall-E 2. Le modèle de diffusion est aujourd’hui, selon Takagi, « le moteur principal de l’explosion de l’IA ».

Mis à la disposition du public en août 2022, Stable Diffusion a été entraîné à partir de milliards de photographies et de leurs légendes associées. Il a appris à reconnaître des caractéristiques types dans les images (par exemple, un visage), ce qui lui permet de mélanger et d’associer des caractéristiques visuelles sur commande pour créer des images entièrement nouvelles. « Il sufft de lui dire “Un chien sur un skateboard” pour qu’il génère un chien sur un skateboard », explique Iris Groen, neuroscientifque à l’université d’Amsterdam, qui n’a pas participé à la nouvelle étude. « Les chercheurs ont simplement pris ce modèle et se sont demandé s’il était possible de le relier de manière intelligente aux scanners cérébraux. »

UN PRÉLÈVEMENT CÉRÉBRAL D’IMAGES

En haut, les images montrées aux volontaires. En bas, les images « devinées » par l’IA à partir de l’activité cérébrale des participants.

Les scanners cérébraux utilisés dans ces nouveaux travaux proviennent d’une base de données de recherche contenant les résultats d’une étude antérieure dans laquelle huit participants avaient accepté de s’allonger régulièrement dans un scanner IRMf et de visionner 10 000 images au cours d’une année. De quoi fournir une énorme base de données IRMf qui montre comment les centres de vision du cerveau humain (ou du moins les cerveaux de ces huit participants humains) réagissent à la vue de chacune des images. Dans l’étude récente, les chercheurs ont utilisé les données de quatre des participants initiaux.

Pour produire les images reconstruites, le modèle d’IA doit travailler avec deux types d’informations différents : les propriétés visuelles dites « de bas niveau de l’image » et sa signifcation de « haut niveau ». Par exemple, il n’est pas seulement question de déterminer qu’il s’agit d’un objet anguleux et allongé sur un fond bleu, mais bel et bien d’un avion dans le ciel… Le cerveau travaille également avec ces deux types d’informations et les traite dans des régions différentes. Pour relier les scanners cérébraux et l’IA, les chercheurs ont utilisé des modèles linéaires pour associer les parties de chaque région qui traitent les informations visuelles de niveau inférieur. Ils ont fait de même avec les parties qui traitent les informations conceptuelles de haut niveau.

En les mettant en correspondance, ils ont été en mesure de générer ces images, explique Iris Groen. Le modèle d’IA a alors acquis la capacité d’apprendre quels motifs subtils de l’activation cérébrale d’une personne correspondent à quelles caractéristiques des images. Une fois cette étape franchie, les chercheurs ont fourni à l’IA des données d’IRMf qu’elle n’avait jamais vues auparavant, et lui ont demandé de produire l’image correspondant à ces données. Enfn, ils ont comparé l’image générée à l’image originale afn d’évaluer les performances du modèle.

LA LIMITE : L’UNICITÉ DE CHAQUE CERVEAU

De nombreuses paires d’images présentées par les auteurs de l’étude montrent des similitudes frappantes. « Ce que je trouve passionnant, c’est que cela fonctionne », déclare Ambuj Singh, informaticien à l’université de Californie à Santa Barbara, qui n’a pas participé à l’étude. Cela ne signife pas pour autant que les scientifques ont compris exactement comment le cerveau traite le monde visuel, précise le chercheur. Le modèle de diffusion stable ne traite pas nécessairement les images de la même manière que le cerveau, même s’il est capable de produire des résultats similaires. Les auteurs espèrent que la comparaison entre ces modèles et le cerveau permettra de mieux comprendre le fonctionnement interne de ces deux systèmes complexes.

Aussi exceptionnelle que cette technologie puisse paraître, elle présente de nombreuses limites. Chaque modèle doit en effet être entraîné sur les données d’une seule personne et les utiliser. « Le cerveau d’un individu est vraiment différent de celui d’un autre », explique Lynn Le, neuroscientifique informatique à l’université Radboud, aux Pays-Bas, qui n’a pas participé aux recherches. Si vous souhaitez que l’IA reconstruise des images à partir de vos scanners cérébraux, il vous faudra former un modèle personnalisé et, pour cela, les scientifques auront besoin d’une multitude de données IRMf de haute qualité provenant de votre cerveau. À moins que vous ne consentiez à rester parfaitement immobile et à vous concentrer sur des milliers d’images à l’intérieur d’un tube IRM bruyant et exigu, aucun modèle d’IA existant ne disposerait de suffsamment de données pour commencer à décoder votre activité cérébrale !

Même avec ces données, les modèles d’IA ne sont effcaces que pour les tâches pour lesquelles

Bibliographie ils ont été explicitement formés, explique Shailee Jain. Un modèle formé sur la façon dont vous percevez les images ne fonctionnera pas pour essayer de décoder les concepts auxquels vous pensez –bien que certaines équipes de recherche, dont la sienne, construisent d’autres modèles pour cela.

Autre question en suspens : on ne sait pas encore si cette technologie serait à même de reconstruire des images que les participants n’ont fait qu’imaginer et qu’ils n’ont pas vues de leurs yeux. Cette capacité serait nécessaire pour de nombreuses applications technologiques, telles que l’utilisation d’interfaces cerveau-ordinateur pour aider les personnes incapables de parler ou de faire des gestes à communiquer.

« Il y a beaucoup à gagner, d’un point de vue neuroscientifque, en construisant une technologie de décodage », déclare Shailee Jain. Mais les avantages potentiels s’accompagnent aussi de dilemmes éthiques, et il sera de plus en plus important de les résoudre au fur et à mesure que ces techniques s’amélioreront. Les limites actuelles de la technologie ne sont pas une excuse suffsante pour prendre à la légère les inconvénients potentiels du décodage. « Même si nous n’en sommes pas encore au stade où cela pourrait se produire, je pense qu’il est temps de réféchir à la protection de la vie privée et aux utilisations négatives potentielles de cette technologie », conclut la neuro-informaticienne. £

Face au changement climatique, comment le cycle de l’eau est-il impacté ? Quels défs techniques et sociétaux nous attendent ?

Quels modèles d’adaptation peut-on trouver dans le vivant ?

À l’occasion de l’exposition

Urgence climatique, à partir du 16 mai 2023, à la Cité des sciences et de l’industrie, découvrez vite le cycle de conférences Des solutions pour s’adapter d’urgence.

En accès libre

À l’auditorium de la Cité des sciences et de l’industrie, retransmis sur cite-sciences.fr

Des solutions pour s’adapter d’urgence

Samedi 13 mai à 14h30

Biodiversité : réensauvager la France ?

Découvrez des exemples de réintroductions d’animaux disparus et de respect de la biodiversité en France lors d’une conférence de Béatrice Kremer-Cochet et Gilbert Cochet, naturalistes ; puis explorez le canal de l’Ourcq et le parc de la Villette avec Marc Giraud, naturaliste et chroniqueur radio.

En partenariat avec l’Association de Protection des Animaux Sauvages.

Mardi 16 mai à 18h30

Inondations, sécheresses : le cycle de l’eau bouleversé ?

Comment s’adapter à ces situations extrêmes ? Quels rôles pourraient jouer les barrages-réservoirs ? Quelles alternatives imaginer ?

Avec Vazken Andréassian, hydrologue, directeur de l’Unité de Recherche Hycar à l’Inrae.

Mardi 30 mai à 18h30

La robustesse, clé de l’adaptation du vivant

Notre société valorise la performance tandis que les sciences de la vie nous apprennent le rôle fondamental des erreurs, des lenteurs et des incohérences dans la construction du monde naturel.

Avec Olivier Hamant, biologiste, directeur de recherche à l’Inrae, Laboratoire de reproduction et développement des plantes.

Mardi 6 juin à 18h30

Sociétés : de la vulnérabilité aux trajectoires d’adaptation

Retrouvez l’ensemble des conférences :

Sommes-nous capables d’anticiper le futur ? De faire évoluer notre rapport aux ressources, à l’environnement et aux autres ?

Avec Alexandre Magnan, géographe, chercheur « adaptation au changement climatique » à Iddri - Sciences Po.

Avec le soutien de :