Fuchs le traite dela realite virtuelle volume4 2006 by World Federation of Science Journalists

PRÉFACE

François d’Aubert

En parcourant le traité de la réalité virtuelle, le lecteur découvrira une large réflexion collective sur ce nouveau secteur d’activités, issu de recherches à la croisée des sciences de l’ingénieur et des sciences cognitives. Au-delà de l’aspect technique, clairement développé tout au long de ce traité, il se dégage un nouveau mode de travail et d’expérimentation : l’homme, s’extrayant de son environnement quotidien, peut observer, agir, dialoguer, se former... en un mot, vivre dans un nouvel univers artificiel. Ce nouveau paradigme ouvre des horizons prometteurs dans des domaines aussi variés que celui de la formation, de la santé, de l’urbanisme, de la simulation scientifique et de l’industrie. Cette dernière, s’interrogeant en premier sur cette source d’innovations technologiques, a franchi une étape décisive, passant d’une réflexion sur les potentiels de la réalité virtuelle à des outils d’exploitation, maintenant opérationnels. A l’heure de la mondialisation de l’économie, il est réconfortant de voir la vitalité de la recherche française et de ses retombées auprès des entreprises. Le volume du traité sur les applications est là pour témoigner des potentialités effectives de la réalité virtuelle. Le lecteur y découvrira les applications des grands secteurs de l’économie française, mais aussi dans des domaines où nous l’attendions moins : l’archéologie, les géosciences, la psychothérapie pour ne citer que ceux-ci. Derrière le côté attrayant de la réalité virtuelle, se cachent en fait des travaux très complexes de modélisation informatique. Un volume sur ce thème aborde ce sujet, écrit par les meilleurs spécialistes français. D’autres problématiques sont traitées également dans deux autres volumes, couvrant le grand champ scientifique que sollicite la réalité virtuelle : la modélisation du comportement de l’homme dans ces nouveaux environnements virtuels et la création d’interfaces adaptées à son immersion. Ce traité est un fameux défi, pris sur l’initiative du Professeur Philippe Fuchs, qui a su, grâce à une connaissance du domaine et de la communauté des chercheurs, convaincre ces derniers de réaliser collectivement cette œuvre originale et unique dans le domaine des livres scientifiques. Je suis convaincu que ce traité éclairera le chercheur, l’entrepreneur et tout lecteur par l’étendue des sujets rédigés avec un souci d’excellence scientifique et pédagogique. Souhaitons que nos jeunes diplômés trouveront plaisir à s’informer sur ce domaine innovant et que celui-ci suscitera des vocations pour cet immense défi. En tant que Président de l’agglomération lavalloise et ancien Ministre de la Recherche, j’ai été très heureux d’aider au développement de la réalité virtuelle en France. La recherche et les entreprises françaises ont réussi à se hisser au premier plan européen. Ce traité en sera un témoignage instructif pour tous nos concitoyens ainsi qu’au niveau international. Laval continuera, par l’intermédiaire de son congrès international «Laval Virtual», de promouvoir cet ensemble de sciences et de techniques, en permettant aux chercheurs et aux professionnels de prendre encore plus conscience des enjeux de la réalité virtuelle.

Le traité de la réalité virtuelle

Nous pouvons être fiers d’avoir en France une communauté aussi performante que dynamique sur ce domaine, situé à l’interface de plusieurs secteurs de la Recherche : c’est un aboutissement de l’évolution de sciences et de techniques informatiques, mais c’est aussi un nouveau départ vers des espaces, certes virtuels, mais fertiles pour notre société si nous savons en tirer des profits durables et réfléchis. Monsieur François d’Aubert Président de l’agglomération lavalloise Maire de Laval Ancien Ministre de la Recherche

AVANT-PROPOS

Philippe Fuchs et Guillaume Moreau

Depuis une quinzaine d’années, la réalité virtuelle s’est développée en France. Celle-ci ouvre potentiellement de nouvelles perspectives pour notre société. Mais soyons réalistes, la réalité virtuelle induit d’abord bien des défis scientifiques pour les chercheurs et pour les professionnels. Nous avons participé avec enthousiasme à l’éclosion de la réalité virtuelle en France, conscients de l’immensité de la tâche. Pour notre part, nous avons développé à l’Ecole des Mines de Paris des recherches théoriques et appliquées sur l’interfaçage du sujet dans un environnement virtuel. Durant nos travaux de recherche, nous avons souhaité faire une tâche d’information sur les avancées du domaine. En 1996, Philippe Fuchs a rédigé un premier livre : «les interfaces de la réalité virtuelle». En 2001, Guillaume Moreau, Jean-Paul Papin et Philippe Fuchs, conscients de l’absence de livre récent en français, ont écrit une première édition du «Traité de la Réalité Virtuelle». Mais aucun chercheur ne peut avoir une connaissance précise de tous les secteurs de la réalité virtuelle, interdisciplinaire par essence. Nous avons souhaité que d’autres chercheurs français participent à la rédaction du traité pour une deuxième édition. Ce fut obtenu d’autant plus facilement que l’ensemble de ces chercheurs collaborait déjà dans des projets communs, dont la plateforme PERF-RV. De nouveaux chapitres ont été rédigés par des chercheurs de l’ENIB, de l’IRISA, de l’INRIA, de l’AFPA, de l’Ecole des Mines de Paris et du CNRS. Parallèlement à la parution en 2003 de la deuxième édition, nous avons continué à œuvrer pour rassembler les communautés concernées, des sciences de l’ingénieur aux sciences cognitives. Nous avons participé à des actions interdisciplinaires : l’Action Spécifique du CNRS Réalité Virtuelle et Cognition, animée par Patrick Bourdot et Philippe Fuchs, les journées RéViCo (Réalité Virtuelle et Cognition) qui se déroulèrent à l’ENST, sous la direction de A. Grumbach et N. Richard en décembre 1999, et l’école thématique Réalité Virtuelle et Sciences du Comportement du CNRS, organisée par Jean-Louis Vercher et Daniel Mestre. Dans ce cadre très ouvert d’échanges et de collaborations, nous avons souhaité poursuivre notre œuvre collective de rédaction par une troisième édition relativement complète et plus interdisciplinaire. Pour réaliser cette troisième édition plus étendue, nous avons mis en place un comité de rédaction, composé d’experts en réalité virtuelle provenant de différentes disciplines : • • • • • • • • •

Bruno Arnaldi, Professeur et chercheur à l’INRIA ; Alain Berthoz, Professeur au Collège de France et membre de l’Académie des Sciences ; Jean-Marie Burkhardt, Maître de Conférences à l’université Paris V ; Sabine Coquillart, Directrice de recherches à l’INRIA, Philippe Fuchs, Professeur à l’Ecole des Mines de Paris. Pascal Guitton, Professeur et chercheur à l’INRIA ; Guillaume Moreau, Maître de Conférences à l’Ecole Centrale de Nantes ; Jacques Tisseau, Professeur à l’ENIB ; Jean-Louis Vercher, Professeur à l’Université d’Aix-Marseille ;

Le traité de la réalité virtuelle

La tâche de ce comité de rédaction, animé par Philippe Fuchs, fut d’organiser les contenus, de proposer des auteurs et de s’assurer de la cohérence de l’ouvrage. Les membres du comité ont veillé à l’homogénéité du discours afin que le livre soit accessible à tout public de disciplines différentes, tout en étant interdisciplinaire dans son contenu. La réalisation de cet ouvrage, essentiellement collectif, fut sous la direction de Philippe Fuchs et la coordination générale de Guillaume Moreau. Chaque volume a été coordonné par deux membres du comité. Le comité a défini les objectifs du traité, manuel destiné à la fois aux concepteurs et aux utilisateurs de la réalité virtuelle. Il a pour but de leur fournir un état, aussi complet que possible, des connaissances sur la réalité virtuelle dans les domaines suivants : informatique, mécanique, optique, acoustique, physiologie, psychologie, ergonomie, éthique, ... Il doit être l’ouvrage de référence du domaine et un guide de conception pour aider le lecteur dans la réalisation de son projet de réalité virtuelle. En second lieu, il s’agit de formaliser une réflexion originale et d’aider à une conceptualisation de cette discipline. La structuration du traité en quatre volumes ainsi que les contenus de ces volumes sont présentés dans le premier chapitre d’introduction de chaque volume. Après avoir précisé le domaine de la réalité virtuelle et les problématiques qui en découlent, nous explicitons notre choix d’organisation en quatre volumes. Pour permettre à chaque lecteur de débuter la consultation du traité par le volume de son choix, le début de tous les chapitres 1 des quatre volumes est identique sur une douzaine de pages. Le concept de base de cet interlivre, rédigé par des interauteurs et interdisciplinaire dans son contenu, a pour objectif de fournir à toute personne un document de référence sur la réalité virtuelle. Notre ambition est de proposer des éditions du traité réactualisées, sachant qu’une réédition périodique est possible grâce à la réactivité de l’éditeur, les Presses de l’École des Mines de Paris. Nous tenons à remercier en premier les coordonnateurs, membres du comité de rédaction. Sans eux, cette troisième édition n’aurait pas pu voir le jour et, grâce à leur notoriété, ils nous ont permis de rassembler la communauté française du domaine pour concrétiser cette œuvre collective. Nos remerciements s’adressent évidemment aux 75 auteurs, chercheurs ou professionnels, ainsi qu’aux 12 contributeurs qui ont écrit les 63 chapitres du traité. Malgré leurs charges professionnelles, ils ont pris le temps nécessaire pour rédiger, généralement collectivement, des chapitres concis et pertinents sur leur secteur de recherches ou d’activités. Sans leur accord et leur enthousiasme, nous sommes conscients que l’objectif de réaliser un véritable traité de la réalité virtuelle n’aurait jamais pu être atteint. Ce traité est agrémenté par des photographies et des informations fournies par des entreprises que nous remercions de leur collaboration. Nous remercions l’éditeur, les Presses de l’Ecole des Mines de Paris et sa responsable, Madame Silvia Dekorsy, qui nous a aidé à la réalisation de cette troisième édition et qui, avec beaucoup de patience, a pris le temps nécessaire à lire, corriger et améliorer plus de 1700 pages de ce volumineux ouvrage. Notre gratitude va également à Messieurs Benoît Tandonnet et Ahad Yarirad pour leur superbe travail sur les couvertures. Nos remerciements s’adressent au Président de l’agglomération lavalloise, Maire de Laval, Monsieur François d’Aubert, ancien Ministre de la Recherche, qui nous a soutenus dans notre projet et qui nous a fait l’honneur de préfacer notre livre.

Le traité de la réalité virtuelle est issu d’un projet rédactionnel ambitieux et fédérateur. Nous espérons, cher lecteur, que vous apprécierez ce traité, comme nous avons pris plaisir à le rédiger avec les autres auteurs et à transmettre nos idées.

Le traité de la réalité virtuelle

LES AUTEURS

DIRECTION DU TRAITÉ Philippe Fuchs est à l’initiative du «Traité de la réalité virtuelle» et dirige la rédaction de l’ouvrage, dont c’est la troisième édition. Professeur à l’Ecole des Mines de Paris, il est le responsable de l’équipe Réalité Virtuelle et Réalité Augmentée au Centre de Robotique. Ses recherches concernent les aspects théoriques et techniques de l’interfaçage en Réalité Virtuelle. Il est auteur ou coauteur des chapitres 1, 3, 14 du volume 1 ; des chapitres 1 à 5 et 9 à 12 du volume 2 ; du chapitre 1 du volume 3 ; des chapitres 1, 2 du volume 4. (philippe.fuchs@ensmp.fr - www.caor.ensmp.fr/∼fuchs) COORDONNATEURS Bruno Arnaldi est professeur à l’INSA de Rennes (Institut National des Sciences Appliquées) et effectue ses recherches à l’IRISA (Institut de Recherche en Informatique et Systèmes Aléatoires UMR 6074) où il dirige, depuis 1992, le projet SIAMES (projet commun INRIA/CNRS). Ses activités de recherche concernent l’informatique graphique et plus précisément l’animation/simulation de systèmes physiques. Il a obtenu un doctorat en informatique de l’Université de Rennes 1 en 1988 et une habilitation à diriger les recherches de l’université de Rennes 1 en 1994. Bruno Arnaldi a été responsable de la plate-forme RNTL PERF-RV (2001-2004) et est membre du Network Management Committee du Réseau d’Excellence INTUITION. Il est coauteur du chapitre 12 du volume 3 et du chapitre 1 du volume 4. (Bruno.Arnaldi@irisa.fr - www.irisa.fr) Pascal Guitton est Professeur d’informatique à l’université Bordeaux 1 où il anime un projet de recherche commun au LaBRI et à l’INRIA baptisé IPARLA. Ses activités dans le domaine de la réalité virtuelle concernent principalement la création d’environnements virtuels, leur visualisation en temps réel et l’interaction 3D avec des données complexes. Il est coauteur du chapitre 3 du volume 3 et du chapitre 1 du volume 4. (Pascal.Guitton@labri.fr - www.labri.fr) AUTEURS Patrick Bourdot est chercheur au LIMSI-CNRS (Orsay), responsable de l’équipe VENISE, ses travaux en Réalité Virtuelle et Augmentée portent sur l’Interaction Multimodale, la Gestion de Scènes et les Architectures distribuées, et leurs applications à la CAO, à l’analyse de données scientifiques et au pilotage distant de véhicules. Il est coauteur du chapitre 16 du volume 2, du chapitre 10 du volume 3, des chapitres 4 et 8 du volume 4. (bourdot@limsi.fr - www.limsi.fr/venise)

viii

Le traité de la réalité virtuelle

Jean-Marie Burkhardt est maître de conférences au laboratoire d’Ergonomie Informatique (LEI) à l’Université Paris 5, et chercheur associé à l’équipe EIFFEL de l’INRIA. Ses recherches portent d’une part sur la conception et l’évaluation des environnements virtuels et, d’autre part, sur l’ergonomie des activités de conception. Il a publié de nombreux articles scientifiques portant sur l’ergonomie cognitive des technologies de la réalité virtuelle et de la réalité augmentée, dans des revues et des conférences (IEEE VR, WHC, EuroHaptics, IPT, CHI, ICMI, INTERACT, IHM, Le Travail Humain...). Il est relecteur ou membre du comité de sélection pour les conférences IEEE VR, ACM SIGGRAPH, CHI, VRIC, EPIQUE et les revues International Journal of Human-Computer Studies et Interacting With Computers. Sur le plan international, il participe au projet européen VIRTHUALIS ainsi qu’au réseau d’excellence européen en Réalité Virtuelle INTUITION. Il participe ou a participé à des projets nationaux (plate-forme RNTL PERF-RV, projets RIAM APLG, SOFI-FIACRE...). Il est auteur du chapitre 5 du volume 1 ; coauteur des chapitres 1, 17 du volume 2 et du chapitre 3 du volume 4. (jean-marie.burkhardt@univ-paris5.fr - www.biomedicale.univ-paris5.fr/ergonomie) Stéphane Donikian est chargé de recherche au CNRS au sein de l’Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA UMR 6074) situé à Rennes, et plus exactement de l’équipe SIAMES (Synthèse d’Images, Animation, Modélisation Et Simulation). Ses axes de recherche concernent entre autres la modélisation du comportement humain, l’animation comportementale réactive et cognitive, la simulation de foules, les environnements virtuels informés et la scénarisation d’environnements virtuels narratifs et interactifs. Il est auteur des chapitres 8 du volume 3 et 12 du volume 4 et coauteur des chapitres 10 et 12 du volume 3. (donikian@irisa.fr - www.irisa.fr/prive/donikian) Rachid Gherbi est Maître de Conférence HDR au LIMSI (Université de Paris-Sud, Orsay). Il est responsable de l’équipe Bioinformatique et membre associé de l’équipe VENISE. Ses principaux intérêts sont : Communication homme-machine, Interaction gestuelle, Réalité Virtuelle et Augmentée et Bioinformatique. Il est coauteur du chapitre 4 du volume 4. (gherbi@limsi.fr - www.limsi.fr/Recherche/Bioinfo.htm) Alain Grumbach est professeur en Intelligence Artificielle à l’Ecole Nationale Supérieure des Télécommunications à Paris (ENST). Son activité de recherche est consacrée aux aspects cognitifs et artistiques de la réalité virtuelle. Avec Nadine Richard, il a organisé les journées "Réalité Virtuelle et Cognition" (ReViCo) à l’ENST en décembre 1999. Il est auteur du chapitre 11 du volume 4. (grumbach@enst.fr - www.enst.fr/∼grumbach) Joan Hérisson est ATER à l’Université Paris-Sud, LIMSI-CNRS (Orsay), membre de l’équipe Bioinformatique et membre associé de l’équipe VENISE. Ses travaux en Bioinformatique portent sur la modélisation 3d des séquences génomiques à grande échelle, au traitement et à l’analyse de ces données ainsi que leur exploration en environnement immersif. Il est coauteur du chapitre 4 du volume 4.

(herisson@limsi.fr - www.limsi.fr/Individu/joe) Pascal Hue est Responsable de famille technique prototypage virtuel à la DGA - Etablissement Technique d’Angers. Il est coauteur du chapitre 13 du volume 4. (pascal.hue@tiscali.fr) Jean-Pierre Jessel est professeur à l’Université Paul Sabatier et responsable de l’équipe Synthèse d’Images et Réalité Virtuelle et de la plate-forme de RV PREVI de l’IRIT. Ses recherches actuelles concernent la Réalité Virtuelle et ses applications au prototypage virtuel et à l’ingénierie collaborative, les simulations distribuées collaboratives, l’interaction 3D et l’animation de personnages. Il est coauteur du chapitre 16 du volume 3 et du chapitre 7 du volume 4. (jessel@irit.fr - www.irit.fr) Evelyne Klinger, ingénieur de l’ENST, est chargée de projets en réalité virtuelle et de cours dans ce domaine à l’ENST, Paris et à l’ENSICAEN. Doctorante au LTCI – ENST, à Paris, ses recherches sont centrées sur les apports de la réalité virtuelle à la prise en charge des troubles cognitifs et comportementaux. Elle réalise des applications fondées sur la réalité virtuelle dans les domaines de la neuropsychologie et de la psychiatrie. Elle est coauteur du chapitre 5 du volume 4. (klinger@enst.fr - www.infres.enst.fr/∼klinger) Jean Lorisson est le responsable de la Réalité Virtuelle du Groupe PSA Peugeot Citroën. Il y a introduit la technologie en 1999 au travers d’une première application destinée au réseau commercial : Picasso Virtuelle. En octobre 2004, il a ouvert le premier Centre de Réalité Virtuelle du Groupe installé au cœur de l’ADN, Automotive Design Network de Vélizy. Il est auteur du chapitre 8 du volume 4. (jean.lorisson@mpsa.com - www.psa-peugeot-citroen.com) Domitile Lourdeaux est enseignant-chercheur à Heudiasyc de l’Université de Technologie de Compiègne. Ses recherches portent sur la conception d’environnements virtuels et l’intelligence artificielle pour les situations d’apprentissage, l’ingénierie des connaissances et la prévention des risques professionnels. Elle exerce aussi une activité de conseil pour l’équipe de réalité virtuelle et réalité augmentée de l’Ecole des Mines de Paris. Elle est contributrice du chapitre 2 du volume 2 et coauteur du chapitre 3 du volume 4. (domitile@hds.utc.fr - www.caor.ensmp.fr/∼domitile) Rose-Marie Marié, médecin neurologue, docteur en sciences, elle développe dans le cadre de l’UPRES-EA 3917 de l’Université de Caen des travaux portant sur la physiopathologie des troubles cognitifs dans des maladies neurologiques comme la maladie de Parkinson et la Sclérose en Plaques. Outre des travaux sur l’imagerie cérébrale, elle se consacre également actuellement à des projets utilisant la Réalité Virtuelle comme outil d’évaluation et de réhabilitation des fonctions cognitives. Elle est coauteur du chapitre 5 du volume 4.

Le traité de la réalité virtuelle

(marie-rm@chu-caen.fr) Daniel Mellet-d’Huart est Chef de projet à l’Unité de veille sur la réalité virtuelle de la Direction de l’ingénierie de l’AFPA (Association nationale pour la formation professionnelle des adultes) et chercheur associé au CERV (Centre Européen de Réalité Virtuelle). Il travaille sur l’ingénierie de conception des environnements virtuels pour l’apprentissage ainsi que sur leurs usages en formation professionnelle. Il est coauteur du chapitre 3 du volume 4. (dmdh@dm-dh.com - www.afpa.fr ; www.cerv.fr) Guillaume Moreau est le coordonnateur du «Traité de la réalité virtuelle». Maître de conférences en informatique à l’Ecole Centrale de Nantes, ses activités de recherche se déroulent au CERMA et portent sur l’utilisation des outils de réalité virtuelle pour l’étude des ambiances architecturales et urbaines ainsi que sur la reconstruction 3D d’environnements virtuels urbains. Il est auteur du chapitre 2 du volume 3 et du chapitre 9 du volume 4 ; coauteur du chapitre 1 du volume 3. (guillaume.moreau@ec-nantes.fr - www.cerma.archi.fr) Jean-Paul Papin est Médecin chef des services (cadre de réserve) du service de santé des armées. Ses axes de recherches concernent l’utilisation de la réalité virtuelle pour faciliter la navigation terrestre et maritime, la diffusion contrôlée des odeurs dans les environnements réels et virtuels, le développement des simulateurs de formation médicale. Il est auteur ou coauteur des chapitres 2, 3 et 16 du volume 1 ; du chapitre 11 du volume 2 ; du chapitre 13 du volume 4 ; contributeur du chapitre 10 du volume 2. (j.papin@wanadoo.fr) Simon Richir est Professeur à l’ENSAM. Il dirige le laboratoire «Presence & Innovation» de Laval. Il est Directeur scientifique de Laval Virtual et Chef de rubrique réalité virtuelle pour les Techniques de l’Ingénieur. Ses domaines d’enseignement et de recherche sont l’innovation technologique, la conduite de projets innovants et la conception de systèmes utilisant les technologies de la Réalité Virtuelle. Il est coauteur du chapitre 2 du volume 4. (simon.richir@angers.ensam.fr - pil.angers.ensam.fr) Indira Thouvenin est enseignant chercheur au laboratoire Heudiasyc de l’Université de Technologie Compiègne. Elle enseigne la réalité virtuelle en cycle ingénieur UTC et elle s’intéresse à l’intégration des connaissances en environnement virtuel. Elle est coauteur du chapitre 7 du volume 4. (Indira.Thouvenin@utc.fr - www.hds.utc.fr) Jacques Vairon est responsable de l’unité Calcul, 3D et Réalité Virtuelle du Service Systèmes et Technologies de l’Information du BRGM. Il est en charge du projet de recherche CARVIMOD : calcul intensif, réalité virtuelle, visualisation et modèles géoscientifiques. Il est auteur du chapitre 6 du volume 4. (j.vairon@brgm.fr - www.brgm.fr)

Robert Vergnieux est docteur d’état en égyptologie et Ingénieur de Recherche au CNRS. Il dirige la Plate-forme Technologique 3D de l’Institut Ausonius, où un odéon de réalité virtuelle vient d’être inauguré. Il travaille sur l’intégration des techniques de la 3D dans la recherche en archéologique. Il est auteur du chapitre 10 du volume 4. (vergnieux@u-bordeaux3.fr - archeovision.cnrs.fr) Jean-Marc Vézien est ingénieur de recherche au LIMSI-CNRS (Orsay), au sein de l’équipe VENISE. Son expertise porte sur la vision par ordinateur, l’interaction multimodale, la gestion de scènes complexes et massives et leur application aux problématiques de réalité virtuelle et augmentée. Il est coauteur du chapitre 13 du volume 2, du chapitre 14 du volume 3 et du chapitre 4 du volume 4. (vezien@limsi.fr - www.limsi.fr/Individu/vezien) Isabelle Viaud Delmon est chercheur au CNRS, laboratoire Vulnérabilité, Adaptation et Psychopathologie à l’hôpital de la Salpêtrière à Paris. Elle travaille avec la Réalité Virtuelle en neurosciences, chez le sujet normal et chez les patients atteints de troubles psychiatriques et neurologiques. Elle est coauteur du chapitre 5 du volume 4. (ivd@ext.jussieu.fr) CONTRIBUTEURS Nelly de Bonnefoy est doctorante au laboratoire MIDI (EADS-CCR – IRIT UMR 5505). Ses travaux concernent l’apport d’information pour des opérateurs augmentés mobiles. Elle est contributrice du chapitre 7 du volume 4. (Nelly.De-Bonnefoy@eads.net - www.irit.fr/SIRV/ ; www.irit.fr/MIDI/ ) Thomas Convard est ATER, membre de l’équipe VENISE du LIMSI-CNRS (Orsay), ses travaux portent sur le couplage de la Réalité Virtuelle avec la Conception Assistée par Ordinateur (interfaces multimodales, structures de données dédiées à la RV-CAO, solutions de cluster de rendu). Il est contributeur du chapitre 14 du volume 3 et du chapitre 7 du volume 4. (convard@limsi.fr - www.limsi.fr/Individu/convard) Nicolas Fauvet est doctorant dans l’équipe VENISE du LIMSI-CNRS (Orsay). Ses travaux en Réalité Virtuelle et Augmentée portent sur la gestion de données 3d scientifiques massives pour l’interaction en milieu immersif. Il est contributeur du chapitre 4 du volume 4. (fauvet@limsi.fr - www.limsi.fr/Individu/fauvet) Nicolas Ferey est doctorant au LIMSI-CNRS (Orsay) dans l’équipe BioInformatique, membre associé de l’équipe VENISE, l’objectif de ses travaux de thèse est d’utiliser la Réalité Virtuelle pour faciliter l’exploration de données génomiques massives. Il est contributeur du chapitre 4 du volume 4. (ferey@limsi.fr - www.limsi.fr/Individu/ferey)

xii

Le traité de la réalité virtuelle

Luc Frauciel est ingénieur de recherche dans l’unité Calcul, 3D et Réalité Virtuelle du Service Systèmes et Technologies de l’Information du BRGM. Il est chargé de la mise en œuvre des technologies de réalité virtuelle. Il est contributeur du chapitre 6 du volume 4. (l.frauciel@brgm.fr - www.brgm.fr) Atman Kendira est doctorant au laboratoire Heudiasyc de l’Université de Technologie Compiègne. Il est contributeur du chapitre 7 du volume 4. (atman.kendira@rd.francetelecom.com) François Laborie est doctorant au laboratoire MIDI (EADS-CCR – IRIT UMR 5505). Ses travaux portent sur les environnements interactifs et la visualisation collective pour l’ingénierie collaborative. Il est contributeur du chapitre 7 du volume 4. (Francois.Laborie@eads.net - www.irit.fr/SIRV/ ; www.irit.fr/MIDI/ ) Christophe Mouton est ingénieur chercheur au sein du groupe CAO (Conception Assistée par Ordinateur) d’EDF R&D, qui met en oeuvre les techniques de la Réalité Virtuelle pour la maintenance des installations de production du groupe EDF. Il est contributeur du chapitre 7 du volume 4. (christophe.mouton@edf.fr - www.edf.fr/20003i/Accueilfr/RechercheetDeveloppement.html) Emmanuel Plot est docteur en sociologie, spécialisé sur le management des risques industriels. Il est chercheur à l’INERIS. Ses travaux concernent l’utilisation de nouvelles technologies (méthodes d’intervention, technologies logiciels, technologies de la réalité virtuelle) pour traiter des Facteurs Humains de la sécurité. Il est contributeur du chapitre 7 du volume 4. (emmanuel.plot@ineris.fr - www.ineris.fr) François Robida est adjoint au chef du Service Systèmes et Technologies de l’Information du BRGM, chargé des actions de recherche. Il est à l’initiative et responsable du projet d’entreprise Terre Virtuelle. Il est contributeur du chapitre 6 du volume 4. (f.robida@brgm.fr - www.brgm.fr)

VOLUME 1 : L’HOMME ET L’ENVIRONNEMENT VIRTUEL

•

I - Introduction • Introduction à la réalité virtuelle II - L’Homme et son environnement • L’environnement naturel de l’Homme • Les sens de l’homme • Étude et modélisation du mouvement humain • Ergonomie, facteurs humains et réalité virtuelle • Invariants et variabilité : antinomie ou complémentarité III - Percevoir le monde • Théories de la perception : le monde comme mémoire externe • Se déplacer et naviguer dans l’espace • Remplacer un sens par un autre : la suppléance perceptive IV - L’Homme en mouvement • Le contrôle de l’action • Le mouvement biologique : perception, reproduction, synthèse V - Interagir avec les objets et le monde • Percevoir les objets • Le contrôle adaptatif ou comment acquérir et maintenir une performance VI - L’Homme dans un monde virtuel • Immersion et présence • La latence temporelle dans la boucle de réalité virtuelle Éthique, droit et réalité virtuelle VII - Les usages de la réalité virtuelle en sciences de la vie • Interactions entre réalité virtuelle et sciences du comportement

• •

VOLUME 2 : INTERFAÇAGE, IMMERSION ET INTERACTION EN ENVIRONNEMENT VIRTUEL

•

I - Interfaçage • Introduction à la réalité virtuelle • Approche théorique et pragmatique de la réalité virtuelle II - Dispositifs matériels des interfaces motrices • Les capteurs de localisation • Les interfaces spécifiques de la localisation corporelle • Les interfaces manuelles motrices III - Dispositifs matériels des interfaces sensori-motrices • Commande d’une interface à retour d’effort IV - Dispositifs matériels des interfaces sensorielles • Les interfaces tactiles • Les interfaces visuelles • Les interfaces à simulation de mouvement et l’interface à simulation de climat • Les interfaces olfactives V - Les techniques d’interaction • Les techniques d’interaction pour les primitives comportementales virtuelles • Les techniques d’intégration multimodale en environnement virtuel VI - Aspects particuliers de l’interaction en réalité virtuelle • La restitution visuelle stéréoscopique • Dispositifs et interfaces de restitution sonore spatiale • Le Retour Pseudo-Haptique VII - Ergonomie de l’interfaçage • Concevoir et évaluer l’interaction utilisateur-environnement virtuel

VOLUME 3 : LES OUTILS ET LES MODÈLES INFORMATIQUES DES ENVIRONNEMENTS VIRTUELS

•

I - Introduction Introduction à la réalité virtuelle • Modèles géométriques des environnements virtuels II - Modèles pour les rendus sensori-moteurs • Modèles pour le rendu visuel • Modèles pour le rendu sonore • Modèles pour le rendu haptique • Détection des collisions • Modèles mécaniques III - Modèles pour le rendu comportemental • Scénarios adaptatifs : le paradoxe du contrôle d’agents autonomes • Modèles pour l’autonomie • Modèles pour les humanoïdes • Modèles pour les environnements naturels IV - Outils et environnements de développement • OpenMASK : une plate-forme logicielle Open Source pour la réalité virtuelle • ARéVi • EVI3d : une plate-forme de développement d’applications de RV&A • Virtools et la réalité virtuelle • La réalité virtuelle distribuée •

•

VOLUME 4 : APPLICATIONS DE LA RÉALITÉ VIRTUELLE

•

I - Introduction • Introduction à la réalité virtuelle II - Les applications par fonction • Réalité virtuelle et conception • La réalité virtuelle pour l’apprentissage humain III - Les applications par domaine d’activités • Explorations de données scientifiques et expérimentations virtuelles • Applications de la réalité virtuelle aux troubles cognitifs et comportementaux • Géosciences • Industries manufacturières • La réalité virtuelle dans le groupe PSA Peugeot Citroën • Architecture, urbanisme et paysage • Réalité virtuelle et archéologie • Apport de la réalité virtuelle à la création artistique • L’interactivité sensorielle au service de la création artistique contemporaine • Applications des techniques de réalité virtuelle en milieu militaire

TABLE DES MATIÈRES

Introduction générale

Introduction à la réalité virtuelle

1.1

Fondement de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

1.1.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1.2

Définitions de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . .

Modèle de référence pour l’immersion et l’interaction . . . . . . . . . .

L’approche «instrumentale» pour l’immersion et l’interaction . . . . . . . . . . . . . . . . . . . . . . . . .

Le modèle de référence en RV . . . . . . . . . . . . . . . . . . . . . .

Structuration du traité de la réalité virtuelle . . . . . . . . . . . . . . . .

1.3.1

l’Homme et l’environnement virtuel . . . . . . . . . . . . . . . . . . .

1.3.2

L’interfaçage, l’immersion et l’interaction en environnement virtuel . . . . . . . . . . . . . . . . . . . .

Les outils et les modèles informatiques des environnements virtuels . . . . . . . . . . . . . . . . . .

Présentation du contenu du volume «Les applications de la réalité virtuelle» . . . . . . . . . . . . . . . .

Les diverses potentialités issues de la finalité de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

Taxonomie à partir de la définition fonctionnelle de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

Classification des applications pour le plan du volume . . . . . . . . .

1.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6

Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2 1.2.1 1.2.2 1.3

1.3.3 1.4 1.4.1 1.4.2 1.4.3

xviii

1.6.1

Le traité de la réalité virtuelle

une taxonomie fonctionnelle des applications de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

1.6.2

Les applications potentielles de la réalité virtuelle . . . . . . . . . . . .

1.6.3

Historique succinct de la réalité virtuelle . . . . . . . . . . . . . . . . .

1.6.4

Les domaines précurseurs de la réalité virtuelle . . . . . . . . . . . . .

1.6.5

Le développement de la réalité virtuelle en France . . . . . . . . . . .

1.6.6

Un petit bêtisier de la réalité virtuelle . . . . . . . . . . . . . . . . . .

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

1.7

II Les applications par fonction

2 Réalité virtuelle et conception

2.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2

La Réalité Virtuelle pour la conception dans le milieu industriel . . . . . . . . . . . . . . . . . . . . . . . .

2.2.1

De la CAO à la CARV . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2.2

Fonctionnalités testées par CARV . . . . . . . . . . . . . . . . . . . .

Les possibilités du virtuel en conception pour tout domaine d’activités . . . . . . . . . . . . . . . . . . . . .

2.3.1

Efficacité pour les fonctions du produit . . . . . . . . . . . . . . . . .

2.3.2

Multiplication des choix et des architectures . . . . . . . . . . . . . . .

2.3.3

Mise en scène des produits dans différents environnements . . . . . . .

2.3.4

Echelle variable en virtuel . . . . . . . . . . . . . . . . . . . . . . . .

2.3.5

Représentation symbolique . . . . . . . . . . . . . . . . . . . . . . . .

2.3.6

Le langage universel du virtuel . . . . . . . . . . . . . . . . . . . . . .

2.3.7

Intégration des utilisateurs finaux dans l’équipe de conception . . . . . . . . . . . . . . . . . .

Les équipes étendues . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3

2.3.8

Table des matières

xix

2.3.9

Maîtrise des coûts financiers . . . . . . . . . . . . . . . . . . . . . . .

2.3.10 Cohérence avec d’autres produits existants . . . . . . . . . . . . . . .

2.4

Impact général de la réalité virtuelle sur les activités de conception . . . . . . . . . . . . . . . . . . . . .

2.4.1

Le travail en plateau projet virtuel . . . . . . . . . . . . . . . . . . . .

2.4.2

Changement de culture pour les concepteurs . . . . . . . . . . . . . . .

2.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.6

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

La réalité virtuelle pour l’apprentissage humain

3.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2

Les environnements virtuels d’apprentissage : notions, origine et principaux apports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2.1

Quelques notions et définitions . . . . . . . . . . . . . . . . . . . . . .

3.2.2

Panorama rapide des secteurs d’application et réalisations . . . . . . .

3.2.3

Quatre patrons pour aller vers une formulation des usages et des configurations actuelles . . . . . . . . . . . . . . . . . . . . . . .

Cadre et repères pour la conception . . . . . . . . . . . . . . . . . . . .

Potentialités remarquables de l’utilisation de la réalité virtuelle pour l’apprentissage . . . . . . . . . . .

Ecueils et limites actuelles à considérer . . . . . . . . . . . . . . . . . .

3.4.1

L’utilité et la faiblesse des fonctionnalités offertes . . . . . . . . . . . .

3.4.2

L’utilisatibilité de l’environnement virtuel . . . . . . . . . . . . . . . .

3.4.3

Six dimensions pour orienter la conception d’un EVA . . . . . . . . . .

3.5

Conclusions et perspectives . . . . . . . . . . . . . . . . . . . . . . . .

3.6

Des exemples d’environnements virtuels pour l’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Narrative-based Immersive Contructionist/Collaborative Environments - NICE . . . . . . . . . . . . . . . . . . . . .

3.3 3.3.1 3.4

3.6.1

Le traité de la réalité virtuelle

3.6.2

ScienceSpace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.6.3

Virtual Puget Sound (VPS) . . . . . . . . . . . . . . . . . . . . . . . .

3.6.4

TRUck Simulator for Training TRUST . . . . . . . . . . . . . . . . .

3.6.5

STEVE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.6.6

Formation individualisée des agents de conduite - FIACRE . . . . . . .

3.6.7

Welding environment for training - CS WAVE

. . . . . . . . . . . . .

3.6.8

Virtual Technical Trainer - VTT

. . . . . . . . . . . . . . . . . . . .

3.6.9

Formation EDF au diagnostic de panne en robinetterie industrielle (Formation EDF n◦7235) . . . . . . . . . . . . . . . . . . . . . .

3.6.10 SécuRéVi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.6.11 Environnement virtuel de formation pour la prévention des risques chimiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.6.12 Interviewer’s virtual trainer (IVT) . . . . . . . . . . . . . . . . . . . .

3.7

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

III Les applications par domaine d’activités

101

4 Explorations de données scientifiques et expérimentations virtuelles

103

4.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

103

4.1.1

Intérêts réciproques et enrichissement mutuel . . . . . . . . . . . . . .

104

4.1.2

Historique et tour d’horizon . . . . . . . . . . . . . . . . . . . . . . .

105

4.2

La réalité virtuelle pour et par la science . . . . . . . . . . . . . . . . .

105

4.3

Biologie moléculaire et Génomique . . . . . . . . . . . . . . . . . . . .

106

4.3.1

L’ADN in virtuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

106

4.3.2

Interaction protéine-protéine et docking virtuel . . . . . . . . . . . . .

108

4.3.3

Exploration de données génomiques factuelles et textuelles . . . . . . . . . . . . . . . . . . . . .

108

Table des matières

4.4

xxi

Mécanique des fluides . . . . . . . . . . . . . . . . . . . . . . . . . . .

110

4.4.1

Perception de la complexité des phénomènes d’écoulements . . . . . .

110

4.4.2

Simulation interactive . . . . . . . . . . . . . . . . . . . . . . . . . .

111

4.4.3

Soufflerie numérique virtuelle . . . . . . . . . . . . . . . . . . . . . .

112

Relativité virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

114

4.5.1

Voir la relativité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

114

4.5.2

Multimodalité relativiste . . . . . . . . . . . . . . . . . . . . . . . . .

115

4.5.3

Relief temporel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

115

4.6

Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

116

4.7

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

117

4.5

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux 119

5.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

119

5.2

Atouts et inconvénients de la réalité virtuelle . . . . . . . . . . . . . . .

120

Atouts de la RV pour les thérapies en psychopathologie clinique . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

120

5.2.2

Atouts de la RV en neuropsychologie . . . . . . . . . . . . . . . . . .

120

5.2.3

Conception des systèmes de réalité virtuelle . . . . . . . . . . . . . . .

121

5.2.4

Aspects technico-économiques . . . . . . . . . . . . . . . . . . . . . .

122

5.2.5

Conflits sensoriels et cognitifs . . . . . . . . . . . . . . . . . . . . . .

122

Exploitation de la réalité virtuelle en psychothérapie . . . . . . . . . . .

126

5.3.1

Principes des thérapies d’exposition . . . . . . . . . . . . . . . . . . .

126

5.3.2

Les pathologies abordées . . . . . . . . . . . . . . . . . . . . . . . . .

128

5.4

Des techniques de distraction . . . . . . . . . . . . . . . . . . . . . . .

137

5.5

Exploitation de la réalité virtuelle en neuropsychologie . . . . . . . . . . . . . . . . . . . . . . . . . .

138

5.2.1

5.3

xxii

Le traité de la réalité virtuelle

5.5.1

L’évaluation en neuropsychologie grâce à la RV . . . . . . . . . . . . .

138

5.5.2

Les applications relatives aux fonctions cognitives . . . . . . . . . . .

139

5.5.3

Les autres applications en neuropsychologie . . . . . . . . . . . . . . .

142

5.6

La réhabilitation des fonctions motrices . . . . . . . . . . . . . . . . . .

143

5.7

Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

144

5.8

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

145

6 Géosciences

157

6.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

157

6.2

Les éléments des environnements virtuels . . . . . . . . . . . . . . . . .

158

6.2.1

Les données de base . . . . . . . . . . . . . . . . . . . . . . . . . . .

158

6.2.2

Les forages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

160

6.2.3

Les infrastructures souterraines . . . . . . . . . . . . . . . . . . . . .

161

6.2.4

Les coupes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

161

6.2.5

Les modèles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

162

6.2.6

Les modèles maillés de paramètres . . . . . . . . . . . . . . . . . . . .

163

Retour d’expérience d’un service géologique national . . . . . . . . . .

164

6.3.1

Motivation pour la réalité virtuelle . . . . . . . . . . . . . . . . . . . .

164

6.3.2

L’équipement, les choix techniques . . . . . . . . . . . . . . . . . . .

165

Exemples d’applications . . . . . . . . . . . . . . . . . . . . . . . . . .

166

6.4.1

Géothermie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

166

6.4.2

Crues par remontée de nappe . . . . . . . . . . . . . . . . . . . . . .

168

6.4.3

Risques sismiques de la région niçoise . . . . . . . . . . . . . . . . . .

168

6.4.4

Milieu urbain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

170

6.4.5

Château de Saumur . . . . . . . . . . . . . . . . . . . . . . . . . . . .

171

Conclusions et perspectives . . . . . . . . . . . . . . . . . . . . . . . .

173

6.3

6.4

6.5

Table des matières

xxiii

175

Industries manufacturières

7.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

175

7.2

Conception et simulation . . . . . . . . . . . . . . . . . . . . . . . . .

176

De la CAO à la réalité virtuelle dans les industries manufacturières . . . . . . . . . . . . . .

176

7.2.2

Modèles de données des systèmes de CAO actuels . . . . . . . . . . .

177

7.2.3

Conception de formes en situation immersive . . . . . . . . . . . . . .

178

7.2.4

Du prototypage virtuel à la simulation intégrée et à la simulation pour l’entreprise virtuelle . . . . . . . . . .

181

Maquette virtuelle partagée . . . . . . . . . . . . . . . . . . . . . . . .

183

7.3.1

Environnements virtuels collaboratifs . . . . . . . . . . . . . . . . . .

183

7.3.2

Interaction collaborative et visualisation collective . . . . . . . . . . .

185

Maintenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

189

7.4.1

Aide à la maintenance dans un centre nucléaire . . . . . . . . . . . . .

189

7.4.2

Maintenance dans le domaine aéronautique . . . . . . . . . . . . . . .

190

7.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

195

7.6

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

196

7.2.1

7.3

7.4

La réalité virtuelle dans le groupe PSA Peugeot Citroën

201

8.1

Contexte de l’industrie automobile . . . . . . . . . . . . . . . . . . . .

201

8.2

Le réalisme des maquettes virtuelles . . . . . . . . . . . . . . . . . . .

202

8.3

Le besoin de transparence des technologies de la Réalité Virtuelle . . . . . . . . . . . . . . . . . . . . . . . . .

203

Les maquettes virtuelles accompagnent les maquettes physiques . . . . . . . . . . . . . . . . . . . . . . . .

204

Le goulot d’étranglement de la conversion des données de la CAO . . . . . . . . . . . . . . .

205

Le premier Centre de Réalité Virtuelle de PSA Peugeot Citroën . . . . . . . . . . . . . . . . . . . . . . . .

205

8.4 8.5 8.6

xxiv

Le traité de la réalité virtuelle

8.7

Mise en perspective . . . . . . . . . . . . . . . . . . . . . . . . . . . .

206

8.8

La Réalité Virtuelle va-t-elle révolutionner le processus de développement automobile ? . . . . . . . . . . . . .

209

9 Architecture, urbanisme et paysage

211

9.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

211

9.2

Applications architecturales . . . . . . . . . . . . . . . . . . . . . . . .

211

Panoramas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

212

Applications urbaines . . . . . . . . . . . . . . . . . . . . . . . . . . .

214

9.3.1

Villes virtuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

216

9.3.2

Ambiances architecturales et urbaines . . . . . . . . . . . . . . . . . .

217

9.3.3

Et Google Earth ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

221

9.4

Applications au paysage . . . . . . . . . . . . . . . . . . . . . . . . . .

221

9.5

Limites des applications envisagées . . . . . . . . . . . . . . . . . . . .

222

9.5.1

Immersion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

222

9.5.2

Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

222

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

225

9.2.1 9.3

9.6

10 Réalité virtuelle et archéologie

229

10.1 La démarche de restitution en archéologie . . . . . . . . . . . . . . . .

229

10.1.1 De la documentation à la restitution 3D . . . . . . . . . . . . . . . . .

229

10.1.2 Les recherches complémentaires pour l’élaboration de la scène 3D . . . . . . . . . . . . . . . . . . . . . . . . .

230

10.1.3 De l’intérêt de réaliser un modèle numérique 3D en archéologie . . . . . . . . . . . . . . . . . . . . . . . . .

230

10.2 Réalité virtuelle : des premiers pas vers la valorisation des sites archéologiques . . . . . . . . . . . . . . . . .

231

10.2.1 Les expériences pionnières de réalité virtuelle en archéologie . . . . . . . . . . . . . . . . . . . . . . . . .

231

Table des matières

xxv

10.2.2 De l’utilité de l’immersion en archéologie . . . . . . . . . . . . . . . .

232

10.2.3 Réalité virtuelle et valorisation des sites archéologiques . . . . . . . . .

232

10.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

233

10.4 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

233

11 Apport de la réalité virtuelle à la création artistique

237

11.1 Prologue : le virtuel au-delà du réel . . . . . . . . . . . . . . . . . . . .

237

11.2 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

237

11.2.1 Réalité virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

237

11.2.2 Création artistique . . . . . . . . . . . . . . . . . . . . . . . . . . . .

239

11.2.3 Réalité virtuelle et création artistique . . . . . . . . . . . . . . . . . .

239

11.3 Fiches œuvres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

240

11.3.1 Présentation des fiches . . . . . . . . . . . . . . . . . . . . . . . . . .

240

11.3.2 «La plume» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

240

11.3.3 «Numeric circus» . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

241

11.3.4 «Silence» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

242

11.3.5 «Worldskin» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

242

11.3.6 «Schlag» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

243

11.3.7 «Apparition» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

244

11.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

245

11.4.1 Nouveaux moyens d’interaction . . . . . . . . . . . . . . . . . . . . .

245

11.4.2 Nouveaux effets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

245

11.4.3 Nouvelles occurrences d’une œuvre . . . . . . . . . . . . . . . . . . .

246

11.4.4 Nouveau partage des fonctions de création . . . . . . . . . . . . . . . .

246

11.5 Epilogue : un art nouveau ? . . . . . . . . . . . . . . . . . . . . . . . .

247

11.6 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

247

xxvi

Le traité de la réalité virtuelle

12 L’interactivité sensorielle au service de la création artistique contemporaine 249 12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

249

12.2 Danse, Théâtre et nouvelles technologies ou le corps capturé . . . . . . .

250

12.2.1 La technologie comme support à la création . . . . . . . . . . . . . . .

250

12.2.2 Le corps comme matériau de composition temps-réel . . . . . . . . . .

251

12.2.3 Interaction danseurs virtuels/utilisateur . . . . . . . . . . . . . . . . .

254

12.2.4 Des Œuvres hybrides . . . . . . . . . . . . . . . . . . . . . . . . . . .

254

12.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

257

12.3 La fiction interactive ou le paradoxe de lier narration et interaction . . . . . . . . . . . . . . . . . . . . . . . . .

258

12.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

258

12.3.2 Structure d’un récit linéaire . . . . . . . . . . . . . . . . . . . . . . . .

258

12.3.3 Approche structuraliste du récit . . . . . . . . . . . . . . . . . . . . .

260

12.3.4 La fiction interactive . . . . . . . . . . . . . . . . . . . . . . . . . . .

262

12.3.5 Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

263

12.3.6 Les outils d’aide à l’écriture de fictions interactives . . . . . . . . . . .

264

12.4 De la nécessité d’un méta-langage adapté à la création pluri-artistique . . . . . . . . . . . . . . . . . . . . . .

267

12.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

268

12.6 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

269

13 Applications des techniques de réalité virtuelle en milieu militaire

273

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

273

13.2 Les simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

273

13.2.1 La manœuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

273

13.2.2 Les pistes spéciales . . . . . . . . . . . . . . . . . . . . . . . . . . . .

273

Table des matières

xxvii

13.2.3 Les plates-formes . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

274

13.2.4 Les simulations informatiques . . . . . . . . . . . . . . . . . . . . . .

275

13.3 Aide à la conception . . . . . . . . . . . . . . . . . . . . . . . . . . . .

276

13.4 Aide à la réalisation d’évaluation et d’essais . . . . . . . . . . . . . . .

277

13.5 Aide à la formation et à l’entraînement . . . . . . . . . . . . . . . . . .

278

13.5.1 L’armée de Terre . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

279

13.5.2 La Marine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

282

13.5.3 L’armée de l’Air . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

284

13.5.4 Le Commandement . . . . . . . . . . . . . . . . . . . . . . . . . . . .

284

13.5.5 Le Service de Santé . . . . . . . . . . . . . . . . . . . . . . . . . . . .

284

13.6 Aide à la préparation de missions . . . . . . . . . . . . . . . . . . . . .

285

13.7 Aide à la réalisation d’une mission réelle . . . . . . . . . . . . . . . . .

286

13.8 Rejeu après action (Débriefing) . . . . . . . . . . . . . . . . . . . . . .

288

13.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

289

13.10 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

289

xxviii

Le traité de la réalité virtuelle

Première partie

Introduction générale

1 INTRODUCTION À LA RÉALITÉ VIRTUELLE

Bruno Arnaldi, Philippe Fuchs et Pascal Guitton

1.1

FONDEMENT DE LA RÉALITÉ VIRTUELLE

1.1.1 INTRODUCTION

Il est naturel pour l’homme de s’échapper de la réalité quotidienne pour différentes raisons (artistiques, culturelles ou professionnelles). L’évolution des techniques aidant, l’homme a pu satisfaire ce besoin par des représentations principalement visuelles ou sonores, mais figées du monde. Figées dans le sens où l’utilisateur ne peut observer la représentation qu’en spectateur, que ce soit une peinture, une photographie, un film d’images réelles ou d’images de synthèse. La réalité virtuelle lui offre une dimension supplémentaire en lui procurant un environnement virtuel dans lequel il devient acteur. Que le lecteur ne s’y méprenne pas, la nouveauté n’est pas dans la création d’environnements virtuels plus performants dans leur représentation, mais bien dans la possibilité de pouvoir «agir virtuellement» dans un monde artificiel (ou «interagir», vu sous un angle plus technique). La réalité virtuelle oscille, dans l’esprit du grand public, entre phantasme et technologie, entre rêve et réalité. Il est évident que de nombreux mystères entourent cette discipline, le premier d’entre eux étant contenu dans l’oxymoron qui la nomme, associant deux termes en apparente opposition. Qui n’a pas rêvé ou été effrayé par les réalisations littéraires et cinématographiques de la science-fiction, exploitant certains aspects techniques sensés être propres à la réalité virtuelle ? L’enjeu de cet ouvrage, outre celui de décrire un état de l’art sur le sujet, est de délimiter correctement le domaine permettant de démystifier la réalité virtuelle. La réalité virtuelle ne peut être envisagée que depuis peu, grâce à l’augmentation importante de la puissance intrinsèque des ordinateurs, en particulier la possibilité de créer en temps réel des images de synthèse et de permettre une interactivité, toujours en temps réel, entre l’utilisateur et le monde virtuel. Le lecteur doit bien noter que ce sont des évolutions techniques qui ont permis son essor, et donc, par déduction, qui en contraignent sa portée, due aux limites inhérentes de la technique. N’écoutons pas les dires de certains, qui ont proclamé un peu vite, que le «Grand Jour du Virtuel» était arrivé ! Essayons simplement de relever ce défi pour franchir cette nouvelle étape («agir dans le virtuel») en sachant que la route sera longue mais aussi passionnante. La réalité virtuelle n’est pas née spontanément. Comme toute nouvelle technique, elle a eu des antécédents qui ne s’appelaient pas «réalité virtuelle». Principalement, les simulateurs de transport ont permis à des professionnels d’interagir avec un environnement partiellement1 virtuel, depuis 50 ans environ (on faisait de la réalité virtuelle sans le savoir, comme M. Jourdain faisait de la prose...). La réalité virtuelle implique par essence de nombreux domaines :

1 Le

poste de conduite de la voiture, de l’avion ou du train n’est pas simulé mais réel.

Le traité de la réalité virtuelle

Dans le domaine des sciences et des techniques, la réalité virtuelle émarge au domaine des STIC (Sciences et Techniques de l’Information et de la Communication). Néanmoins, le cadre de la réalité virtuelle dépasse celui de l’information et de la communication, puisqu’il s’agit d’agir dans un monde virtuel. De nombreuses disciplines concourent à produire de nouvelles avancées dans le domaine de la réalité virtuelle : •

•

l’informatique propose et continue de développer de nouveaux algorithmes pour le traitement de modèles numériques et la création des environnements virtuels interactifs ; la téléopération et la robotique, par la capacité à développer de nouveaux organes actifs coopérants avec l’humain ; la mécanique, l’optique et l’acoustique fournissant les modélisations numériques des phénomènes physiques.

Dans le domaine des sciences humaines et des sciences du vivant, l’Homme «utilisateur» est placé au cœur de la démarche de développement des technologies de la réalité virtuelle, ce qui implique une forte synergie avec de nombreuses disciplines de ce domaine. Citons ainsi à titre d’exemples : •

•

la psychologie expérimentale et les sciences du comportement développent des théories et des protocoles d’investigation concernant l’étude des actions et des perceptions humaines dans des conditions contrôlées, en environnement réel comme dans des environnements virtuels ; l’ergonomie développe des méthodes et des connaissances visant à améliorer la prise en compte des facteurs humains dans la conception et l’évaluation des environnements de réalité virtuelle, afin que ceux-ci soient en adéquation avec les objectifs des utilisateurs, les conditions d’utilisation, les exigences de confort et de sécurité, etc. la psychologie cognitive étudie la nature des processus cognitifs du sujet plongé dans une activité se déroulant dans un univers virtuel, qu’il s’agisse de mieux comprendre les particularités de ces environnements ou bien d’exploiter les mondes virtuels l’expérimentation et la modélisation ; la physiologie, la neurobiologie, etc.

À ce titre, la réalité virtuelle occupe, par le couplage des sciences humaines et des sciences de l’ingénieur, une position particulière dans le schéma scientifique habituel. Cette position représente un avantage par l’interdisciplinarité intrinsèque du domaine. Cette position est en même temps une difficulté à surmonter, d’une part pour la formation des acteurs du domaine, d’autre part pour la reconnaissance de ce fondement multidisciplinaire par les divers disciplines qui la fécondent. Par exemple, il serait réducteur de considérer la réalité virtuelle comme une simple branche de l’informatique. Si les ordinateurs permettent effectivement de programmer et de simuler des mondes virtuels, l’interaction de l’homme avec ceux-ci n’est possible qu’au travers de logiciels et de dispositifs techniques compatibles avec les processus cognitifs, perceptifs et sociaux humains. En retour, mieux comprendre et formaliser les difficultés et les particularités de la cognition et de l’interaction dans les mondes virtuels offre une fondation empirique pour stimuler la recherche et l’innovation. Si la réalité virtuelle s’appuie aujourd’hui sur l’informatique pour son essor, notre opinion est que le domaine de la réalité virtuelle deviendra à terme un secteur de recherche et d’activité indépendant.

Introduction à la réalité virtuelle

1.1.2 DÉFINITIONS DE LA RÉALITÉ VIRTUELLE

1.1.2.1

Origine et image réductrice de la réalité virtuelle

Le terme «réalité virtuelle» est employé depuis plus de quinze ans. Ce terme est discutable et a été discuté par certains. Cet oxymoron vient de l’expression anglaise virtual reality, introduite aux États-Unis dans les années 80 par Jaron Lanier. Cette appellation étant maintenant courante, il est vain de vouloir la modifier. Cependant, comme le rappelle J.P. Papin, en anglais, virtual signifie «de fait», «pratiquement». La traduction française ne rend donc pas compte de cette signification. Il aurait fallu parler de tenant lieu de réalité ou de réalité vicariante ou mieux encore d’environnement vicariant. Le mot vicariant est utilisé en psychologie et en physiologie, où il désigne respectivement un processus, une fonction ou un organe qui se supplée à un autre. Définir la réalité virtuelle est une tâche indispensable. On trouve encore dans la littérature des définitions qui mélangent malencontreusement la finalité de la réalité virtuelle, ses fonctions, ses applications et les techniques sur lesquelles elle repose. Certains sont allés jusqu’à définir la réalité virtuelle par le seul fait d’exploiter tel ou tel dispositifs d’interaction. C’est cette image réductrice qui a été malheureusement véhiculée dans les médias : une personne équipée d’un visiocasque2 avec différentes commandes pour interagir (gant de données, manette, volant, etc.) et reliées à un ordinateur (Figure 1.1). Il faut rejeter ces approches, à la fois parce qu’elles sont sont trop centrées sur une technologie particulière et, à la fois, parce qu’elles sont trop fortement restrictive quant aux enjeux scientifiques liés à la complexité des dimensions impliquées dans l’interaction entre l’utilisateur humain et les environnements virtuels. Dans la suite de cette partie, nous proposons des définitions à plusieurs niveaux pour clarifier le domaine de la réalité virtuelle. Ces termes et ces définitions proviennent de discussions au sein du comité de rédaction de ce traité concernant la définition, le périmètre du domaine et sa finalité, à partir des définitions proposées dans les précédentes éditions du traité et les acceptions communément admises par la communauté scientifique internationale. Le comité de rédaction propose au lecteur les traductions en français pour certains termes ou expressions anglo-saxons typiques du domaine. Même si des définitions voisines continuent d’exister, il existe aujourd’hui un consensus de fait dans la communauté scientifique internationale concernant la réalité virtuelle. En témoignent plusieurs grandes manifestations scientifiques internationales traitant de «Virtual Reality».

1.1.2.2

Finalité de la réalité virtuelle

Avant de se focaliser sur des fonctions ou des techniques, il semble judicieux de déterminer d’abord la finalité de la réalité virtuelle que partage tous les acteurs. Après avoir étudié l’objectif commun de chacune de ses applications, nous pouvons affirmer que [Fuchs, 1996], [CRTRV, 2004] : La finalité de la réalité virtuelle est de permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel. 2 Visiocasque : traduction de «Head Mounted Display». On peut aussi employer l’expression «casque immersif».

Le traité de la réalité virtuelle

Figure 1.1 : Simulation de la conduite d’une voiture avec visiocasque ou sur écran de simulateur (Copyright Photo PSA Peugeot Citroën)

Deux éléments sont discutés et précisés à partir de cette finalité. Le premier concerne la nature de l’interaction de l’utilisateur avec l’environnement donnant accès à un monde artificiel. Les termes «activité sensori-motrice» sont employés pour signifier qu’au fondement de la réalité virtuelle est l’idée que la personne perçoit et agit physiquement avec les entités et éléments du monde virtuel. Bien évidemment, il en découle que la personne a aussi une activité au plan cognitif. Mais avoir une activité cognitive dans un environnement virtuel sans que cela se traduise par une activité physique (sensorimotrice) est hors du domaine de la réalité virtuelle. Nous préciserons par la suite ces concepts de base. Le second élément concerne la diversité des origines des mondes représentés dans l’environnement virtuel. En cela cette définition se distingue d’une vision simpliste de la réalité virtuelle comme «simple copie» du monde «réel». Les trois principales origines sont discutées à la suite. Une simulation de certains aspects du monde réel : ceux-ci sont à déterminer lors de la conception de l’application. Nous verrons que cette phase initiale de conception est fondamentale et doit être analysée explicitement. L’erreur, souvent rencontrée, est celle du concepteur qui recherche le plus grand «degré de réalisme». Cette approche erronée est entreprise sans se soucier de savoir précisément quels sont les aspects de la réalité que l’application exige. L’idée naïve de vouloir, si possible, le comportement du monde virtuel entièrement identique à celui du monde réel est absurde. Si on veut faire une réalité «virtuelle», c’est bien dans le but de modifier des aspects de la «vraie» réalité ; par exemple, pour la formation sans danger réel pour le formé dans un environnement virtuel, pour l’étude de futurs produits, non encore matérialisé. Ce n’est donc pas seulement à cause de difficultés techniques que la simulation virtuelle est différente de la réalité. Réciproquement, la réalité virtuelle permet aussi de simuler différemment des phénomènes, le réalisme «allant au-delà» du réel. Nous obtenons ainsi une simulation du monde réel, qui est «augmentée» par des représentations plus adéquates, quoique irréelles, d’objets ou de phénomènes physiques ; par exemple, des objets affichés en fil de fer ou en éclaté, des phénomènes physiques invisibles (radioactivité, infrarouges, etc.) représentés virtuellement. Un monde symbolique : on peut aussi exploiter des représentations symboliques pour améliorer la compréhension du monde simulé. La réalité virtuelle est alors exploitée soit pour représenter un phénomène, (la structure de molécules, l’écoulement de

Introduction à la réalité virtuelle

fluide,...), soit pour ajouter au monde réel simulé des concepts symboliques. Ceux-ci permettent à l’utilisateur de se faire une meilleure représentation mentale de son environnement. Par exemple : •

•

nous pouvons afficher des informations schématiques pour l’utilisateur, lui permettant de mieux saisir la structure d’un mécanisme ou la planification d’une tâche à accomplir ; nous pouvons représenter la potentialité d’un danger par le simple changement de couleur d’objets, virant au rouge.

Un monde imaginaire : la virtualité est employée pour créer un monde irréel, sorti de l’imagination de l’artiste ou de l’auteur de science-fiction. Dans ce cas, le monde créé n’a pas l’obligation d’être une simulation du monde réel, en particulier pour les lois liées aux entités virtuelles. En conclusion, le lecteur doit retenir qu’il ne faut pas parler d’un «degré de réalisme», ce terme laissant supposer d’une part, qu’au mieux le virtuel est identique au réel et, d’autre part, que la réalité virtuelle a pour seule ambition de rechercher la meilleure copie du réel. Il y a bien des façons variées d’exploiter les potentialités de la réalité virtuelle, les trois cas pouvant évidemment être associés dans une même application. Le concepteur de dispositif de réalité virtuelle doit aussi se poser une autre question. Cette question concerne la frontière entre le monde simulé virtuellement et le monde réel, dans lequel se situe l’utilisateur. Au moment de la conception d’un dispositif en réalité virtuelle, l’analyse de l’application doit notamment permettre de déterminer la frontière entre les mondes réel et virtuel. Par exemple, dans un simulateur de transport, la cabine est souvent tout ou partie d’une maquette physique réelle. Pour l’étude esthétique d’une planche de bord, celle-ci est virtuelle, le volant pouvant être réel ou virtuel.

1.1.2.3

Définition fonctionnelle

En 1995, Fuchs a proposé une taxonomie basée sur les fonctionnalités «théoriques» : face à sa propre perception de la réalité, l’homme a conceptualisé les notions de temps et d’espace sur lequel il ne peut interagir que suivant des lois physiques immuables. La réalité virtuelle va lui permettre de s’extraire de la réalité physique pour changer virtuellement de temps, de lieu et(ou) de type d’interaction : interaction avec un environnement simulant la réalité ou interaction avec un monde imaginaire ou symbolique. Cette définition fait allusion à l’exigence inverse des auteurs des tragédies littéraires du XVIIe siècle prônant la règle des trois unités de temps, de lieu et d’action. Nous utiliserons cette approche qui permet une taxonomie fonctionnelle des applications de la réalité virtuelle selon les combinaisons de ces trois fonctions.

1.1.2.4

Définition technique

Une définition plus technique et littérale de la réalité virtuelle va s’attacher à caractériser le domaine par une phrase compacte et suffisamment consensuelle pour que les

Le traité de la réalité virtuelle

acteurs du domaine s’y reconnaissent. Deux mots sont la clef de voûte de la réalité virtuelle : l’immersion et l’interaction. La définition technique de la réalité virtuelle est [Arnaldi e.a., 2003] : La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique (1) et des interfaces comportementales (2) en vue de simuler dans un monde virtuel (3) le comportement d’entités 3D, qui sont en interaction en temps réel (4) entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle (5) par l’intermédiaire de canaux sensori-moteurs. Cette définition introduit une terminologie nécessitant quelques explications permettant de la situer par rapport aux arguments développés dans l’introduction : 1. il faut évidemment exploiter les potentialités de l’informatique, matérielles et logicielles, pour réaliser techniquement un environnement virtuel interactif qui puisse être interfacé avec l’utilisateur. La simulation est dynamique : les entités (objets, personnages virtuels, etc.) sont animées en temps réel suivant des lois physiques (mécaniques, optiques, acoustiques, etc.) et des lois comportementales (psychologiques, sociales, affectives, etc.) ; 2. nous exploitons des interfaces matérielles de la réalité virtuelle, que nous appelons «interfaces comportementales» (voir le chapitre 2 du volume 2 de ce traité au sujet de cette appellation). Elles sont composées «d’interfaces sensorielles», «d’interfaces motrices» et «d’interfaces sensori-motrices». Les interfaces sensorielles informent l’utilisateur par ses sens de l’évolution du monde virtuel. Les interfaces motrices informent l’ordinateur des actions motrices de l’homme sur le monde virtuel. Les interfaces sensori-motrices informent dans les deux sens. Le nombre et le choix de ces interfaces dépendent de l’objectif poursuivi de l’application ; 3. il faut créer un monde virtuel interactif et en temps réel. La création d’un monde virtuel est une problématique majeure de la réalité virtuelle : la modélisation, la numérisation et le traitement informatique du monde virtuel. Nous pouvons noter le cas particulier d’associer un monde réel avec un monde virtuel (techniques de la réalité augmentée) ; 4. l’interaction en temps réel est obtenue si l’utilisateur ne perçoit pas de décalage temporel (latence) entre son action sur l’environnement virtuel et la réponse sensorielle de ce dernier. Cette contrainte est difficile à satisfaire. A défaut, on peut chercher à ne point infliger de perturbations au sujet par ce décalage temporel, même s’il le perçoit ; 5. l’utilisateur doit être en «immersion pseudo-naturelle» la plus efficace possible dans le monde virtuel. L’immersion ne peut être naturelle car nous avons appris à agir naturellement dans un monde réel et non virtuel (des biais sensori-moteurs sont créés, d’où le terme pseudo). Cette sensation est une notion en partie subjective qui dépend de l’application et du dispositif utilisé (interfaces, logiciels, etc.). Nous parlerons en détail des concepts d’immersion et d’interaction qui doivent être bien définis et analysés à plusieurs niveaux. Les deux conditions, interaction et immersion, sont rarement réalisables «parfaitement» par rapport à l’application envisagée. Par contre, elles doivent être en partie réalisées, même modestement, pour parler d’un système basé sur les techniques de réalité virtuelle.

Introduction à la réalité virtuelle

Il résulte de cette analyse globale un principe fondamental de la réalité virtuelle. Ce principe est contenu dans la boucle de la figure 1.2. L’utilisateur agit sur l’environnement virtuel grâce à l’usage d’interfaces motrices qui captent ses actions (gestes, déplacements, voix, etc.). Ces activités sont transmises au calculateur qui l’interprète comme une demande de modification de l’environnement. Conformément à cette sollicitation de modification, le calculateur évalue les transformations à apporter à l’environnement virtuel et les restitutions sensorielles (images, son, efforts, etc.) à transmettre aux interfaces sensorielles. Cette boucle en environnement virtuel interactif n’est que la transposition de la boucle «perception, cognition, action» du comportement de l’homme dans un mode réel. Mais deux contraintes majeures, inhérentes aux techniques, vont perturber la boucle «perception, cognition, action» et en conséquence le comportement du sujet : la latence et les incohérences sensori-motrices.

MONDE REEL

MONDE VIRTUEL

Interfaces motrices

CALCULATEUR(S) Acquisition Simulation Restitution

UTILISATEUR(S) Perception Décision Action

Interfaces sensorielles

Figure 1.2 : La boucle «perception, cognition, action» passant par le monde virtuel

La latence est le décalage temporel entre une action de l’utilisateur sur les interfaces motrices et la perception des conséquences de cette action sur l’environnement virtuel à travers les interfaces sensorielles. L’existence de la latence dans la boucle influe sur la qualité de toute application de réalité virtuelle. Cette latence est un artéfact inhérent aux environnements virtuels interactifs. Les incohérences sensori-motrices sont d’autres artefacts de la réalité virtuelle. Quel que soit le nombre de canaux sensoriels exploités dans une application, quelque soit le nombre d’interactions à la disposition du sujet, il y a presque toujours des incohérences sensori-motrices par rapport au comportement sensori-moteur du sujet dans le monde réel. Ces incohérences sensori-motrices perturberont-t-elle le comportement du sujet ? Ces deux problématiques sont développées dans le volume «l’homme et l’environnement virtuel» du traité.

Le traité de la réalité virtuelle

1.2 MODÈLE DE RÉFÉRENCE POUR L’IMMERSION ET L’INTERACTION 1.2.1 L’APPROCHE «INSTRUMENTALE» POUR L’IMMERSION ET L’INTERACTION

Dans tout dispositif de réalité virtuelle, l’homme est au centre du système car l’application virtuelle lui est adressée. Partant de ce constat, nous proposons d’adopter une approche anthropocentrique (dirigée vers l’homme) et non technocentrique (dirigée vers l’ordinateur), symbolisée par le schéma anthropocentrique (Figure 1.3) de l’immersion de l’homme dans le monde virtuel, tel que celui-ci doit le percevoir en tant qu’utilisateur. MONDE VIRTUEL INTERFACES SENSORIELLES

INTERFACES MOTRICES

Perception forces sur les muscles ouïe

muscles nerfs

vue

Centres nerveux

toucher goût

nerfs muscles

odorat kinesthésie

INTERFACES SENSORIELLES

INTERFACES MOTRICES

MONDE VIRTUEL

Figure 1.3 : Schéma anthropocentrique de la perception du monde virtuel par l’homme Mais si le concepteur doit se référer à ce schéma anthropocentrique, objectif à réaliser pour l’utilisateur, il doit aussi le compléter car il est nécessaire d’analyser finement le processus d’interfaçage et les dispositifs à concevoir. Nous avons fait le choix fondamental d’analyser ce processus à trois niveaux. Au premier niveau, on peut schématiser l’interfaçage entre l’homme et le monde virtuel au niveau physique. Nous parlons dans ce cas d’immersion et d’interaction sensori-motrices, puisque physiquement l’ordinateur est connecté au corps de l’utilisateur au niveau de ses sens et de ses réponses motrices. Pourquoi employons-nous pour les trois niveaux les termes «Immersion ET Interaction» ? Fondamentalement, comme nous l’avons indiqué dans notre définition de la réalité virtuelle3, celle-ci est basée sur l’Immersion d’une personne dans un monde virtuel. Mais nous y associons le terme Interaction, car parler seulement d’immersion 3 Et

toutes les définitions de la réalité virtuelle se rejoignent sur ces deux seules fonctionnalités.

Introduction à la réalité virtuelle

serait omettre l’innovation de la réalité virtuelle, qui est de permettre au sujet d’agir dans un monde virtuel. D’où, au niveau physique d’immersion et d’interaction sensorimotrices, nous obtenons le schéma technocentrique de la figure 1.4.

Figure 1.4 : Schéma technocentrique d’Immersion et d’Interaction sensori-motrices

Le schéma précédent est restrictif car il ne représente que partiellement les problèmes et les solutions que tout concepteur doit étudier. A un deuxième niveau, nous devons analyser les processus cognitifs que le sujet va mettre en œuvre et qu’il faudra assister dans son interfaçage avec l’environnement virtuel : c’est le niveau de l’immersion et de l’interaction cognitives. Notre approche est basée sur l’activité du sujet et pas sur la seule métaphore de la communication, comme employée souvent dans l’interfaçage entre un système et un utilisateur. L’interfaçage comportemental pose une problématique de l’interfaçage proche de celle d’un opérateur avec sa machine ou avec son outil. Dans ce cas, il ne s’agit pas seulement de penser l’interfaçage au niveau physique (boutons de commande et retours d’informations sur les actions), mais aussi de comprendre à partir de quels processus mentaux la personne va penser et agir. Comme l’a décrit Rabardel dans son approche instrumentale [Rabardel, 1995], l’interface est un médiateur d’activité. Cette dernière repose matériellement sur des artefacts (ou instruments) et va être utilisée suivant des processus cognitifs de l’utilisateur. Quelles vont être les catégories de processus cognitifs qui seront impliqués pour permettre une interaction et une immersion efficaces et, si possible, relativement naturelles, proposant alors une immersion et une interactivité pseudo-naturelles ? Concrètement, tout concepteur peut exploiter deux catégories de processus cognitifs, que nous avons proposé de bien différencier : les Schèmes Comportementaux Importés (SCI) et les métaphores, cette dernière catégorie étant composée de deux sous-classes : métaphores avec ou sans substitution sensori-motrice. L’utilisateur peut faire appel dans ses activités sensori-motrice et cognitive à certains automatismes qu’il a assimilés dans le monde réel en les mettant en œuvre dans le contexte de l’activité à réaliser dans l’environnement virtuel. Ces automatismes sont à associer à la notion de schème proposée par le psychologue Piaget [Piaget e.a., 1979] : un schème est l’organisation mentale des actions telles qu’elles se transfèrent ou se généralisent lors de la répétition de cette action en des circonstances analogiques. D’après Piaget, les schèmes constituent les moyens du sujet à l’aide desquels il peut assimiler les situations et les objets auxquels il est confronté. Notons pour l’instant, comme Piaget l’a énoncé, l’intelligence sensori-motrice parvient à résoudre un ensemble de problèmes d’action (atteindre des objets, etc.) en construisant un système complexe de schèmes d’assimilation et à organiser le réel selon un ensemble de règles spatiotemporelles et causales. D’où notre postulat fondamental en réalité virtuelle :

Le traité de la réalité virtuelle

Dans un environnement virtuel interactif, la personne exploite la même démarche que dans un monde réel, pour organiser le virtuel selon un ensemble de règles spatiotemporelles et causales. Dans le cas de difficultés techniques, économiques ou théoriques ne permettant pas d’exploiter un Schème Comportemental Importé, nous pouvons contourner ces difficultés en employant une « métaphore ». Au lieu d’exploiter un comportement sensorimoteur et acquis de la personne, nous lui proposons, visuellement en général, une image symbolique de l’action ou de la perception souhaitée. Par exemple dans un magasin virtuel, on peut proposer au consommateur de valider l’achat d’un produit en cliquant simplement sur son image et ensuite sur une icône représentant une caisse. Cette action devient symbolique et elle n’est plus représentative de l’action sensori-motrice dans un magasin réel, l’immersion et l’interaction y sont moins pseudo-naturelles. La métaphore peut aussi exploiter un sens spécifique, qui soit différent du sens stimulé dans l’action réelle : métaphore avec substitution sensorielle, (de même pour une réponse motrice), par exemple la détection entre deux objets est rendue par leur changement de couleur. L’étude de ces catégories de processus cognitifs est développée dans le chapitre 2 du volume «Interface, immersion et interaction en environnement virtuel» du traité.

1.2.2 LE MODÈLE DE RÉFÉRENCE EN RV

Nous avons présenté deux niveaux d’immersion et d’interaction : le niveau sensorimoteur et le niveau cognitif. Un troisième niveau est nécessaire pour compléter notre démarche. Ce troisième niveau concerne l’application de réalité virtuelle, dont l’objectif est de s’attacher à réaliser une immersion de l’homme pour une activité donnée et non pour une simple immersion cognitive de l’homme dans un monde artificiel. Nous parlons dans ce cas d’immersion et d’interaction fonctionnelles4 . C’est le niveau fondamental que doit étudier en premier tout concepteur d’application : quelles sont les activités (les fonctions) que doit réaliser le sujet ? Le fondement de notre démarche est basé sur ce modèle hiérarchique à trois niveaux, en associant un découpage transversal entre le sujet et le monde virtuel : parallèlement aux différents niveaux d’I2 sensori-motrices et cognitives pour la personne, nous avons deux niveaux de fonctionnement logiciel pour le monde virtuel. Symétriquement aux I2 sensori-motrices, l’ordinateur doit gérer la partie logicielle temps réel (noyau temps réel et drivers pour les dispositifs matériels des interfaces), permettant une réalisation physique du monde virtuel. Cette dernière concerne la simulation basée sur les lois physiques (mécaniques, optiques, biomécaniques, etc.) agissant sur les objets et les êtres animés. Face aux I2 cognitives, la partie logicielle spécifique de réalité virtuelle doit gérer la modélisation comportementale du monde virtuel. Cette partie logicielle doit fournir la simulation des comportements des êtres animés et des Aides Logicielles Comportementales (ALC), associées aux processus cognitifs pour faciliter les I2 cognitives de la personne. L’éventail des ALC exploitables, ALC sensori-motrices (ALS-M) et ALC cognitives (ALCog), est présenté dans le volume «Interface, immersion et interaction en environnement virtuel» du traité. Au niveau I2 fonctionnelles, par rapport à l’application et ses objectifs, il faut se poser la question suivante : quelles sont les activités que l’utilisateur doit exécuter ? Si 4 On

utilise pour la suite la notation I2 pour l’immersion et l’interaction.

Introduction à la réalité virtuelle

le lecteur veut prendre le temps d’y réfléchir, il verra rapidement que dans toutes les applications RV, les activités du sujet sont toujours décomposables en quelques comportements de base que nous appelons les «Primitives Comportementales Virtuelles» (PCV). Il faut donc au niveau des I2 fonctionnelles bien définir les PCV et leurs spécificités. Quelle que soit l’application, ces dernières peuvent être regroupées en quatre catégories : • • • •

observer le monde virtuel ; se déplacer dans le monde virtuel ; agir sur le monde virtuel ; communiquer avec autrui ou avec l’application.

Nous obtenons en final le schéma de référence de la réalité virtuelle (Figure 1.5) qui va nous servir de canevas dans notre démarche en réalité virtuelle [Fuchs e.a., 1999]. Avec ce schéma pluridisciplinaire5, nous avons clarifié les notions d’immersion et d’interaction, qui seront détaillées dans le volume «Interfaçage, Immersion et Interaction en environnement virtuel».

Figure 1.5 : Schéma technocentrique de référence en RV

1.3

STRUCTURATION DU TRAITÉ DE LA RÉALITÉ VIRTUELLE

Le comité de rédaction du traité a souhaité que sa structuration soit basée essentiellement sur les problématiques générales de la réalité virtuelle. Dans toute application 5 A chaque bloc on peut associer : le physicien (pour les IC), le neurophysiologiste (sens et réponses motrices), l’informaticien (logiciels), le psychologue (processus mentaux) et l’ergonome (perception et motricité désirées).

Le traité de la réalité virtuelle

de réalité virtuelle, la personne est en immersion et en interaction dans un environnement virtuel. Elle perçoit, décide et agit dans cet environnement, processus schématisé par la classique boucle «perception, cognition, action», qui doit être réalisée sous des contraintes technologiques, physiologiques et cognitives (Figure 1.2). De ce schéma découlent trois problématiques fondamentales de la réalité virtuelle (Figure 1.6) :

Figure 1.6 : Schéma de la problématique de la réalité virtuelle, basé sur la boucle «perception, cognition, action»

•

La problématique de l’analyse et de la modélisation de l’activité humaine en environnement réel et en environnement virtuel ; La problématique de l’analyse, de la modélisation et de la réalisation de l’interfaçage du sujet pour son immersion et son interaction dans un environnement virtuel ; La problématique de la modélisation et de la réalisation de l’environnement virtuel.

Ces trois problématiques, bien distinctes mais associées, permettent de proposer un cadre pour structurer le traité : • Le volume : «l’Homme et l’environnement virtuel» ; • Le volume : «L’interfaçage, l’immersion et l’interaction en environnement virtuel» ; • Le volume : «Les outils et les modèles informatiques des environnements virtuels». Un quatrième volume «Les applications de la réalité virtuelle» complète le traité en présentant l’exploitation du domaine dans tous les secteurs de la société. Ce découpage en quatre volumes, inhérent à l’ouvrage, ne doit pas déformer la vision du lecteur face aux trois problématiques qui sont fortement imbriquées. Il serait vain d’aborder la réalité virtuelle sous l’angle restrictif d’un seul de ces trois points de vue. Le lecteur, comme tous les auteurs du traité l’ont entrepris, devra faire un va-etvient incessant entre des chapitres de différents volumes pour bien assimiler des notions «technico-cognitives» que la boucle «perception, cognition, action» induit dans tout environnement artificiel. Quel est le comportement de l’homme confronté à des latences et des incohérences sensori-motrices dans un monde virtuel ? Quelles sont les interfaces et les techniques d’interaction qui généreront ces latences et ces incohérences, mais qui aussi les maîtriseront ? Quels sont les outils et les algorithmes informatiques qui limiteront la nuisance de ces artefacts ? Voilà un des problèmes cruciaux qui sera traité transversalement dans les différents volumes du traité.

Introduction à la réalité virtuelle

1.3.1 L’HOMME ET L’ENVIRONNEMENT VIRTUEL

Le volume «l’Homme et l’environnement virtuel» aborde la problématique de la réalité virtuelle sous l’angle des sciences cognitives. L’homme étant au centre du dispositif, il paraît incontournable de préciser comment l’homme fonctionne en tant que système percevant le monde qui l’entoure et comment il est capable d’agir sur celui-ci. Dans le même temps, l’approche ergonomique et des facteurs humains fonde la prise en compte des composantes physiques, physiologiques, cognitives, sociales et culturelles de l’activité humaine dans la conception et l’évaluation des applications. Sans être exhaustif, il s’agit de donner des notions générales sur le fonctionnement humain, en insistant sur les aspects concernant directement la réalité virtuelle. Ces notions devront être prises en compte par les concepteurs de systèmes de réalité virtuelle. Délibérément, nous ne traiterons peu de la perception sur une base sensorielle, ni de la motricité en tant que telle. Celles-ci peuvent être trouvées aisément dans d’autres ouvrages de base. Nous donnerons seulement dans un chapitre quelques informations essentielles sur les sens humains. Nous nous concentrons sur l’interaction, entre l’homme d’une part et le monde et les objets qui le peuplent d’autre part, en intégrant perception et action. On considérera ensuite quels sont les effets produit par ces systèmes sur l’Homme et on terminera par quelques exemples d’applications de la réalité virtuelle comme outil pour étudier le comportement humain. Le plan du volume est composé de sept parties : • • • • • • •

L’homme dans son environnement naturel ; L’homme en interaction avec le monde ; L’homme en mouvement ; L’interaction avec les objets ; Agir sur le monde ; L’homme dans un monde virtuel ; Les usages de la réalité virtuelle comme outil en Sciences de la Vie.

1.3.2 L’INTERFAÇAGE, L’IMMERSION ET L’INTERACTION EN ENVIRONNEMENT VIRTUEL

Le volume «L’interfaçage, l’immersion et l’interaction en environnement virtuel» présente la problématique de l’interfaçage de l’homme à un monde virtuel, aussi bien sous les aspects matériels, logiciels qu’ergonomiques. Les technologies de la plupart des dispositifs des interfaces motrices, sensorielles et sensori-motrices sont décrites en expliquant les principes, les caractéristiques techniques et les limites des dispositifs. Ensuite, une analyse détaillée des techniques d’immersion, d’interaction et des primitives comportementales virtuelles est exposée, permettant de comprendre que l’interfaçage ne se résume pas à un dispositif, mais est réalisé par un ensemble de concepts cognitifs et ergonomiques et de techniques matérielles et logicielles. L’ergonomie de l’interfaçage est abordée pour permettre à tout concepteur d’application d’avoir une démarche rigoureuse, fondée sur des principes et des méthodes qui ont fait leur preuve. Le plan du volume est composé de quatre parties : • •

Concepts de base, approche théorique et pragmatique de l’interfaçage ; Aspects matériels de l’interfaçage comportemental ;

Le traité de la réalité virtuelle

•

Techniques d’interaction, aspect logiciel de l’interfaçage ;

•

L’ergonomie de l’interfaçage.

1.3.3 LES OUTILS ET LES MODÈLES INFORMATIQUES DES ENVIRONNEMENTS VIRTUELS

Le volume «Les outils et les modèles informatiques des environnements virtuels» expose la conception et la réalisation de l’environnement virtuel. Celui-ci, généré informatiquement, doit être modélisé numériquement. Les modélisations des objets, des êtres animés, de leurs lois physiques et comportementales doivent être conçues sous la forte contrainte d’être exploitables en temps réel, imposée par l’objectif de l’instantanéité de la boucle «perception, cognition, action». L’environnement virtuel à créer pouvant être représentatif de n’importe quel environnement réel, nous comprenons aisément que le défi informatique est immense : modéliser numériquement en temps réel toute entité et tout phénomène du monde réel. Si la modélisation visuelle d’objets rigides est bien développée, ce n’est pas encore le cas pour les modélisations non visuelles (mécaniques, acoustiques, etc.) pour des solides déformables. Concernant les modélisations des êtres vivants, bien des travaux sont à poursuivre pour les modélisations biomécaniques, comportementales et d’autonomie de ces entités. Il existe donc un grand nombre de modélisations, certaines étant du domaine de la «réalisation physique du monde virtuel», correspondant au niveau I2 sensori-motrices et d’autres étant du domaine de la «modélisation comportementale du monde virtuel», correspondant au niveau I2 cognitives du schéma de référence en RV (Figure 1.5). Le volume fera une présentation des techniques exploitables actuellement et des recherches futures en modélisation temps réel. Le volume abordera aussi l’évolution des outils logiciels, adaptés aux défis de modélisation de l’environnement virtuel, de l’acquisition des actions de l’utilisateur et des restitutions sensorielles à ce dernier. Le plan du volume est composé de trois parties principales :

•

Modèles pour les rendus sensori-moteurs ;

•

Modèles pour les rendus comportementaux ;

•

Outils et environnements de développement.

1.4 PRÉSENTATION DU CONTENU DU VOLUME «LES APPLICATIONS DE LA RÉALITÉ VIRTUELLE» Le volume «Les applications de la réalité virtuelle» présente l’exploitation des potentialités de la réalité virtuelle dans les principaux secteurs de la société. Différents aspects seront traités dans les chapitres : les potentialités de la réalité virtuelle par rapport au domaine concerné, les axes de recherches actuelles et les aspects technicoéconomiques. Divers exemples représentatifs seront détaillés dans le but de permettre aux lecteurs de concrétiser les différents aspects exposés au cours des chapitres.

Introduction à la réalité virtuelle

1.4.1 LES DIVERSES POTENTIALITÉS ISSUES DE LA FINALITÉ DE LA RÉALITÉ VIRTUELLE

En partant de la finalité de la réalité virtuelle, nous pouvons avoir trois cas théoriques fournissant des potentialités différentes pour les applications qui peuvent se référer à un ou plusieurs de ces trois cas : • monde imaginaire ; • monde symbolique ; • simulation de certains aspects du monde réel. Nous voudrions indiquer au lecteur la richesse de potentialités que cela recouvre. Un monde imaginaire est source d’émotions qui est à la base des applications artistiques. Nous ne développerons pas ce cas aux potentialités très vastes, renvoyant le lecteur aux deux chapitres sur ce sujet. Nous nous focalisons sur les deux autres cas. Un monde symbolique peut être exploité dans bien des domaines d’activités et sous des aspects différents : • • • •

symbolisation d’ensembles, structurés ou non, de données à traiter ; symbolisation de phénomènes physiques ; symbolisation du temps ; symbolisation de l’espace.

Certaines applications exploitent un monde symbolique pour représenter des ensembles de données à traiter qui sont au cœur de la préoccupation de l’utilisateur. Les exemples les plus significatifs sont présentés dans le chapitre 4 sur « les explorations de données scientifiques et les expérimentations virtuelles» : les scientifiques sont de plus en plus face à des données expérimentales massives, hétérogènes et dispersées. Dans ces conditions, ces scientifiques sont demandeurs de systèmes qui leur offrent d’explorer et d’interagir avec leurs données et ceci en temps réel. D’autres applications exploitent un monde symbolique pour représenter des phénomènes physiques à assimiler par l’utilisateur. Un exemple, riche d’enseignement, est une application de formation de l’AFPA : permettre à un apprenant de découvrir les principes de base de l’usinage et de se construire des modèles mentaux des efforts dans les machines à commandes numériques à partir d’un ressenti haptique et symbolique dans la main de l’opérateur (symbolique, dans le fait que les efforts sur la main de l’opérateur sont qu’une copie réduite et irréelle des efforts dans la machine). Cette application est présentée dans le chapitre 3 sur « la conception des environnements virtuels pour l’apprentissage». Dans des applications, il peut être utile de représenter symboliquement le temps. Classiquement, pour le déroulement temporel d’évènements ou d’étapes, un diagramme chronologique est facilement visualisable symboliquement pour éclairer l’utilisateur. Dans d’autres applications, il peut être nécessaire de représenter symboliquement l’espace pour faire comprendre au sujet certains concepts. Par exemple, dans une formation se réalisant virtuellement sur un espace en partie dangereux, des indications symboliques peuvent signaler les zones dangereuses (surlignées en rouge par exemple).

Le traité de la réalité virtuelle

Ces quatre cas de représentations symboliques sont à retenir pour être exploités à bon escient dans toutes les applications. D’autres représentations symboliques sont envisageables selon les besoins. De même, la simulation de certains aspects du monde réel peut se décliner sous différents objectifs. Certaines activités en Environnement Virtuel (EV) sont donc proches des activités correspondantes en Environnement Réel (ER), mais de quelle façon ? La similitude des EV et ER n’est souvent réalisée que pour certaines modalités sensorielles, non pas en général qu’il y ait un obstacle technicoéconomique, mais parce que l’application ne l’exige pas (selon les I2 fonctionnelles). Nous avons explicité aussi que, dans certaines applications, des stimuli d’un sens peuvent être avantageusement substitués par ceux d’un autre sens. Les différents cas de similitude entre ER et EV étant nombreux, nous ne détaillons réciproquement que les aspects volontairement différents entre le monde réel et le monde virtuel. Il peut être opportun d’avoir un EV qui soit une copie volontairement biaisée de l’ER, par exemple un EV avec des lois physiques non réalistes. Une application exemplaire concerne l’étude des comportements de gardiens de handball, réalisée par l’IRISA de Rennes. Pour déterminer les repères visuels exploités par les gardiens pour arrêter un tir, l’EV simule correctement le geste du tireur mais applique des lois mécaniques fausses pour déterminer les trajectoires du ballon. Ainsi, il est possible de connaître les gardiens qui jugent directement de la trajectoire du ballon et ceux qui anticipent la trajectoire en observant le geste du titreur (et qui n’arrêtent pas le tir dans cet EV biaisé !), voir le chapitre «Interactions entre réalité virtuelle et sciences du comportement» dans le volume 1 de ce traité. Il peut être efficace d’avoir un EV qui soit perçu volontairement d’une façon irréaliste, en particulier visuellement. Parmi les cas classiques, citons le changement de point de vue (non égocentré) du sujet qui lui permet, par exemple, de mieux se repérer dans un lieu. Un autre cas est la visualisation irréaliste mais efficace de l’espace : par exemple, il est efficace pour la formation d’un démineur de lui visualiser ses sondages sur une mine avec un point de vue en transparence du sous-sol et en rajoutant tous les axes des sondages. Le démineur comprend mieux ainsi sa recherche de présence de mine grâce à une perception, certes irréaliste, mais plus explicite, de son travail de sondage (voir le chapitre 13 sur les applications des techniques de réalité virtuelle en milieu militaire dans ce volume). Une autre situation irréaliste est de proposer le point de vue d’une autre personne. Par exemple, dans une formation pour les enfants à la sécurité routière, il est efficace de monter à l’enfant la vision d’un automobiliste quand l’enfant traverse la rue devant cet automobiliste. Cette liste de cas, bien loin d’être exhaustive, permet de se rendre compte des vastes potentialités de la réalité virtuelle dès que l’on s’éloigne du carcan, que certains s’imposent comme règle de base : l’EV doit être le plus réaliste possible et le plus proche de l’ER.

1.4.2 TAXONOMIE À PARTIR DE LA DÉFINITION FONCTIONNELLE DE LA RÉALITÉ VIRTUELLE

Comme nous l’avons indiqué précédemment, une définition fonctionnelle de la réalité virtuelle repose sur les notions de temps, de lieu et de type d’interaction. La réalité virtuelle permet à l’utilisateur de s’extraire de la réalité physique pour changer virtuellement de temps, de lieu ou de type d’interaction.

Introduction à la réalité virtuelle

Changer virtuellement de temps est potentiellement intéressant : visiter un lieu ancien, revoir un évènement passé, concevoir un futur produit, enregistrer une activité de formation pour permettre au formé de la visualiser ensuite, etc. Globalement, il s’agit de manipuler le temps comme une ordinaire grandeur maîtrisable. Le lieu réel peut être remplacé par un lieu géographiquement distant, pour la visite virtuelle d’un endroit ou d’un site par téléprésence. Mais le lieu peut être sans attache géographique en devenant un lieu de rencontre entre plusieurs utilisateurs pour du travail collaboratif, de la formation à distance ou de la télémédecine. Nous pouvons utiliser cette approche qui permet une taxonomie fonctionnelle des applications de la réalité virtuelle selon les combinaisons de ces trois fonctions, présentée en annexe. 1.4.3 CLASSIFICATION DES APPLICATIONS POUR LE PLAN DU VOLUME

Organiser un volume sur les applications de la réalité virtuelle n’est pas tâche aisée : en effet, méthodologie intrinsèquement transversale, la réalité virtuelle se retrouve dans un très grand nombre de contextes. Une première possibilité consiste à présenter les applications sous forme chronologique depuis l’apparition de la réalité virtuelle jusqu’à aujourd’hui. Ce classement n’autorise pas une lecture homogène et n’apporte pas de clarification au lecteur. En effet, cette approche historique est immanquablement dépendante de l’évolution technologique qui ne suit aucune logique particulière. De plus, ces dernières années l’évolution est, d’une part, très importante et, d’autre part, concerne pratiquement tous les aspects possibles de la réalité virtuelle, conduisant ainsi à l’impossibilité de l’exploitation de la piste temporelle. Une deuxième possibilité est de classer les applications par secteur d’activité économique (sciences, transports, architecture, médecine, ...). Malheureusement, une telle classification conduit à des redondances importantes ; par exemple, le lecteur trouvera successivement la description d’activités de formation très similaires dans chacun des chapitres consacrés aux domaines. Une troisième possibilité repose sur un classement par objectif principal de l’application : la formation, la conception, la compréhension, etc. Cette approche a le mérite de regrouper des applications proches mais mélange l’ensemble des secteurs concernés. Finalement, nous proposons une grille de lecture sous la forme d’une matrice à double entrée combinant les avantages des deux dernières possibilités évoquées. La première entrée concerne les objectifs, tandis que la deuxième traite les secteurs. Le lecteur a donc la possibilité de choisir l’axe le plus utile pour sa compréhension. Plus qu’une organisation de volume, cette matrice a la volonté de servir de grille de compréhension des applications de la réalité virtuelle tant actuelles que futures.

1.4.3.1

Les fonctions de la réalité virtuelle

Il existe un très grand nombre d’applications utilisant la technologie réalité virtuelle. Afin de les présenter sous une forme claire, nous avons décidé de les regrouper dans des classes identifiées par un objectif commun indépendamment des secteurs d’activité concernés. Par exemple, les applications visant à la formation d’un utilisateur appartiennent à la même famille, que ce soit les simulateurs de vol pour les pilotes d’avion,

Le traité de la réalité virtuelle

les simulateurs d’intervention chirurgicale pour les étudiants en médecine ou les simulateurs de conduite de procédés industriels pour les personnels appelés à gérer et à surveiller une usine ou une centrale nucléaire. En examinant la finalité principale des applications, nous avons pu les regrouper en quelques grandes familles identifiées chacune par un verbe : •

•

comprendre : il s’agit de faciliter la compréhension d’un phénomène ou d’un ensemble d’informations complexes en immergeant l’utilisateur et en lui permettant d’agir sur ces données dans un environnent virtuel les représentant. La finalité de ces applications peut se résumer à la compréhension du phénomène (climatologie, archéologie ...) ou bien servir de base à une prise de décision (exploration du sous-sol pour localiser l’installation d’un puits de forage, exploration médicale pour déterminer le type d’intervention chirurgicale, appréhension d’un ensemble des données économiques et politiques pour réaliser une opération financière ...) ; concevoir : cette famille regroupe les applications permettant aux ingénieurs de concevoir ou d’expérimenter certaines propriétés dans le modèle numérique d’un objet pour évaluer sa conception avant sa fabrication réelle. Partant d’objets très complexes comme un bâtiment pour tester l’aménagement ou l’accessibilité de certaines parties, un avion ou une automobile pour tester leur aménagement intérieur ou les détails de leur motorisation, le champ d’application de ces systèmes évolue vers des objets plus simples comme des éléments de mobilier pour tester leur forme ou leur décoration ; apprendre : le but est d’immerger un apprenant dans un environnement virtuel visant à lui enseigner le fonctionnement d’un procédé complexe (le pilotage d’un avion, d’un train ou d’un navire) la réalisation d’un geste chirurgical, d’une opération de maintenance, la formation à un commandement d’une équipe de sécurité, etc. contrôler : les objets virtuels peuvent fournir une interface autorisant une conduite simplifiée d’un processus complexe. Citons par exemple, un chirurgien contrôlant à distance un robot réalisant un geste opératoire, un ingénieur supervisant l’évolution d’un grand chantier, comme la réalisation d’usine à l’autre bout du monde, exploitant une maquette numérique à jour de l’évolution du chantier ou bien un acteur évoluant en direct pour animer un personnage synthétique incrusté sur des prises de vue réelles ; distraire : la représentation et l’interaction avec des environnements virtuels autorisent des expériences nouvelles dans lesquelles un artiste va plonger ses spectateurs dans un monde virtuel ou bien un scénariste va utiliser un simulateur pour concevoir son scénario.

Cette vision de l’organisation des catégories d’applications reste toutefois schématique. Toute classification est un peu arbitraire car dans la vraie vie les faits sont toujours plus complexes. En effet, il est tout à fait possible d’imaginer des applications de la réalité virtuelle qui combinent plusieurs fonctions, car il n’est pas exclu de pouvoir apprendre en se distrayant ou de comprendre en contrôlant.

1.4.3.2

Les grands secteurs professionnels

En tant qu’acteur de la réalité virtuelle, nous sommes tentés d’affirmer que la réalité virtuelle se place potentiellement dans tous les secteurs d’activités professionnelles. En

Introduction à la réalité virtuelle

effet, si on examine les grandes fonctions proposées dans la section précédente, elles peuvent trouver un écho dans bon nombre de secteurs de l’activité humaine. Néanmoins, dans la suite de cette section, nous allons seulement détailler les grands secteurs applicatifs pour lesquels nous disposons déjà d’un certain recul, c’est-à-dire ceux pour lesquels de réelles applications existent : sciences : la capacité des calculateurs d’aujourd’hui à produire des teraoctets de données de simulations est telle que l’exploitation même de ces données (pour ne pas dire leur existence) pose problème. Pour bien situer le problème, il faut une échelle de représentation. Prenons l’exemple d’un grand projet de simulation actuel (simulateur atomique, couplage de simulation multiphysiques, etc.). Il y a quelques dizaines d’années (très peu en fait), il fallait une pièce complète pour stocker les listing d’ordinateur, résultats des simulations effectuées. Aujourd’hui, il faut la même pièce pour ranger ces résultats, au détail près qu’il sont maintenant stockés sur des DVDs qui ont des capacités d’intégration bien supérieures à celles du papier. Pour l’exploitation des données issues de la simulation, la réalité virtuelle est un outil puissant qui permet en particulier grâce à la visualisation immersive l’accès à une vision locale et une vision globale d’un phénomène en simultané, offrant ainsi au spécialiste la capacité de «mieux appréhender» les phénomènes observés. Dans le même ordre d’idée, l’enrichissement multimodal (son, retour d’effort, ...) de représentation métaphorique des données permet de rendre plus efficace la perception des phénomènes. psychothérapie : l’utilisation de la réalité virtuelle comme outil thérapeutique, outre son impact sociétal fondamental, ouvre une voie très prometteuse pour mieux comprendre l’homme. En effet, si on arrive à le soigner en utilisant ces technologies, c’est aussi parce qu’elles arrivent à nous renseigner sur certains modes de fonctionnent interne de notre organisme. La réalité virtuelle, par la capacité qu’elle offre de contrôler individuellement chaque paramètre du monde virtuel dans lequel est immergé l’utilisateur, procure par-là même un outil permettant d’analyser le comportement de l’homme face à la modification de ce paramètre. médecine : bien que très proche, en terme des arguments développés de la psychothérapie, tout au moins pour une partie d’entre eux, les applications de la réalité virtuelle dans le domaine médical sont plus à analyser sous l’angle d’interventions chirurgicales ou d’autres actes médicaux. Ce secteur se place à la croisée des chemins : il concerne à la fois la lourde problématique de l’acquisition des données (scanners, IRM, ...), la simulation des matériaux du corps humains, la préparation de l’intervention, la formation au geste technique (formation de praticien), la restitution sensori-motrice de phénomènes complexes avec retour d’efforts dans des corps déformables ou dans des fluides. En bref, ce secteur applicatif est riche en problèmes épineux posés et non moins riches en solutions originales, pragmatiques et opérationnelles. environnement : dans une logique où l’impact environnemental de l’activité industrielle est de plus en plus regardé à la loupe à la fois par les usagers et par les décideurs politiques, la réalité virtuelle est elle aussi de plus en plus largement utilisée comme un outil d’aide à la décision, en particulier en ce qui concerne la prévention des risques naturels ou industriels. industries manufacturières : après la révolution engendrée par l’introduction des techniques de conception assistée par ordinateur, cette industrie a connu un nouveau bouleversement avec l’introduction de la réalité virtuelle. Ces deux révolutions sont liées à plus d’un titre. Tout d’abord, la première a créé la notion de maquette numérique

Le traité de la réalité virtuelle

que la deuxième exploite pleinement. Ensuite, elles ont eu pour vocation d’optimiser le cycle de conception des produits industriels afin de réduire les temps de développement. Fondamentalement, par rapport au bureau d’étude, la question posée par l’introduction de la réalité virtuelle dans la vie de l’ingénieur concerne le fait de savoir, d’une part, comment il pourra mieux réaliser avec la réalité virtuelle ce qu’il faisait avant et, d’autre part, comment il pourra exploiter l’outil pour concevoir, fabriquer ou produire différemment. architecture et urbanisme : l’architecture et l’urbanisme sont des domaines dans lesquels les critères évoluent assez rapidement et sont très dépendants de la culture. La mise en situation d’un projet architectural ou d’une nouvelle approche urbanistique, dans un contexte où ce qui importe est le point de vue de l’utilisateur, impose de mettre à disposition des concepteurs des technologies de simulation et d’interaction très sophistiquées. En particulier, la thématique qui consiste à étudier (analyser et simuler) des ambiances urbaines qui combinent plusieurs modalités (par exemple, la vue et l’audition) commence à voir le jour. transports : une partie des arguments développés dans la rubrique consacrée à l’industrie manufacturière s’applique bien entendu aux systèmes de transport. Néanmoins, de nouvelles applications sont spécifiques aux systèmes de transport, dont les simulateurs de transport (simulateurs de conduite pour les véhicules, simulateurs de gestion du trafic, etc.). culture, art, loisir, patrimoine : un des éléments qui caractérise ce secteur est de s’adresser directement au grand public qui est l’utilisateur final. Cette particularité a des conséquences importantes sur le développement des technologies. En effet, vu les enjeux en terme de nombre potentiel d’utilisateurs, le facteur d’échelle des produits est tout à fait différent des autres domaines. De plus, l’acceptabilité en coût d’équipement induit nécessairement la conception de produits dédiés, plus accessibles. Cette analyse, purement économique, est indépendante de l’intérêt culturel ou patrimonial des contenus de telles applications. défense : historiquement ce secteur est un des premiers et sûrement celui qui a contribué le plus au développement de la technologie. En effet, les études historiques sur les simulateurs de vols, entamées après la deuxième guerre mondiale, ont eu un impact jusque dans la carte graphique actuellement disponible dans votre ordinateur favori. En définitive, cette taxonomie orientée sur les secteurs d’activité permet une certaine grille de lecture de l’usage et l’exploitation de la réalité virtuelle. Il n’en demeure pas moins quelle est très complémentaire de la présentation par grandes fonctions. La plupart ces domaines d’activités précités sont développés dans les chapitres de la partie « Les applications par domaine d’activités» de ce volume. Mais avant cette partie, deux chapitres présentent les potentialités de la réalité virtuelle pour la conception et pour l’apprentissage. 1.5 CONCLUSION En conclusion de ce chapitre introductif des applications de la réalité virtuelle, nous avons souhaité souligner la dualité de la classification par grandes fonctions et par secteur applicatif. Cette dualité est formalisée par une présentation matricielle de ces applications de la réalité virtuelle. Dans cette matrice, les lignes représentent les grands

Introduction à la réalité virtuelle

secteurs applicatifs et les colonnes les grandes fonctions offertes par la réalité virtuelle. Bien entendu, la liste des secteurs d’activité n’est pas exhaustive et correspond à une photographie à un instant donné. De la même façon, la matrice n’est pas pleine. En d’autres termes, toutes les fonctions ne s’appliquent pas à tous les secteurs applicatifs. Certaines de ces associations sont probablement contre-nature (peut-on se distraire en utilisant des applications liées à la défense ou à la médecine ?) alors que d’autres existent d’ores et déjà mais ne font pas l’objet d’un chapitre de cette édition. Enfin certaines d’entre-elles font résolument partie du futur de la réalité virtuelle.

1.6

ANNEXES

1.6.1 UNE TAXONOMIE FONCTIONNELLE DES APPLICATIONS DE LA RÉALITÉ VIRTUELLE

Face à la multitude d’applications potentielles, une taxonomie fonctionnelle est souhaitable, plutôt que de passer en revue les secteurs d’activité de l’homme, qui sont tous susceptibles d’exploiter les techniques de réalité virtuelle. Cette classification est critiquable, mais elle a le mérite d’être indépendante des domaines d’activité. Elle est donc basée sur les fonctions intrinsèques de la réalité virtuelle : l’utilisateur peut s’extraire de son propre espace, du temps présent pour interagir dans un monde artificiel. Ces trois possibilités de changement induisent des états différents qui peuvent se combiner (Figure 1.7) :

•

déconnecté du temps présent (T0 ), l’utilisateur peut se mouvoir dans le passé (T− ) ou le futur (T+ ). Dans ces deux cas, il est aussi possible de ralentir ou d’accélérer le temps pour une meilleure perception des phénomènes ;

•

il peut désirer se projeter soit dans un lieu inaccessible (lieu géographiquement distant ou à échelle non humaine : espace microscopique par exemple) (L→ ), soit s’associer à plusieurs dans un lieu virtuel (L∪ ). La notation (L0 ) indique que le lieu est inchangé ou indifférent pour l’application envisagée ;

•

la réalité virtuelle crée des interactions soit dans un monde simulant la réalité (IAr ), soit dans un monde imaginaire ou symbolique (IAi ). La notation (IA0 ) indique que les interactions se font dans le monde réel.

Remarques : La réalité virtuelle implique des interactions IAr ou IAi . La téléprésence et la téléopération (interactions à distance avec un monde réel : IA0 .T0 .L→ ), qui ne font pas partie de la réalité virtuelle, exploitent en partie des interfaces de mêmes types. Une remarque identique s’applique aux télécommunications par téléphone, visiophone ou vidéoconférence classique (IA0 .T0 .L∪ ). Il y a théoriquement 2 x 32 = 18 combinaisons possibles pour les deux classes IAr et IAi , mais l’association de plusieurs utilisateurs (L∪ ) ne peut se faire qu’au présent (T0 ), d’où 4 combinaisons qui ne peuvent être envisagées : (IAr + IAi ).L∪ .(T− + T+ ).

Le traité de la réalité virtuelle

Figure 1.7 : Les fonctions intrinsèques de la réalité virtuelle

1.6.2 LES APPLICATIONS POTENTIELLES DE LA RÉALITÉ VIRTUELLE

Nous obtenons ainsi une taxonomie des applications de la réalité virtuelle qui regroupe tous les domaines, sans faire intervenir des considérations technico-économiques.

1.6.2.1

Interactions avec un monde simulant la réalité

L’objectif de ces applications est d’offrir la simulation de certains aspects de la réalité pour mieux les appréhender. •

•

IAr .T0 .L0 Activité virtuelle : le lieu et le temps étant indifférents, l’utilisateur agit physiquement sur une scène virtuelle pour ses loisirs, pour une formation incluant un apprentissage physique. Exemples : jeux, sports et loisirs virtuels, formation virtuelle dans les secteurs suivants : médecine, chirurgie, rééducation, armée, industries aéronautique et spatiale. . . IAr .T0 .L→ Transfert virtuel : le temps étant indifférent, l’utilisateur est transporté dans un autre lieu ayant une scène simulant le réel pour son travail, ses loisirs, ses activités quotidiennes. Exemples : tourisme virtuel, étude dans un monde microscopique ; IAr .T0 .Lu Téléassociation virtuelle : l’association de plusieurs personnes dans un lieu virtuel permet à celles-ci de se rencontrer. Exemples : jeux et sports d’équipes virtuels, téléconférence avec outils de réalité virtuelle, cité virtuelle ; IAr .T+ .L0 Conception virtuelle : la réalité virtuelle permet de concevoir et d’expérimenter de futurs produits. Elle ajoute une dimension supplémentaire par rapport

Introduction à la réalité virtuelle

•

à la CAO : tester le comportement de l’homme pour des produits qui ne sont pas encore fabriqués. Exemples : architecture virtuelle, conception de produits industriels, de vêtements ; IAr .T+ . L→ Aménagement virtuel : même possibilité que pour la conception virtuelle, mais concernant des espaces à aménager. Exemples : conception d’environnements urbains ou paysagistes, ergonomie d’un poste de travail, d’un atelier ; IAr .T− . L0 Exposition virtuelle : Il s’agit dans cette application de recréer et d’observer des objets qui n’existent plus. Exemples : études de produits anciens ou d’œuvres d’art détruits ; IAr .T− . L→ Événement virtuel : en recréant d’anciens événements, on permet à l’utilisateur de mieux les appréhender et les comprendre. Exemples : études d’anciennes civilisations, visite d’anciens lieux, enquêtes policières par reconstitution virtuelle.

1.6.2.2

Interactions avec un monde imaginaire ou symbolique

L’objectif de ces applications est de proposer à l’utilisateur soit des mondes imaginaires à des fins ludiques ou artistiques, soit des mondes symboliques pour concrétiser des phénomènes, des concepts grâce à des métaphores. •

•

IAi .T0 .L0 Création virtuelle et simulation physique interactive : la réalité virtuelle permet de créer soit des œuvres éphémères et en interaction avec le spectateur, soit des métaphores. Exemples : art virtuel, musée virtuel, cinéma interactif, vie artificielle, représentation symbolique d’un marché financier, simulation d’une base de données géologiques ; IAi .T0 .L→ Navigation symbolique : l’utilisateur peut se déplacer dans un graphe, un réseau ou un arbre représentant symboliquement des structures réelles. Exemple : navigation dans un réseau de communication ; IAi .T0 .Lu Télévirtualité : relation entre plusieurs utilisateurs par l’intermédiaire de clones. Exemples : télécommunication par clonage, communauté virtuelle ; IAi .T+ .(L0 + L→ ) Science-fiction virtuelle : l’utilisateur est projeté dans un monde irréel et futur. Exemples : œuvre virtuelle, jeux virtuels ; IAi .T− .(L0 + L→ ) Passé imaginaire virtuel : l’utilisateur est projeté dans un monde irréel et passé. Exemples : œuvre virtuelle, jeux virtuels.

1.6.3 HISTORIQUE SUCCINCT DE LA RÉALITÉ VIRTUELLE

La naissance des techniques de la réalité virtuelle est étroitement liée à l’évolution de l’informatique, en particulier à celle du domaine de la synthèse des images. On peut rappeler certains jalons des progrès techniques ayant permis d’envisager par la suite les systèmes de réalité virtuelle : •

1962 : le précurseur des systèmes d’immersion virtuelle, le Sensorama. Ce dispositif permettait à un utilisateur d’être immergé visuellement et auditivement dans une scène réelle, préalablement filmée. De plus l’utilisateur percevait des odeurs et des vibrations. Le but du système était de simuler un déplacement virtuel en véhicule.

•

Le traité de la réalité virtuelle

Reposant sur des techniques non informatiques, l’utilisateur était spectateur et le dispositif resta à l’état de prototype ; 1962 : le premier logiciel graphique permettant la simulation visuelle de données est créé, ce qui permet l’essor de la CAO, la Conception Assistée par Ordinateur ; vers 1965 : c’est le début de la micro-informatique, avec en particulier la création d’une interface «comportementale» entre l’homme et la machine, la souris. C’est la première interface matérielle entre la machine et l’homme qui exploite un de ses comportements naturels : le mouvement de la main ; vers 1970 : des logiciels sont conçus pour la navigation et l’exploration de mondes virtuels visualisés sur un écran ; 1970 : le premier «visiocasque» est réalisé par Daniel Vickers de l’Université d’Utah. Ce dispositif permet une immersion visuelle dans un monde virtuel. L’utilisateur, coiffé d’un casque supportant deux mini-écrans, peut observer une scène virtuelle tout en tournant la tête ; 1982 : une nouvelle interface comportementale apparaît : le gant de données. Ce dispositif mesure les déplacements des doigts et de la main de l’opérateur et permet à ce dernier de communiquer avec l’ordinateur ; 1980/1985 : c’est le début de la commercialisation de matériels et de logiciels spécifiquement dédiés à la réalité virtuelle ; 1990/1995 : le grand public prend connaissance des premiers développements de la réalité virtuelle grâce aux médias.

Les lecteurs intéressés par l’historique de la réalité virtuelle peuvent consulter le livre de Rheingold [Rheingold, 1993], qui fut le premier à écrire sur le développement de la réalité virtuelle, spécialement aux États-Unis. Ce sont principalement les chercheurs américains qui sont à l’origine des techniques de la réalité virtuelle. Cette dernière a donné naissance à un grand nombre de nouveaux défis scientifiques que la communauté des chercheurs souhaite résoudre. Parallèlement, le développement de produits fiables et à prix accessibles est un challenge pour le milieu industriel. D’importants efforts de recherche ont déjà été entrepris depuis les années 80-90 pour concevoir des interfaces matérielles permettant une meilleure immersion, et pour développer des logiciels puissants dédiés à la réalité virtuelle. Les interfaces sont souvent fabriquées par de petites sociétés, le marché ne se développant pas aussi rapidement que certains l’espéraient au début des années 90. Et pour terminer ce rapide résumé historique, une anecdote révélatrice : vers les années 94-97, de grandes sociétés fabricant les jeux vidéo ont fait plusieurs années de suite, au moment des fêtes de fin d’année, des annonces de ventes de visiocasques (HMD) pour les jeux. Ils n’ont jamais été commercialisés, montrant ainsi que les contraintes techniques, économiques et de santé publique étaient plus importantes que prévues dans le développement des interfaces. 1.6.4 LES DOMAINES PRÉCURSEURS DE LA RÉALITÉ VIRTUELLE

La réalité virtuelle ne s’est pas développée isolément, indépendamment de domaines voisins. Comme nous l’avons indiqué précédemment, les simulateurs de transport furent des dispositifs de réalité virtuelle avant la lettre. Son essor repose sur les progrès enregistrés dans différents domaines dont elle dépend. Elle s’appuie sur le domaine de

Introduction à la réalité virtuelle

la simulation «interactive»6, sur le domaine de l’infographie et des jeux vidéo pour la création d’images de synthèse en temps réel et sur le domaine de la téléopération pour l’immersion de l’utilisateur à partir d’interfaces. Les interfaces entre le téléopérateur et le poste de contrôle, situées hors de la zone de téléopération, ont les mêmes objectifs que ceux des interfaces de réalité virtuelle : permettre une immersion et une interaction en temps réel, soit sur une zone réelle distante ou soit sur un environnement virtuel (Figure 1.8).

SIMULATION

TELEOPERATION Interfaces comportementales

Simulation interactive

REALITE VIRTUELLE Images de synthèse en temps réel INFOGRAPHIE JEUX VIDEO

Figure 1.8 : Domaines précurseurs de la réalité virtuelle

1.6.5 LE DÉVELOPPEMENT DE LA RÉALITÉ VIRTUELLE EN FRANCE

Les recherches en France ont commencé au début des années 90 dans des centres de recherche du domaine de l’informatique et de la robotique (l’INRIA, le Centre de Robotique de l’École des mines de Paris, le Laboratoire de Robotique de Paris, l’ACROE, le Laboratoire d’Informatique Industrielle de l’ÉNIB de Brest...) et du domaine des sciences cognitives (le Laboratoire de Physiologie de la Perception et de l’Action du Collège de France). Rapidement, début 1994, les centres de recherche français se sont regroupés au sein du Groupe de Travail sur la Réalité Virtuelle (GT-RV), sur l’initiative de l’équipe ÉPIDAURE de l’INRIA Sophia-Antipolis. Le Groupe édite une lettre électronique d’informations, Rêveries, rédigé par Gérard Subsol, Adresse : [http1]. Au début des années 90, les recherches ont été principalement axées sur les aspects techniques de la réalité virtuelle : les interfaces et les logiciels. Mais, depuis huit ans environ, la recherche se développe aussi sur l’étude du comportement humain et de son interfaçage comportemental dans les environnements virtuels. Cette nouvelle approche nécessite l’apport de connaissances des chercheurs en sciences cognitives. Des 6 A bien différencier de la simulation de lois physiques sur un produit ou processus, calculée en temps différé.

Le traité de la réalité virtuelle

recherches interdisciplinaires ont débuté dans le cadre du département STIC du CNRS par l’intermédiaire de réseaux RTP et d’une Action Spécifique sur la réalité virtuelle et la cognition, animée par P. Bourdot du LIMSI et P. Fuchs de l’École des mines de Paris [http17]. L’école CNRS «Réalité virtuelle et sciences du comportement», qui s’est tenue à Marseille en mai 2003, a abordé les problèmes interdisciplinaires du domaine [http22]. La réalité virtuelle ne s’est pas non plus développée rapidement et exponentiellement en France et dans le monde, comme certains le pensaient. De jeunes entreprises ont dû changer d’orientation, le marché du début des années 90 n’étant pas assez porteur. Les premiers congrès sur la réalité virtuelle à Montpellier ont eu des périodes florissantes mais celles-ci ne se sont pas pérennisées (dernier congrès de Montpellier en 1997). Début 2001, un consortium d’une quinzaine d’industriels et de centres de recherche français mène une action d’envergure sur trois ans pour développer une plate-forme en réalité virtuelle (PERF-RV) dans le cadre des projets RNTL, subventionnés par le gouvernement [http2]. Les premiers congrès du domaine se sont tenus à Montpellier de 1992 à 1997, «L’interface des mondes réels et virtuels». Après, des congrès sur la réalité virtuelle ont eu lieu à Nîmes (98), Laval (1999 à 2005), [http3] et à Brest (2000), [http4]. Les «rencontres de la réalité virtuelle» ont lieu chaque année à l’Institut Image de Chalon sur Saône depuis 98, [http5]. Durant cinq ans, l’exposition MICAD (domaines de la CAO et de la FAO) [http8] a consacré des séminaires faisant le lien entre la CAO et la RV. A Biarritz se tient le congrès «Virtual Concept», organisé par l’ESTIA, [http23]. Des formations sur la réalité virtuelle sont proposées par différents instituts : les mastères en réalité virtuelle de l’ÉNIB de Brest et de l’Institut Image de Chalon sur Saône et à Laval, organisé par l’ISTIA d’Angers [http11]. Le Master RV&SI est proposé par l’Université d’Évry avec l’INT d’Evry et l’École des mines de Paris [http10].

1.6.6 UN PETIT BÊTISIER DE LA RÉALITÉ VIRTUELLE

Nous ne pouvons résister à l’envie de rédiger ce petit bêtisier. Il serait bon de ne pas continuer à propager ces erreurs : 1. «Les systèmes de réalité virtuelle sont ceux qui utilisent un visiocasque». Que de déception, au début de la réalité virtuelle, chez les professionnels qui voulaient à tout prix voir dans un visiocasque. On avait beau leur dire que ce n’était guère montrable et peu enthousiasmant pour des raisons techniques, ils voulaient voir. . .et repartaient bien souvent déçus, les visiocasques n’étant pas au point (l’évolution des visiocasques est lente, voir le chapitre «interfaces visuelles» dans le volume 2 du traité). Mais soyons honnêtes : nous ne pouvons pas reprocher aux spécialistes des simulateurs de transport (automobile, aéronautique, etc.), faisant de la «réalité virtuelle» avant l’invention du terme RV, d’associer la RV aux visiocasques qui sont apparus en même temps, d’où la confusion qui perdure. . .malgré nos efforts chez un constructeur automobile ; 2. «La réalité virtuelle est immersive quand on utilise un visiocasque». Étonnant : l’immersion du sujet ne dépendrait toujours que d’une seule propriété

Introduction à la réalité virtuelle

10.

(l’immersion du regard7), d’un seul sens humain, la vision. Notons, et nous en reparlerons, que l’obtention d’un grand champ de vision ne se fait pas que dans un visiocasque. Les champs de vision sont souvent plus importants avec des grands écrans. Nous avons réalisé, comme d’autres, des immersions très efficaces sans visiocasque ; «La réalité virtuelle est définie comme un ensemble de logiciels qui...». Définition bien restrictive. Comme s’il n’y avait que des problèmes logiciels à résoudre ! «Les interfaces de la réalité virtuelle sont appelées interfaces sensorielles (ou perceptives)». Comme nous l’avons expliqué, l’innovation qu’apporte la réalité virtuelle est justement de permettre à un utilisateur «d’agir virtuellement», ceci n’étant donc possible qu’avec des interfaces «motrices» ! «La réalité virtuelle peut (doit) exploiter les cinq sens de l’homme». Mais l’homme a plus de cinq sens8 et ce sont souvent les sens oubliés (kinesthésie, perception proprioceptive des efforts) qui posent des problèmes complexes dans bien des applications RV (les simulateurs de transport, par exemple). Une présentation des sens est exposée au chapitre «Les sens de l’homme» dans le volume 1 de ce traité ; «La réalité virtuelle utilise obligatoirement les images en relief». Et pourtant bien des dispositifs RV fonctionnent parfaitement sans image en relief (voir le chapitre «interfaces visuelles» pour l’apport et les contraintes des images en relief) ; «Nous percevons la profondeur, l’espace 3D, grâce aux images en relief, grâce à nos deux yeux». Le lecteur non convaincu est prié de fermer un œil et de regarder autour de soi : l’environnement est-il plat, est-il perçu en deux dimensions seulement ? «Grâce à la réalité virtuelle, on testera demain virtuellement la conduite de sa nouvelle voiture avant de l’acheter», dixit un journaliste. Quand on connaît le prix d’un simulateur de voiture qui coûte au moins dix à cinquante fois plus cher qu’une voiture et les difficultés qu’impose la simulation, on peut plus que douter de cette affirmation. Mais certains journalistes aiment tant le sensationnel ! «La réalité virtuelle va pénétrer les jeux : en 1995, 1% des jeux pouvaient être qualifiés de jeux de réalité virtuelle. Cette proportion devrait atteindre 20% en 2001», d’après un certain cabinet d’études anglais. A moins de déclarer que tous jeux exploitant les images en 3D ne soient des jeux basés sur la réalité virtuelle, on est bien loin du compte. Mais il faut reconnaître qu’il est difficile de faire des pronostics sur l’évolution de la réalité virtuelle et de son matériel : Fuchs pronostiquait bien à tort, il y a sept ans, une évolution plus rapide des gants de données (voir le chapitre «les interfaces manuelles motrices») ; A vous, lecteur, de nous indiquer la dixième.

7 L’immersion du regard : l’utilisateur voit toujours la scène virtuelle, même s’il tourne sa tête (son regard), voir chapitre «interfaces visuelles». 8 Cette erreur perdure dans le grand public.. Les professeurs de SVT devraient plus insister sur la connaissance du corps humain.

Le traité de la réalité virtuelle

Adresses des sites d’entreprises et d’institutions [http1] [http2] [http3] [http4] [http5] [http6] [http7] [http8] [http9] [http10] [http11] [http12] [http13] [http14] [http15] [http16] [http17] [http18] [http19] [http20] [http21] [http22] [http23]

http ://www-sop.inria.fr/epidaure/GT-RV/gt-rv.html http ://www.industrie.gouv.fr/rntl/FichesA/Perf-Rv.htm http ://www.laval-virtual.org http ://www.enib.fr/gt-rv8 http ://www.ai.cluny.ensam.fr http ://www.enib.fr http ://www.enst.fr/∼revico http ://birp.com/micad http ://lsc.cemif.univ-evry.fr :8080/dea http ://www-caor.ensmp.fr/ http ://www.istia.univ-angers.fr/Innovation http ://www.simteam.com http ://www.immersion.fr http ://www.ircam.fr/produits/techno/multimedia/elle.html http ://www.college-de-france.fr/chaires/chaire3/space1-4.html http ://www.csgd.com/TOPIT.html http ://www.limsi.fr/Recherche/ActionVenise/ASsticRVC/ASsticRVC.html http ://www.infres.enst.fr/ grumbach/cognition-virtuelle/ http ://www.laps.univ-mrs.fr http ://www.staps.u-psud.fr/cress/ http ://www.virtual-worlds.net/vw2000 http ://www.laps.univ-mrs.fr/EcoleRV-C http ://www.virtualconcept.estia.fr

1.7 RÉFÉRENCES BIBLIOGRAPHIQUES [Arnaldi e.a., 2003] [CRTRV, 2004] [Fuchs, 1996] [Fuchs e.a., 1999]

[Piaget e.a., 1979] [Rabardel, 1995]

[Rheingold, 1993]

B. Arnaldi, P. Fuchs, and J. Tisseau. Chapitre 1 du volume 1 du traité de la réalité virtuelle. Les Presses de l’Ecole des Mines de Paris (2003). CRTRV (2004). Le comité de rédaction du traité de la réalité virtuelle. dossier de présentation du TRV3. P. Fuchs. Les interfaces de la réalité virtuelle. Les Presses de l’Ecole des Mines de Paris (1996). ISBN 2-9509954-0-3. P. Fuchs, F. Nashashibi, and D. Lourdeaux. A theoretical approach of the design and evaluation of a virtual reality device. In Virtual Reality and Prototyping’99 (1999), pages 11–20, Laval, France. J. Piaget and N. Chomsky. Théories du langage, théories de l’apprentissage. Seuil (1979). P. Rabardel. Les hommes et les technologies, approche cognitive des instruments contemporains. Armand Colin (1995). ISBN 2-200-21569X. H. Rheingold. La réalité virtuelle. Dunod (1993).

DeuxiĂ¨me partie

Les applications par fonction

2 RÉALITÉ VIRTUELLE ET CONCEPTION

Philippe Fuchs et Simon Richir

L’objectif de ce chapitre est d’exposer les concepts de base sur la conception en réalité virtuelle, quel que soit le domaine d’activités : conception d’un produit, d’un process industriel, d’un plan d’intervention sur site, d’un geste médical, d’un bâtiment, d’un aménagement urbain ou routier, etc. Ce chapitre est donc transversal par rapport aux chapitres des secteurs d’activités. 2.1

INTRODUCTION

L’activité de conception - de création ou de re-création - d’un bien, d’une organisation ou d’un processus s’accompagne souvent d’un besoin de représentation virtuelle, passive ou interactive, qui permette aux concepteurs et à leurs clients d’évaluer par simulation le bien-fondé des choix de conception. Par contre, comme nous l’expliciterons, la phase proprement dite de conception est actuellement rarement réalisée in situ dans un environnement virtuel interactif. Elle l’est quelques fois accomplie partiellement. Mais la tendance des recherches et des développements est de permettre plus aisément cette fonctionnalité. La réalité virtuelle regroupe un ensemble de technologies qui permet la représentation interactive d’objets, de concepts, d’organisations, de processus. Son utilisation en conception est ainsi naturelle et entre dans les mœurs des concepteurs de produits, tout comme la CAO (Conception Assistée par Ordinateur) avant elle. La réalité virtuelle permet de visualiser et de manipuler de futurs produits industriels qui ne sont pas encore fabriqués. Elle permet aussi de simuler et d’évaluer un processus industriel, telle qu’une chaîne de fabrication. Mais ce besoin de représentation lors d’une activité de conception ne concerne pas seulement le milieu industriel, citons par exemple, les métiers de l’urbanisme et du médical, quand il s’agit de concevoir un nouvel aménagement urbain ou une stratégie préopératoire, un plan d’intervention de secours, un aménagement routier, un geste sportif, un jeu, un processus chimique, un phénomène nanométrique, etc. L’objectif de ce chapitre est de présenter concrètement les potentialités de la réalité virtuelle en conception et l’impact de ces technologies sur les activités de conception, quel que soit le domaine concerné. Nous commencerons par analyser la conception dans le milieu industriel, ce dernier étant moteur, en termes économique et technique, dans l’évolution de la CAO à la conception en environnement virtuel interactif. 2.2

LA RÉALITÉ VIRTUELLE POUR LA CONCEPTION DANS LE MILIEU INDUSTRIEL

2.2.1 DE LA CAO À LA CARV

Tout produit, à usage de l’homme, peut être étudié sous l’angle de cette technique innovante, que ce soit pour son aspect technique, fonctionnel ou esthétique. La réa-

Le traité de la réalité virtuelle

Figure 2.1 : Schéma de la «CAO classique»

lité virtuelle complète la Conception Assistée par Ordinateur «classique» permettant à l’ingénieur une meilleure étude de ses produits [Fuchs e.a., 1998]. Nous pouvons schématiser la «CAO classique», de façon très simplifiée, sur la figure 2.1. Elle présente la modélisation géométrique qui se déroule pendant la phase de conception du produit à partir d’un modèle fonctionnel. Avant de lancer la production, différentes modélisations physiques (mécaniques, thermiques, acoustique, électronique...) sont réalisées pour valider la conception ou pour modifier le produit en conséquence. Le temps de calculs dans cette étape n’a pas trop d’importance (dans une certaine limite), seules la précision et la validité des calculs sont importantes. Par rebouclage (feedback), la conception est affinée jusqu’à un certain stade, avant de passer à la réalisation matérielle d’un prototype qui doit confirrmer la validité de la conception. Dans cette démarche, seules des caractéristiques techniques et fonctionnelles dépendant de lois physiques peuvent être testées. Les caractéristiques techniques et fonctionnelles dépendant d’un comportement humain comme les aspects ergonomique et esthétique du produit ne sont pas prises en compte ou le sont difficilement. Par exemple, il est difficile pour des ergonomes d’étudier l’ergonomie de l’intérieur d’une voiture en se basant sur des plans ou sur des images de synthèse affichées sur un simple écran d’ordinateur. Une vision immersive est plus adaptée à leur problématique et leur permet de tester et de modifier la conception de l’intérieur de la voiture. Les contraintes techniques et économiques de la réalité virtuelle ne permettent pas d’envisager tous types de simulation avec l’homme incorporé dans la maquette virtuelle. Mais une bonne connaissance des potentiels et des limites, tant techniques que fonctionnels, des simulations envisageables doit permettre aux industriels d’améliorer leur outil de conception (virtuelle). Le schéma suivant (Figure 2.2) présente les nouvelles possibilités par rapport au schéma de base de la CAO. Pour réaliser la mo-

Réalité virtuelle et conception

Figure 2.2 : Schéma de la CARV (Conception Assistée par Réalité Virtuelle) délisation virtuelle, il faut rajouter différentes modélisations à celle géométrique des objets : • •

modélisation du comportement des objets (cinématique, dynamique, optique) ; modélisation de la scène où se situent les objets (par exemple pour une voiture, la scène routière).

Toutes ces modélisations devront être compatibles avec un fonctionnement en temps réel, ce qui est encore un verrou technologique pour le développement de la CAO avec les fonctionnalités de la réalité virtuelle. C’est un challenge difficile mais prometteur. Nous le nommons par ce nouvel acronyme : CARV (Conception Assistée par Réalité Virtuelle). Une des grandes autres difficultés de la CARV est de pouvoir récupérer efficacement et facilement les données utiles des modèles géométriques CAO. Et si les concepteurs modifient le modèle en CARV, ils souhaitent pouvoir «remonter» ces modifications dans le modèle CAO. Actuellement, ces deux difficultés ne sont pas encore raisonnablement bien résolues, des travaux de recherche sont à poursuivre (voir le chapitre 7 de ce volume). Différents termes sont employés pour parler des modèles dans les domaines de la CAO et de la CARV. Nous ferons la différenciation suivante : dans le cas de la CAO «classique», le concepteur utilise la maquette numérique qui contient les informations de conception et de fabrication mécanique. La maquette virtuelle est une

Le traité de la réalité virtuelle

représentation visuelle «réaliste» du produit conçu mis dans son environnement fonctionnel. L’utilisateur peut ainsi naviguer autour et à l’intérieur de l’objet, du système ou de l’installation. Mais à part cette possibilité de navigation, l’utilisateur est passif face à cette maquette virtuelle. On est entièrement dans le domaine de la CARV avec le prototype virtuel qui est une représentation sur laquelle l’utilisateur peut interagir. Ce dernier peut aussi s’immerger dans cette représentation dans le cas d’une installation ou d’un dispositif virtuel. L’utilisateur est donc actif : il peut, par exemple, manipuler l’objet ou un de ses sous-ensembles, tester l’ergonomie ou les fonctionnalités du dispositif. Il y a donc dans ce dernier cas une modélisation physique de la scène et une modélisation comportementale des objets qui permettent une simulation en temps réel. Quel est l’objectif principal de la CARV ? Sans aller jusqu’à penser qu’en conception toute maquette physique (réelle) d’un produit sera supprimée, l’objectif est d’en diminuer le nombre et (ou) d’améliorer la qualité de la conception. C’est le but principal de certains industriels. Par exemple, un constructeur d’automobiles a divisé le nombre de maquettes physiques par 3 à 5 pour la conception du style du véhicule. A notre avis (mais sans pouvoir le démontrer !), la maquette virtuelle et le prototype virtuel vont plus facilement montrer la non-validité d’une solution et plus difficilement prouver que la solution testée virtuellement convient. Le passage par la maquette réelle restera dans bien des industries incontournable. En résumé, dans le «cycle en V» de la vie d’un produit (de sa conception à sa fin d’utilisation), pendant l’étape de conception, la CARV permet de court-circuiter une partie du «cycle en V» (sans fabriquer le produit) pour tester certaines spécifications sur le prototype virtuel. Cette évolution dans le travail de conception grâce à la CARV entre dans le cadre de la démarche d’ingénierie concourante : si on veut associer simultanément des concepteurs de plusieurs métiers, il faut qu’ils puissent dialoguer non seulement grâce une maquette numérique ou une maquette virtuelle, mais aussi grâce à un prototype virtuel. Par exemple, les stylistes et les ergonomes des constructeurs d’automobiles vont pouvoir concevoir ensemble et non séquentiellement comme auparavant, avec toutes les contraintes que cela entraînait. Mais cela demande une approche différente, un changement culturel dans la façon de travailler (voir le chapitre 7 de ce volume). De même, quand les ingénieurs ont dû passer de la conception 2D à la conception 3D, le changement ne s’est pas fait sans remise en cause des habitudes de travail et de pensée. 2.2.2 FONCTIONNALITÉS TESTÉES PAR CARV

La conception d’une pièce, d’un mécanisme ou d’une installation peut exploiter les potentialités de la réalité virtuelle pour différentes fonctionnalités. Nous citerons les principales :

2.2.2.1

Prototypage virtuel

Dès l’étude d’un avant-projet, la réalité virtuelle est un outil intéressant dans la démarche de conception. En partant du modèle fonctionnel du produit, on peut en avoir une représentation virtuelle sans avoir à spécifier précisément les dimensions et les caractéristiques techniques qui seront définies ensuite dans la phase CAO. En exemple, on peut citer l’étude du maquettage virtuel d’un appareil électronique, portable et utilisé en extérieur : la réalité virtuelle permet de tester les fonctionnalités de son boîtier

Réalité virtuelle et conception

de commande (accessibilité des boutons, qualité de l’affichage sur l’écran, couleurs, facilité de compréhension pour un novice...). En même temps, elle permet de valider le programme informatique dédié à cet appareil.

2.2.2.2

Validation ergonomique de la conception

La conception d’un produit peut utiliser la réalité virtuelle pour permettre à un opérateur de tester l’ergonomie du produit, qu’il soit de petite ou de grande dimension (le poste de commande d’une machine, la signalétique dans une station de métro, ...). Les constructeurs de moyens de transport sont très intéressés par cette fonctionnalité. Ils souhaitent, par exemple, tester l’accessibilité et le confort des commandes de l’intérieur d’un véhicule ou la visibilité de la route depuis la place du conducteur (Figure 2.3). L’Ecole des mines de Paris a participé à une conception de dispositif RV avec visiocasque chez PSA Peugeot Citroën pour l’étude de la visibilité de la route à partir de l’intérieur du véhicule [Moreau e.a., 2000].

Figure 2.3 : L’étude de la visibilité avec un visiocasque (Copyright Photo PSA Peugeot Citroën)

2.2.2.3

Conception technique de l’assemblage ou de la maintenance du produit

Il s’agit de la conception d’un produit au niveau géométrique : l’étude de l’encombrement des pièces, du montage et du démontage d’un ensemble, testé virtuellement par un utilisateur, pour concevoir la maintenance et le dépannage d’un mécanisme ou d’un processus, qu’il soit simple ou complexe (machine, raffinerie, véhicule...). Des tests virtuels d’accessibilité et d’assemblage peuvent valider ou remettre en question la conception d’un produit. A noter qu’il existe deux types de problématique aux difficultés bien différentes : •

on peut vouloir seulement tester le passage de la pièce (avec éventuellement le porte pièce ou les mains) entre les autres pièces et leur assemblage. On a dans ce cas des problèmes de détection de collisions et de contrainte de mouvement. Les gestes de l’opérateur ne sont pas le sujet d’étude. La société Haption, en partenariat avec

Le traité de la réalité virtuelle

Dassault système, a conçu une solution de retour d’effort pour le logiciel de CAO «Catia». Muni d’un bras à retour d’efforts Haption, l’opérateur peut directement, dans Catia, tester la facilité de montage d’une pièce CAO dans un assemblage plus complexe (par exemple, le montage du bloc moteur pour les vitres électriques dans une portière) ; •

le deuxième cas est plus difficile à simuler : les gestes de l’opérateur doivent être les mêmes que ceux qui seront exécutés en environnement réel (dans un but d’étude ergonomique ou de formation à la maintenance). Les retours d’efforts, qui doivent être alors impérativement simulés, sont très difficiles à réaliser.

2.2.2.4

Conception esthétique

La qualité esthétique d’un produit ne pouvant être évaluée que par l’homme, il est nécessaire d’immerger le concepteur visuellement et avec une certaine qualité, permettant un jugement efficace. Ainsi la conception esthétique de l’aménagement intérieur d’une cabine d’avion ou de train exploite la CARV car la qualité esthétique ne peut être appréciée sur la maquette CAO. La perception des espaces et des volumes est difficile à appréhender sur une maquette CAO.

2.2.2.5

Visualisation explicite de phénomènes physiques

Si un ingénieur spécialisé en simulation peut aisément interpréter les résultats chiffrés et les courbes d’une simulation numérique, il n’en est pas de même pour une personne non experte. La visualisation explicite d’un phénomène physique peut être utile pour valider une conception. Nous avons cité les principales fonctionnalités en CARV, mais la liste n’est pas exhaustive et figée dans le temps. En France, l’ensemble des partenaires de la plate-forme PERF-RV a développé de nombreuses applications en CARV pour le bureau d’études du futur.

2.3 LES POSSIBILITÉS DU VIRTUEL EN CONCEPTION POUR TOUT DOMAINE D’ACTIVITÉS Au lieu de citer différents exemples tirés de tout domaine d’activités, étudions plus globalement les potentialités des environnements virtuels interactifs pour la conception. Quel que soit le secteur d’activité, les environnements virtuels interactifs permettent de concevoir autrement. Par rapport aux méthodes classiques, ils apportent de nouveaux outils, techniques et méthodologiques, qui tirent parti des possibilités du virtuel. Passons en revue les principaux atouts des environnements virtuels pour la conception :

Réalité virtuelle et conception

2.3.1 EFFICACITÉ POUR LES FONCTIONS DU PRODUIT

L’environnement virtuel permet de simuler certaines fonctions du produit et permet de modifier ces caractéristiques en temps réel pour comprendre, expliquer ou évaluer les choix de conception. Les techniques de réalité virtuelle servent souvent à tester l’efficacité d’une ou de plusieurs fonctions du produit qui souvent a été conçu avant sa simulation en réalité virtuelle. Par exemple, il est maintenant courant dans le domaine de l’architecture de tester l’efficacité d’une signalétique en environnement virtuel. Les issues de secours sont-elles assez visibles ? Un usager venant de n’importe quelle direction retrouve-t-il facilement son chemin ? Si l’efficacité de ces fonctions est insuffisantes, l’architecte retravaille en général sa conception en dehors du dispositif de réalité virtuelle.

2.3.2 MULTIPLICATION DES CHOIX ET DES ARCHITECTURES

L’avantage du virtuel le plus cité par les concepteurs est certainement celui de permettre une multiplication des choix et de favoriser la créativité. Une entreprise industrielle pour laquelle nous avons réalisé un système de réalité virtuelle pour concevoir ses produits nous a déclaré avoir multiplié par cinq les propositions créatives faites à ses clients.

2.3.3 MISE EN SCÈNE DES PRODUITS DANS DIFFÉRENTS ENVIRONNEMENTS

Un produit va être confronté à plusieurs environnements durant son cycle de vie. D’abord stocké dans l’entreprise de fabrication, il sera emballé, transporté sur le lieu de vente, déballé, mis en rayon, remis dans un caddie, transporté chez l’utilisateur final, utilisé, jeté, re-transporté puis recyclé. Différents environnements virtuels vont permettre aux concepteurs de mettre le produit dans ces différentes situations, sans se concentrer uniquement sur la situation d’utilisation du produit. Les autres situations du cycle de vie du produit apportent bien sûr des contraintes lors de la conception mais ces contraintes peuvent se transformer en opportunités créatives.

2.3.4 ECHELLE VARIABLE EN VIRTUEL

De l’infiniment petit à l’infiniment grand, la réalité virtuelle permet à l’homme de s’immerger dans des univers qui ne relèvent pas forcément de l’échelle humaine. La conception d’une chaîne de production peut être à échelle réduite pour bien percevoir les flux de produits sur l’ensemble de la chaîne. La conception de puits de forage pétrolier est une opération délicate à grande incidence financière. Les pétroliers utilisent quotidiennement des environnements interactifs de leurs champs pétrolifères pour être plus efficaces face à une grande quantité de données diverses (voir le chapitre 6 de ce volume). En revanche dans d’autres circonstances, l’échelle 1 sera souhaitable, voire indispensable. Cette question de fournir ou non un environnement virtuel à échelle nominale (échelle 1 ou proche de 1) est à étudier précisément pour chaque application. Différents cas sont envisageables : on peut très bien exiger l’échelle 1 pour la perception visuelle mais pas pour la perception haptique. Cela peut se produire dans le cas d’assemblage de pièces où les déplacements des pièces doivent être bien perçus aux

Le traité de la réalité virtuelle

bonnes dimensions, tandis que les retours d’effort ne servent qu’à bloquer les mouvements, les efforts pouvant être 2 à 5 fois inférieurs par rapport aux valeurs nominales. La raison esentielle de la diminution des efforts est due aux limitations techniques des interfaces à retour d’effort. 2.3.5 REPRÉSENTATION SYMBOLIQUE

Des représentations symboliques des fonctionnalités du produit ou des phénomènes physiques ou chimiques qu’il génère sont une source d’aide à la démarche de conception du produit. Cela est déjà utilisé dans les entreprises de transport et d’urbanisme avec la représentation «imagée» d’écoulements de fluides pour mieux comprendre les choix de conception (voir le chapitre 4 de ce volume). 2.3.6 LE LANGAGE UNIVERSEL DU VIRTUEL

Un des succès des technologies du virtuel vient du fait que l’image interactive est souvent plus claire qu’un long discours. Il n’est pas besoin d’ajouter des mots ou d’expliquer certaines choses quand la démonstration s’appuie sur l’image interactive. Cela constitue un atout considérable dans une économie mondialisée où les concepteurs sont amenés à travailler de manière collaborative avec des collègues de nationalités ou de cultures différentes. De même, la conception d’un produit futur peut être plus explicite en environnement virtuel interactif pour des non spécialistes du domaine de conception. Un débat public sur la future réalisation de l’aménagement d’un quartier, d’une place, d’une rue peut être plus efficace (et démocratique) à partir d’une visualisation virtuelle du projet, montrant explicitement (visuellement) ses avantages et ses contraintes. 2.3.7 INTÉGRATION DES UTILISATEURS FINAUX DANS L’ÉQUIPE DE CONCEPTION

Un souhait de tout concepteur est d’avoir en permanence à sa disposition un utilisateur final de son produit pour tester tous les choix envisagés : intégrer l’utilisateur final dans l’équipe de conception se révèle souvent impossible. Mais il peut être possible de présenter des concepts au client, de prendre immédiatement en compte ses souhaits et de lui proposer, ainsi, une solution personnalisée ou conçue en partenariat. 2.3.8 LES ÉQUIPES ÉTENDUES

Internet a recouvert la planète d’une toile de plus en plus dense et offre des débits plus importants. S’il transporte encore majoritairement des textes écrits dans différentes langues, son universalité tient avant tout dans l’échange d’images fixes et animées. L’étape suivante sera l’échange instantané d’images interactives pour le travail en équipes. Les équipes de conception transnationales bénéficient déjà des technologies d’Internet pour leur travail collaboratif (voir le chapitre 7 de ce volume). Les technologies du virtuel vont leur apporter des outils d’un nouveau genre. Le succès des jeux mondiaux multi-joueurs sur Internet, qui sont des applications interactives

Réalité virtuelle et conception

collaboratives en temps réel, montre la validité de cette hypothèse. N’oublions pas que les jeunes joueurs d’aujourd’hui seront les ingénieurs de demain.

2.3.9 MAÎTRISE DES COÛTS FINANCIERS

La conception avec un objectif de coût précis est de plus en plus prisée par les entreprises soumises à la concurrence internationale. La Logan de Renault a été conçue pour être commercialisée au prix stratégique de 5000 euros. Dans ce cadre, chaque euro compte. Un processus d’Analyse de la Valeur en revue de conception autour d’un modèle de véhicule virtuel permet de comparer les solutions par rapport à leurs coûts. La maîtrise des coûts financiers est un des atouts de la réalité virtuelle (voir le chapitre 8 de ce volume).

2.3.10 COHÉRENCE AVEC D’AUTRES PRODUITS EXISTANTS

Dans un contexte de concurrence entre les marques (grandes marques, marques distributeur, hard discount), il est vital pour une entreprise de pouvoir visualiser ses produits au milieu des produits concurrents. L’installation de prototypes au milieu d’un rayon de supermarché réel coûte cher et peut briser la confidentialité nécessaire lors du développement d’un produit nouveau. La mise en scène du produit au milieu des produits concurrents dans un supermarché virtuel est alors très peu coûteux et efficace.

2.4

IMPACT GÉNÉRAL DE LA RÉALITÉ VIRTUELLE SUR LES ACTIVITÉS DE CONCEPTION

La mise à disposition d’outils de simulation temps réel pour les équipes de conception change leur façon de travailler. Tout comme le passage de la planche à dessin à la CAO a révolutionné le travail des bureaux d’étude, les technologies de la réalité virtuelle, couplées aux technologies du web, vont permettre le passage à l’ère de la conception de produits en plateaux projets virtuels.

2.4.1 LE TRAVAIL EN PLATEAU PROJET VIRTUEL

Le monde de l’ingénierie a progressé largement depuis plusieurs décennies. Le projet est devenu le mode standard de développement des produits [Midler, 1998]. L’organisation séquentielle des Bureaux d’Etude et des Bureaux des Méthodes a tendance à disparaître. Comme l’écrit Fabrice Renaudeau, de la société Renault, «l’ensemble des compétences utiles à la réalisation du développement du produit se retrouve sur un même lieu géographique afin d’accélérer les échanges dans la résolution des problèmes, le plateau projet. L’évolution majeure récente est que les processus de conception s’appuient sur des données numériques produites simultanément par les équipes du projet. La dématérialisation de la production (Produit, Process et Usine numérique) permet aux différentes équipes d’un projet de fonctionner en ingénierie simultanée et de conserver la cohérence du projet sans pour autant partager le même plateau physique», [Renaudeau, 2002]. Dans ce mode de fonctionnement, on parle de plateau «virtuel».

Le traité de la réalité virtuelle

2.4.2 CHANGEMENT DE CULTURE POUR LES CONCEPTEURS

Il y a quelques années, un grand bouleversement s’est produit dans les entreprises : il a fallu passer de la conception sur «papier» à la conception en 2D et ensuite à la conception en 3D. En particulier pour évaluer la conception, on a dû passer des maquettes réelles, limitées en fonctionnalités, coûteuses en temps et en argent, à des maquettes numériques. Ce changement de culture s’observe tous les jours et dans de plus en plus d’entreprises. Les affinités marquées des nouvelles générations d’ingénieurs pour la 3D interactive, au travers des jeux vidéo, va encore amplifier le phénomène. Demain il sera impossible à une entreprise d’imposer à ses nouvelles recrues de travailler avec des outils en 2D non interactifs. 2.5 CONCLUSION Pourra-t-on, demain, concevoir directement avec les outils de la réalité virtuelle comme on le fait déjà avec le système «Freeform» ? (Freeform est un système de réalité virtuelle avec retour d’efforts qui permet de sculpter différentes matières virtuelles pour réaliser, par exemple, des figurines pour les enfants). Cette nouvelle méthode de conception pourra contribuer à améliorer la capacité d’innovation. Comme nous l’avons dit, des efforts de recherches vont dans ce sens : permettre la conception du «produit» principalement dans un environnement virtuel interactif (voir le chapitre 7 de ce volume). Si cette démarche peut être réalisable dans le futur, cela ne signifie pas forcément que cette démarche sera souhaitable pour tout processus de conception et dans toute branche d’activités. La «lourdeur» de ses techniques peut être une contrainte rédhibitoire. La conception est avant tout un travail intellectuel. Doit-il avoir un support de représentation virtuel et «interactif» à chaque phase de réflexion ? Cette question reste ouverte... 2.6 RÉFÉRENCES BIBLIOGRAPHIQUES [Fuchs e.a., 1998] [Midler, 1998] [Moreau e.a., 2000]

[Renaudeau, 2002]

P. Fuchs and F. Nashashibi. De la CAO à la réalité virtuelle. Revue Internationale de CFAO et d’infographie, 13(2) :131–167 (1998). C. Midler. L’auto qui n’existait pas. DUNOD (1998). G. Moreau and P. Fuchs (2000). Mise au point d’un outil de réalité virtuelle en vue d’études de visibilité. Rapport de contrat d’études, PSA Peugeot-Citroën V1.578.600.638.17Z10, Centre de Robotique, Ecole des Mines de Paris, Paris. F. Renaudeau. Brochure de présentation du micad 2002. www.birp.com/micad (2002).

Adresse de site d’institution : [http1]

http ://www.Perfrv.org

3 LA RÉALITÉ VIRTUELLE POUR L’APPRENTISSAGE HUMAIN

Jean Marie Burkhardt, Domitile Lourdeaux et Daniel Mellet-d’Huart

3.1

INTRODUCTION

Ce chapitre est consacré à l’utilisation de la réalité virtuelle pour l’apprentissage humain. Nous y parlons d’environnements virtuels pour l’apprentissage, plutôt que d’environnements virtuels pour la formation ou d’environnements virtuels pour l’éducation. Ce choix est motivé par deux raisons principales. La première est que, quel que soit le contexte institutionnel (institutions de l’éducation versus institutions de la formation professionnelle), l’utilisation de l’environnement virtuel a pour objectif de faire apprendre. La seconde est que nous souhaitons mettre les processus neurophysiologiques, psychologiques et sociaux liés à l’apprentissage1 au centre de l’étude des apports de la réalité virtuelle à l’apprentissage humain, et proposer par là même un point de vue plus général que celui du contexte scolaire ou professionnel de la formation. S’il fallait en retenir deux, les idées fortes concernant les perspectives de développement de la réalité virtuelle pour l’apprentissage seraient les suivantes : 1. la première idée est que les technologies de la réalité virtuelle introduisent une flexibilité originale dans les possibilités de présenter l’information à l’apprenant selon de multiples formats et points de vue, avec un mode interactif. Dans cette perspective, la quête d’un photo-réalisme maximum - plus généralement d’un fort réalisme perceptif - est loin d’être la seule option possible ; 2. la seconde idée forte est que ces technologies réintroduisent le corps dans les processus d’apprentissage. En effet, la perception et la motricité fondent la conduite des interactions médiatisées à visée pédagogique. La recherche de formes de sensorimotricité «naturelle» ou «adaptée» au projet d’apprentissage est un autre élément essentiel de la démarche de conception d’un environnement virtuel pour l’apprentissage. Le domaine de la réalité virtuelle appliquée à l’apprentissage doit faire face à plusieurs sources de complexité, parmi lesquelles la complexité liée à l’hétérogénéité et aux difficultés d’appréhension des processus de l’apprentissage humain, la complexité des environnements virtuels, la complexité et la multi-dimensionnalité des configurations sociotechniques où la réalité virtuelle s’insère. Dès lors, concevoir un environnement virtuel pour l’apprentissage requiert une instrumentation et des méthodes permettant de maîtriser la complexité des processus à aborder. D’autres difficultés s’y ajoutent, telles que le besoin de faire converger des disciplines qui n’ont pas toujours l’habitude de coopérer de façon étroite, la récence des usages, l’originalité des problèmes, l’évaluation des démarches et des résultats sur des apprentissages qui sont encore peu documentés, etc. 1 Précisons tout de suite que le terme apprentissage tel que nous l’utilisons dans ce chapitre, ne fait pas référence à l’usage courant ou à la signification institutionnelle du terme, comme par exemple dans la formule «apprentissage en alternance», mais bien aux acceptions développées dans le champs des études sur l’apprentissage en psychologie, en ergonomie, en pédagogie et en didactique.

Le traité de la réalité virtuelle

Le lecteur trouvera dans ce chapitre une introduction d’éléments théoriques nécessaires pour aborder le domaine ainsi qu’un rapide état des lieux s’appuyant sur un échantillon d’applications réalisées au cours des dix dernières années. L’exposé des méthodes de conception spécifiques au domaine de la réalité virtuelle pour l’apprentissage n’est pas l’objet de ce chapitre, le lecteur pourra se référer à [Lourdeaux, 2001] et [Mellet-d’Huart, 2004]. Précisons cependant que le cadre méthodologique que nous défendons s’appuie sur l’analyse des besoins en termes d’apprentissage et de formation, la formalisation d’hypothèses, l’évaluation et la validation au moyen d’indicateurs objectifs de comportement. 3.2 LES ENVIRONNEMENTS VIRTUELS D’APPRENTISSAGE : NOTIONS, ORIGINE ET PRINCIPAUX APPORTS Avant d’aborder en tant que tels les environnements virtuels pour l’apprentissage, commençons par rappeler quelques notions de base concernant l’apprentissage humain et la formation.

3.2.1 QUELQUES NOTIONS ET DÉFINITIONS

3.2.1.1

Apprentissage

Dans un sens large, l’apprentissage peut se définir comme le regroupement de différents mécanismes par lesquels un sujet humain modifie sa conduite avec l’expérience, de façon à la rendre plus adaptée aux exigences de la situation. Cela repose sur des processus de maturation biologique (en particulier chez l’enfant), sur des processus physiologiques, sur des processus cognitifs et sur des processus sociaux, dans le cadre de la confrontation du Sujet à l’environnement. On retrouve ainsi plusieurs modèles de l’apprentissage en Psychologie. Parmi les principaux courants : •

les modèles béhavioristes, notamment le conditionnement et l’apprentissage opérant (voir Thorndike et Skinner, par exemple) ;

•

les modèles piagétiens et néo-piagétiens du développement et de l’acquisition des schèmes (voir Piaget) ;

•

les approches cognitives de l’apprentissage (voir, par exemple, Anderson, Merrill, Sweller) ;

•

les théories sociales ou socioculturelles de l’apprentissage (voir par exemple Vigotsky, Bruner, Bandura).

En réalité, trois disciplines sont plus directement concernées par l’étude des mécanismes liés à l’apprentissage humain : la pédagogie, la psychologie et la didactique. La Pédagogie peut se définir par son centre d’intérêt essentiellement focalisé sur les procédés, les techniques et les manières de faciliter l’apprentissage, là où la Psychologie s’intéresse plutôt aux mécanismes fondamentaux associés à l’acquisition de nouvelles réponses, de nouveaux comportements ou de nouvelles compétences. En d’autres termes, le psychologue s’intéresse plutôt à l’acquisition en soi, alors que le pédagogue s’intéresse à trouver des solutions pour faire acquérir plus vite

La réalité virtuelle pour l’apprentissage humain

ou mieux. Enfin, plus centrée sur le contenu, la Didactique s’intéresse aux difficultés particulières d’apprentissage liées à la nature de l’objet de l’apprentissage pour un public donné. Plus récente, la didactique professionnelle se donne pour objet la compréhension et l’action sur les processus qui relèvent de la transmission et l’acquisition des domaines de savoirs en vue de les améliorer (voir par exemple dans [Samurcay e.a., 1998, Pastre, 1999, Pastré, 2005]). Pour caricaturale qu’elle soit, cette distinction d’objectifs et partant de paradigmes et de méthodes, souligne simultanément la profonde interdépendance entre les trois champs disciplinaires. Malgré quelques exceptions, l’usage des théories de l’apprentissage se restreint trop souvent encore au préambule ou à la justification discursive de tel ou tel produit issu des nouvelles technologies. Sans validation subséquente, ce type d’argumentaire théorique relève plus de la formule publicitaire que de la validation scientifique. Ainsi convoquées, ces théories devraient fonder également la mise à l’épreuve des environnements virtuels pour l’apprentissage. Les travaux psychologiques sur l’apprentissage ont, en effet, l’intérêt de proposer des hypothèses explicites reliant certaines propriétés du sujet apprenant et de l’objet de l’apprentissage, certaines caractéristiques de la situation d’apprentissage, et les résultats attendus en termes de modification observable des compétences ou du comportement. Ensuite, l’observation et le recueil de traces sur l’activité de l’apprenant et/ou du formateur permettent de confirmer ou, au contraire, d’infirmer les hypothèses précédemment formulées sur les résultats attendus. Les recherches psychologiques ont en outre déjà identifiées certaines des variables ayant un effet majeur sur la performance dans les situations d’apprentissage. Deux exemples : la connaissance des résultats par l’apprenant a généralement pour effet d’accélérer la réussite ; l’exercice sous contrainte temporelle permet d’automatiser les modes opératoires. Pour une synthèse, le lecteur pourra se référer, par exemple, à [Patrick, 1992] et à [Leplat, 2002]. Des approches récentes de la cognition et de l’action, tant en psychologie, en biologie de la cognition (e.g. Maturana et Varela [Maturana e.a., 1980, Maturana, 2002, Maturana e.a., 1995]) qu’en neurophysiologie (e.g. [Berthoz 1997, 2003] insistent sur le caractère incarné de la pensée et sur les relations entre le corps, la pensée et l’action. Encore insuffisamment exploitées dans le champ de la formation, ces approches fournissent un éclairage sur les mécanismes liés à l’apprentissage particulièrement pertinent pour la réalité virtuelle. Des tentatives d’application à la conception des environnements virtuels pour l’apprentissage existent [Winn e.a., 1999, Mellet-d’Huart, 2004]. Nous reviendrons ultérieurement sur ces aspects.

3.2.1.2

Formation

Chez les professionnels de la formation, le terme de formation est souvent compris comme la référence aux institutions de la formation professionnelle, par opposition au terme d’éducation qui renvoie plutôt à l’institution scolaire. Dans le sens que nous lui donnons dans cet ouvrage, le terme de formation (ou probablement plus justement de processus de formation) fait référence aux techniques et aux méthodes mises en œuvre dans la perspective de guider et de faciliter un apprentissage donné. Cette acception est valable aussi bien pour le secteur éducatif que le secteur de la formation professionnelle. Elle implique un accompagnement structuré humain et technologique des processus d’apprentissage s’appuyant sur un ensemble limité et spécifique de ressources (tuteur, documents, planning, salle, ordinateur, simulateur, scénario, etc.), associé à des objectifs circonscrits, alloué à l’apprenant au travers d’un contrat plus ou moins formel.

Le traité de la réalité virtuelle

Il s’agit d’un processus borné dans le temps et l’espace qui permet en outre de réaliser un certain contrôle sur les apprentissages effectivement réalisés. Quelles que soient la méthode pédagogique et l’approche choisie, toutes les séquences de formation s’organisent de façon plus ou moins formalisée selon un cycle ternaire : avant (préparer), pendant (former), après (revenir sur l’apprentissage, évaluer). préparer Cette étape vise à : •

positionner l’apprenant, i.e. vérifier ses connaissances initiales en regard des prérequis pour la séance ;

•

introduire la séquence de formation, présenter les objectifs de la séquence, situer la séquence dans le cadre plus large des objectifs de la formation ;

•

vérifier la compréhension qu’a l’apprenant de la situation d’apprentissage et des objectifs ;

•

présenter la tâche, la consigne, le déroulement précis des activités attendues de la part de l’apprenant, etc.

former Deux orientations principales existent en termes d’objectifs : •

l’acquisition de nouvelles connaissances ou compétences ;

•

le renforcement, l’automatisation et le transfert de connaissances ou de compétences déjà acquises.

le retour sur l’apprentissage et l’évaluation Le retour sur l’apprentissage et les activités réflexives sont essentiels pour la prise de conscience des acquisitions et des erreurs par l’apprenant. Cette étape de la séquence consiste à guider l’apprenant dans l’analyse de la tâche réalisée et l’explicitation de ce qu’il a retenu au travers de son expérience de la séquence de formation. A l’instar de la simulation, les environnements virtuels peuvent, par exemple, intégrer les fonctionnalités de type re-jeu (actif, passif, conditionnel) particulièrement intéressantes dans cette perspective. D’autres approches sont à développer afin de mieux exploiter les potentialités de la réalité virtuelle pour l’apprentissage. Deux types d’évaluation sont pratiqués en formation : l’évaluation formative et l’évaluation sommative. La première a pour objectif d’évaluer le niveau et la qualité de l’apprentissage à un instant donné, en vue de fournir un retour à l’apprenant et ré-orienter en conséquence le déroulement de la séquence de formation. La seconde a pour seul objectif de mesurer les acquis à l’issue d’une étape donnée, généralement en référence à des normes ou des critères externes prédéfinis. La certification ou la validation des acquis professionnels, qui entrent dans cette seconde catégorie, doivent satisfaire à des spécifications strictes et obtenir des mesures de performances valides par comparaison avec les performances observées dans la situation réelle.

La réalité virtuelle pour l’apprentissage humain

3.2.1.3

Méthodes, approches et ressources pédagogiques

Il est classique de distinguer deux grandes approches en pédagogie : les méthodes traditionnelles et les méthodes centrées sur l’activité (parmi lesquelles les méthodes actives). Parmi les méthodes traditionnelles, on trouve les méthodes affirmatives encore appelées méthodes expositives ou dogmatiques [Goguelin, 1987]. Les deux modes de réalisations typiques en sont l’exposé magistral et la démonstration. Dans le premier, qui concerne plutôt les savoirs et les savoir-faire intellectuels, l’exposé et les explications sont très largement utilisées. Dans le second, qui concerne plutôt les savoir-faire manuels, le formateur présente, montre et démontre. L’autre grande classe de méthodes traditionnelles correspond aux méthodes interrogatives, inspirées de la maïeutique de Socrates. Elles ont pour principe général de guider l’apprenant à travers un cheminement pré-établi de questions traduisant la structure du raisonnement à apprendre. Ces méthodes permettent de rendre l’animation de la formation plus vivante, mais peuvent induire l’illusion, chez l’apprenant, que le raisonnement a été découvert et acquis dans son ensemble, alors qu’il est en réalité «soufflé» par le formateur. Les méthodes traditionnelles se fondent essentiellement sur l’organisation des connaissances à apprendre pour structurer le contenu à délivrer et les interactions avec les apprenants. L’apprentissage est basé sur la mémorisation volontaire et la répétition. Ces méthodes familières sont utilisées dans les contextes d’apprentissage scolaires. Le rôle de l’apprenant, est souvent qualifié de «passif», par opposition aux approches dites «actives». Plus justement, l’apprenant est en position d’observation et d’assimilation du contenu proposé, y compris par imitation. Dans leur acception la plus large, les méthodes actives regroupent une variété de courants, comme la pédagogie du projet, la simulation, l’étude de cas, la pédagogie du laboratoire, l’apprentissage expérientiel, etc. Le lecteur intéressé pourra en trouver une description dans Legendre [Legendre, 2005] par exemple. Ces méthodes mettent essentiellement en avant deux aspects, qui les opposent aux méthodes traditionnelles : d’une part, l’apprentissage est une activité auto-dirigée, autonome ; d’autre part, l’apprentissage est fondé sur une activité d’exploration et de découverte. Une méthode est ainsi dite active lorsque le stagiaire progresse et apprend de par son activité propre : il découvre par lui-même [Goguelin, 1987]. Cet auteur insiste sur le fait qu’une méthode n’est pas active au seul motif que l’apprenant fait, interagit ou réalise une action : par exemple, des exercices de manipulation en chimie dont l’ordonnancement est donné à l’élève ressortent des méthodes dites affirmatives. Quelle que soit la méthode choisie, le formateur s’appuie sur des aides telles que des documents, des objets et autres outils. Le terme de ressource pédagogique fait référence à ces moyens physiques conçus de façon à faciliter, pour un contexte pédagogique donné (présentiel, tutorat à distance, auto-formation etc,.), les apprentissages pour l’apprenant, d’une part, et la conduite de l’interaction didactique pour le formateur, d’autre part. On retiendra que les environnements virtuels constituent un type particulier de ressources issues des avancées de la technologie. En ce sens, ils doivent faciliter l’activité d’apprentissage, en même temps que, du point de vue du formateur, respecter le principe de faciliter la tâche et ne pas représenter de difficultés d’usage.

3.2.1.4

Le traité de la réalité virtuelle

Acteurs et rôles dans les processus de formation en éducation et en formation professionnelle

Les métiers et les acteurs de la formation au sens large sont multiples. Ils ont souvent des caractéristiques très spécifiques selon leur institution d’appartenance (éducation versus formation professionnelle), l’entreprise, le secteur professionnel, le degré de professionnalisation (occasionnel versus non-occasionnel), etc. Les acteurs et les métiers directement associés aux processus de formation (pour les secteurs de la formation et de l’éducation) appartiennent à trois grandes catégories : •

•

les apprenants. Le terme d’apprenant est générique. Il désigne l’ensemble des publics (élèves, stagiaires, formés, etc.) entrant dans un processus de formation à un instant donné. les formateurs ou les «animateurs» de la formation. Les formateurs ou les «animateurs» de la formation accompagnent les apprenants à différents moments de leur parcours de formation. Il s’agit des intervenants qui contrôlent le face-à-face pédagogique avec les apprenants. Dans le cadre éducatif, ce sont les enseignants, maîtres et professeurs tandis que dans la formation professionnelle, on parlera plutôt de formateurs, d’instructeurs, de tuteurs ou encore de référents. les concepteurs de la formation. Les concepteurs de la formation sont des professionnels (souvent des formateurs en exercice ou d’anciens formateurs) ayant la fonction d’ingénieurs de formation qui maîtrisent la construction des actions de formation. D’autres métiers peuvent être associés : ergonomes, professionnels experts du domaine, spécialiste des technologies utilisées, etc.

Une personne donnée peut endosser plusieurs de ces rôles simultanément dans une même action de formation, ou successivement lors de différentes actions de formation. 3.2.2 PANORAMA RAPIDE DES SECTEURS D’APPLICATION ET RÉALISATIONS

Les usages de la réalité virtuelle pour l’apprentissage humain sont relativement récents, puisque les premiers développements notables remontent aux années 90. Les trois principaux secteurs d’application des environnements virtuels d’apprentissage sont le secteur de la formation professionnelle, le secteur scolaire éducatif et enfin le secteur de la santé où la réalité virtuelle est utilisée à des fins de rééducation motrice ou comportementale pour les populations souffrant de déficits physiques ou mentaux (voir Perf-RV (www.perfrv.org) [Riva, 2003, Viaud-Delmon e.a., 2001]). Les Etats-Unis ont commencé à explorer les usages de la réalité virtuelle essentiellement dans le secteur éducatif. A l’inverse, peu d’applications pour la formation professionnelles ont été développées, si ce n’est dans le domaine de la formation médicale et du militaire. En Europe, le domaine de la réalité virtuelle a fait initialement l’objet d’un fort soutien dans le domaine de la conception et de l’industrie (voir VR for Europe, «Perf RV» plate-forme française de réalité virtuelle- en France www.perfrv.org). Ainsi, différents projets ont concerné l’usage de la réalité virtuelle en formation d’adultes dans l’industrie (e.g. Le Robinet virtuel d’EDF, Fiacre de la SNCF, CS WAVE de l’AFPA et de CS - voir ci-après). Contrairement à l’Amérique du nord, on note peu d’applications éducatives en Europe et en France, même si des applications ont été développées ici et là dans des laboratoires reconnus (Université de Teeside, VIRART - Université de Nottingham, EVE du CERV, etc.). Récemment, un groupe de travail européen s’est constitué

La réalité virtuelle pour l’apprentissage humain

sur la réalité virtuelle pour l’apprentissage regroupant à la fois les thématiques d’éducation et de formation dans le contexte du réseau d’excellence européen INTUITION (www.intuition-eunetwork.net).

3.2.2.1

La réalité virtuelle dans le secteur éducatif

ScienceSpace [Dede e.a., 1996a, Dede e.a., 1996c, Dede e.a., 1996d, Dede e.a., 1999, Dede e.a., 2000, Salzman e.a., 1998, Moshell e.a., 2002] avait pour finalité la remédiation des erreurs de conceptions relatives à des lois physiques chez les collégiens. L’environnement est immersif et mono-utilisateur. La formation se déroule en deux étapes. Premièrement, il y a la découverte intuitive des lois par l’immersion multimodale et l’interactivité avec les objets au sein de l’environnement virtuel ; il y a ensuite apport de savoirs conceptuels correspondants, et éventuellement mise à l’épreuve au moyen d’une activité d’expérimentation avec les objets de l’environnement virtuel. Trois applications spécifiques ont été conçues. NewtonWorld porte sur les lois du déplacement et de conservation à la fois de l’énergie cinétique et dynamique des déplacements unidirectionnels. Les apprenants peuvent eux-mêmes lancer des balles ayant différentes masses et observer leur déplacement dans un couloir balisé de colonnes, ainsi que ce qui se passe en cas de collision. MaxellWorld cible la compréhension de la nature des forces et des champs électrostatiques, le concept de courant électrique et la loi de Gauss. Enfin le dernier, PaulingWorld, traite des structures moléculaires et des interactions qui peuvent se produire entre les molécules selon différents points de vue et modes de représentation. Plus récent et portant aussi sur la compréhension des concepts scientifiques, le projet Virtual Puget Sound, développé par l’Université de Washington à Seattle, cible un public de lycéens pour lequel il vise à faciliter la compréhension de l’origine des courants dans la baie de Puget Sound [Winn e.a., 1999, Winn, 1997]. Dans cet environnement virtuel également immersif, les apprenants explorent «physiquement» la baie de Puget Sound en se déplaçant et en changeant de points de vue. L’environnement virtuel superpose, au besoin, des informations abstraites sur les phénomènes physiques. Différents types d’indications peuvent être affichés : la température de l’eau, la salinité de l’eau, la profondeur, le sens des courants, etc. Des expérimentations portent, en particulier, sur l’acquisition des concepts scientifiques et la modification des conceptions qu’ont les apprenants d’un phénomène physique et sur l’influence des métaphores dans ce processus. Dans un registre assez différent NICE (Narrative-based Immersive Contructionist / Collaborative Environments) développé à l’Université d’Illinois visait à expérimenter l’usage de la réalité virtuelle comme ressource pour l’apprentissage avec des groupes d’enfants plus jeunes de 6 à 10 ans [Roussos e.a., 1999, Roussos e.a., 1997, Johnson e.a., 1998]. Basé sur l’idée de constructionisme, cet environnement virtuel propose un écosystème sur une île imaginaire. Les enfants organisent collectivement leur jardin, y sèment des plantes qu’ils conçoivent et peuvent intervenir sur les variables (ensoleillement, pluie...) afin d’observer les conséquences au fil du temps. L’environnement évolue en dehors de la présence des enfants qui, lors de leur nouvelle visite, constatent les changements opérés. L’enfant peut d’ailleurs suivre cette évolution à tout moment par Internet. Contrairement à d’autres développements réalisés ou en cours de réalisation, ces projets se sont accompagnés d’évaluations portant sur différentes dimensions des usages de la réalité virtuelle sur la base d’observation ou d’expérimentation sur des cohortes

Le traité de la réalité virtuelle

d’élèves. Nous soulignons ici cette particularité, car le manque de recueil de données et d’analyse systématique concernant l’utilisation et l’efficacité de ces systèmes constitue une faiblesse importante de nombreux travaux dans le domaine. Outre la dimension purement évaluative, les études empiriques fondent l’émergence des connaissances et des principes importants à capitaliser pour la conception. Par exemple, le choix de métaphores adaptées est cruciale dans la mesure où elles ne permettent pas toujours de compenser les pré-conceptions erronées des apprenants, voire elles peuvent les renforcer. D’un autre côté, l’activité et le déplacement sont des facteurs améliorant la performance dans l’apprentissage.

3.2.2.2

La réalité virtuelle dans le secteur de la formation pour adultes

Si l’on excepte le domaine médical, le secteur de la formation pour adultes a été (et reste) relativement peu investi en Amérique du nord, contrairement à ce qui s’observe en Europe. Néanmoins, deux applications majeures de la réalité virtuelle à ce domaine doivent être rappelées. Il s’agit d’une part du projet Hubble Space Telescope, parmi les premiers à avoir appliqué une démarche systématique d’analyse de l’activité ainsi qu’une démarche d’organisation pédagogique des apprentissages en parallèle au développement de thématiques de recherches visant à améliorer la conception des environnements virtuels pour l’apprentissage. D’autre part, le projet Virtual Environment for Training (VET) avec l’agent pédagogique STEVE est un précurseur des travaux sur l’intégration d’agents virtuels au sein des environnements virtuels d’apprentissage. Développé par la NASA, Hubble Space Telescope visait la formation des membres de l’équipe de vol de la mission de réparation du télescope Hubble [Loftin e.a., 1995, Loftin e.a., 1994] voir aussi http ://www.vmasc.edu/vetl/Hubble/hubble.html]. Les objectifs d’apprentissage concernaient la topographie du télescope, ses différents composants, et les procédures lors de la mission de réparation. Il s’agissait de former rapidement une centaine de personnes constituant l’équipe assurant le suivi à terre de l’opération, l’entraînement en pesanteur réduite ne pouvant être proposé qu’aux seuls astronautes. Cet environnement a eu une double particularité à son époque. D’une part, il s’agit d’un des premiers environnements virtuels où les scénarios d’apprentissage sont fondés sur l’analyse des tâches et leur transposition dans l’environnement. D’autre part, il s’agit de la première application d’un système tutoriel intelligent dans le cadre d’environnements virtuels (ICAT - Intelligent computer-aided training). Le projet VET (Virtual Environnement for Training) repose sur l’utilisation d’un agent pédagogique virtuel dénommé STEVE (SOAR Training Expert for Virtual Environment) est fondé sur le langage et l’architecture cognitive SOAR [Newell, 1990, Laird e.a., 1987]. Développé à l’University of Southern California avec la participation de Lockheed AI Center, STEVE est susceptible d’être intégré à l’intérieur d’un environnement virtuel pour remplir différentes fonctions pédagogiques. Ce premier projet, VET, visait à former les techniciens de la marine américaine à la conduite et à la maintenance de compresseurs [Rickel e.a., 1999, Johnson e.a., 2000]. Dans cet environnement virtuel mono-utilisateur, l’apprenant est immergé au moyen d’un visiocasque dans une reproduction graphique partielle d’une salle des machines d’un navire. STEVE a pour fonction de montrer à l’apprenant d’expliquer, de répondre à des questions et d’évaluer l’action réalisée par l’apprenant en regard de la représentation interne hiérarchique des tâches qu’il possède du fait de l’utilisation de SOAR.

La réalité virtuelle pour l’apprentissage humain

Plus récemment, STEVE est exploité dans l’application MRE (Mission Rehearsal Exercice) afin de préparer les officiers à la réalisation de missions de maintien de la paix, en les mettant dans une situation de crise émotionnellement engageante et stressante, du fait du scénario minutieusement préparé par des experts venant du cinéma et de nombreux effets spéciaux pour créer l’atmosphère. STEVE sert de base pour la programmation des personnages virtuels qui évoluent au cours du scénario. Contrairement à l’environnement précédent, l’apprenant n’a pas d’action ou de procédure prédéterminée à réaliser, il a pour tâche essentielle de faire des choix afin de trouver une solution à une situation de crise tout en évitant que cette situation ne dégénère [Rickel e.a., 2001, Rickel e.a., 2002, Randall e.a., 2003, Hill e.a., 2003, Gratch e.a., 2001, Gratch e.a., 2002, Gratch, 2000, Marsella e.a., 2002]. Les projets menés en Europe comme en France sont caractérisés par la très grande diversité des objectifs, des méthodes utilisées, des domaines professionnels et de la population ciblés. Parmi l’un des premiers développés, on peut citer le «Robinet virtuel industriel» développé par la recherche d’EDF, en collaboration avec les services de formation [Drouin e.a., 1997, Thibault, 2002]. Cet environnement virtuel, parmi les rares développés et validés dans des formations réelles, vise à former les techniciens de maintenance en centrale nucléaire à une démarche de diagnostic de panne. Il a la particularité d’être piloté par le formateur qui l’exploite au fur et à mesure des besoins de l’animation avec le groupe de stagiaires. L’environnement virtuel permet de visualiser et d’interagir avec un robinet industriel présenté sur un écran. Il est ainsi possible de faire apparaître le nom d’une pièce, de démonter et de voir au travers des composants, d’appréhender de manière simplifiée les flux et les efforts de pressions, de simuler des pannes etc. Cet environnement virtuel a été évalué sur plusieurs dimensions dans le cadre d’une comparaison avec la situation précédente de formation [Fréjus, 1999]. Il a notamment apporté, d’une part, l’amélioration du niveau de compétences des apprenants pour la préparation de l’intervention de diagnostic à l’issue de la formation et, d’autre part, la diminution d’environ 30% du temps requis pour la formation [Thibault, 2002]. D’autres applications ont été développées par EDF depuis, ou sont en cours de développement, comme par exemple un Environnement Virtuel pour la formation des opérateurs en centrale à la conduite de ponts polaires. A peu près à la même époque, la réalité virtuelle est pressentie pour la formation des conducteurs des Trains à Grande Vitesse à l’intervention manuelle sur les aiguillages en cas de dysfonctionnement des automatismes. Il s’agit du projet Fiacre (Formation individualisée des agents de conduite) développé par la SNCF sur la base d’un démonstrateur réalisé avec l’Ecole des Mines de Paris à partir du milieu des années 90 [Burkhardt e.a., 1999, Lourdeaux, 2001, Lourdeaux e.a., 2002]. Fiacre reconstitue un environnement de voies ferroviaires où le déplacement se fait au moyen d’un tapis de marche et la manœuvre des boîtiers et des dispositifs de commandes au moyen d’un gant de données muni d’un capteur de position. Au plan pédagogique, la formation est individuelle et réalisée en présence d’un formateur qui donne les consignes et suit les activités de l’apprenant. Couplé à FIACRE, le système de tuteur intelligent HAL (Help Agent for Learning) a permis de démontrer l’intérêt de ces technologies issues de l’IA pour un environnement virtuel d’apprentissage, afin d’analyser les erreurs de l’apprenant et de proposer des assistances et des choix d’action au formateur. Ces travaux sont poursuivis aujourd’hui au sein d’une architecture générique logicielle pour les environnements virtuels d’apprentissage dans le cadre du projet APLG (Atelier Pédagogique Logiciel Générique) [Lourdeaux e.a., 2005].

Le traité de la réalité virtuelle

Le domaine de la sécurité civile constitue la cible du système SécuRéVi [Querrec, 2002], développé par l’ENIB (Ecole Nationale d’Ingénieurs de Brest) avec la participation du Service Départemental d’Incendie et de Secours du Finistère (SDIS 29). Dans cet environnement virtuel, il s’agit de former des officiers sapeurs-pompiers à la prise de décision lors d’interventions sur des sites à risques classés SEVESO. SécuRéVi repose sur la modélisation de sites SEVESO afin de fournir un environnement pour l’exécution de procédures d’urgences. Concrètement, l’officier donne ses instructions à des équipes de sapeurs-pompiers virtuelles qui les exécutent. Outre la dimension non-procédurale de l’apprentissage, SécuRéVi se particularise de deux façons par rapport à de nombreux environnements virtuels pour l’apprentissage. D’une part, l’environnement est multiposte et la formation peut se faire à distance. D’autre part, sur le plan de la programmation et de la technologie, l’accent est mis sur la notion d’autonomie et la modélisation de systèmes multi-agents, plutôt que sur les dimensions d’interfacage et d’immersion. Dans la lignée de ces travaux, on peut citer également GVT (GIAT Virtual Training) développé par GIAT Industries en partenariat avec l’IRISA et l’ENIB afin de pouvoir former en présentiel ou à distance, en situation immersive ou non-immersive, à des tâches de maintenance sur des équipements complexes [Cazeaux e.a., 2005]. L’AFPA (Association nationale pour la Formation Professionnelle des Adultes) a été particulièrement impliquée dans le développement d’environnements virtuels pour l’apprentissage. L’un des premiers est l’environnement virtuel de formation au geste du soudage CS WAVE, conçu avec CS et la participation de la société IMMERSION, afin de faciliter l’apprentissage et la maîtrise des gestes [Dalto e.a., 2005, Steib e.a., 2005, Mellet-d’Huart e.a., 2005a]. Développé dans le cadre d’un projet européen IST et du cluster de projets EUSTIM-AMI, cet environnement virtuel est probablement l’un des tout premiers à être industrialisé et commercialisé. L’objectif étant l’acquisition des bases gestuelles et cognitives du soudage, l’apprenant manipule une torche de soudage qui a été modifiée afin que sa position puisse être traquée. Les pièces à souder sont représentées sur un écran. Des systèmes de guidage aident l’apprenant à acquérir les bases gestuelles du soudage. La représentation de la formation du cordon de soudage permet à l’apprenant d’avoir un feedback en temps réel de son action. Le formateur peut également suivre le travail de l’apprenant en temps réel et à distance. Les deux environnements suivants illustrent deux aspects encore peu développés. Le premier, VTT (Virtual Technical Trainer), concrétise une forme d’exploitation métaphorique de l’activité sensori-motrice de l’apprenant dans un environnement de stimulation multimodale. Développé dans le cadre de PERFRV par CLARTE avec l’AFPA et la société SIMTEAM avec la participation de centres de recherches (Université Paris V, IRISA, ESIEA, Université de Bourgogne), VTT concerne la formation d’opérateurs et de techniciens concepteurs dans le domaine de l’usinage. Cet environnement virtuel cible la découverte des principes de base de l’usinage et la construction de modèles mentaux des paramètres affectant le processus d’usinage et leurs limites [Mellet-d’Huart, 2004, Crison e.a., 2005, Crison e.a., 2004]. L’application a été conçue sur la base d’une métaphore qui consiste à demander à l’apprenant de saisir directement l’outil de coupe, de l’amener sur la pièce et de le déplacer afin de réaliser ses passes. Pour cela, on utilise un dispositif à retour d’effort dont la poignée, tenue par l’apprenant, représente l’outil de coupe. Des évaluations ergonomiques ont conduit à reconsidérer le système d’interfaçage. Les études se poursuivent, d’un côté, avec le développement d’un dispositif à retour d’effort dédié et, de l’autre, par l’exploitation d’un effet pseudo-haptique. Au plan pédagogique, l’apprenant découvre par la manipulation les principes de l’usinage, les effets de la variation des réglages sur l’effort de coupe de

La réalité virtuelle pour l’apprentissage humain

la machine, les situations limites et l’usure des outils. Le second, IVT (Interviewer’s virtual trainer) [Michel e.a., 2005], aborde la formation aux compétences relationnelles qui constitue une réelle difficulté pour la formation avec les méthodes traditionnelles. IVT a été développé par l’AFPA avec la société DAESIGN dans le cadre du projet APLG précédemment cité. Cette application cible la formation de formateurs à la conduite d’entretien en leur permettant de s’entraîner individuellement sur la base de situations scénarisées afin de comprendre à la fois leur mode de réaction au cours de la conduite de l’entretien et son effet sur l’efficience de l’entretien. Concrètement, l’apprenant conduit l’entretien d’une personne qui rencontre des difficultés au cours d’un stage en entreprise. Pour cela, il est représenté par un avatar qu’il pilote en choisissant les questions ou les réactions face au stagiaire interviewé.

3.2.3

QUATRE PATRONS POUR ALLER VERS UNE FORMULATION DES USAGES ET DES CONFIGURATIONS ACTUELLES

Face à la diversité des applications existantes, une étude récente a dressé une première cartographie des systèmes associés à l’apprentissage et de leurs propriétés [Lequatre e.a., 2004, Burkhardt e.a., 2005]. Menée dans le contexte du projet APLG financé par le RIAM, cette étude fait ressortir quatre patrons principaux présentant les tendances structurelles des applications existantes. Toutefois, ces patrons ne peuvent pas être considérés aujourd’hui comme des solutions stabilisées et éprouvées. En effet, les systèmes sont jeunes et peu de résultats sont accessibles concernant des évaluations empiriques de l’utilité, de l’utilisabilité, de l’exploitation pédagogique réelle et des apprentissages effectifs. En outre, seuls 17 Environnements Virtuels d’Apprentissage ont été examinés dans cette étude.

3.2.3.1

Patron I : EVA Tutorat (version a & b)

Ce premier patron met en scène un apprenant et un (ou deux) formateurs pour lequel il nous semble intéressant de faire l’analogie avec les modèles de tutorat en apprentissage. Cette situation renvoie à deux versions, selon que (a) la modalité visuelle est seule impliquée en sortie ou (b) les trois modalités visuelle, auditive et haptique sont combinées. Les deux concernent plutôt des formations concernant l’apprentissage du geste, du comportement ou des procédures. Les deux versions exploitent plutôt le visio-casque. Quelle que soit la version, l’EVA n’offre pas de rétroaction d’apprentissage, ce qui pourrait s’expliquer par le fait que, d’une part, le formateur présent en situation prend en charge cette dimension et, d’autre part, la logique de conception est plutôt celle de la simulation et de la recherche de rétroactions analogues à celles de la situation réelle. Enfin, il tend à ne pas y avoir de guidage pour l’utilisateur. Les deux versions diffèrent sur les dimensions sensorielles et motrices impliquées dans l’interaction, sur les dispositifs exploités et au final sur la complexité du système. La première exploite la vision seule ; elle se caractérise par l’usage de dispositifs d’interaction simples allant de la souris PC au joystick en passant par la souris 3D etc. La représentation de l’utilisateur au sein de l’Environnement Virtuel tend à avoir la forme d’un avatar humanoïde. La seconde version, plus complexe, combine la vision, le son et l’haptique. Les dispositifs d’interaction sont très variés :

Le traité de la réalité virtuelle

capteurs, plate-forme de mouvement, dispositifs haptiques originaux ad hoc. Les représentations de l’utilisateur sur le plan de l’interface sont elles aussi fort variées : aucune représentation explicite, une représentation sous la forme d’une partie du corps associée à un outil (e.g. main + clef), ou une représentation de la seule partie du corps (e.g. main). Cette variété est possiblement liée à la variété des utilisateurs, à l’existence de représentations distinctes suivant la phase de l’apprentissage ; notamment lorsque l’interaction repose directement sur l’information haptique délivrée par le système, il tend à ne pas y avoir de représentation explicite autre que le retour d’effort.

3.2.3.2

Patron II : EVA Activité en groupe supervisée

Le second patron correspond aux situations d’activité en groupe supervisée où plusieurs apprenants et un formateur interagissent avec et/ou à travers l’Environnement Virtuel. Cette situation est liée de façon privilégiée aux formations au commandement, à la gestion de crise ou encore à l’apprentissage scolaire. Les dispositifs d’interaction exploités dans le cadre d’activités en groupe ont tendance à être plutôt simples (souris PC, joystick...). La visibilité étant contrainte par l’activité en groupe, la tendance est à l’exploitation d’un grand écran. Les utilisateurs sont généralement représentés dans l’Environnement Virtuel par un avatar humanoïde, voire un humanoïde avec un outil. On trouve des rétroactions d’apprentissage dans les systèmes ; il y a généralement absence de guidage, ou bien cette propriété n’est pas mentionnée.

3.2.3.3

Patron III : EV Support Cours

Dans le troisième patron, l’Environnement Virtuel est une ressource manipulée par le formateur, devant un groupe d’apprenants, en soutien pour l’explication, la démonstration, le questionnement, etc. L’usage pédagogique de référence est le support de cours magistral. Le support de cours manipulé par le formateur -voire par un apprenant de façon ponctuelle- s’appuie sur des dispositifs d’interaction qui se veulent simples (souris 3D) ou relativement simples (souris PC) du point de vue de l’utilisation ; la présentation de l’information exploite plutôt le grand écran pour une bonne visibilité de l’ensemble des apprenants. Au niveau du monde virtuel figuré, l’utilisateur est plutôt représenté visuellement sous la forme outil (flèche, pointeur, etc.). Un guidage est généralement proposé et les rétroactions tendent à prendre deux formes : soit elles se restreignent à une rétroaction d’interaction, soit elles comportent une combinaison de rétroaction d’apprentissage et de rétroaction d’interaction.

3.2.3.4

Patron IV : EVA Auto-formation

Enfin, la situation où un apprenant interagit seul avec l’Environnement Virtuel d’Apprentissage peut être reliée au modèle de l’autoformation développé précédemment dans d’autres champs des technologies pour l’apprentissage. Cette catégorie renvoie cependant à un seul Environnement Virtuel dans l’échantillon de l’étude. La formation associée est la visualisation de situations ou de phénomènes éventuellement associée à des méthodes de diagnostic (ces mêmes formations exploitent aussi le précédent patron). L’autoformation privilégie des dispositifs d’interaction caractérisés à la fois par

La réalité virtuelle pour l’apprentissage humain

un faible coût et une utilisation a priori peu problématique de par leur banalisation dans le quotidien et, acceptable du point de vue des contraintes de visibilité (souris et écran PC). C’est moins l’utilisateur que ses actions ou ses possibilités d’action qui sont représentées au niveau de l’interface sous la forme d’outil (flèche, pointeur, etc.) ; un guidage est proposé et les rétroactions fournies à l’utilisateur concernent l’interaction. Une dernière dimension caractérise les patrons observés. Il s’agit de la possibilité ou non qui est laissée à l’utilisateur - généralement l’apprenant - de modifier les valeurs de paramètres de contrôle affectant les comportements dans le monde virtuel simulé. Ainsi, la fonctionnalité de paramétrage par l’utilisateur tend à être plutôt observée dans le cas des activités supervisées en groupe. A l’inverse dans les autres, la tendance principale est l’absence de possibilité de paramétrage. Ces premiers patrons constituent en effet un répertoire de solutions-types telles qu’elles existent actuellement. Elles doivent être considérées selon plusieurs aspects (pédagogique, technique, ergonomique, économique...) et peuvent contribuer à l’analyse du problème à traiter dans le cadre de la conception d’un nouvel environnement d’apprentissage. Il est probable que le manque d’expérience et de recul affecte dans une certaine mesure les configurations observées, sans que l’on puisse aujourd’hui clairement évaluer leurs manifestations au niveau de ces patrons. Sur le long terme, les patrons décrits aujourd’hui seront probablement modifiés, enrichis et éventuellement recomposés au fur et à mesure du recueil de données. Ainsi, une étude de plus large envergure est menée actuellement en liaison avec le groupe de travail formation et éducation du réseau d’excellence européen INTUITION.

3.3

CADRE ET REPÈRES POUR LA CONCEPTION

3.3.1 POTENTIALITÉS REMARQUABLES DE L’UTILISATION DE LA RÉALITÉ VIRTUELLE POUR L’APPRENTISSAGE

Aujourd’hui encore, les potentialités ou les intérêts évoqués dans la littérature ressemblent plus à un catalogue de cas rassemblés de manière opportune qu’à des lignes de recherches claires fondées sur une approche théorique et pratique constituée. Il nous a paru par conséquent utile de proposer un cadre permettant de rendre compte de façon structurée et synthétique de l’éventail des potentialités et intérêts à considérer pour la conception des environnements virtuels pour l’apprentissage, à partir d’une analyse récente de la littérature [Lourdeaux, 2001, Mellet-d’Huart, 2004, Mellet d’Huart e.a., 2001, Mellet d’Huart, 2001b, Burkhardt e.a., 2003, Lourdeaux e.a., 2003]. Trois aspects sont ainsi traités : les apports hérités de la simulation, les apports issus de l’informatique pédagogique et, enfin, les apports spécifiques aux environnements virtuels pour l’apprentissage.

3.3.1.1

Les apports de la simulation

Dans le domaine de la formation, le terme de simulation renvoie à toute situation pédagogique où des apprenants doivent tenir un rôle et agir en conséquence en ayant comme enjeu d’explorer, de progresser ou de réussir. Ils agissent ainsi dans le cadre d’un scéna-

Le traité de la réalité virtuelle

rio extrait généralement du monde réel. Aujourd’hui, la simulation se fonde sur l’usage de simulateurs, c’est-à-dire de dispositifs électroniques et informatiques particuliers visant à reproduire certains objets ou aspects caractéristiques d’un environnement ou d’une situation de travail. La notion de simulation renvoie à deux mécanismes fondamentaux dans l’apprentissage qui sont l’imitation et le «faire comme si». Schématiquement, l’imitation renvoie au fait d’agir ou de se comporter comme agirait et se comporterait le modèle que l’on se donne. Lors de l’apprentissage d’un métier ou d’une compétence professionnelle, le modèle est généralement un professionnel expérimenté ou un expert. De l’autre côté, «faire comme si» signifie accepter que la situation simulée ne soit pas la situation réelle, l’objectif n’étant pas tant d’y croire que de s’en saisir et l’exploiter comme un soutien à l’apprentissage. Faire «comme si» n’est en effet pas la même chose que «faire dans le monde réel». La simulation permet certes la reproduction plus ou moins réaliste d’aspects du monde réel. Par exemple, les simulateurs de vol pleine-échelle utilisent de vrais cockpits et génèrent de multiples évènements pouvant effectivement survenir en environnement réel avec l’objectif de placer l’apprenant dans une situation proche du vol réel. Le simulateur pleine-échelle est alors supposé réagir comme le système réel qu’il figure, de façon à procurer à l’apprenant certains aspects de l’expérience qu’il pourrait tirer de ses actions dans la situation réelle. Toutefois la simulation permet aussi - et surtout - de proposer des alternatives à l’environnement tel qu’il est perçu en temps normal. Cette potentialité «d’augmentation» ou de «modification finalisée» des représentations et des moyens d’actions offerts à l’apprenant nous paraît constituer l’une des lignes importantes de développement pour les applications futures de la réalité virtuelle. La formation sur simulateur s’accompagne dans la pratique de séances préparatoires et de séances de débriefing pour encadrer le moment du passage sur simulateur. Il en découle des besoins en terme de «traces» laissées par l’action ou en fonctionnalités pédagogiques pour le formateur, dont certaines commencent à être implantées sur les nouvelles générations de simulateur : fonctions permettant le développement d’exercices et le suivi des progrès de l’apprenant, fonctions d’enrichissement de l’environnement et d’assistance à l’apprenant, fonctions permettant de restituer des «traces» de l’activité ou de produire des analyses de l’activité et de ses conséquences, fonctions permettant de sélectionner et de visionner certains épisodes de la simulation pour aider le debriefing ou l’analyse des erreurs, etc. L’histoire de l’usage de la simulation pour la formation est déjà longue, de sorte qu’il existe une documentation conséquente concernant ses avantages, ainsi que les fonctions utiles à intégrer pour un usage de formation (voir par exemple [Patrick, 1992, Pastré, 2005, Grau e.a., 1998, Joab e.a., 2006, Seidel e.a., 1997]. Il s’agit, d’une part, des avantages associés au recours à la situation simulée, proche par construction de la situation réelle, tout en étant dégagée des contraintes du terrain réel : • mettre en situation quand la situation réelle ne le permet pas, parce qu’elle n’est pas accessible (e.g. réparation du télescope Hubble dans l’espace [Loftin e.a., 1995]), trop coûteuse (e.g. exercices impliquant l’arrêt du trafic et de l’exploitation commerciale comme pour les conducteurs de trains à grande vitesse [Lourdeaux, 2001] ), trop dangereuse (e.g. risque chimique au travail [Gardeux e.a., 2005] et risques pour la santé et l’environnement dans les usines classées SEVESO comme dans SécuRéVi [Querrec, 2002], intervention sur les réacteurs nucléaires [Fréjus, 1999]), trop difficile à «contrôler» (e.g. formation comportementale et relationnelle comme dans IVT) ou parce qu’elle n’existe pas encore (e.g. plate-forme off-shore en construction, nouveau véhicule) ; • simuler des scénarios et des conditions rares (incidents techniques, situations limites,

La réalité virtuelle pour l’apprentissage humain

accidents, etc.), afin de permettre aux apprenants d’acquérir une certaine expérience ou de se confronter à des situations-problème [Pastré, 2005] afin d’acquérir une compréhension de ces situations et de développer des capacités de prises de décision et/ou des automatismes en vue de l’activité future ; • contrôler précisément certains paramètres de la situation, les faire varier, voire les modifier à volonté (terrains, conditions climatiques, introduction de dysfonctionnements, etc.). Il s’agit d’autre part des propriétés de la situation et des fonctionnalités intéressantes à développer du point de vue de l’apprentissage : • •

•

faire réaliser des tâches critiques sans danger pour soi ou autrui ; simplifier et segmenter les apprentissages pour les faciliter (par exemple apprendre à passer les vitesses avec une boîte à palier sans être perturbé par le trafic routier, décomposer le geste du soudage selon trois composantes élémentaires à maîtriser [Mellet-d’Huart e.a., 2005b] ) ; donner à l’erreur un statut pédagogique réel, en permettant d’en faire observer les conséquences et en soutenant plusieurs façons de les expliquer ; intervenir à tout moment afin d’exploiter didactiquement le contexte et le comportement de l’apprenant : fonctions de gel de la situation (figer les états et la dynamique d’une situation-problème à un moment donné, par exemple pour poser des questions ou recevoir une explication avant de reprendre le cours de la session), de rejeu (par exemple en vue d’analyser les difficultés et les stratégies, d’expliquer les erreurs), de synthèse automatique des résultats et/ou comportements, etc. ; répéter la même situation de façon inter ou intra-individuelle, à des fins d’observation, d’entraînement ou d’évaluation.

Il est à noter que les approches de la simulation pour l’apprentissage ont évolué depuis les simulateurs pleine-échelle. Si ceux-ci privilégiaient la reproduction fidèle de l’objet dans son contexte d’utilisation (fidélité fonctionnelle et perceptive) sans anticipation des usages pédagogiques du simulateur, les approches récentes tendent, au contraire, à privilégier les activités d’apprentissage par des démarches de conceptions intégrant une analyse didactique des situations professionnelles [Pastré, 2005], à privilégier les aides à l’apprentissage au dépend du réalisme [Joab e.a., 2006] ou à simplifier les simulation afin de les portées sur des ordinateurs de bureau rendant ainsi ces applications disponibles pour un plus grand nombre d’apprenants [Aka e.a., 2002].

3.3.1.2

Les apports de l’informatique pédagogique

L’informatique pédagogique remonte historiquement à l’apparition des premiers dispositifs d’enseignement assisté par ordinateur (EAO) [Bruillard, 1997]. Il a été jugé utile depuis de spécifier que ces systèmes portent sur l’apprentissage humain : l’appellation actuelle est ainsi celle d’environnements informatiques pour l’apprentissage humain (EIAH) [Grandbastien, 2006]. Les EIAHs sont généralement conçus pour être utilisés sur des ordinateurs de bureau et pourvus d’un espace d’interaction majoritairement en deux dimensions. L’interactivité constitue l’un des principaux apports des technologies de l’informatique à l’apprentissage. La notion d’interactivité revêt plusieurs sens dans le domaine de l’in-

Le traité de la réalité virtuelle

formatique pédagogique et de la réalité virtuelle, depuis le déclenchement de l’étape suivante dans l’exposition d’une consigne, jusqu’au contrôle par l’apprenant des paramètres d’une simulation pour en comprendre les règles de fonctionnement, ou bien encore l’établissement de dialogues avec d’autres entités virtuelles. Cette notion d’interactivité ne doit pas être confondue avec le mode d’interaction, lequel reflète les choix particuliers de dispositifs d’action et d’affichage. Cependant, parler en général de bénéfices de l’interactivité sur l’apprentissage n’est pas possible ; il est nécessaire, pour cela, de préciser le type d’interactivité dont il s’agit. Il convient en particulier de distinguer, dans les dialogues interactifs entre l’apprenant et le système, la part de l’interactivité liée à l’utilisation et la navigation à l’intérieur de l’outil, avec la part de l’interactivité explicitement associée à la mise en place d’un apprentissage [Lourdeaux e.a., 2002]. Cette dernière correspond aux interactions impliquant des habiletés sensori-motrices ou cognitives propres à la tâche d’apprentissage. Une distinction similaire a été proposée dans le domaine du multimédia pour la formation [Bétrancourt e.a., 2000]. Ces auteurs montrent, sur la base d’une revue d’études sur l’usage de l’animation, que l’interactivité liée à la navigation dans l’outil ne semble pas améliorer l’efficacité. A l’inverse, l’interactivité de l’apprenant avec les variables sous-tendant la simulation serait favorable pour l’apprentissage, ce que tendent à montrer diverses études (par exemple [Byrne, 1996]). D’autres auteurs cherchent à vérifier le rôle joué par l’interactivité dans l’apprentissage conceptuel [Roussou, 2005, Roussou e.a., 2005]. Soulignons que l’effet positif de l’interactivité sur l’apprentissage n’est pas systématique, car l’interactivité peut s’accompagner [Stanney e.a., 1998] d’une augmentation de la charge de travail de l’utilisateur, laquelle peut avoir pour effet d’empêcher l’apprentissage et l’amélioration de la performance. Sans chercher à être exhaustif, on peut noter ensuite les fonctions suivantes intéressantes à intégrer lors de la conception d’Environnements Virtuels : •

utilisation du même équipement informatique pour d’autres formations, voire d’autres usages (conception, analyse de l’activité, évaluation, etc.) ;

•

adaptabilité des scénarios en fonction des styles et du rythme d’apprentissage, ainsi que des progrès, difficultés ou stratégies passées de l’apprenant [Michel, 2004, Michel e.a., 1996] ;

•

programmation et ajustement de l’environnement selon les objectifs pédagogiques ;

•

exploitation des possibilités de représentations offertes par les différents médias (image, son, texte, animations, schémas, hyper-structures, etc.) [Mellet d’Huart, 2001a, Mellet-d’Huart, 2004] ;

•

réversibilité de certaines actions (i.e. autoriser l’apprenant à revenir sur une action particulière ou une étape précédente) permet, par exemple, de remettre en cause une stratégie et d’examiner l’impact d’une nouvelle sur les états du système [Burkhardt, 2003] ;

•

suivi des apprenants à travers plusieurs sessions en enregistrant certaines données du scénario et la manière dont il a été exécuté ;

•

intégration d’un système de Tuteur Intelligent pour le contrôle et l’assistance pédagogique [Lourdeaux, 2001, Buche e.a., 2005, Loftin e.a., 1995, Rickel, 2001, Salzman e.a., 1999, Johnson e.a., 1999, Lester e.a., 1999].

La réalité virtuelle pour l’apprentissage humain

3.3.1.3

Les apports spécifiques de la réalité virtuelle

Les potentialités spécifiques de la réalité virtuelle pour l’apprentissage, se situent aujourd’hui plus au stade de l’hypothèse que du principe démontré par la recherche. La fourniture de modes de représentation flexible, l’ancrage sensorimoteur et corporel de l’apprentissage ainsi que l’usage de modes d’interaction et d’assistance impossibles dans le monde réel constituent trois grandes lignes de potentialité. 1. Des modes de représentation flexibles La réalité virtuelle introduit en effet une flexibilité originale dans les possibilités de présenter l’information à l’apprenant selon de multiples formats et points de vue, selon un mode interactif et rétro-actif en fonction de l’évolution de l’apprentissage. Cela se traduit par des éléments tels que : •

le développement d’une gamme de choix dans les modes de représentation de l’information présentée au cours de l’apprentissage. Ces représentations peuvent rechercher le plus grand réalisme2 pour les situations d’entraînement ou de «pré-transfert» de nouveaux acquis vers des situations réelles ; elles peuvent être à l’opposé reconstruites de toute pièce afin, par exemple, de rendre compréhensible des éléments non perceptibles ou des causalités contre-intuitives. On a rappelé ailleurs les dangers d’une approche uniquement fondée sur le réalisme dans le contexte de l’apprentissage ;

•

l’adaptation statique et/ou dynamique du niveau de fidélité des environnements et des informations présentées en fonction des actions de l’apprenant [Lourdeaux e.a., 2002], de son style d’apprentissage et/ou des objectifs locaux de l’application ;

•

l’articulation de perspectives multiples et de cadres de référence, en offrant une grande variété de points de vue et de stratégies possibles au cours de l’interaction avec un monde virtuel ;

•

l’information visuelle présentée en trois dimensions, comme procurant d’une part une dimension supplémentaire pour structurer l’information comparativement aux écrans en deux dimensions, et d’autre part comme facilitant la présentation d’une plus grande quantité d’information ;

•

la superposition d’informations d’assistance aux scènes de l’environnement virtuel (flèches, sons, clignotement, etc.) ;

•

faire intervenir un agent réel ou virtuel pouvant interagir avec l’élève au moyen de la voix, d’un texte surimposé, ou par l’intermédiaire d’un avatar représentant un personnage. Différents rôles sont envisageables [Johnson e.a., 2000] tels celui de tuteur, d’entraîneur, de pair [Chan e.a., 1990], d’adversaire virtuel [Chan, 1996], etc. Ces rôles peuvent être ajustés suivant le contexte et suivant les options pédagogiques prises pour une situation particulière. D’autres auteurs [Frasson e.a., 1996] ont exploré l’utilisation d’un «fauteur de troubles» automatisé, un compagnon d’étude qui fournit parfois des informations incorrectes afin de contrôler, et améliorer, la confiance en soi de l’apprenant. L’agent virtuel STEVE [Johnson e.a., 1999, Johnson e.a., 2000, Rickel e.a., 1999, Rickel, 2001] peut prendre la place d’un col-

2 Les résultats concernant des aspects plus fondamentaux de l’apprentissage semblent, au contraire, devoir s’éloigner du réalisme perceptif bien que ces points ne soient pas encore stabilisés, ne serait ce que du fait de l’absence de définition claire de la notion de réalisme ; voir la discussion générale sur la notion de réalisme dans le volume 1 de ce traité).

Le traité de la réalité virtuelle

lègue afin de terminer une activité avec un utilisateur ou fournir des conseils à l’apprenant. En résumé, l’un des deux avantages essentiels de la réalité virtuelle est de pouvoir conserver, dans ce que l’on représente du réel, uniquement ce qui est directement utile à l’apprentissage. De plus, cette grande plasticité des modes de présentation voire des transformations du réel [Winn, 1993, Mellet d’Huart e.a., 2001, Mellet-d’Huart, 2004, Lourdeaux e.a., 2003] ouvre la perspective d’approches pédagogiques novatrices et plus proches de ce que prescrivent les théories sur l’apprentissage [Rose, 1995, Roussos e.a., 1997, Winn, 2003]. Nous abordons ci-après le second : l’ancrage sensorimoteur et corporel de l’apprentissage que permet la réalité virtuelle. 2. L’ancrage sensorimoteur et corporel de l’apprentissage La réalité virtuelle réintroduit la perception et la motricité (plus globalement le corps) dans les processus d’apprentissage médiatisés. La recherche de formes de sensorimotricité «naturelle» ou «adaptée» au projet d’apprentissage devient ainsi un élément essentiel de la démarche de conception d’un environnement virtuel pour l’apprentissage. En effet, l’usage combiné de différentes configurations de modalités sensorielles et d’interactions motrices proposées à l’utilisateur apparaît de plus en plus comme une approche prometteuse pour faciliter l’apprentissage. Des travaux ont montré empiriquement l’effet de l’ajout d’information des autres modalités sensorielles à l’Environnement Virtuel, en plus de l’information délivrée visuellement. Par exemple, l’ajout d’une information haptique supplémentaire dans l’environnement virtuel Newton World [Dede e.a., 1996b] s’accompagne d’une meilleure compréhension des notions de cinématique comme l’accélération et la vitesse, mais d’une capacité moindre à prédire les comportements de mobiles, par comparaison aux groupes ayant l’information visuelle seule ou enrichie du son. Une étude portant sur un environnement virtuel similaire appliqué aux phénomènes électriques suggère (Maxwell World [Dede e.a., 1996d]) que la présentation d’information sur plusieurs modalités sensorielles permet d’améliorer la compréhension de la distribution des forces dans un champ électrique. Pour les auteurs, l’information délivrée par les autres modalités haptiques et sonores pourrait avoir guidé l’attention des apprenants vers les comportements et les relations importants de façon plus efficace que ne le fait la seule information visuelle. On notera que l’ajout d’information multi-sensorielles semble également avoir un rôle dans l’utilisabilité et l’intelligibilité de l’Environnement Virtuel. Les mêmes auteurs observent ainsi que les utilisateurs jugent dans ce cas l’environnement plus simple à utiliser et que le référentiel égocentrique est mieux compris que par le groupe ayant l’information visuelle seule. Privilégiant l’activité corporellement ancrée, la réalité virtuelle devient ainsi moins dépendante du texte pour la présentation des données et pour la mise en situation, voire pour la navigation dans l’application. C’est là une de ses forces potentielles, notamment lorsque l’on s’adresse à des publics rencontrant des difficultés avec la lecture, l’écriture et l’abstraction. Fuchs [Fuchs e.a., 2001] définit les interfaces utilisées en réalité virtuelle comme des systèmes visant à exploiter un comportement humain, naturel et avec peu d’acquis préalable. Ce sont donc les modes d’expression et les modes d’actions naturelles aux utilisateurs qui doivent, autant que faire se peut, servir à structurer les interactions qui s’établissent entre l’utilisateur et les composants de l’environnement virtuel. Dans cette perspective, la réalité virtuelle ne se limite pas forcément à la reproduction de situations dont les références sont prises dans le

La réalité virtuelle pour l’apprentissage humain

monde réel et ne recherche que rarement le réalisme perceptif des situations évoquées [Burkhardt e.a., 2003, Mellet-d’Huart, 2004]. Bien au contraire, elle peut, dans certains cas, s’en éloigner délibérément. Des premiers résultats d’études [Dede e.a., 1996c] suggèrent par exemple des gains intéressants associés à l’introduction de la sensorimotricité ou de la redondance entre modalités sensorielles, par rapport à des environnements d’apprentissage fondés sur le visuel seul. Pourtant, le réalisme perceptif n’est pas en cause dans cette application portant sur des concepts et des notions extrêmement abstraites. L’immersion «corporelle» de l’apprenant au moyen de rétroactions simultanées sur les modalités visuelles, auditives, haptiques, est vu dans cette approche comme un agent catalyseur de l’acte d’apprentissage. L’immersion est en effet souvent mentionnée comme une propriété nécessaire pour l’apprentissage e.g. [Malik e.a., 2001] ou moins y contribuant [Winn, 1997]. Certes, le terme est souvent pris dans des acceptions peu rigoureuses (voir la discussion générale à ce sujet dans le chapitre 5 du volume 1, et ses relations avec la notion de réalisme). L’hypothèse habituelle associant immersion et performance en termes d’apprentissage et de transfert est que l’immersion dans un environnement similaire à celui de la future tâche doit s’accompagner d’un meilleur apprentissage : la connaissance acquise serait ainsi structurée d’une façon proche de la structure requise par la tâche [Stanney, 1998]. Quelques études expérimentales ont cherché à évaluer l’effet de systèmes immersifs (généralement constitués de systèmes de visualisation en 3D, souvent au moyen d’un visiocasque ou de lunettes stéréoscopiques) en termes d’efficacité pour l’apprentissage, par comparaison avec d’autres environnements non immersifs (généralement de type micro-ordinateur présentant des images en 2 dimensions, voire des modes plus traditionnels d’enseignement). Dans ces études [Byrne, 1996, Gay, 1994, Merickel, 1994], le bénéfice de l’immersion n’a pas réellement de confirmation empirique. De surcroît, l’immersion dans l’environnement virtuel peut avoir pour effet de distraire l’attention des apprenants du contenu, au moins dans les premières immersions [Gay, 1994]. A notre connaissance, la seule étude trouvant un effet bénéfique à la condition immersive est celle d’Adams et Lang [Adams e.a., 1995]. Toutefois, l’explication pour cette meilleure performance résiderait dans une motivation plus grande des stagiaires en environnements virtuels immersifs et par conséquent un temps plus élevé consacré à la formation. Dans ces études, on note également des imprécisions fréquentes quant à la notion même d’apprentissage, aux objectifs visés et au référentiel de comparaison ou d’évaluation retenu. Ainsi, des notions d’entraînement, d’assistance au transfert d’acquis ou d’aide à la réalisation d’une tache en situation sont souvent confondus avec l’acquisition de connaissance ou de compétences nouvelles. Aujourd’hui, plusieurs hypothèses et directions de recherches sont envisagées de façon à définir clairement des principes pour la conception de la dimension perceptivomotrice de l’interaction dans les Environnements Virtuels d’Apprentissage. Nous en distinguons trois principales. La première est directement liée à la notion de fidélité perceptive (cf. chapitre 5 du volume 1) : le développement de la dimension multisensorielle correspond alors à la recherche d’une fidélité perceptive la plus proche avec les situations de référence dans le monde réel. Dans ce sens, cela rejoint en partie la notion d’immersion. La seconde approche consiste à utiliser une ou plusieurs autres modalités sensorielles pour attirer l’attention des apprenants sur l’information réellement importante à l’intérieur de la scène visuelle, et ainsi renforcer l’apprentissage. Dans ce cas, la fidélité perceptive n’est pas l’objectif, puisque l’on s’en éloigne.

Le traité de la réalité virtuelle

3. Le couplage utilisateur-environnement virtuel au travers de modes d’interaction et d’assistance impossibles dans le monde physique La notion de couplage désigne la relation créée entre l’apprenant et l’environnement virtuel de telle façon que si il agit sur l’environnement virtuel, l’environnement virtuel modifie aussi les capacités sensorielles ou motrices de l’apprenant [Winn, 2003, Mellet-d’Huart, 2004]. Un aspect intéressant des mondes virtuels consiste ainsi à exploiter des modes d’interactions et d’assistance impossibles dans le monde physique, comme moyen d’approcher différemment l’apprentissage [Lourdeaux e.a., 2003] : • modifier l’échelle (sizing) des tailles relatives de l’apprenant et des objets figurés dans l’environnement virtuel [Winn, 1993]. Par exemple, un apprenant pourrait s’approcher d’un atome, l’examiner, ajuster des électrons dans leurs orbites et de ce fait modifier la valence de l’atome et sa capacité à se combiner aux molécules ; 3 • réifier , c’est-à-dire présenter à l’apprenant, sous une forme concrète et intelligible, un concept, une abstraction (l’idée de liberté, une équation mathématique, le courant électrique). Un procédé partiellement analogue est celui de la transduction [Winn, 1993] qui consiste à utiliser des affichages pour présenter une information normalement hors du champ perceptif humain. Par exemple, des variations de l’intensité des signaux auditifs ont pu être employé pour dépeindre des niveaux de rayonnement électromagnétique. De même, la couleur a pu être utilisé pour montrer le mouvement de l’oxygène dans un environnement ; • limiter les capacités d’action de l’apprenant en lui interdisant certaines opérations en contraignant les degrés de liberté [Verna e.a., 1998]. Winn [Winn, 2003] insiste sur les avantages qu’offre la réalité virtuelle pour l’apprentissage dans le couplage dynamique qu’elle permet entre l’apprenant et son environnement d’apprentissage. Il affirme que ces potentialités proviennent, en particulier, des capacités d’affordance de ces technologies [Morineau e.a., 1997, Morineau e.a., 2003]. 4. Autres hypothèses spécifiques évoquées En sus des avantages précédemment cités, on trouve les avantages suivants : • l’induction d’une motivation forte chez les apprenants, notamment du fait des aspects ludiques et attrayants associés à la réalité virtuelle et à son usage dans le grand public ; • des gains économiques par réduction des charges pour l’investissement dans des équipements onéreux, par réduction des coûts de fonctionnement en consommant moins de matière d’œuvre pour des mises en situation ; • l’utilisation d’un espace plus limité par rapport à un simulateur pleine-échelle ou une maquette à l’échelle 1. 3.4 ECUEILS ET LIMITES ACTUELLES À CONSIDÉRER Différents types de limites ou d’insuffisances apparaissent de manière récurrente dans les environnements virtuels pour l’apprentissage développés à ce jour. Nous rappelons les principales dans l’objectif de contribuer à améliorer les environnements virtuels d’apprentissage à venir. Plusieurs aspects sensibles sont en effet encore souvent sousestimés [Burkhardt, 2003, Burkhardt e.a., 1999]. Il y a bien sûr les limites et inconvénients généraux liés à des défauts d’ergonomie des Environnements Virtuels en général 3 Les

termes réifier ou réification ne sont pas toujours compris de la même façon suivant les auteurs.

La réalité virtuelle pour l’apprentissage humain

(voir notamment les chapitre Facteurs Humains du volume 1 et Ergonomie de l interface du volume 2). Plus spécifiquement liés à la question de l’apprentissage, on peut mentionner les problèmes suivants.

3.4.1 L’UTILITÉ ET LA FAIBLESSE DES FONCTIONNALITÉS OFFERTES

Le manque d’usage et de précédents fait que les fonctionnalités de tels systèmes sont encore imparfaitement cernées. L’absence de démarche de conception réellement orientée vers l’utilisateur constitue cependant aussi un frein fort à l’anticipation et la capitalisation des connaissances sur ces usages.

3.4.2 L’UTILISATIBILITÉ DE L’ENVIRONNEMENT VIRTUEL

L’utilisabilité est certes un aspect sensible pour toute application. La sensibilité est renforcée ici du fait de l’usage en formation qui se caractérise par des utilisations ponctuelles pour l’apprenant, peu suivies, sur des temps brefs entrecoupés de périodes souvent longues. De ce point de vue, il faut souligner l’effet négatif du peu d’attention portée aux connaissances déjà acquises dans des technologies proches comme les simulateurs, dans le domaine de la conception d’IHM (Interface Humain-Machine), de l’ergonomie des logiciels interactifs, etc. C’est parfois, à l’inverse, un manque de recul et d’exploration des potentialités nouvelles offertes par les technologies qui constitue un frein à une meilleure exploitation des potentialités de la réalité virtuelle. Un autre aspect de l’utilisabilité est relatif à la perception partielle, caractérisée par des incohérences entre les informations traitées par les différents systèmes récepteurs (ex. vision / oreille interne). Les sources d’information liées à l’environnement réel de l’utilisateur se superposent de surcroît, voire entrent en conflit, avec l’information délivrée par le système. Dans le cadre d’un environnement pour la formation, il faut porter une attention particulière sur l’impact de ce phénomène, à la fois pour les aspects de transfert entre situations virtuelles et le monde réel et pour les aspects d’assistance à l’utilisateur. Deux faiblesses théoriques s’ajoutent à cela : la méconnaissance des processus liés à l’apprentissage, au développement des compétences et au fonctionnement cognitif des utilisateurs, d’une part ; certains questionnements théoriques qui apparaissent peu reliés à un enjeu réel en termes d’efficacité pour l’apprentissage, d’autre part. Par exemple, la notion de «présence» est abondamment présentée comme centrale dans le domaine de la réalité virtuelle. La recherche d’un degré élevé de présence caractérise en effet l’orientation de nombreux travaux dans le domaine, notamment avec l’idée que la performance ou l’apprentissage en seraient facilités. Toutefois, l’hypothèse d’un effet sur l’apprentissage reçoit un soutien mitigé du fait du caractère contradictoire des résultats dans la littérature, voire de l’absence de résultats. Aucun lien théorique convaincant n’est d’ailleurs proposé avec les théories et les principes existants dans le domaine de la pédagogie, ni même encore avec les travaux sur l’apprentissage et le développement cognitif humain. Notre avis est que cette dimension n’apporte pas, au regard des résultats actuels et des perspectives ouvertes par la recherche, une dimension intéressante du point de vue de l’apprentissage [Burkhardt e.a., 2002, Mellet-d’Huart e.a., 2004]. Il convient enfin d’éviter certains réflexes communs quant à l’approche des technologies de la réalité virtuelle, en focalisant la conception sur les aspects réellement critiques. Ainsi nous attirons l’attention des participants à la conception, concepteurs et futurs utilisateurs sur les points suivants : •

l’esthétique et le degré de réalisme graphique ne constituent pas le point essentiel

Le traité de la réalité virtuelle

pour une application de la réalité virtuelle à l’apprentissage. Le cas échéant, la question du réalisme4 doit être précisée (réalisme de quoi, par rapport à quelle situation, objet et description de références) et argumentée (pour quels objectifs). En effet, les objectifs cruciaux concernent la fidélité des comportements d’apprentissage attendus de la part de l’utilisateur et l’atteinte des objectifs de formation. C’est seulement en dernier objectif que l’on pourra souhaiter une certaine esthétique du réalisme des scènes et des objets ; •

il faut éviter de se focaliser uniquement sur l’apprenant ; les formateurs sont des utilisateurs privilégiés pour lesquels les fonctionnalités et la prise en compte des usages sont des points également critiques pour le développement de ces technologies ;

•

l’apprentissage est un processus complexe qui ne peut être réduit à la simple exposition à un contenu et un environnement soient-ils virtuels. Par conséquent, il est nécessaire de définir des hypothèses concernant ce processus et les différents composants de la situation d’usage. Il nous semble en effet important de souligner le danger de ne se tenir uniquement à des idées de sens commun dans le domaine de l’apprentissage et des scénarios d’utilisation possibles. Le développement d’un environnement virtuel d’apprentissage est un processus d’autant plus long et coûteux que la conscience et la prise en compte des spécificités liées à l’apprentissage, à son contexte et aux caractéristiques des utilisateurs sont tardives ;

•

le développement des environnements virtuels d’apprentissage nécessite la synergie de compétences et de disciplines très différentes à l’intérieur des équipes projets : ingénierie technologique, ingénierie pédagogique, ergonomie, futurs utilisateurs du système (formateurs et apprenants). La seule compétence en matière de technologies et d’interactions humain-environnement virtuel n’est en effet pas suffisante pour garantir l’utilité, l’efficacité et la pérennité d’un environnement virtuel pour l’apprentissage ;

•

le prétexte de la nouveauté technologique ne doit pas amener à faire l’impasse sur les travaux plus anciens (en didactique, en ergonomie, en informatique pédagogique, etc.) qui peuvent s’avérer directement pertinents dans le cadre des applications de formation ;

•

ll est enfin nécessaire de se munir d’une méthode pour accompagner et valider les choix, tout au long de la conception (voir [Burkhardt e.a., 1999, Mellet-d’Huart, 2004]). La faiblesse - voire l’absence - de méthode et d’analyse rigoureuse de la situation et des utilisateurs constitue une cause majeure de mauvaise adaptation aux besoins du monde industriel, professionnel ou de l’éducation, voire d’échec.

3.4.3 SIX DIMENSIONS POUR ORIENTER LA CONCEPTION D’UN EVA

Les six dimensions suivantes ont pour objectif, à partir des options pédagogiques envisagées et des premiers éléments concernant les situations et les utilisateurs potentiels, de guider la définition et cadrer l’envergure d’un projet d’environnement virtuel. Ces dimensions sont en partie adaptées d’une précédente typologie concernant l’usage des environnements virtuels d’apprentissage [Mellet d’Huart e.a., 2001]. 4 Ce

problème du réalisme est discuté et approfondi dans le chapitre 2 du volume 1.

La réalité virtuelle pour l’apprentissage humain

3.4.3.1

Finalité du projet (Dimension I)

La finalité d’un projet de recherche est de comprendre et d’améliorer les processus d’apprentissage, ou encore de contribuer au progrès technologique. Les critères de réussite portent sur la formalisation des hypothèses, la méthodologie et les données recueillies ; ils portent moins sur le degré de finalisation de l’environnement virtuel pour l’apprentissage, lequel constitue au mieux une illustration ou un support à l’expérimentation. A l’autre extrémité, lorsque la finalité consiste à produire un environnement virtuel d’apprentissage utilisable à grande échelle, l’accent est mis sur la facilitation des apprentissages ou l’optimisation des moyens de formation tant aux plans didactique, organisationnel qu’économique.

3.4.3.2

Configurations d’utilisateurs envisageables, caractéristiques physique et géographique (Dimensions 2 et 3)

L’envergure du projet dépend aussi en grande partie des configurations envisagées au niveau global de la situation d’apprentissage et ultérieurement de la médiatisation éventuelle des interactions entre les utilisateurs. Les situations sont aujourd’hui majoritairement de type mono-apprenant, sur un poste unique (par exemple, TRUST, FIACRE, VTT) ou sur plusieurs postes (par exemple, CS WAVE), éventuellement avec un formateur présent ou distant. D’autres configurations se fondent sur la coopération présentielle entre plusieurs utilisateurs et éventuellement un formateur (par exemple NICE, STEVE, le Robinet Virtuel EDF). Les dimensions structurantes sont le caractère mono ou multi-utilisateur, l’intervention ou non du formateur et l’existence ou l’absence d’interactions entre ces différents utilisateurs. En parallèle, cette dimension doit être cohérente avec les caractéristiques physique et géographique de l’environnement virtuel. Par exemple, l’implantation sur site unique facilite les interactions en groupe et en présentiel.

3.4.3.3

Types de matériels et de développements envisagés (Dimension 4)

Le dimensionnement du projet passe aussi par un premier choix, au moins dans les grandes lignes, du type de matériels et de développements ciblés : par exemple, la réalité virtuelle, ou encore la réalité augmentée souvent vue comme «plus légère» et plus facile à amener jusqu’au terrain. A l’autre extrémité, l’adaptation de configurations légères de type micro-informatique de bureau permet de produire des systèmes économiques, souvent avec un degré d’innovation moindre. Le plus important est probablement de caractériser le projet sur cette dimension, d’une part, en regard de la finalité du projet et, d’autre part, de la nature du problème d’apprentissage à traiter.

3.4.3.4

Degré d’intervention prévu de l’apprenant sur l’environnement virtuel (Dimension 5)

L’environnement virtuel d’apprentissage à concevoir peut se présenter sous différentes formes allant de la version «clé en main» au «prêt à construire». Les environnements

Le traité de la réalité virtuelle

virtuels «clé en main» sont livrés prêt à être utilisés. On y trouve souvent des environnements virtuels «fermés» où seules des variables portant sur des propriétés de l’environnement peuvent être modifiées sont majoritaires aujourd’hui (par exemple, FIACRE5 ou CS WAVE). A l’opposé, les environnements virtuels «prêt à construire», contiennent un ensemble d’outils permettant de créer de multiples environnements, objets et/ou scenarii. Ce type d’application a permis en particulier l’expérimentation d’approches pédagogiques constructionnistes comme dans le cas du projet Virtual Reality Roving Vehicle (VRRV) [Winn, 1995]. Les apprenants y construisaient leur environnement d’apprentissage.

3.4.3.5

Composition avec d’autres médias (Dimension 6)

On peut cibler trois grandes catégories de projets, selon la façon dont est organisée l’intégration de l’environnement virtuel à d’autres ressources médiatiques issues des technologies de l’information et de la communication. Les premiers sont les environnements virtuels indépendants d’autres ressources et médias pédagogiques (par exemple, STEVE). Les seconds sont les projets où l’environnement virtuel, média principal, intègre et articule néanmoins des ressources pédagogiques complémentaires issues d’autres médias, souvent par l’intermédiaire de mécanismes de type hyper-lien (par exemple, CS WAVE). Les troisièmes sont les environnements virtuels s’appuyant sur une interface textuelle ou multimédia multi-fenêtrée pour offrir l’accès à des fonctionnalités de communication et d’interaction aux utilisateurs d’une communauté connectée à travers un réseau. On peut prendre comme exemples les environnements de type MUD (Multi-User Dungeons/Domains), MOO (MUD Object-Oriented) ou MUSH (Multi-User Shared Hallucination) plus spécifiquement développés dans le domaine éducatif jusqu’à présent.

3.5 CONCLUSIONS ET PERSPECTIVES Le domaine des technologies de l’information et de la communication, et de la réalité virtuelle en particulier, est propice au développement d’idées fausses, de représentations erronées voire de fantasmes qu’il est important de combattre pour construire un projet dans les meilleures conditions. Le risque joue d’ailleurs dans les deux sens : aussi bien les espoirs infondés sur la technologie que le rejet systématique de cette même technologie sont des obstacles à court et long terme du développement d’une technologie adaptée et acceptée. Le présent chapitre a tenté de fournir un éclairage plus complet et argumenté en ce qui concerne les intérêts, la conception et les perspectives envisagées pour ce domaine d’application important de la réalité virtuelle. Utiliser la réalité virtuelle pour l’apprentissage présente-t-il un intérêt ? Au niveau le plus général, nous avons identifié deux intérêts majeurs pour l’utilisation de la réalité virtuelle pour l’apprentissage humain. Le premier est de contribuer à résoudre des problèmes d’apprentissage et à améliorer des situations de formation existantes. Le second est d’offrir un instrument d’investigation original pour la recherche sur deux thématiques conjointes : l’apprentissage et le comportement humain d’une part, et les technologies pour l’apprentissage, d’autre part. 5 Voir

Fiche de présentation correspondante en annexe.

La réalité virtuelle pour l’apprentissage humain

En ce qui concerne les moyens qu’apportent les technologies de la réalité virtuelle pour améliorer l’apprentissage, les deux idées fortes concernant les perspectives d’usage et de développement de la réalité virtuelle pour l’apprentissage demeurent les suivantes : (1.) Elles introduisent une flexibilité originale dans les possibilités de présenter l’information à l’apprenant selon de multiples formats et points de vue, avec un mode interactif. Elles permettent ainsi d’offrir des points de vue inédits sur les objets et les connaissances, propres à faciliter les apprentissages. (2.) Elles réintroduisent le corps dans les processus d’apprentissage permettant ainsi de mettre l’apprenant en action et d’élargir ses possibilités de manipulation et de perception au-delà de ce qui serait possible en situation réelle. Cette double perspective invite à revisiter et à reconsidérer certaines «croyances» pourtant largement partagées telles que celle de la supériorité des environnements virtuels photo-réalistes ou certains concepts classiques dans le champ de la réalité virtuelle tels ceux de présence et d’immersion au profit de l’étude des processus d’apprentissage. D’autres intérêts de l’usage de la réalité virtuelle ont aussi été évoquées tels que, par exemple, permettre de : • •

lier des situations de pratique à des niveaux d’information plus conceptuelle ; intégrer grâce à l’intelligence artificielle des modes de suivi et d’accompagnement des apprentissages, etc.

Cette liste n’est pas limitative. Les usages de la réalité virtuelle à l’apprentissage s’inventent et se cherchent encore. Il convient donc de garder à l’esprit que cet ensemble de vertus et d’avantages potentiels nécessite d’être examiné, sélectionné et élaboré dans le cadre d’un projet méthodique et rigoureux pour pouvoir se traduire en un outil efficace et adapté au terrain. Par exemple, la prise en compte des caractéristiques des utilisateurs, qu’il s’agisse des apprenants ou des formateurs, des conditions de leur activité et de leurs objectifs est, de ce point de vue, particulièrement sensible pour ce qui est des choix et des spécifications techniques. L’analyse complémentaire des tâches à apprendre, et la formulation d’hypothèses précises sur l’apprentissage dans l’environnement virtuel sont aussi des déterminants importants de la qualité des environnements virtuels produits. En outre, la prise en compte d’aspects sensibles tels que l’utilisabilité, les fatigues visuelles et physiques variées, les troubles associés à la simulation du mouvement apparaît souhaitable. La conception des environnements virtuels d’apprentissage constitue ainsi un champ pluridisciplinaire nouveau qui est en train d’émerger et qui a besoin de se construire en impliquant l’ingénierie technologique, l’ergonomie et les disciplines traitant de l’apprentissage et de la formation. Des situations d’usage et des formes multiples On rappellera qu’il n’y a pas une façon unique d’utiliser un environnement virtuel dans un cadre éducatif ou de formation. On peut en effet fonder la construction d’un environnement virtuel sur une pédagogie démonstrative, sur une démarche pédagogique à guidage fort ou faible, sur une pédagogie de la découverte et de l’exploration libre, sur une pédagogie du dysfonctionnement. Il est aussi possible de mettre l’apprenant dans la situation de co-constructeur de l’environnement virtuel. On peut enfin réfléchir et tenter de formaliser d’autres approches pédagogiques qui seraient propres à l’utilisation des environnements virtuels d’apprentissage. A ce titre, les techniques et paradigmes propres à d’autres technologies de formation constituent une voie à entrete-

Le traité de la réalité virtuelle

nir pour l’enrichissement des environnements virtuels pour l’apprentissage, ainsi que, d’une façon générale, les travaux de conception et d’évaluation dans d’autres champs de la technologie éducative. Par exemple, un environnement virtuel d’apprentissage peut être appréhendé de façon complémentaire comme un multimédia. Il constitue alors le média principal qui supportera les liens hypermédia permettant de déclencher des séquences développées sur un autre média. Les projets développés récemment en France exploitent aussi largement ce type d’enrichissement (e.g. EDF). La rencontre entre des courants issus de la simulation, du multimédia éducatif, des environnements interactifs pour l’apprentissage humain et la réalité virtuelle est aujourd’hui riche de potentialités et de promesse. Quelles méthodes et quels aspects clefs pour le développement de cette technologie dans une perspective d’apprentissage ? La démarche de conception, les outils et les repères proposés dans ce chapitre constituent un premier guide pour faciliter le travail de conception. Ils vont depuis la phase d’analyse des besoins jusqu’au développement. Des éclairages sont proposés tant sur les dimensions pédagogiques (définition des objectifs pédagogiques, instrumentation d’une méthode, évaluation des acquis) que sur l’apprentissage et les caractéristiques d’ensemble de l’environnement virtuel (ergonomie, technologie). L’utilisation d’un environnement virtuel d’apprentissage doit, en effet, satisfaire aux exigences d’efficacité et de facilitation de l’activité pour les apprenants comme pour les formateurs. Cependant, nous ne sommes pas encore au stade d’une ingénierie stable et complète de conception des environnements virtuels d’apprentissage, c’est-à-dire [Tchounikine, 2002] «un ensemble de connaissances (et éventuellement d’outils) capitalisés qui guident le processus de conception, de réalisation, d’évaluation et d’expérimentation du système». Il ne faudrait toutefois pas sous-estimer le chemin qui a été parcouru ces dernières années dans le domaine, avec en premier la prise de conscience que la nécessité d’une approche pluridisciplinaire doit se traduire effectivement sur le terrain, à l’intérieur même de l’équipe de conception (ce qui n’est pas forcément le cas dans tous les champs des nouvelles technologies et de l’interaction homme-machine). On peut être optimiste quant à des développements plus efficaces : il y a d’abord l’expérience qui s’accumule autour de nouveaux développements et de nouveaux usages de la réalité virtuelle pour l’apprentissage, de plus en plus sur des terrains industriels, et pour répondre à des besoins réels. Il y a également la poursuite importante de travaux de recherches et de développements méthodologiques à propos des environnements virtuels, en ergonomie, en informatique et dans le domaine des technologies pour l’apprentissage. Perspectives Une approche pédagogique encore peu formalisée émerge, fortement ancrée, d’un côté, dans les modèles et les travaux en psychologie cognitive, en didactique et en ergonomie et de l’autre dans des travaux issus des neurosciences tels que la neurophysiologie de l’action et la biologie de la cognition. Elle met l’accent sur les deux perspectives qui nous apparaîssent comme fortes aujourd’hui et que nous avons présentées dès l’introduction de ce chapitre. La première concerne l’exploitation de la flexibilité offerte par les technologies de la réalité virtuelle en termes d’interaction et de présentation de l’information selon de multiples formats et points de vue. La seconde concerne la réintroduction du corps, de la perception et de la motricité dans la conduite des interactions médiatisées à visée pédagogique. Des validations expérimentales et des études de terrain avec des véritables utilisateurs devront confirmer et enrichir les principes et

La réalité virtuelle pour l’apprentissage humain

les cadres explicatifs soutenant ces deux pistes, ainsi que toutes les autres, variées, évoquées dans cet article. En effet, faute de données et d’études, les intérêts des environnements virtuels pour l’apprentissage pourraient fort bien demeurer au rang d’hypothèse. A l’inverse, il nous semble qu’il y a là une voie de recherche et un terrain d’application majeur de la réalité virtuelle pour les années à venir.

3.6

DES EXEMPLES D’ENVIRONNEMENTS VIRTUELS POUR L’APPRENTISSAGE

3.6.1 NARRATIVE-BASED IMMERSIVE CONTRUCTIONIST/COLLABORATIVE ENVIRONMENTS - NICE

Développé par : EVL (Electronic Visualization Loboratory) et ICE (Interactive Computing Environments Laboratory) - University of Illinois - Chicago. Publics : Enfants de 6 à 10 ans. Finalités : Développer un banc d’essai pour expérimenter la réalité virtuelle comme ressource pour l’apprentissage. L’approche pédagogique est basée sur le constructionisme 6 : les utilisateurs réels et virtuels y collaborent à la construction de mondes virtuels durables. Problème à résoudre : Permettre aux enfants de découvrir et de comprendre l’influence de l’environnement sur la croissance de différents types de plantes. Principes : Le système propose un petit écosystème sur les rivages d’une île imaginaire, dont les autres espaces peuvent aussi être explorés (volcans, mer, catacombes...). Les utilisateurs organisent collectivement leur jardin puis y sèment des plantes qu’ils auront conçues eux-mêmes. Les plantes, fleurs ou arbres poussent à un rythme qui dépend de l’échelle de temps choisi (le projet peut durer de quelques jours à six mois). Les plantes se développent au mieux lorsque leurs paramètres (espace propre, âge, quantités d’eau et de soleil reçues...) sont adaptés à leurs caractéristiques. Le système fait appel à métaphores et images symboliques (une plante qui reçoit trop de soleil porte des lunettes de soleil...) afin d’exprimer certains états des variables importantes de la situation. La construction de la dimension narrative intègre les actions des enfants et la réaction (personnifiée) des plantes ou des éléments. Chaque groupe d’enfants est représenté par un avatar. Utilisation pédagogique : Un groupe d’enfants développe ensemble le jardin virtuel à partir d’un espace vierge et de graines. Ils conçoivent leurs plantes puis les plantent. Ils peuvent intervenir sur les variables (ensoleillement, pluie...) et observer les conséquences. L’environnement poursuit son développement en dehors de la présence des enfants qui, lors de leur visite suivante, pourront constater les changements opérés. L’enfant peut suivre cette évolution à tout moment par Internet. Les enfants peuvent changer d’échelle (sizing) : se faire petit au point d’aller voir les racines des plantes et d’y rencontrer des vers de terre... ou, au contraire, prendre de la hauteur. 6 mode d’apprentissage par construction des objets de l’apprentissage dans un environnement numérique se référant aux théories constructivistes.

Le traité de la réalité virtuelle

Figure 3.1 : Apprendre les cycles biologiques, Nice. Photo de University of Illinois Chicago Interfaces : CAVE(tm) virtual reality theater pour le groupe d’utilisateur/créateurs (vision + son) ; • Wand (baguette magique) pour les déplacements et les actions ; • ordinateurs de bureau : un site web permet aux enfants de suivre à distance l’évolution du monde virtuel et d’échanger entre eux grâce à un chat via Internet ; • une imprimante : une version iconique rendant compte de l’état du monde virtuel peut être imprimée. Remarques : Cette application a été conçue afin d’accompagner la réforme de l’enseignement primaire aux USA. •

Références : www.evl.uic.ed/tile/NICE/NICEintro.html www.ice.eecs.uic.edu/ nice [Roussos e.a. 1998 ; Roussou e.a. 1999 ; Johnson e.a. 1998] 3.6.2 SCIENCESPACE

Développé par : la NASA et George Mason University (Virginia, USA) Publics : collégiens. Finalités : la remédiation d’erreurs de conceptions relatives à des lois physiques et la réalisation de ré-apprentissage précis. Problème à résoudre : Arrivés au collège, les élèves présentent de fréquentes erreurs de conception relativement à des lois physiques. Ces erreurs perturbent leurs apprentissages.

La réalité virtuelle pour l’apprentissage humain

Figure 3.2 : Le déplacement des corps dans NewtonWorld, ScienceSpace. Photo George Mason University & NASA

Principes : Le principe retenu pour cette application est le suivant. ScienceSpace constitue un ensemble de trois applications organisées autour d’une problématique commune : l’immersion sensorielle facilite-t-elle la remédiation des conceptions erronées et/ou la construction de modèles mentaux pour des concepts scientifiques abstraits. Ces applications s’inscrivent dans la famille des micromondes. Utilisation pédagogique : Au plan pédagogique, elles cherchent à développer une connaissance intuitive de phénomènes puis à construire un modèle mental précis des concepts scientifiques. Les trois applications ont été conçues chronologiquement, chaque conception reposant sur les enseignements de la précédente. Il s’agit de NewtonWorld, MaxellWorld et de PaulingWorld. ScienceSpace constitue donc l’enveloppe générique des trois applications présentée ci-après. Elle propose un ensemble de situations d’apprentissage par immersion active dans un environnement virtuel, permet d’utiliser différents cadres de référence et propose des retours multimodaux. L’apprentissage se fait en deux étapes : (1.) découverte intuitive des lois par l’activité au sein de l’environnement virtuel ; (2.) apports de savoirs conceptuels correspondants. L’utilisation pédagogique est la suivante. Les apprenants sont actifs lors de l’utilisation des applications. Ils acquièrent d’abord une connaissance intuitive de ce qui se passe, puis peuvent articuler cette connaissance intuitive à un savoir conceptuel et en faire les vérifications souhaitées au sein de l’environnement virtuel. Les expérimentations qui se sont achevées en 2000, montrent l’utilité de la réalité virtuelle pour constituer des occasions d’expériences sensibles pour l’acquisition de concepts spécifiques. Cela est d’autant plus important que les situations réelles, fautes de produire de telles situations, sont inductrices de nombreuses erreurs de conception. En effet, les expériences subjectives se trouvant en contradiction avec les principes scientifiques sous-jacents. Ces expérimentations fournissent aussi de nombreuses pistes pour guider la conception des environnements virtuels pour l’apprentissage. Interfaces retenues pour l’application sont les suivantes : un casque de vision ; du son spatialisé ; une interface de contrôle et une interface de positionnement avec traqueurs de position ; un gilet produisant des vibrations.

Le traité de la réalité virtuelle

Figure 3.3 : Les champs électriques dans NewtonWorld, ScienceSpace. Photo George Mason University & NASA

3.6.2.1

NewtonWorld

NewtonWorld porte sur les lois du déplacement et de conservation à la fois de l’énergie cinétique et dynamique des déplacements unidirectionnels. Les apprenants peuvent eux-mêmes lancer des balles ayant différentes masses et observer leur déplacement dans un couloir balisé de colonnes, ainsi que ce qui se passe en cas de collision. Ils peuvent, pour cela, observer différents points de vue. Des repères multimodaux servent à faciliter la compréhension du processus et à l’analyse des observations que les apprenants peuvent faire. Ceux-ci peuvent ainsi percevoir l’impact des concepts de masse, de vitesse et d’énergie sur le mouvement des balles. Cette expérimentation a permis de révéler que de nombreux étudiants ne distinguaient pas clairement les concepts de vitesse et d’accélération. Ils avaient aussi des difficultés à anticiper ce qui pouvait se produire en cas de collision entre deux dalles. Par ailleurs, l’utilisation de l’application au cours d’une séance unique s’est avérée peu efficiente au plan de l’apprentissage.

3.6.2.2

MaxellWorld

MaxellWorld aide les élèves à comprendre la nature des forces et des champs électrostatiques ainsi que le concept de flux électriques. Cette application aide aussi à la compréhension empirique de la loi de Gauss. L’application propose différentes formes de représentation de ces données abstraites. Les apprentissages sont ici apparus plus efficient avec la réalité virtuelle que sans. Par contre les facteurs de motivation ne semblent pas avoir eu d’impacts sur les apprentissages.

La réalité virtuelle pour l’apprentissage humain

3.6.2.3

PaulingWorld

PaulingWorld permet d’examiner la structure de petites ou de grandes molécules selon différents points de vue, selon différents modes de représentation. Le système génère des représentations de structures moléculaires en 3D à partir de données relatives à des protéines. Différents modes de représentation sont possibles. Ils visent essentiellement à rendre compte des interactions qui peuvent se produire entre molécules. Référence : [Dede e.a. 1994, 1996a, 1996b, 1997, 1999, 2000 ; Loftin e.a. ; Salzman e.a. 1996, 1998, 1999 ; Moshell e.a. 2002] ScienceSpace website : http ://www.virtual.gmu.edu Vidéos en ligne : http ://gsevserv.harvard.edu/ramgen/t502/cd_t502_virtualreality.rm

3.6.3 VIRTUAL PUGET SOUND (VPS)

Développé par : College of Education & HitLab - University of Washington at Seattle. Publics : Adolescents scolarisés en collège. Finalités : Elle vise à faciliter la compréhension de l’origine physique des courants dans la baie de Puget Sound qui jouxte Seattle. Problème à résoudre : La compréhension des concepts scientifiques et la conception qui en découle. Principes : L’application VPS pose un problème de recherche sur les processus d’apprentissage et sur la façon dont ceux-ci peuvent être compris. De cette compréhension peuvent découler des préconisations sur les modes d’utilisation de la réalité virtuelle pour apprendre. L’environnement virtuel superpose, au besoin, des données informatives abstraites sur des phénomènes physiques. Utilisation pédagogique : Les apprenants sont immergés dans l’application. Ils peuvent explorer la baie de Puget Sound en se déplaçant et en changeant de points de vue. Différents types d’indications peuvent être visualisés : la température de l’eau ; la salinité de l’eau ; la profondeur ; la direction des courants... Le constat des corrélations qui s’établissent entre l’évolution des différents facteurs et le sens des courants, permet aux apprenants de comprendre comment les courants sont générés. L’exploration «physique» de l’environnement virtuel facilite le constat et la prise de conscience de ces corrélations. Remarques : Un travail d’évaluation porte : sur les résultats d’apprentissage ; sur les processus d’apprentissage ; et sur les conceptions que les apprenants ont avant d’entreprendre l’apprentissage. L’étude fait apparaître des relations entre ces trois facteurs. En particulier, les résultats sont meilleurs si l’apprenant se déplace activement au sein de l’environnement virtuel. Le processus d’apprentissage passe par le remplacement de conceptions initiales erronées ou insuffisantes par de nouveaux modèles plus complets et mieux expliqués par les corrélations entre faits et valeurs issues de l’expérience vécue en environnement virtuel. Par ailleurs, on constate que les métaphores utilisées dans l’environnement virtuel ne permettent pas toujours de compenser les conceptions

Le traité de la réalité virtuelle

initiales erronées. Bien au contraire, dans certains cas elles semblent renforcer celles-ci. Interfaces : Les interfaces utilisées sont le visiocasque, le wand et un grand écran. Références : [Winn e.a. 1999, 2002 ; Winn et Windschitl 2002 ; Winn e.a. 2002a]

Figure 3.4 : La baie de Puget Sound. Virtual Puget Sound. Photo de University of Washington - Seattle

3.6.4

TRUCK SIMULATOR FOR TRAINING TRUST

Développé par : Thales Training & Simulation Avec la participation de : AFT (Association pour la formation au transport) et autres partenaires dans le cadre du projet européen TRACS. Publics : Personnes désirant obtenir les Licences C, D et E ainsi que les diplômes de Formation Initiale Minimum Obligatoire (FIMO) et de Formation Continue Obligatoire de Sécurité (Conducteurs Routiers Professionnels) dans le cadre de formations à la conduite routière. Finalités : Acquisition des comportements routiers à la fois de base et de perfectionnement (situations dangereuses) pour les conducteurs de Poids Lourds et d’Autocars. Problème à résoudre : Permettre l’acquisition des éléments fondamentaux de la conduite Poids-Lourds/Autocars ainsi qu’autoriser un perfectionnement tout au long de la carrière du conducteur routier. Cette acquisition doit se faire de façon progressive et sans danger : en effet, la conduite réelle mobilise simultanément des capacités

La réalité virtuelle pour l’apprentissage humain

Figure 3.5 : Affichage d’indicateurs. Virtual Puget Sound. Photo de University of Washington - Seattle

multiples dans un environnement présentant des risques réels. Principes : Il s’agit d’un simulateur de conduite Poids Lourds haut de gamme constitué d’une cabine réelle de camion produite par Renault Truck montée sur un mouvement électrique à 6 degrés de liberté. Un environnement virtuel est projeté sur des écrans frontaux (180 degrés horizontaux par 40 degrés verticaux) ; les rétroviseurs sont simulés. A partir d’un poste dédié, l’instructeur peut faire varier plusieurs paramètres (météo, heure du jour) ainsi qu’introduire des pannes (crevaison, perte de frein). De nombreuses fonctionnalités pédagogiques permettent le suivi des parcours des apprenants, la réalisation d’exercices et de leur évaluation, la possibilité pour le formateur de créer ou de modifier des exercices... Utilisation pédagogique : Utilisé pour former des conducteurs débutants (permis C, D et E) ainsi que pour améliorer les capacités des conducteurs routiers professionnels expérimentés (FIMO et FCOS). Il permet de transférer progressivement des apprentissages de base et de perfectionnement en vue de leur utilisation sur véhicules réels au fur et à mesure de leur acquisition. Interfaces : •

cabine de camion réel dont les instruments sont interfacés avec l’ordinateur (volant, changement de vitesses, pédales...) ;

•

un grand écran et deux moniteurs à hauteur des rétroviseurs ;

•

bruiteur : bruit du moteur et du trafic extérieur ;

•

interphone avec le poste du tuteur ;

•

un moniteur à l’intérieur de la cabine pour suivre le parcours de formation et choisir les exercices.

Références : www.ttsl.co.uk/products/roads.htm [Mellet-d’Huart 2004 ; Melletd’Huart e.a. 2005]

Le traité de la réalité virtuelle

Figure 3.6 : Le simulateur de conduite de poids lourds Trust. Photo de Thalès Training & Simulation

La réalité virtuelle pour l’apprentissage humain

3.6.5 STEVE

STEVE (SOAR 7 Training Expert for Virtual Environment)

3.6.5.1

1. Virtuel Environment for Training (VET)

Développé par : Information Sciences Institute (USC - University of Southern California). Avec la participation de : Lockheed AI Center, Behavioral Technology Laboratory (USC). Publics : Personnel technique embarqué de l’US Navy. Finalités : Former à la conduite et à la maintenance de compresseurs. Problème à résoudre : Produire un système d’assistance à l’apprentissage. Principes : L’apprenant est immergé dans un environnement virtuel reproduisant une salle machine (compresseurs) d’un bâtiment de l’US Navy. Il doit apprendre à y effectuer des actions de surveillance et de maintenance. Un agent virtuel, STEVE, avec lequel il est possible de dialoguer, est présent. STEVE peut montrer, expliquer, répondre à des questions, laisser faire et évaluer l’action. Le système a été initialement conçu pour la formation à des taches procédurales. Utilisation pédagogique : L’apprenant est immergé dans la scène. STEVE joue un rôle de tuteur dont la pédagogie est démonstrative. L’apprenant reproduit ce que STEVE lui a montré. Interfaces : visiocasque ; • capteurs de position ; • gant de données ; • microphone ; • haut-parleurs. Références : www.isi.edu/isd/VET/vet.html [Rickel e.a., 1999] ; [Johnson e.a., 2000] •

3.6.5.2

2. Mission Rehearsal Exercice (MRE)

Développé par : Institute for Creative Technologies (USC). Avec la participation de : Information Sciences Institute (USC). 7 SOAR est un langage de programmation en intelligence artificielle. Il a pour particularité d’avoir été conçu sur la base d’un modèle de la cognition humaine [Newell, 1990] ; [Laird, 1987]

Le traité de la réalité virtuelle

Publics : Lieutenants de l’armée américaine. Finalités : Préparer à la réalisation de missions de maintien de la paix. Problème à résoudre : Mettre en situation de façon crédible, c’est à dire complexe, émotionnellement engageante et sous stress. Principes : L’apprenant est immergé dans une scène se passant en Bosnie. Il est appelé à intervenir sur une situation de crise. Il n’a pas les moyens nécessaires au traitement de la situation. Il doit cependant faire des choix et éviter que la situation en dégénère. La situation est minutieusement scénarisée (experts venant du monde du cinéma) et de nombreux effets spéciaux sont utilisés afin de créer l’atmosphère. Les agents virtuels intègrent des dimensions émotionnelles. Le scénario même évolue en prenant en compte tant les actes que les états émotionnels des acteurs. L’application reprend les principes du jeu de rôle. Le sergent joue le rôle du formateur. Utilisation pédagogique : STEVE est ici l’avatar de l’apprenant. Il sert aussi de modèle logiciel à tous les autres agents présents dans la scène. Interfaces : •

mur d’image ;

•

son spatialisé ;

•

microphone.

Remarques : La situation est minutieusement scénarisée (experts venant du monde du cinéma) et de nombreux effets spéciaux sont utilisés afin de créer l’atmosphère. Les agents virtuels intègrent des dimensions émotionnelles. Le scénario même évolue en prenant en compte tant les actes que les états émotionnels des acteurs. Références : www.ict.usc.edu [Marsella, 2001 ; Rickel, 2001, 2002 ; Gratch, 2002 ; Randall, 2003]

3.6.6 FORMATION INDIVIDUALISÉE DES AGENTS DE CONDUITE - FIACRE

Développé par : SNCF Avec la participation de : Ecole des mines de Paris Finalités : Formation à l’intervention manuelle sur les aiguillages en cas de dysfonctionnement des automatismes. Publics : Conducteurs des TGV Problème à résoudre : Les contraintes d’exploitation commerciales empêchent la formation sur site réel. Principes : Reconstitution d’un environnement représentant la situation réelle. Le déplacement le long des voies se fait sur un tapis de marche. Un gant de données muni d’un capteur de position permet de manœuvrer boîtiers et dispositifs de commandes.

La réalité virtuelle pour l’apprentissage humain

Figure 3.7 : Steve présente une procédure. Virtual Environment for training. Photo de University of Southern California

Figure 3.8 : Un modèle des comportements émotionnels. Mission Rehearsal Exercise. Photo de University of Southern California

Le traité de la réalité virtuelle

Figure 3.9 : Le dispositif d’apprentissage. Mission Rehearsal Exercise. Photo de University of Southern California Utilisation pédagogique : Formation individualisée en présence d’un formateur qui donne les consignes et suit les activités de l’apprenant. Interfaces : • tapis de marche ; • capteurs de positions ; • grand écran ; • joystick ; • gant de données. Références : [Lourdeaux 2001 ; David & Lourdeaux 2001 ; Burkhardt e.a. 1999] Remarques : Le prototype SOFI a permis de tester un système tutoriel intelligent (HAL - Help Agent for Learning) analysant les erreurs de l’apprenant et proposant des choix d’action au formateur [Lourdeaux e.a. 2002]. 3.6.7 WELDING ENVIRONMENT FOR TRAINING - CS WAVE

Développé par : AFPA et CS. Avec la participation de : Immersion. Publics : Personnes se formant aux techniques de bases du soudage. Finalités : Permettre l’acquisition des bases gestuelles et cognitives du soudage. Problème à résoudre : L’apprentissage en situation réelle est long, difficile et peu productif. • la perception du processus est difficile. Seul quelques indices apparaissent sur une

La réalité virtuelle pour l’apprentissage humain

Figure 3.10 : Un personnage. Mission Rehearsal Exercise. Photo de University of Southern California

Le traité de la réalité virtuelle

Figure 3.11 : Le dispositif de Fiacre. Schéma de la SNCF

Figure 3.12 : L’intervention sur voies ferrées. Fiacre. Photo de la SCNF

La réalité virtuelle pour l’apprentissage humain

surface de quelques centimètres carrés. Ils sont peu visibles et ne peuvent être saisis et interprétés qu’en fin d’apprentissage ; • du point de vue moteur, la bonne position de la torche ou du porte-électrode résulte de la combinaison de quatre paramètres de position et de vitesse de déplacement à traiter simultanément ; • les apprentissages gestuels et cognitifs sont difficilement convergents. Principes : L’apprenant manipule une torche dont la position est traquée et qui a l’apparence d’une torche de soudage réelle. Les pièces à souder sont représentées sur un écran. Des systèmes de guidage aident l’apprenant à acquérir les bases gestuelles du soudage. La représentation de la formation du cordon de soudage conjugué à l’absence de lumière, permet à l’apprenant d’avoir un feedback en temps réel de son action. Le formateur peut également suivre le travail de l’apprenant en temps réel et à distance. Utilisation pédagogique : Formation par la pratique de l’activité avec apport d’informations non disponibles en situation réelle. Le système intègre un dispositif de suivi des parcours, des exercices, des retours sur la performance et des ressources de formation (séquences vidéo de démonstration...). Interfaces : un moniteur ; • des capteurs de position et d’orientation intégrés aux outils de soudage ; • un mobilier permettant de varier les positions de soudage ; • l’apprenant porte un masque à souder équipé de fonctions audio. Remarques : Produit développé dans le cadre d’un projet européen IST et du cluster de projets EUSTIM-AMI, commercialisé en 2004 par la société CS. •

Références : http ://CS WAVE.c-s.fr [Steib e.a. 2005 ; Mellet-d’Huart et Michel 2005] 3.6.8

VIRTUAL TECHNICAL TRAINER - VTT

Développé par : CLARTE dans le cadre de Perf-RV en partenariat avec l’AFPA et la société SIMTEAM. Avec la participation de : Le LEI (Université de Paris V), l’IRISA, l’ESIEA, l’ISTIA/Université du Maine et l’Université de Bourgogne. Publics : personnes en formation d’opérateur sur fraiseuses à commande numérique ; • personnes en formation de techniciens concepteur (ils conçoivent des pièces qui seront réalisées à partir de techniques d’usinage) ; • tout public utilisant directement ou indirectement des procédés d’usinage. Finalités : Permettre à un apprenant de découvrir les principes de base de l’usinage, de se construire des modèles mentaux des processus engagés et de leurs limites. •

Problème à résoudre : La généralisation progressive de la commande numérique sur les machines d’usinage crée une distance par rapport au procédé. Celui-ci devient de moins en moins perceptible. L’opérateur doit pourvoir anticiper mentalement l’ensemble du

Le traité de la réalité virtuelle

Figure 3.13 : L’apprentissage du geste de soudage. CS WAVE. Photo de CS & AFPA

Figure 3.14 : L’architecture du système. CS WAVE. Photo de CS

La réalité virtuelle pour l’apprentissage humain

processus d’usinage. Il en fait la traduction en données numériques. Ce contexte rend l’apprentissage plus difficile. Les formations qui utilisaient des machines à manivelles permettaient à l’apprenant de ressentir les efforts de coupe de la machine et d’ajuster ses réglages en temps réel afin de conserver une sollicitation optimale de la machine. Les formateurs cherchent notamment à trouver un moyen pour aider les apprenants à se construire des représentations sensori-motrices des efforts engagés par la machine. Principes : Utilisation d’une métaphore qui consiste à demander à l’apprenant de saisir directement l’outil de coupe, de l’amener sur la pièce et de le déplacer afin de réaliser ses passes. Pour cela on utilise un bras à retour d’effort qui représente l’outil de coupe. Utilisation pédagogique : Au travers d’une mise en situation progressive, l’apprenant découvre, par manipulation, les principes de l’usinage, les effets de la variation des réglages sur l’effort de coupe de la machine, les situations limites et l’usure des outils. Interfaces : •

un moniteur ;

•

un bras à retour d’effort.

Remarques : Des évaluations ergonomiques ont conduit à reconsidérer le système d’interfaçage. Les études se poursuivent, d’un coté, avec le développement d’un dispositif à retour d’effort dédié et, de l’autre, par l’étude de l’utilisation de principe «pseudohaptique» (interface haptique passive par couplée à la vision et à l’audition). Références : [Crison e.a. 2004, 2005 ; Mellet-d’Huart et Michel 2005 ; MEllet-d’Huart e.a. 2004] www.perfrv.org et www.clarte.asso.fr

3.6.9 FORMATION EDF AU DIAGNOSTIC DE PANNE EN ROBINETTERIE INDUSTRIELLE (FORMATION EDF N◦7235)

Développé par : EDF (Recherche et Développement, Services de la Formation Professionnelle). Avec la participation de : EDF Division Topographique. Publics : Techniciens de centrales électriques. Finalités : Former à l’acquisition d’une démarche de diagnostic de panne. Problème à résoudre : Faire acquérir la démarche à travers d’une analyse de cas exploitable en groupe. Principes : Le système permet de visualiser interactivement un robinet industriel sur un écran. Il est possible de faire apparaître le nom de chaque pièce, de démonter progressivement les éléments, de voir au travers des composants, de visualiser les mécanismes en fonctionnement normal, d’appréhender de manière simplifiée les flux et les efforts de pressions, de simuler deux pannes et de rappeler les principes logiques présidant à la démarche de diagnostic. Le robinet virtuel était mis en situation dans son environnement grâce à des données laser 3D photo-réalistes.

Le traité de la réalité virtuelle

Figure 3.15 : L’apprentissage de l’usinage. Virtual Technical Trainer. Photo AFPA & Clarté

Figure 3.16 : L’outil de coupe. Virtual Technical Trainer. Photo AFPA & Clarté

La réalité virtuelle pour l’apprentissage humain

Figure 3.17 : L’apprentissage du diagnostic de panne. Le robinet virtuel. Photo d’EDF Utilisation pédagogique : Le formateur pilote le dispositif en suivant les instructions que lui transmettent au groupe d’apprenants. Ceux-ci cherchent collectivement à appliquer une démarche de diagnostic de panne afin de trouver la cause du dysfonctionnement du robinet industriel. Interfaces : Un moniteur de grande taille, Une souris 3D. Remarques : Cette réalisation datant de 1997 s’appuie sur les acquis du multimédia éducatif. Le développement a été réalisé sur la base de spécifications d’usages pédagogiques précises. Le système a été évalué (comparaison avec la même formation faite sans réalité virtuelle, quantification sur robinet réels en fin des 2 types de formation) et permet une réduction de 30% des durées d’apprentissage. 3.6.10 SÉCURÉVI

Titre : Formation à la sécurité civile par la réalité virtuelle. Développé par : Laboratoire d’Ingénierie Informatique (Ecole Nationale d’Ingénieurs de Brest/Centre Européen de Réalité Virtuelle). Avec la participation de : Service Départemental d’Incendie et de Secours du Finistère (SDIS 29). Publics : Officiers sapeurs pompiers.

Le traité de la réalité virtuelle

Finalités : Former à la prise de décision lors d’interventions sur des sites à risques classés «SEVESO». Problème à résoudre : D’un côté, l’apprentissage de procédures complexes à partir de documents papier pose problème et, de l’autre, les incidents réels sont impossibles à reproduire et ne permettent donc pas aux sapeurs pompiers de s’entraîner à les résoudre. Principes : Modélisation de sites «SEVESO» et exécution de procédures d’urgences en cas d’incident. L’officier donne ses instructions à des équipes de sapeurs pompiers virtuels qui les exécutent. Des événements tels que des fuites de gaz sont rendus perceptibles. Le professeur peut intervenir à tout moment sur l’environnement virtuel afin de le modifier. SécuRéVi est décrit par un modèle de système multi-agents et est simulé à l’aide de ARéVi fondé sur le langage de programmation agent interprété oRis. Utilisation pédagogique : Les scénarios d’utilisation sont en construction. Interfaces : •

moniteurs ;

•

Spacemouse.

Remarques : SécuRévi fait l’objet d’une convention avec l’INESC (Institut National des Etudes sur la Sécurité Civile), le Service d’Incendie et de Secours du Finistère et l’Ecole des Mines d’Alès. Références : www.enib.fr/li2 [Querrec, 2002]

3.6.11 ENVIRONNEMENT VIRTUEL DE FORMATION POUR LA PRÉVENTION DES RISQUES CHIMIQUES

Développé par : INRS Publics : •

agents CRAM et CGSS ;

•

médecins-conseils ;

•

chefs d’entreprise ;

•

fonctionnels sécurité.

Finalités : Faire acquérir une méthodologie pour construire une stratégie de prévention applicable entreprise. Problème à résoudre : Dépasser les limites des situations traditionnelles de formation (apprentissage en salle utilisation de médias classiques) afin d’aider les apprenants à se construire des représentations mentales afin de prévenir les risques en situation professionnelle Principes : •

acquisition théorique méthodologique ;

La réalité virtuelle pour l’apprentissage humain

Figure 3.18 : Préparer une intervention. SécuRéVi. Photo de ENIB/CERV

Figure 3.19 : Modifier le dispositif. SécuRéVi. Photo de ENIB/CERV

Le traité de la réalité virtuelle

analyse d’une situation de travail issue d’un cas réel (un atelier de finition dans une entreprise de menuiserie) ; • modification des ateliers ; • échanges ateliers modifiés entre stagiaires et réitération de la méthodologie pour évaluation de l’efficacité des mesures proposées ; • applications sur un nouvel environnement. Utilisation pédagogique : Utilisation au cours de sessions en présentiel avec apport théorique et pratique en environnement virtuel. Échanges entre stagiaires verbalisations. •

Interfaces : • un ordinateur de bureau et un réseau local ou distant. Possibilités de projection sur grand écran. Références : [Cazeaux e.a. 2005] 3.6.12 INTERVIEWER’S VIRTUAL TRAINER (IVT)

Développé par : l’AFPA avec DAESIGN. Publics : formateurs en formation. Finalités : afin de contribuer à leur formation à la conduite d’entretien en leur offrant un dispositif leur permettant de s’entraîner individuellement et d’analyser leur pratique de l’entretien. Problème à résoudre : Le problème de départ est le suivant. D’un côté la conduite d’entretien constitue un aspect essentiel des compétences attendues des formateurs afin de suivre l’activité individuelle des apprenants et de les accompagner dans la résolution des difficultés qu’ils rencontrent. D’un autre côté, la formation est difficile. Il faut créer des mises en situation qui ne produisent pas toujours les effets pédagogiques attendus. Principes : IVT est construit autour d’un scénario mettant en scène deux agents virtuels. L’apprenant doit conduire l’entretien avec une personne rencontrant des difficultés au cours d’un stage en entreprise : il choisit ce que son avatar va dire à l’agent virtuel qui représente la stagiaire. Ce dernier va réagir aux choix de l’interviewer. Utilisation pédagogique : Au plan pédagogique, IVT est conçu en référence à un modèle de la conduite d’entretien auquel l’apprenant a été préalablement formé. Il permet de rendre compte de l’activité et des performances de l’apprenant au regard de ce modèle. Celui-ci obtient ainsi des informations sur son activité pendant la conduite de l’entretien et à l’issue de celle-ci. Des commentaires sur les actes techniques et l’évolution de cinq critères, qui lui permettent d’analyser sa pratique, lui sont alors fournis. Interfaces : un moniteur et une souris. Références : [Michel e.a. 2005 ; Mellet-d’Huart e.a. 2005]

•

La réalité virtuelle pour l’apprentissage humain

Figure 3.20 : L’analyse de l’activité. Photo de l’INRS

Figure 3.21 : L’évaluation des risques. Photo de l’INRS

Le traité de la réalité virtuelle

Figure 3.22 : La situation d’entretien. IVT. Photo de DAESIGN & AFPA

Figure 3.23 : La conduite de l’entretien. IVT. Photo de DAESIGN & AFPA

La réalité virtuelle pour l’apprentissage humain

3.7

RÉFÉRENCES BIBLIOGRAPHIQUES

[Adams e.a., 1995]

N. Adams and L. Lang. Vr improves motorola training program. AI Expert, pages 13–14 (1995). [Aka e.a., 2002] M. Aka and C. Frasson. A new approach on flight training : Asimil. In International Conference in New technology of Information and Communication (2002), pages 307–314, Lyon, France November 20O2. [Bruillard, 1997] E. Bruillard. Les machines à enseigner. édition Hermès, Paris (1997). [Buche e.a., 2005] C. Buche, R. Querrec, P. Chevaillier, and G. Kermarrec. Apports des systèmes tutoriaux intelligents et de la réalité virtuelle à l’apprentissage des compétences. Cognito, Cahiers romans de sciences cognitives, 2(2) :53–87 (2005). [Burkhardt, 2003] J.-M. Burkhardt. Réalité virtuelle et ergonomie : quelques apports réciproques. Le Travail Humain, 66(1) :65–91 (2003). [Burkhardt e.a., 2003] J.-M. Burkhardt, B. Bardy, and D. Lourdeaux. Immersion, réalisme et présence dans la conception et l’évaluation des environnements virtuels. Psychologie Française, 48 :35–42 (2003). [Burkhardt e.a., 1999] J.-M. Burkhardt, D. Lourdeaux, and P. Fuchs. Conception d’un système de rv pour la formation des adc aux opérations en milieu ferroviaire. In A. grumbach and N. Richard, editors, Journées Réalité Virtuelle et Cognition (1999), pages 123–132, Paris, 14-15 décembre 1999. ENST. [Burkhardt e.a., 2005] J.-M. Burkhardt, D. Lourdeaux, and F. Lequatre. Environnements virtuels pour l’apprentissage : de l’image d’epinal à la réalité des usages et des configurations socio-techniques. In IHM 2005 (2005), September 27-30, Toulouse France. [Burkhardt e.a., 2002] J.-M. Burkhardt and M. Wolff (2002). Réalité virtuelle et nouvelles technologies en formation : vers une formalisation des critères de choix et de la démarche centrée sur l’apprentissage. Rapport du contrat sncfder/lei, Université Paris 5. [Byrne, 1996] C. M. Byrne (1996). Water on Tap : the use of virtual reality as an educational Tool. Phd. dissertation, Department of Industrial Engineering, Washington university, Seattle. [Bétrancourt e.a., 2000] M. Bétrancourt and B. Tversky. Effect of computer animation on user’s performance : a review. Le travail humain, 63(4) :311–329 (2000). [Cazeaux e.a., 2005] E. Cazeaux, F. Devillers, C. Saint-Romas, B. Arnaldi, and G. Maffre. Giat virtual training, formation à la maintenance. In First International VR-Learning Seminar (2005), Laval, France April 20-21. [Chan, 1996] T. W. Chan. Learning companion systems social learning systems and the global social learning. Journal of Artificial Intelligence in Education, 7(2) :125–159 (1996). [Chan e.a., 1990] T. W. Chan and A. Baskin (1990). Learning companion systems. In C. Frasson and G. Gauthier, editors, Intelligent Tutoring Systems : At the Crossroad of Artificial Intelligence and Education, pages 6–33. Ablex, NJ. [Crison e.a., 2005] F. Crison, A. Lécuyer, D. Mellet d’Huart, J.-M. Burkhardt, G. Michel, and J.-L. Dautin. Virtual technical trainer : Training to use milling machines with multi-sensory feedback in virtual reality. In IEEE Virtual Reality Conference (2005), Bonn Germany, 12-16 march 2005. IEEE press. [Crison e.a., 2004] F. Crison, A. Lécuyer, A. Savary, D. Mellet-d’Huart, J.-M. Burkhardt, and J.-L. Dautin. The use of haptic and pseudo-haptic feedback for the technical training of milling in virtual reality. In proceeding of EuroHaptics (2004), Munich, june 5-7 Germany.

Le traité de la réalité virtuelle

[Dalto e.a., 2005]

L. D. Dalto, O. Balet, J. Duchon, and D. Mellet-d’Huart. Cs wave : Virtual reality for welders. In IEEE VR 2005, Workshop on Virtuality Structure (2005), Bonn, Germany, March 12-16, 2005.

[Dede e.a., 2000]

C. Dede, M. Salzman, R. B. Loftin, and K. Ash (2000). The design of immersive virtual environments : Fostering deep understanding of complex scientific knowledge. In M. Jacobson and R. Kozma, editors, Innovations in Science and Mathematics Education : Advanced Designs for Technologies of Learning, pages 361–414. Lawrence Erlbaum Associates, Mahwah, NJ.

[Dede e.a., 1999]

C. Dede, M. Salzman, R. B. Loftin, and D. Sprague (1999). Multisensory immersion as a modeling environment for learning complex scientific concepts. In W. Feurzeig and N. Roberts, editors, Computer modeling and simulation in science education, pages 282–319. Springer Verlag, New-York, NJ.

[Dede e.a., 1996a]

C. Dede, M. C. Salzman, and R. B. Loftin (1996a). The development of a virtual world for learning newtonian mechanics. In P. Brusilovsky, P. Kommers, and N. Streitz, editors, Multimedia, Hypermedia, and Virtual Reality, pages 87–106. Springer Verlag.

[Dede e.a., 1996b]

C. Dede, M. C. Salzman, and R. B. Loftin. Sciencespace : research on using virtual reality to enhance science education. In P. Carlson and F. Makedon, editors, proceedings ED-MEDIA 96 (1996b), pages 127– 177, Boston. AACE.

[Dede e.a., 1996c]

C. Dede, M. C. Salzman, and R. B. Loftin. Sciencespace : Virtual reality for learning complex and abstract scientific concept. In IEEE Virtual Reality Annual International Symposium (1996c), pages 246–253. IEEE press.

[Dede e.a., 1996d]

C. Dede, L. C. Salzmann, I. Bowen, and R. B. Loftin. Maxwell world : Learning complex scientific concepts via immersion in virtual reality. In 2nd International Conference on Learning Science (1996d), pages 22–29, Charlottesville.

[Drouin e.a., 1997]

A. Drouin, A. Schmid, and G. Thibault (1997). Formation et réalité virtuelle : résultats de l’expérimentation dans le stage 7235 -robinetterie : diagnostic conduit de chantier-. Technical report, DER-EDF.

[Frasson e.a., 1996]

C. Frasson, T. Mengelle, E. Aitmeur, and G. Gouarderes. An actorbased architecture for intelligent tutoring systems. Third International Conference on Intelligent Tutoring Systems (ITS ’96). Lecture Notes in Computer Science, 1086(57-65) (1996).

[Fréjus, 1999]

M. Fréjus (1999). Analyser l’activité d’explication pour concevoir en terme d’aide : application à la formation et à la négociation commerciale. Thèse de doctorat en psychologie cognitive mention ergonomie, Université Paris 5.

[Fuchs e.a., 2001]

P. Fuchs, G. Moreau, and J.-P. Papin, editors. Traité de la Réalité Virtuelle. Presse de l’Ecole des Mines de Paris, Paris (2001).

[Gardeux e.a., 2005]

F. Gardeux, J. Marsot, and A. Rolin. Un environnement virtuel pour la formation à la prévention des risques professionnels. In First International VR-Learning Seminar (2005), Laval, April 20-21, 2005.

[Gay, 1994]

E. Gay. Is virtual reality a good teaching tool ? Virtual Reality special report, Winter :51–59 (1994), cité par Youngblut 98.

[Goguelin, 1987]

P. Goguelin. La formation animation : une vocation. Les hommes et l’entreprise. ESF, Paris (1987).

[Grandbastien, 2006]

M. Grandbastien, editor. Les environnements Informatiques pour l’Apprentissage Humain. Hermes, Paris (2006).

La réalité virtuelle pour l’apprentissage humain [Gratch, 2000]

J. Gratch. Emile : Marshalling passions in training and education. In 4th international conference on autonomous agents (2000), pages 325– 332. [Gratch e.a., 2001] J. Gratch and S. Marsella. Tears and fears : Modeling emotions and emotional behaviors in synthetic agents. In 5th International Conference on Autonomous Agents (2001), Montreal Canada June 2001. [Gratch e.a., 2002] J. Gratch, J. Rickel, E. Andre, J. Cassell, E. Petajan, and N. Badler. Creating interactive virtual humans : Some assembly required. IEEE Intelligent Systems, 17(4) :54–63 (2002). [Grau e.a., 1998] J.-Y. Grau, P. Doireau, and R. Poisson. Conception et usage de la simulation. Le travail humain, 61(4) :361–385 (1998). [Hill e.a., 2003] R. W. Hill, J. Gratch, S. Marsella, J. Rickel, W. Swartout, and D. Traum. Virtual humans in the mission rehearsal exercise system. Kunstliche Intelligenz, 17(4) :5–11 (2003). [Joab e.a., 2006] M. Joab, V. Gueraud, and O. Auzende (2006). Les simulations pour la formation. In M. Grandbastien and J.-M. Labat, editors, Les environnements Informatiques pour l’Apprentissage Humain. Hermes, Paris. [Johnson e.a., 1998] A. Johnson, M. Roussos, J. Leigh, C. A. Vasilakis, C. R. Barnes, and T. G. Moher. The nice project : Learning together in a virtual world. In VRAIS ’98 (1998), pages 176–183. [Johnson e.a., 1999] L. Johnson, J. Rickel, R. Stiles, and A. Muro. Integrating pedagogical agents into virtual environments. Presence, 7(6) :523–546 (1999). [Johnson e.a., 2000] W. L. Johnson, J. W. Rickel, and J. C. Lester. Animated pedagogical agents : Face-to-face interaction in interactive learning environments. International Journal of Artificial Intelligence in Education (2000). [Laird e.a., 1987] J. Laird, A. Newell, and E. Rosenbloom. Soar : an architecture for general intelligence. Artificial Intelligence, 33 :1–64 (1987). [Legendre, 2005] R. Legendre. Dictionnaire actuel de la formation. Guérin (2005). [Leplat, 2002] J. Leplat. Psychologie de la formation : Jalons et perspectives (choix de textes 1955-2002). Octarès, Toulouse (2002). [Lequatre e.a., 2004] F. Lequatre, J.-M. Burkhardt, and M. Wolff (2004). Bilan des usages et des configurations socio-techniques de 17 environnements virtuels d’apprentissage : une Ètude par questionnaire. Technical report, Université Paris 5. [Lester e.a., 1999] J. C. Lester, L. S. Zettlemoyer, J. Gregoire, and W. H. Bares. Explanatory lifelike avatars : Performing user-designed tasks in 3d learning environments. In Third International Conference on Autonomous Agents (1999). [Loftin e.a., 1995] R. B. Loftin and P. J. Kenney. Training the hubble space telescope flight team. IEEE Computer graphics and aplications, 15(5) :31–37 (1995). [Loftin e.a., 1994] R. B. Loftin, P. J. Kenney, R. Benedetti, C. Culbert, M. Engelberg, R. Jones, P. Lucas, M. Menninger, J. Muratore, L. Nguyen, T. Saito, R. T. Savely, and M. Voss. Virtual environments in training : Nasa’s hubble space telescope mission. In 16 th Interservice /industry training system & education conference (1994), November 28 -december 1 2004, Orlando, Florida USA. Home page : www.jsc.NASA.gov/cssb/vr/. [Lourdeaux, 2001] D. Lourdeaux (2001). Réalité Virtuelle et formation : Conception d’Environnements Virtuels Pédagogiques. Thèse de doctorat en informatique, Ecole des Mines de Paris. [Lourdeaux e.a., 2002] D. Lourdeaux, J.-M. Burkhardt, F. Bernard, and P. Fuchs. Relevance of an intelligent tutorial agent for virtual reality training systems. International Journal of Continuing Engineering Education and Life-long Learning, 12(1-4) :214–229 (2002).

Le traité de la réalité virtuelle

[Lourdeaux e.a., 2005] D. Lourdeaux, J.-M. Burkhardt, and D. Mellet d’Huart. Aplg project : a library for learning virtual environments. In Virtual Reality International Conference VRIC 05 (2005), pages 109–112, Laval, France. ISTIA. [Lourdeaux e.a., 2003] D. Lourdeaux, D. Mellet d’Huart, and J.-M. Burkhardt. Potentialities of virtual reality for pedagogical assistance. In conférence Virtual Concept’03 (2003), pages 58–63, 5-7 november, Biarritz, France. [Malik e.a., 2001]

E. Malik, B. Martin, I. Peci, and R. Vivian. Le retour de force : une aide à l’apprentissage des mathématiques pour les enfants déficients visuels ? In Actes de la conférence JIM’2001 : Interaction HommeMachine & Assistance (2001), pages 126–135, Metz, juillet 2001.

[Marsella e.a., 2002]

S. Marsella and J. Gratch. A step toward irrationality : Using emotion to change belief. In First international joint conference on autonomous agents and multiagent systems (2002), Bologna Italy.

[Maturana e.a., 1980]

H. Maturana and F. Varela. Autopoiesis and Cognition : The Realization of the Living. Reidel Publishing (1980).

[Maturana, 2002]

H. R. Maturana. Autopoiesis structural coupling and cognition : A history of these and other notions in the biology of cognition. Cybernetics & Human Knowing, 9(3-4) :5–34 (2002).

[Maturana e.a., 1995]

H. R. Maturana, J. M. Podozis, and J. C. Letelier. Brain language and the origin of human mental functions. Biological research, 28 :15–26 (1995).

[Mellet d’Huart, 2001a] D. Mellet d’Huart. La réalité virtuelle : un média pour apprendre. In E. D. Vries, J. P. Pernin, and J.-P. Peyrin, editors, Hypermédias et apprentissages (2001a), Grenoble, 9-10 avril 2001. [Mellet d’Huart, 2001b] D. Mellet d’Huart. Training beyond the reality : when the abstract becomes real. In S. Richir, P. Richard, and B. Taravel, editors, Virtual Reality International Conference VRIC 2001 (2001b), pages 39–46, 1618 Mai 2001, Laval France. Istia Innovation. [Mellet-d’Huart, 2004] D. Mellet-d’Huart (2004). De l’intention à l’attention. Contributions à une démarche de conception d’environnements virtuels pour apprendre à partir d’un modèle de l’(én)action. PhD thesis, Université du Maine. [Mellet-d’Huart e.a., 2005a] D. Mellet-d’Huart and G. Michel (2005a). Faciliter les apprentissages avec la réalité virtuelle. In P. Pastré, editor, Approche par la simulation : de l’analyse du travail aux apprentissages professionnels. Octarès, Toulouse. [Mellet-d’Huart e.a., 2004] D. Mellet-d’Huart, G. Michel, J.-M. Burkhardt, A. Lécuyer, J.-L. Dautin, and F. Crison. An application to train in the field of metal machining as a result of research-industry collaboration. In S. Richir and B. Taravel, editors, Virtual Reality International Conference VRIC (2004), Laval, France. ISTIA Innovation. [Mellet-d’Huart e.a., 2005b] D. Mellet-d’Huart, G. Michel, D. Steib, B. Dutilleul, B. Paugam, M. Dasse, and R. Courtois. Usages de la réalité virtuelle en formation professionnelle d’adultes : Entre tradition et innovation. In First International VR-Learning Seminar (2005b), Laval, France April 20-21. [Mellet d’Huart e.a., 2001] D. Mellet d’Huart, P. Richard, and D. Follut. Vr for education and training : state of the art and typology of uses. In S. Richir, P. Richard, and B. Taravel, editors, Virtual Reality International Conference VRIC 2001 (2001), pages 47–55, 16-18 Mai 2001, Laval France. Istia Innovation. [Merickel, 1994]

M. L. Merickel. The relationship between perceived realism and the cognitive abilities of children. Journal of research on Computing in Education, 26(3) :371–381 (1994), cité par Youngblut 98.

La réalité virtuelle pour l’apprentissage humain [Michel, 2004]

[Michel e.a., 1996]

[Michel e.a., 2005]

[Morineau e.a., 1997]

[Morineau e.a., 2003]

[Moshell e.a., 2002]

[Newell, 1990] [Pastre, 1999]

[Pastré, 2005]

[Patrick, 1992] [Querrec, 2002] [Randall e.a., 2003]

[Rickel e.a., 1999]

[Rickel, 2001]

[Rickel e.a., 2001]

[Rickel e.a., 2002]

[Riva, 2003]

G. Michel. Adultes en difficulté d’apprentissage : de quelles difficultés s’agit-il ? In Former des adultes en difficulté. Quelle pédagogie aujourd’hui ? (2004), Lille, 28-29 janvier. AFPA DEAT INOIP. G. Michel and C. Guglielmi-Domenech (1996). Analyse et modélisation du fonctionnement cognitif- Conception et réalisation d’un outil de développement cognitif intelligemment assisté par ordinateur. PhD thesis, Université de Provence. G. Michel, B. Paugam, J.-N. Portugal, and S. Beck. Ivt : Des agents virtuels pour apprendre à conduire un entretien. In First International VR-Learning Seminar (2005), Laval, April 20-21. T. Morineau, P. Gorzerino, and J.-P. Papin (1997). Virtual environment : for learning or for training ? In R. J. Seidel and P. R. Chatelier, editors, Virtual reality, training’s future. Plenum press, New York. T. Morineau and M. Paranthoen. Une présentation de l’approche écologique en psychologie ergonomique. Psychologie française, 48 :77–88 (2003). M. Moshell, C. Hugues, and R. B. Loftin (2002). Virtual reality as a tool for academic learning. In K. Stanney, editor, Handbook of Virtual Environments. Lawrence Erlbaum Associates. A. Newell. Unified Theories of Cognition. Harvard University Press (1990). P. Pastre (1999). L’ingénierie didactique professionnelle. In P. Caspar, editor, Traité des sciences et des techniques de la formation, pages 403– 416. P. Pastré (2005). L’apprentissage par simulation : pour une véritable pédagogie des situations. In P. Pastré, editor, Approche par la simulation : de l’analyse du travail aux apprentissages professionnels. Octarès, Toulouse. J. Patrick. Training : research and Practice. Academic Press, London (1992). R. Querrec (2002). Les Systèmes Multi-Agents pour les Environnements virtuels de Formation. PhD thesis, Université de Bretagne Occidentale. W. H. Randall, J. R. Hill, J. Gratch, J. Rickel, W. Swartout, and D. Traum. Virtual humans in the mission rehearsal exercise system. Kunstliche Intelligenz, 17(4) :5 (2003). J. Rickel and W. L. Johnson. Animated agents for porcedural training in virtual reality : percpetion, cognition and motor control. Applied artificial intelligence, 13 :343–382 (1999). J. W. Rickel. Intelligent virtual agents for education and training : opportunities and challenges. In A. De Antonio, R. Aylett, and D. Ballin, editors, Intelligent virtual agents - Third international workshop IVA 2001 (2001), pages 15–22, Madrid Spain September 2001. SpringerVerlag. J. W. Rickel, J. Gratch, R. Hill, S. Marsella, and W. Swartout. Steve goes to bosnia : Towards a new generation of virtual humans for interactive experiences. In AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment (2001), Stanford University March 2001. J. W. Rickel, S. Marsella, J. Gratch, R. Hill, D. Traum, and W. Swartout. Toward a new generation of virtual humans for interactive experiences. IEEE Intelligent Systems, July/August (2002). G. Riva. Applications of virtual environments in medicine. Methods Inf Med, 5 (2003).

98 [Rose, 1995]

Le traité de la réalité virtuelle

H. Rose (1995). Assessing learning in vr : Toward developing a paradigm virtual reality roving vehicle (vrrv) project. Technical report, R-95-1 HITL. [Roussos e.a., 1999] M. Roussos, A. Johnson, T. Moher, J. Leigh, C. Vasilakis, and C. Barnes. Learning and building together in an immersive virtual world. Presence : Teleoperators and Virtual Environments, 8(3) :247– 263 (1999). [Roussos e.a., 1997] M. Roussos, A. E. Johnson, J. Leigh, C. A. Vasilakis, C. R. Barnes, and T. G. Moher. Nice : Combining constructivism narrative and collaboration in a virtual learning environment. Computer Graphics, 31(3) :62– 63 (1997). [Roussou, 2005] M. Roussou. Can interactivity in virtual environments enable conceptual learning ? In 7th Virtual Reality International Conference (VRIC), First International VR-Learning Seminar (2005), pages 57–64, Laval, France. [Roussou e.a., 2005] M. Roussou and M. Slater. A virtual playground for the study of the role of interactivity in virtual learning environments. In PRESENCE 2005 : The 8th Annual International Workshop on Presence (2005), pages 245–253, London, UK. International Society for Presence Research. [Salzman e.a., 1998] M. Salzman, C. Dede, R. B. Loftin, and K. Ash. Vr’s frames of reference : A visualization technique for mastering abstract information spaces. In Third International Conference on Learning Sciences (1998), pages 249–255, Charlottesville, VA. [Salzman e.a., 1999] M. C. Salzman, C. Dede, R. B. Loftin, and J. Chen. The design and evaluation of virtual reality-based learning environments. Presence (1999). [Samurcay e.a., 1998] R. Samurcay and V. D. Keyser. Formation, simulateur et simulation (sous la coordination de). Le travail humain, 61(4) :305–402 (1998). [Seidel e.a., 1997] J. Seidel and P. R. Chatelier (1997). Virtual reality training’s future ? lessons learned or lessons not yet learned (but often revisited) about the design application and management. In J. Seidel and P. R. Chatelier, editors, Perspectives on Virtual Reality and related ermging technologies. Plenum press, NY, NJ. [Stanney, 1998] K. M. Stanney. Aftereffects and sense of presence in virtual environments : formulation of a research and development agenda. International Journal of Human-Computer Interaction, 10 :135–187 (1998). [Stanney e.a., 1998] K. M. Stanney, R. R. Mourant, and R. S. Kennedy. Human factors issues in virtual environments : a review of the litterature. Presence : Teleoperators and Virtual Environments, 7(4) :327–251 (1998). [Steib e.a., 2005] D. Steib, L. D. Dalto, and D. Mellet-d’Huart. Apprendre le geste du soudage avec cs-wave : l’expérimentation de l’afpa. In First International VR-Learning Seminar (2005), Laval, France April 20-21 2005. [Tchounikine, 2002] P. Tchounikine. Pour une ingénierie des environnements informatiques pour l’apprentissage humain. Revue I3 information- interactionintelligence, 2 (2002). [Thibault, 2002] G. Thibault. Edf : 5 ans d’expérience de formation avec la réalité virtuelle. In Session spéciale «Réalité Virtuelle et Formation : Une Autre Approche du Réel», Virtual Reality International Conference VRIC 02 (2002), Laval, France 20 juin 2002. [Verna e.a., 1998] D. Verna and A. Grumbach. Sémantique et localisation de l’assistance en réalité virtuelle. In GTRV-98 (1998), 12-13 mars 1998. [Viaud-Delmon e.a., 2001] I. Viaud-Delmon, A. Berthoz, and R. Jouvent. Angoisse corps et espace : de la physiologie à la réalité virtuelle. Pils Editions (2001).

La réalité virtuelle pour l’apprentissage humain [Winn, 1993]

[Winn, 1995] [Winn, 1997]

[Winn, 2003] [Winn e.a., 1999]

W. Winn (1993). A conceptual basis for educational applications of virtual reality. Technical Publication R-93-9, HITL university of washington. W. Winn. The virtual reality roving vehicle project. Technological Horizons in Education Journal, 23(5) :70–74 (1995). W. Winn (1997). The impact of three-dimensional immersive virtual environments on modern pedagogy. Technical report R-97-15, University of Washington, HITL laboratory. W. Winn (2003). Beyond constructivism : A return to science-based research and practice in educational technology. W. Winn, M. Windschitl, and A. Thomson-Bulldis. Learning science in virtual environments : A theoretical framework and research agenda. In Annual meeting of the American Educational Research Association (1999), Montreal April 1999.

100

Le traité de la réalité virtuelle

Troisième partie

Les applications par domaine d’activités

4 EXPLORATIONS DE DONNÉES SCIENTIFIQUES ET EXPÉRIMENTATIONS VIRTUELLES

Rachid Gherbi, Patrick Bourdot, Jean-Marc Vézien et Joan Hérisson Contributeurs : Nicolas Fauvet et Nicolas Férey

4.1

INTRODUCTION

Ce chapitre se propose d’étudier les apports de la réalité virtuelle dans le domaine scientifique en y décrivant des applications issues de différentes disciplines, en particulier en biologie et en physique. Néanmoins, nous nous sommes attachés à dégager des éléments communs ou génériques qui permettront de discuter les contributions croisées entre la réalité virtuelle et les applications concernées. Par ailleurs, ce chapitre est l’occasion de dresser l’état des lieux des grands champs scientifiques qui jouent un rôle moteur pour les recherches en réalité virtuelle. Ce chapitre est placé sous l’angle spécifique de l’exploration et de l’analyse avancée de masses de données scientifiques à l’aide de systèmes de réalité virtuelle. Si on se place relativement de manière historique, l’arrivée de l’ordinateur «graphique» et plus tard de l’Internet, a bouleversé les usages expérimentaux et les études scientifiques. Aujourd’hui, nul ne peut nier l’impact de ces outils sur les méthodologies et sur les pratiques de calcul, d’observation, de simulation, et de manière générale des analyses menées par les scientifiques. Aujourd’hui, les scientifiques sont d’une part en face de données expérimentales massives, hétérogènes et dispersées. Par ailleurs, ces mêmes scientifiques sont demandeurs de systèmes qui leur offrent d’explorer et d’interagir avec lesdites données, et ceci en temps réel. A titre d’exemple, et bien que les gros calculs restent souvent dans une philosophie de type «batch», l’analyse et le dépouillage des résultats requièrent de plus en plus d’interactivité. D’autre part, le besoin de «jouer» avec des données massives est une réalité laborantine pour le scientifique. Ce dernier vise généralement à extraire de nouvelles connaissances ou tout simplement de nouvelles organisations, non visibles ou perceptibles quand les données sont sous forme de banques textuelles ou factuelles, structurées ou brutes, etc. Enfin, une des pratiques connues d’une démarche scientifique se trouve dans le fait que plusieurs personnes de même spécialité ou de spécialités différentes dialoguent et collaborent à des fins communs d’étude ou de diagnostic. Il devient alors évident de penser qu’un système de réalité virtuelle pourra jouer un rôle de média pour cette pratique scientifique collective. Dans ce contexte, il faut rappeler que, mis à part les applications militaires, les principaux systèmes de réalité virtuelle des années 1990 avaient des finalités scientifiques [Brooks e.a., 1990] ; [Leech e.a., 1996] ; [Humphrey e.a., 1996] ; [Levine e.a., 1996] ; [Loftin e.a., 1998] ; [Anderson e.a., 1999]. Au-delà de la prise de conscience des potentialités de la réalité virtuelle dans les sciences, nous avons assisté depuis plus de dix ans à un formidable processus de mise en place d’environnements virtuels impulsés d’ailleurs par les besoins des scientifiques eux-mêmes. Ce défi lancé aux concepteurs des ces environnements doit s’accompagner de la mise en œuvre de nouvelles approches qu’on pourrait qualifier de «fouille visuelle ou perceptuelle».

104

Le traité de la réalité virtuelle

Notre propos dans ce chapitre n’est pas la génération des données brutes ou les calculs intensifs exigés dans toute expérimentation scientifique. Ceci doit rester principalement du ressort des scientifiques eux-mêmes. Nous visons essentiellement à définir et à décrire la mise en forme de ces données pour permettre leur étude en situation immersive. Les deux problèmes clés de ce type d’approche sont d’une part la transmission et la synchronisation des données entre calculateurs, puis le rendu de ces données et l’exploration proprement dite en interaction avec l’utilisateur. Du fait de la complexité et de la diversité des données à explorer, l’environnement virtuel doit dépasser le seul aspect immersif, pour offrir un rendu et une interaction multi-sensoriels. Il s’agit de pouvoir combiner les trois canaux sensori-moteurs que sont le visuel, l’audio et l’haptique. Dans ce chapitre, nous commencerons tout d’abord par montrer que les applications scientifiques soulèvent de nouvelles questions aux concepteurs des environnements virtuels et suscitent donc de nouvelles problématiques de recherche. Par ailleurs, l’interdisciplinarité est un gage de réussite si l’on souhaite que les systèmes de réalité virtuelle soient utiles et utilisables par les scientifiques. En particulier, le scientifique n’est pas un client classique de la réalité virtuelle. Il doit être partenaire en amont de tout développement, acteur dans la boucle de simulation, et utilisateur pour les évaluations en aval. Le lecteur trouvera ensuite un tour d’horizon et un historique des évolutions majeures des applications scientifiques en relation avec la réalité virtuelle. Sans prétendre à l’exhaustivité, nous dresserons un état des lieux à la fois sur la scène de la recherche que sur celle de l’industrie. Nous ferons un point pour donner un instantané de la situation d’aujourd’hui. Le chapitre se poursuivra ensuite par trois grandes parties dédiées aux applications en biologie moléculaire et en physique. En Biologie moléculaire, il sera question de l’exploration de l’infiniment petit avec les structures de séquences nucléiques et protéiques. Les interactions moléculaires seront étudiées du point de vue des complexes protéine-protéine et de la possibilité pour le biologiste d’agir via le docking virtuel de ces protéines. Nous relaterons ensuite comment on peut exploiter les potentialités immersives de la réalité virtuelle pour offrir une exploration des données génomiques factuelles et textuelles, à condition que ces dernières se prêtent bien à une mise en forme visuelle. En physique on parlera tout d’abord des applications de Mécanique des fluides, avec le besoin des physiciens de percevoir la complexité des phénomènes d’écoulements, leurs attentes en simulation interactive, et leur espoir de disposer un jour de soufflerie numérique virtuelle. Dans le domaine de la physique fondamentale, on montrera le besoin des chercheurs à montrer des phénomènes complexes : donner à percevoir des les lois de la relativité, par exemple, en donnant à voir, à toucher et à entendre la contraction du temps, la dilatation de l’espace. Nous conclurons le chapitre sur l’importance de mener des recherches en réalité virtuelle pour et par les sciences. Nous dégagerons ce qui est du domaine spécifique aux sciences et ce qui peut être considéré comme générique. Enfin, nous nous poserons la question du mythe ou de la réalité du «laboratoire scientifique virtuel».

4.1.1 INTÉRÊTS RÉCIPROQUES ET ENRICHISSEMENT MUTUEL

En fait, nous sommes partis de l’a priori que l’interdisciplinarité (ici réalité virtuelle et sciences) n’est réelle que si la réalité virtuelle peut apporter de nouveaux points

Explorations de données scientifiques et expérimentations virtuelles

105

de vues, de nouvelles solutions et nouvelles approches, qui permettent au scientifique de percevoir avec un œil nouveau (les autres sens aussi) les phénomènes qu’il étudie et de découvrir ainsi de nouvelles connaissances. Par ailleurs, la réalité virtuelle peut être aussi considérée comme une nouvelle approche d’exploration de données, qu’elles soient 3d/4d ou non. Ce qui permet d’envisager ce que l’on peut appeler «visual mining» vs «datamining». Si on extrapole au multi-sensoriel, on peut même imaginer le «perceptual mining» avec l’haptique, le sonore, etc. D’un autre côté, les chercheurs en réalité virtuelle qui souhaitent travailler sur les phénomènes/données scientifiques ne trouveront leur intérêt scientifique que si les applications scientifiques leur posent de nouveaux problèmes, qu’ils soient d’ordre algorithmique (nouveaux algorithmes de gestion de scène par exemple), architectural (plate-formes logicielles nouvelles ou à adapter), matériel (quels dispositifs pour quelles utilisations) ou d’ordre humain (exploration, interaction, co-habitation multi-sensorielle, etc.). 4.1.2 HISTORIQUE ET TOUR D’HORIZON

Dès son apparition, la réalité virtuelle a été fortement utilisée dans de nombreux domaines scientifiques pour analyser les données [Taylor e.a., 1993], [Anderson, 1994] ; [Gunn e.a., 1997] ; [Moeckel e.a., 1998] ; [Avradinis e.a., 2000] ; [Kaufmann e.a., 2000]. Cependant, l’exploration de données massives ou complexes pose le problème de la densité des scènes virtuelles et du nombre d’informations à présenter à l’utilisateur. Certaines scènes restent difficilement lisibles malgré les progrès réalisés dans la visualisation des environnements virtuels (gestion des couleurs et des textures, des éclairages, des ombrages, des transparences, puis contrôle des déplacements ou navigation, et enfin visualisation stéréoscopique). 4.2

LA RÉALITÉ VIRTUELLE POUR ET PAR LA SCIENCE

Les trois domaines d’applications de ce chapitre, qui sont principalement la biologie moléculaire, la mécanique des fluides et la relativité, sont directement concernés par le problème crucial de génération et de traitement de gros volumes de données complexes. Ces données sont issues de simulations, de prédictions numériques ou tout simplement d’expérimentations biotechnologiques ou physiques lourdes. A titre d’exemple, en génomique moléculaire, les scènes peuvent être composées de plusieurs milliards d’atomes. En mécanique des fluides, on peut être amené à étudier les caractéristiques d’un écoulement tridimensionnel instationnaire. Plusieurs millions de mailles sont généralement indispensables pour une bonne résolution spatiale d’un champ instantané. Ceci correspond à un volume de données de l’ordre de 10 à 100 MégaOctets par champ. Par ailleurs, l’étude de l’évolution temporelle de champs instationnaires exige la production de plusieurs dizaines, voire plusieurs centaines, de fois ce volume de données... A ceci s’ajoute le problème de l’analyse et de l’exploration des données. La complexité des représentations dans les deux domaines précédents réside d’une part dans la multitude de variables à analyser de manière simultanée (de la machine vers l’utilisateur), et d’autre part, dans les nombreux paramètres que doit gérer l’utilisateur pour contrôler son étude. Il est souvent demandé d’offrir à l’utilisateur la possibilité d’intervenir en temps réel sur l’évolution des phénomènes étudiés, en fonction des informations qu’il perçoit. L’utilisateur peut vouloir changer de point de vue, corriger un paramètre, cibler une zone d’intérêt ou modifier tout élément... Il devient alors pertinent de penser dès lors qu’une gestion multi-sensorielle des retours stéréoscopiques, haptiques et

106

Le traité de la réalité virtuelle

audio, c’est-à-dire la répartition optimale des informations sur ces principaux modes sensori-moteurs serait bénéfique aux utilisateurs de ces outils immersifs d’analyses scientifiques. La réalité virtuelle est désormais susceptible d’une part de donner accès à ces différents canaux sensori-moteurs mais également d’apporter une capacité d’immersion. L’objectif d’un tel contrôle multi-sensoriel des interactions est d’accroître les potentialités de perception immersive d’informations dans de tels systèmes et, ce faisant, d’améliorer l’exploration et la compréhension de grands volumes de données. La conception et la mise au point de tels environnements virtuels supposent de surmonter des obstacles et de faire sauter un certain nombre de verrous. En premier lieu, il s’agit de la recherche de l’adéquation entre algorithmes et architectures. Ensuite, il faut se préoccuper de garantir une fluidité perceptuelle des informations issues des calculs. De plus, ces informations doivent être perçues de manière synchrone, ce qui nécessite une mise en œuvre de mécanismes permettant d’accorder les différentes étapes de la boucle de simulation : génération - traitement - perception - interaction. Enfin, il faut se poser la question de la mise en forme multi-sensorielle des données (ou gestion multimodale des feedbacks). Il faut définir quelle est la modalité sensori-motrice pour telle ou telle type d’information. Le gestionnaire des retours multi-sensoriels doit pouvoir gérer en temps réel ce type de décision sur la base d’un modèle susceptible de tenir compte, tant de l’état matériel du dispositif immersif, que du contexte instantané des données vis-à-vis de l’utilisateur de l’application scientifique. Bien entendu, l’interaction humaine passe aussi par la mise en œuvre d’une communication multi-sensorielle humain-dispositif (ou multimodalité en entrée), par exemple par la combinaison de commandes vocales et gestuelles. Cependant, contrairement à la gestion des feedbacks multimodaux des applications scientifiques, l’interaction multimodale en entrée n’est pas en soi un problème très différent de celui qui existe pour tout type d’application de réalité virtuelle. 4.3 BIOLOGIE MOLÉCULAIRE ET GÉNOMIQUE En génétique, l’étude d’un seul gène nécessitait souvent des années de travail. La robotisation, l’automatisation et la miniaturisation des techniques de séquençage ont permis, par exemple, la pose de milliers de gènes sur une puce. Depuis 1995 et le séquençage complet d’une cellule vivante, la biologie moléculaire est entrée dans l’ère de la génomique. On passe dès lors d’une vision statique et locale à une vision dynamique et globale [Frédéric e.a., 2002]. 4.3.1 L’ADN IN VIRTUO

La modélisation 3d de l’ADN permet d’étudier le comportement spatial des séquences. Au-delà des analyses in silico des données tridimensionnelles, l’exploration virtuelle des génomes doit s’insérer dans le processus d’analyse bioinformatique. Grâce à des modèles de conformation 3d de l’ADN, il est possible de calculer la trajectoire tridimensionnelle qu’adopterait une séquence dans certaines conditions. La représentation 3d d’un chromosome entier permet d’avoir une vision globale et d’explorer les zones remarquables (Figure 4.1). Cette représentation ne peut être performante (à cause de la taille des objets représentés) que s’il existe une gestion fine des objets à visualiser. Cet aspect intervient à 3 niveaux : représentation interne des données pertinentes, optimisation des modèles géométriques et performance du rendu graphique. Mais audelà de la gestion de ces masses de données, la Réalité Virtuelle nous apporte la vi-

Explorations de données scientifiques et expérimentations virtuelles

107

Figure 4.1 : Trajectoire tridimensionnelle du chromosome III de S. cerevisiae ( 300.103 nucléotides) visualisée grâce à l’outil logiciel ADN-Viewer sualisation immersive et l’interaction intuitive entre l’utilisateur et les objets d’étude [Hérisson e.a., 2004], [Gherbi e.a., 2001], [Gherbi e.a., 2002]. La visualisation stéréoscopique immersive représente un aspect fondamental de l’exploration virtuelle des génomes. Il est possible d’extraire de l’information pertinente (courbure, compaction, etc.) de certaines zones d’un chromosome visualisé à l’échelle globale. En revanche, en des zones très denses où l’ADN est fortement compacté, la trajectoire s’apparente plus à un «tas de spaghettis» enchevêtrés les uns dans les autres qu’à une quelconque séquence d’ADN. L’exploration virtuelle stéréoscopique devient indispensable pour redonner corps à l’objet et pour pouvoir distinguer les zones qui sont au premier plan de celles qui sont derrière, les zones rectilignes perpendiculaires à l’écran, etc. ; bref, pour pouvoir redonner à l’utilisateur une perception visuelle de qualité. L’intérêt de l’exploration virtuelle est de pouvoir se déplacer dans la scène et ainsi changer de point de vue sur les objets, et ce de manière continue et fluide. Un petit génome eucaryote, composé d’environ 12 millions de paires de bases, représente déjà un objet virtuel très lourd. En effet, animer virtuellement ce génome nécessite l’affichage d’au moins 180 millions de paires de bases par seconde (à raison de 15 images par seconde pour assurer une fluidité visuelle minimale). Les calculateurs graphiques d’aujourd’hui ne permettant pas d’atteindre de telles performances et dans l’optique de pouvoir explorer des chromosomes de plus en plus grands, il est indispensable d’avoir une gestion fine de tels objets. Les algorithmes de gestion de scène classiques sont peu

108

Le traité de la réalité virtuelle

adaptés à ce genre d’objets. En effet, un chromosome n’est ni une scène hiérarchisée (dans notre cas, un chromosome est constitué d’un unique filament), ni un nuage de points (un nucléotide n’est relié qu’au nucléotide précédent et au nucléotide suivant). Une bonne approche est d’appliquer le long de la séquence un filtre dynamique pour prendre en compte les changements de points de vues effectués par l’utilisateur, et non-uniforme pour détecter la zone d’intérêt de l’utilisateur. Mais un chromosome ne se limite pas à une simple trajectoire. Un chromosome est composé, entre autres, alternativement de gènes et de zones intergéniques. Le gène est le support de l’information génétique et suscite donc le plus vif intérêt des chercheurs depuis plusieurs années. Grâce à un jeu de couleurs, on peut distinguer les gènes des zones intergéniques. Cela permet l’étude de l’organisation spatiale des gènes et ainsi de passer d’une exploration du contenu à une exploration par le contenu. 4.3.2 INTERACTION PROTÉINE-PROTÉINE ET DOCKING VIRTUEL

Le calcul de prédiction d’un amarrage (docking en anglais) éventuel entre 2 protéines monopolise les ressources de plusieurs équipes de recherche pendant plusieurs mois. L’approche est de tester quasiment toutes les configurations possibles entre les 2 protéines. La quantité de calculs nécessaires est due aux phénomènes complexes qui ont lieu à l’interface entre 2 protéines qui mettent en contact, plus ou moins directement, plusieurs centaines d’atomes pour une configuration données. Même si les experts savent aujourd’hui que certaines configurations ne sont pas viables, il demeure délicat d’intégrer ces paramètres lors des calculs. Les experts savent également que le premier critère d’amarrage entre 2 protéines est la complémentarité géométrique tridimensionnelle. Or, le cerveau humain fait appel sans cesse à des mécanismes d’analyse d’images et de reconnaissance de formes. Il constituerait alors un outil puissant pour élaguer l’arbre des configurations possibles. Comment introduire ce super-calculateur qu’est le cerveau humain dans le processus de prédiction d’amarrage entre 2 protéines ? Des travaux de recherche en cours visent donc à imaginer un système mettant en œuvre d’une part le système de prédiction des experts et d’autre part une interaction bi-manuelle permettant de manipuler directement les 2 protéines grâce à des périphériques d’interaction 3d. Pour une (pré-)configuration proposée par l’utilisateur, l’idée est que le système de prédiction réagisse à la validité de cette (pré-)configuration par un feedback haptique ou pseudo-haptique. Si l’on élabore une boucle de simulation basée sur ce procédé, l’utilisateur peut alors affiner ou modifier une (pré-)configuration en temps réel. En d’autres termes, avec un tel usage de la réalité virtuelle, l’utilisateur expert en biologie peut assister les calculs de docking de protéines, en guidant ces calculs sur des configurations pertinentes. 4.3.3 EXPLORATION DE DONNÉES GÉNOMIQUES FACTUELLES ET TEXTUELLES

Le séquençage systématique du génome a eu pour conséquence un accroissement exponentiel des connaissances sur les génomes et leur architecture. Ces connaissances enrichissent en permanence les banques ou bases de données génomiques factuelles : SGD [http1], GenBank [htt2], SwissProt (http3], mais aussi textuelles : PubMed [http4].

Explorations de données scientifiques et expérimentations virtuelles

109

Figure 4.2 : Scientitifique en bio-informatique explorant le génome humain [Bram e.a., 2002]

Afin de bien identifier les apports de la réalité virtuelle, pour la gestion et l’exploration de ces masses de connaissances, il faut étudier l’état de l’art des interactions entre les utilisateurs du domaine et cette masse de connaissances. Ces interactions s’effectuent le plus souvent par l’intermédiaire d’interfaces web, afin d’assurer une forte disponibilité des données, à une communauté importante. Compte tenu de la nature de ces interfaces et du volume des connaissances qu’elles gèrent, l’utilisateur ne peut effectuer que des visualisations très ponctuelles de ces données. Pour résumer, en reprenant les termes de Shneiderman [Shneiderman, 1996], ces interfaces permettent une exploration correcte aux niveaux «Detail» et «Zoom», mais pas une exploration au niveau «Overview». L’étude de ces données à une échelle plus globale est pourtant une nécessité. En effet, la grande majorité des connaissances sur les fonctionnements des gènes sont pour la plupart hypothétiques, et nécessitent une validation biologique sur paillasse. Ces validations sont extrêmement coûteuses, et une exploration plus globale permet de mieux cibler les futures expériences de validation biologiques de ces connaissances. Les interfaces classiques ne pourront probablement pas répondre à cette attente. A condition d’avoir des paradigmes de visualisation aptes à synthétiser les données d’intérêt, la réalité virtuelle est une réponse adéquate, au problème de l’exploration globale des connaissances sur les génomes [Férey e.a., 2004]. D’une part, la quantité d’informations envoyées par le canal visuel est plus importante, compte tenu de la surface et du nombre des écrans. D’autre part, l’aspect immersif offert par la stéréovision, et l’absence de limite spatiale du monde virtuel dans lequel l’utilisateur évolue, permet d’envisager l’exploration de bases de données très volumineuses (Figure 4.2). Enfin, la validation des nouvelles connaissances à intégrer dans une base, est souvent le résultat d’un consensus d’experts du domaine GeneOntology [http5]. Cette tâche est donc profondément collaborative. Utiliser la réalité virtuelle, comme un contexte mul-

110

Le traité de la réalité virtuelle

tiutilisateur d’interaction avec les données génomiques, pour valider, enrichir ou plus simplement gérer leur contenu, est une réponse à l’aspect très collaboratif nécessaire à la gestion de ces bases. 4.4 MÉCANIQUE DES FLUIDES 4.4.1 PERCEPTION DE LA COMPLEXITÉ DES PHÉNOMÈNES D’ÉCOULEMENTS

Actuellement, l’étude des caractéristiques des structures dynamiques tridimensionnelles générées au sein d’un écoulement devient un enjeu conséquent en Mécanique des Fluides, notamment dans le domaine du contrôle. A titre d’exemple, citons les problèmes de traînées dans le domaine aéronautique ou automobile, où ces structures jouent un rôle prépondérant sur les performances aérodynamiques d’un système, ou encore les problèmes d’environnement urbain, où elles ont une influence certaine sur le confinement des polluants ou le renouvellement de l’air dans les rues. Or, les outils d’analyse actuels pour ce type d’étude s’avèrent quelque peu limités. En effet, l’étude d’un écoulement tridimensionnel instationnaire1 peut se révéler extrêmement complexe et nécessite actuellement un travail de post-traitement des données de simulation numérique (ou de mesures expérimentales) très lourd. Ces études sont des problèmes à 4 dimensions (espace + temps). Or, les logiciels graphiques en usage à l’heure actuelle permettent au mieux de visualiser des champs 3d, au prix de grandes difficultés de perception lors de l’exploration de ces champs, et ce, image par image au cours du temps. La conception d’animations 3d dans le domaine de la Mécanique des Fluides est limitée car complexe et fastidieuse dans la mise en forme : ces animations sont généralement conçues pour mettre en valeur des résultats obtenus à partir d’études classiques menées par des moyens conventionnels, sur station de travail : en premier lieu, les champs instantanés sont explorés plan par plan, c’est-à-dire seulement en 2d, une animation temporelle de ces plans permettant de percevoir d’éventuels aspects instationnaires ou 3d. L’expérience du chercheur oriente généralement la sélection des plans pour en limiter le nombre. Un travail conséquent d’analyse est alors mené pour aboutir à des résultats sur les caractéristiques 3d instationnaires de l’écoulement. Le recours à l’animation 3d permet de mettre en valeur ou d’affiner les résultats obtenus. Compte tenu des problèmes de post-traitement, la gamme des paramètres contrôlant ou décrivant les structures dynamiques, accessible en pratique, limite l’étude des écoulements instationnaires. La réalité virtuelle doit permettre au chercheur d’optimiser l’analyse des écoulements aux caractéristiques dynamiques complexes, issus de simulations numériques, en développant des outils multi-sensoriels et multimodaux adéquats. En mode visuel, la réalité virtuelle en milieu immersif offre de plus grandes possibilités dans la façon d’appréhender la perception des champs correspondants aux différentes grandeurs physiques (composantes de vitesse, masse volumique, énergie, pression, température, rotationnel, second invariant de vitesse ...). Tout d’abord, l’espace de visualisation étant plus important, on peut utiliser une meilleure résolution de ces champs. De plus, la phase d’exploration, qui vise à localiser et à isoler des zones pertinentes de l’écoulement, est grandement facilitée par les modes de navigation immersifs. Enfin, l’analyse d’un 1 Instationnaire : se dit en physique d’un phénomène qui dépend du temps. C’est-à-dire, dont la description ne peut être obtenue qu’en fonction du paramètre temps. C’est le cas de tous les phénomènes transitoires, mais aussi des structures tourbillonnaires dont l’essentiel des propriétés ne peuvent être réduites aux seuls moments statistiques.

Explorations de données scientifiques et expérimentations virtuelles

111

écoulement repose souvent sur l’étude conjointe de plusieurs grandeurs, et nécessite donc souvent de pouvoir visualiser plusieurs champs simultanément et sous différentes formes (par exemple, différentes valeurs des iso-surfaces de pression combinées avec les vecteurs vitesse). Ce type d’analyse visuelle complexe est grandement facilité par une approche immersive. Si l’immersion visuelle se révèle la modalité prépondérante pour créer une perception des informations résultant des données de simulation (pour des raisons cognitives et parce que, par la force des choses, elle était jusqu’alors unique), elle admet des limitations essentiellement liées à la surcharge de scènes qui peuvent «noyer» les informations pertinentes (superposer trop d’isosurfaces limite la profondeur de visualisation, par exemple). De plus, le mode visuel n’est pas forcément le plus adapté pour percevoir certains phénomènes intermittents ou fortement localisés (intermittence de la turbulence, ruptures de structures résultant de l’étirement tourbillonnaire ...). Le mode audio est à l’inverse un bon moyen de percevoir la dynamique des phénomènes, par exemple leur caractère périodique, chaotique ou turbulent. Par ailleurs, ces phénomènes ne peuvent être perçus visuellement que s’ils se trouvent dans le champ de vision et que les paramètres de visualisation sont correctement réglés (isovaleur pertinente, par exemple). En revanche, la perception auditive peut avantageusement être utilisée pour détecter ce type de phénomène dans l’écoulement et guider le chercheur sur leur localisation (qu’il pourra ensuite visualiser, connaissant l’existence du phénomène). L’utilisation de la multisensorialité dans le cadre d’une soufflerie numérique virtuelle interactive permettra de concevoir de nouvelles approches pour l’étude des écoulements tridimensionnels instationnaires en se basant sur un enrichissement de la perception des informations. 4.4.2 SIMULATION INTERACTIVE

L’interaction temps-réel en réalité virtuelle sur des écoulements complexes n’est possible que si l’on accorde le plus grand soin au formatage des données et sur la façon dont on envisage d’interagir avec elles. En effet, une simulation typique s’effectue sur un maillage spatio-temporel qui contient, au final, plusieurs gigaoctets de données brutes pour chaque seconde de simulation. Pour ne parler que de la modalité visuelle, il est hors de question de pouvoir visualiser, tels quels, de tels volumes sur les processeurs graphiques actuels. L’analyse des écoulements passe donc par une réduction «intelligente» du volume à traiter, dont la principale difficulté est de devoir faire face à une interaction qui ne souffre presque pas de latence. On parle alors de visualisation adaptative. Plusieurs moyens peuvent être mis en œuvre. Si on s’intéresse à des données surfaciques (iso-surfaces d’un paramètre), les algorithmes de réduction polygonale [Hoppe, 1996] fournissent un moyen de réduire sensiblement le nombre de facettes à visualiser. Notons que cette classe d’algorithmes se doit de préserver la topologie des surfaces à visualiser, et donc nécessite malheureusement un pré-traitement complexe des données à visualiser, incompatible avec une interaction réalité virtuelle. Des méthodes simplifiées restent néanmoins utilisables, la plus simple consistant à sous échantillonner le maillage initial, au prix d’une dégradation de la topologie sous-jacente. Une autre voie est l’utilisation d’illusions de rendu. Par exemple, le rendu par point [Levoy e.a., 2000], qui crée une mini-texture en chaque point d’une surface, suffisante pour créer l’illusion d’une surface continue à une distance suffisante. Un autre exemple

112

Le traité de la réalité virtuelle

en est la visualisation de lignes de flux, qui utilise des textures animées plaquées sur des rubans dont la trajectoire est celle de particules entraînées au sein de l’écoulement simulé. Ce type de visualisation particulaire remplace avantageusement la création d’isosurfaces complexes ou le rendu volumique de grilles massives, en rendant compte de la dynamique des flux. Le problème de ce type d’illusions réside dans leurs limitations intrinsèques, puisqu’elles ne représentent les données qu’à un certain degré de fidélité (dans le premier cas, les surfaces sont approximées par des points, dans le second cas, un champ de variations est représenté par des particules évoluant dans ce champ). Ce sont néanmoins des outils de visualisation fort utiles pour une analyse immersive. Un moyen désormais usuel de limiter la bande passante nécessaire à l’exploration des données consiste à pratiquer le chargement «à la demande» : on ne présente à l’utilisateur que les données qu’il perçoit ou est susceptible de percevoir dans un avenir proche, compte tenu du contexte d’interaction. Ainsi on ne chargera en mémoire graphique que les données contenues dans le volume de vue de l’utilisateur immergé, en se limitant à une distance maximum de l’œil (opération dite de culling). Sur des données dynamiques, on limitera également la fenêtre temporelle accessible en temps réel, sous l’hypothèse que l’opérateur désire en priorité accéder aux données proches de l’instant courant. Cette réduction contextuelle est cependant plus délicate à mettre en œuvre en réalité virtuelle que sur station de travail, compte tenu de la richesse de perception et d’interaction de l’utilisateur. L’approche la plus pertinente, mais aussi la plus complexe, consiste à structurer l’information à analyser en fonction d’une exploration en réalité virtuelle. L’équipe VENISE du LIMSI a ainsi développé une technique de visualisation de champs de fluides tridimensionnels avec pour objectifs la rapidité d’extraction d’isosurfaces sur une grille rectiligne non régulière (cas le plus courant dans une simulation de ce type) et l’élaboration de techniques d’interaction immersive pour l’étude de ces champs. L’extraction rapide d’isosurface se base sur un partitionnement hiérarchique d’octrees créé une fois pour toutes sur la grille donnée en entrée. Par les informations qu’il contient cet arbre permet l’optimisation de l’extraction d’isosurface en trois étapes. L’arbre contenant en chaque nœud les valeurs minimum et maximum du champ étudié présent pour tout le sous-arbre qu’il englobe, on peut aisément rejeter 95% des nœuds de l’arbre lorsqu’on fixe l’iso-valeur à visualiser. On élimine ensuite les nœuds situés en dehors des cônes de visualisation, puis on teste la contribution d’un nœud en pixel sur la surface de projection pour choisir le moment où l’on va arrêter la récursion sur l’arbre. On obtient enfin une extraction adaptative d’isosurface dans les quelques nœuds ainsi sélectionnés (Figure 4.3). Le principal problème est d’adapter les surfaces adjacentes, de niveaux de détail différents, pour obtenir une jonction visuellement acceptable. S’appuyant sur cette visualisation adaptative, une des techniques d’interaction mise en œuvre est le guidage de la navigation via la mise en évidence des zones de simulation dont le niveau de détail présenté n’a pas encore atteint la pleine résolution disponible, invitant l’utilisateur à «zoomer» sur ces zones d’intérêt. 4.4.3 SOUFFLERIE NUMÉRIQUE VIRTUELLE

De fait, la finalité de l’application de la réalité virtuelle à l’étude des écoulements est d’aboutir à la conception d’une soufflerie numérique virtuelle interactive. Les données numériques issues d’un code de calcul en cours d’exécution ou d’un banc expérimental, seraient simultanément transférées dans un environnement immersif permettant ainsi au chercheur d’analyser l’évolution d’un écoulement instationnaire en temps réel à

Explorations de données scientifiques et expérimentations virtuelles

113

Figure 4.3 : MécaFlux : isosurface extraite à différents niveaux de détails vue par une caméra virtuelle

l’aide des différents outils de perception mis à sa disposition. Il pourra aussi interagir avec le code de simulation dans le but de modifier directement les paramètres de simulation, contrôlant ainsi de manière «on-line» les caractéristiques de l’écoulement par le biais d’interfaces multimodales. On est encore loin de cet objectif, plusieurs obstacles freinent sa réalisation, et en premier lieu, la masse de données nécessaires. Il s’agit de générer, stocker, transmettre et représenter plusieurs gigaoctets d’information chaque seconde, pour les écoulements 3d les plus simples ! Il existe dès à présent des techniques performantes de structuration et de compression des données qui permettent d’envisager le transfert de tels volumes en temps réel depuis une machine distante (le serveur de calcul) jusqu’à un environnement immersif. Cependant, le calcul interactif de ces données, en fonction de paramètres fixés lors de l’interaction de réalité virtuelle, aussi bien que leur restitution en temps réel au niveau de serveurs de rendu visuel ou haptique paraît pour l’heure inaccessible à court terme. Mais les dispositifs actuels préfigurent les fantastiques possibilités des outils d’étude des écoulements de demain. Ils permettraient de considérablement améliorer les conditions de recherche des scientifiques du domaine, compte tenu de la richesse offerte par les diverses possibilités d’acquérir les informations, de les percevoir et de les analyser. Ils fourniraient également des environnements propices à la formation et à l’apprentissage des futurs ingénieurs ou chercheurs.

114

Le traité de la réalité virtuelle

Figure 4.4 : Relativité virtuelle : simulation de navigation à 98% de la vitesse de la lumière (Daniel Weiskopf, Université de Tübingen) 4.5 RELATIVITÉ VIRTUELLE 2005 marque le centenaire d’une idée révolutionnaire, la relativité restreinte, qui, avec la relativité générale à sa suite, a révolutionné la physique. Et si la réalité virtuelle permettait de transformer cette théorie en expérience sensible ? L’impact serait évident dans le domaine pédagogique, en rendant cette théorie absconse accessible au plus grand nombre, à commencer par les étudiants en physique. Mais elle pourrait aussi conduire les chercheurs du domaine à de nouvelles intuitions, en leur donnant à percevoir directement les phénomènes que la théorie prévoit, et peut-être même de nouveaux ?

4.5.1 VOIR LA RELATIVITÉ

Depuis Einstein, on sait que lorsqu’un objet (ou un observateur) atteint une vitesse très proche de celle de la lumière, il ne peut être décrit que par des lois totalement différentes des lois ordinaires, formant ce qu’on appelle la théorie de la Relativité. Récemment [Weiskopf, 2000], les lois régissant la propagation de la lumière au sein d’un univers relativiste ont été exploitées pour simuler, via une adaptation de la technique du polygon rendering, la vue d’un observateur dont la vitesse est proche de celle de la lumière, c. Sur des scènes polyédriques simples, cette visualisation peut être calculée en temps interactif, ce qui conduit à la première étape d’une simulation d’un univers relativiste en environnement immersif (Figure 4.4). Les effets prédits par la théorie (contraction des longueurs, courbure de l’espace-temps, shift des couleurs) sont ainsi clairement observables dans un dispositif de réalité virtuelle dans lequel la vitesse de la lumière est arbitrairement fixée (par exemple à 5 km/h !).

Explorations de données scientifiques et expérimentations virtuelles

115

4.5.2 MULTIMODALITÉ RELATIVISTE

Mais l’expérience de la relativité peut être renforcée en exploitant la réalité virtuelle pour faire percevoir à l’observateur un maximum de la gamme sensori-motrice possible. A l’image, il est ainsi intéressant d’associer le son, par exemple pour souligner les variations d’écoulement temporel entre les objets au repos et un observateur relativiste : le temps d’un expérimentateur de réalité virtuelle proche de la vitesse de la lumière sera dilaté par rapport à celui d’un univers statique, ce qui pourra être mis en relief par une variation Doppler des diverses émissions sonores. D’autre part, il est possible de restituer sous forme haptique des informations sur la longueur intrinsèque des objets se déplaçant à des vitesses relativistes par rapport à un utilisateur. La contradiction apparente entre les perceptions tactile et visuelle induira des dissonances cognitives analogues à celles obtenues lorsque l’on fait tourner un objet entre ses doigts, et qu’on le voit se contracter alors que nos doigts nous disent le contraire. Notre cerveau a depuis longtemps appris à comprendre cet effet comme lié à une rotation dans l’espace, avec contraction apparente de l’objet par effet de perspective. De même, le couplage haptique/visuel dans l’expérience relativiste donnera pleinement la mesure de ce que sont, en fin de compte, les changements de vitesse : des rotations dans l’espace-temps, cadre quadri-dimensionnel de nos perceptions, rendu cohérent et «concret» par l’expérience directe des effets relativistes, grâce à la réalité virtuelle. La dimension haptique de la réalité virtuelle permettra également d’expérimenter l’accroissement spectaculaire de l’inertie des objets lorsque leur vitesse approche de celle de la lumière. La force à appliquer pour augmenter légèrement leur vitesse ou infléchir si peu que ce soit leur trajectoire devient alors de plus en plus grande, et finit même par diverger. L’impossibilité de dépasser la vitesse de la lumière sera ainsi ressentie dans les muscles mêmes de l’observateur ! Une démonstration de ces phénomènes est en cours d’étude au laboratoire LIMSI-CNRS.

4.5.3 RELIEF TEMPOREL

Au-delà de la simple simulation «à l’identique» de l’espace-temps Einsteinien, la réalité virtuelle peut être utilisée pour induire dans notre cerveau une véritable représentation spatiale du temps, via une altération de notre perception habituelle. L’un des objets du projet EVEILS mené en coopération entre le LIMSI-CNRS et l’IPNO-CNRS est d’étudier la modalité dite de «relief temporel» ou quadrivision : on présente aux deux yeux de l’observateur deux points de vue proches, non plus dans l’espace, mais dans l’espace-temps. Dans la version la plus simple, les deux yeux voient deux instants différents du même univers (le décalage doit rester évidemment en rapport avec l’échelle des temps de la scène). La stéréoscopie habituelle est de ce point de vue une quadrivision dégénérée à un simple décalage spatial. Des expérimentations en cours étudient les effets psycho-visuels associés à l’utilisation de la quadrivision, l’intention étant de développer une nouvelle perception sensorielle, «l’invention» mentale d’une nouvelle dimension.

116

Le traité de la réalité virtuelle

4.6 CONCLUSIONS Le propos de ce chapitre était d’étudier les apports de la réalité virtuelle dans le domaine scientifique en y décrivant des applications issues de différentes disciplines, en particulier en biologie et en physique. Par ailleurs, un état des lieux a été fait sur les grands champs scientifiques qui jouent un rôle moteur pour les recherches en réalité virtuelle. Le discours est placé sous l’angle spécifique de l’exploration et de l’analyse avancée de masses de données scientifiques à l’aide de systèmes de réalité virtuelle. Ces systèmes sont de plus en plus, pour les scientifiques qui sont face de données expérimentales massives, hétérogènes et dispersées, de réels outils qui leur offrent d’explorer et d’interagir avec lesdites données, et ceci en temps-réel. A titre d’exemple, l’analyse et le dépouillage des résultats requièrent de plus en plus d’interactivité. Mieux encore, le scientifique pourra extraire de nouvelles connaissances, non visibles ou perceptibles quand les données sont sous forme de banques textuelles ou factuelles. De plus, une démarche scientifique est par essence collective dans de nombreuses situations. Les dispositifs réalité virtuelle de grande échelle offrent justement de nouvelles possibilités pour des pratiques collectives in situ (ou distribuées). Nous avons assisté depuis plus de dix ans à un formidable processus de mise en place d’environnements virtuels impulsés d’ailleurs par les besoins des scientifiques euxmêmes. Plusieurs applications ont été décrites, en particulier celles issues de la biologie moléculaire et de la physique. Nous avons montré les problématiques et certaines solutions pour mener à bien les approches de la réalité virtuelle, qu’il s’agisse de la transmission et la synchronisation des données entre calculateurs, ou le rendu de ces données et l’exploration proprement dite en interaction avec l’utilisateur. Enfin, la complexité et la diversité des données à explorer impose à ces approches de dépasser le seul aspect immersif, pour offrir un rendu et une interaction multi-sensoriels. Il s’agit de pouvoir combiner les trois canaux sensori-moteurs que sont le visuel, l’audio et l’haptique. L’interdisciplinarité est un gage de réussite si l’on souhaite que les systèmes de réalité virtuelle soient utiles et utilisables par les scientifiques. En particulier, le scientifique n’est pas un client classique de la réalité virtuelle. Il doit être partenaire en amont de tout développement, acteur dans la boucle de simulation, et utilisateur pour les évaluations en aval. En Biologie moléculaire, il a été question de l’exploration de l’infiniment petit avec les structures de séquences nucléiques et protéiques. Les interactions moléculaires seront étudiées du point de vue des complexes protéine-protéine et de la possibilité pour le biologiste d’agir via le docking virtuel de ces protéines. Au-delà de ces données 3d, exploiter les potentialités immersives de la réalité virtuelle pour offrir une exploration des données génomiques factuelles et textuelles, est un chantier très prometteur. Ceci est transposable à plusieurs autres champs applicatifs : médical, écologie des systèmes, etc. En physique on a choisi de relater d’une part des applications de Mécanique des fluides, avec le besoin des physiciens de percevoir la complexité des phénomènes d’écoulements, leurs attentes en simulation interactive, et leur espoir de disposer un jour de soufflerie numérique virtuelle. D’autre part, en physique fondamentale, nous avons recensé les besoins des chercheurs à montrer des phénomènes complexes : donner à percevoir les lois de la relativité, par exemple, en donnant à voir, à toucher et à entendre la contraction du temps, la dilatation de l’espace. La relativité virtuelle n’est d’ailleurs qu’une illustration, parmi beaucoup d’autres possibles, de ce que la réalité virtuelle peut apporter dans la perception de phénomènes physiques autrement inaccessibles à

Explorations de données scientifiques et expérimentations virtuelles

117

l’expérience. Le champ est vaste : gravitation, exploration fractale, voisinage des trous noirs, perception dans l’espace de Fourier, topologies toriques... : la limite est notre seule imagination. 4.7

RÉFÉRENCES BIBLIOGRAPHIQUES

[Anderson e.a., 1999]

A. Anderson and Z. Weng. Vrdd : Applying virtual reality visualization to protein docking and design. J Mol Graph Model., 17(3-4) :1806 :217 (1999).

[Anderson, 1994]

C. Anderson. Cyberspace offers chance to do virtually real science. Science, 264 :900–901 (1994).

[Avradinis e.a., 2000]

N. Avradinis, S. Vosinakis, and T. Panayiotopoulos. Using virtual reality techniques for the simulation of physics experiments (2000), pages 6–11.

[Bram e.a., 2002]

S. Bram, A.Faizal, K. Anton, W. Paul, J. Neefs, A. Stubbs, A. de Bondt, P. Leemans, and P. van der Spek. Mining the human genome using virtual reality (2002), pages 17–21.

[Brooks e.a., 1990]

F. P. Brooks, J. M. Ouh-Young, J. Batter, and P. Kilpatrick. Project gropehaptic displays for scientific visualization (1990), pages 177–185.

[Frédéric e.a., 2002]

D. Frédéric and K. François. Bioinformatique, Génomique et postgénomique (2002).

[Férey e.a., 2004]

N. Férey, P. Gros, J. Hérisson, and R. Gherbi. Exploration by visualization of numerical and textual genomic data. Journal of Biological Physics and Chemistry, 4 :102–110 (2004).

[Gherbi e.a., 2001]

R. Gherbi and J. Hérisson. 3d modeling tools for spatial-based in silico analysis of dna. International Electronic Journal on Computer Graphics and Geometry, 3 :1 (2001).

[Gherbi e.a., 2002]

R. Gherbi and J. Hérisson. Representation and processing of complex dna spatial architecture and its annotated content (2002), pages 151– 162.

[Gunn e.a., 1997]

C. Gunn, A. Ortmann, U. Pinkall, K. Polthier, and U. Schwarz. Oorange : A virtual laboratory for experimental mathematics. Visualization and Mathematics, ISBN 3-540-61269-6 :386–395 (1997).

[Hoppe, 1996]

H. Hoppe. Progressive meshes computer graphics (1996), pages 99– 108.

[Humphrey e.a., 1996] W. Humphrey, A. Dalke, and K. Schulten. Vmd : Visual molecular dynamics",. Journal of Molecular Graphics, 14 :1 :33–38 (1996). [Hérisson e.a., 2004]

J. Hérisson, P.-E. Gros, N. Férey, O. Magneau, and R. Gherbi. Dna in virtuo : Visualization and exploration of 3d genomic structures. In 3rd ACM International Conference on Virtual Reality, Computer Graphics, Visualization and Interaction (Afrigraph04) (2004), pages 35–40, Stellenbosch ( Cape Town ), South Africa.

[Kaufmann e.a., 2000]

H. Kaufmann, D. Schmalstieg, and M. Wagner. Construct3d : A virtual reality application for mathematics and geometry education. Education and Information Technologies, special issue on Virtual Reality, 5 :4 :263–276 (2000).

[Leech e.a., 1996]

J. Leech, J. F. Prins, and J. Hermans. Smd : Visual steering of molecular dynamics for protein design (1996).

[Levine e.a., 1996]

D. Levine, M. Facello, P. Hallstrom, G. Reeder, B. Walenz, and F. Stevens. Stalk : An interactive virtual molecular docking system (1996).

118 [Levoy e.a., 2000] [Loftin e.a., 1998]

[Moeckel e.a., 1998]

[Shneiderman, 1996] [Taylor e.a., 1993]

[Weiskopf, 2000]

Le traité de la réalité virtuelle M. Levoy and S. Rusinkiewicz. Qsplat : A multiresolution point rendering system for large meshes (2000), pages 343–352. R. B. Loftin, B. M. Pettit, S. Su, C. Chuter, J. A. McCammon, B. B. C. Dede, and K. Ash. Paulingworld : An immersive environment for collaborative exploration of molecular structures and interactions (1998). G. Moeckel, M. Keil, T. Exner, and J. Brickmann. Molecular modeling information transfer with vrml : From small molecules to large systems in bioscience (1998), pages 327–338. B. Shneiderman (1996). The eyes have it : A task by data type taxonomy for information visualizations. Technical report. R. Taylor, W. Robinett, V. Chi, F. Brooks, W. Wright, R. Williams, and E. Snyder. The nanomanipulator : a virtual-reality interface for a scanning tunneling microscope (1993), pages 127–134. D. Weiskopf. An immersive virtual environment for special relativity (2000), pages 337–344.

Adresses des sites d’institutions : [http1] [http2] [http3] [http4] [http5]

http ://www.yeastgenome.org/ http ://www.ncbi.nlm.nih.gov/Genbank/ http ://www.ebi.ac.uk/swissprot/ http ://www.ncbi.nlm.nih.gov/entrez/query.fcgi http ://www.geneontology.org/

5 APPLICATIONS DE LA RÉALITÉ VIRTUELLE AUX TROUBLES COGNITIFS ET COMPORTEMENTAUX

Evelyne Klinger, Rose-Marie Marié et Isabelle Viaud-Delmon

5.1

INTRODUCTION

Dans ce chapitre, nous évoquerons les thèmes de réflexion qui sont soulevés par l’utilisation de la réalité virtuelle dans l’abord des troubles cognitifs et comportementaux. En psychiatrie, ces réflexions font l’objet d’un axe spécifique de recherche de l’UMR 7593 du CNRS dirigée par Roland Jouvent à l’Hôpital de la Salpetrière, où Isabelle Viaud-Delmon est chargée de recherche et responsable des applications thérapeutiques et expérimentales liées à la réalité virtuelle. En neuropsychologie, ces thèmes sont l’un des axes de recherche de l’UPRES-EA 3917 de l’Université de Caen, dirigée par le Pr Denise, où le Dr Rose-Marie Marié, neurologue, et Evelyne Klinger, Ingénieur, travaillent sur le développement de nouveaux outils d’évaluation et de réhabilitation des fonctions cognitives. D’autre part, une importante revue de la littérature est proposée par Evelyne Klinger, qui s’est chargée du développement français du projet européen Vepsy et qui rédige actuellement une thèse dont l’objectif est de mettre en évidence les apports de la réalité virtuelle à la prise en charge des troubles cognitifs et comportementaux. Les dispositifs de réalité virtuelle ont permis la mise en place de nombreux paradigmes de recherche en neurosciences comportementales ces dernières années. La facilité avec laquelle il est possible de manipuler expérimentalement les différentes informations sensorielles fournies au sujet fait de la réalité virtuelle un outil de choix pour l’étude chez l’homme de l’intégration multisensorielle et de ses troubles. Par ailleurs, dans le domaine de la psychopathologie clinique, l’exposition de patients à des environnements virtuels permet de mettre en oeuvre de nouvelles formes de thérapie présentant de nombreux intérêts. Enfin en neuropsychologie, les technologies de la réalité virtuelle fournissent une nouvelle manière d’aborder l’étude des déficiences des fonctions cognitives et motrices ainsi que les mécanismes de compensation ou de suppléance, et par conséquent l’approche de la réhabilitation des fonctions cognitives et motrices. Cependant, l’utilisation de dispositifs de réalité virtuelle pose au moins deux problèmes majeurs [Viaud-Delmon e.a., 2001]. Le premier est lié au nombre limité de modalités sensorielles sollicitées par l’outil, qui n’intègre le plus souvent que les modalités visuelles et idiothétiques (ensemble des informations proprioceptives et vestibulaires). Le deuxième est lié au caractère «déréalisant» de la réalité virtuelle, et renvoie à la notion de présence. La pratique du virtuel ouvre des champs nouveaux. La pression de l’évolution via les nouvelles technologies pousse vers la déréalisation et l’individu se trouve confronté au maniement de son aptitude à la présence, compétence dont la définition n’est pas consensuelle mais qui renvoie aux notions d’identité, de conscience. Au plan psychopathologique, un certain nombre de questions se pose. La première concerne la dangerosité de ces phénomènes en terme de facteur de risque pour l’émergence d’états mentaux pathologiques. Il est raisonnable de se demander si l’absence de représentation du corps propre du sujet n’induit pas des expériences dissociatives. La réalité virtuelle est basée sur le sentiment de présence dans un monde qui n’existe

120

Le traité de la réalité virtuelle

pas. Un lycéen ne risque-t-il pas de se trouver fragilisé pour dépasser l’inévitable remaniement identitaire que représente son adolescence, si la pratique du virtuel l’invite fréquemment à changer son cadre de référence ?

5.2 ATOUTS ET INCONVÉNIENTS DE LA RÉALITÉ VIRTUELLE Dans la perspective de l’étude et du traitement des dysfonctionnements de la cognition, chercheurs et thérapeutes ont créé et utilisé des outils que nous qualifierons de traditionnels. Mais depuis une vingtaine d’années, ils se sont saisis des possibilités offertes par les technologies de la réalité virtuelle. Des équipes, mêlant scientifiques et cliniciens, ont mis en œuvre des recherches et des applications afin de tester l’efficacité clinique de ces nouveaux outils développés. Deux domaines d’application ont été largement investigués : celui de la psychiatrie, en se basant principalement sur les thérapies d’exposition, et celui de la neuropsychologie, en considérant les possibilités de création de conditions d’évaluation et de réhabilitation écologiques. Des environnements virtuels à visée diagnostique, thérapeutique mais aussi de soutien ont ainsi été développés.

5.2.1 ATOUTS DE LA RV POUR LES THÉRAPIES EN PSYCHOPATHOLOGIE CLINIQUE

L’Exposition par Réalité Virtuelle (ERV) offre de nombreux avantages dans le traitement des troubles anxieux [North e.a., 1998b]. Elle permet l’exposition, sous contrôle, du patient à des stimuli anxiogènes à la fois complexes, dynamiques, et interactifs en 3D. Elle offre la possibilité de graduer, répéter des situations anxiogènes qui peuvent être nombreuses et variées, et ainsi de planifier un traitement qui est délivré en toute sécurité pour le patient. L’ERV se déroulant dans le cabinet du thérapeute, la confidentialité de la consultation est préservée et l’embarras du patient est limité. L’aspect attractif de l’ERV et la facilité de sa programmation dans l’emploi du temps du patient limitent les abandons de traitement et augmentent les chances de succès thérapeutique.

5.2.2 ATOUTS DE LA RV EN NEUROPSYCHOLOGIE

Un des atouts essentiels de la réalité virtuelle en neuropsychologie concerne, comme nous le verrons plus en détail ci-après, le caractère écologique1 des environnements d’évaluation ainsi que l’apport de cette technique dans le domaine de la réhabilitation. La réalité virtuelle présente une nouvelle perspective de prise en charge de ce problème majeur de santé publique que constituent les déficits cognitif et moteur. Ceux-ci accompagnent de nombreuses maladies neurologiques (Accidents Vasculaires Cérébraux, Parkinson, Alzheimer, etc..) et les patients concernés par certaines pathologies sont de plus en plus nombreux du fait du vieillissement de la population. La réalité virtuelle permet de simuler des environnements naturels, dans lesquels il est possible de présenter de manière plus écologique des stimuli adaptés, insérés dans un contexte significatif et familier (salle de classe, bureau, magasin). La réalité virtuelle 1 Degré

de pertinence qu’un système d’entraînement présente par rapport au monde réel.

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

121

permet aussi de gérer le chronométrage et le contrôle des éléments distracteurs, le chargement et la complexité des stimuli, l’altération de ces variables de façon dynamique, en réponse aux actions du participant. Différentes caractéristiques des réponses (précision, rythme, cohérence) peuvent être collectées pour permettre leur analyse plus fine et plus détaillée. La réalité virtuelle permet, par ailleurs, d’explorer la plupart des domaines cognitifs (attention, mémoire, planification). Cette méthodologie peut améliorer la fiabilité des évaluations classiques en minimisant la variabilité due aux différences entre les examinateurs, l’environnement de test et la qualité des stimuli. Enfin, elle peut en améliorer la validité en permettant des mesures plus précises et plus spécifiques des comportements, en améliorant la validité écologique de ce qui est mesuré [Pugnetti e.a., 1995]. Les résultats obtenus ont plus de pertinence clinique et ont des conséquences directes sur le développement de systèmes de réhabilitation cognitive.

5.2.3 CONCEPTION DES SYSTÈMES DE RÉALITÉ VIRTUELLE

En psychiatrie et neuropsychologie, les utilisateurs des applications de réalité virtuelle peuvent être des sujets sains ou des patients souffrant de troubles cognitifs et comportementaux, les conduisant souvent à envisager les situations nouvelles avec anxiété. Par conséquent, un de nos soucis, lors du développement d’un EV est de choisir les interfaces comportementales les moins perturbantes possible, les plus transparentes possible. Les EVs sont généralement visualisés sur l’écran de l’ordinateur ou par l’intermédiaire de visiocasques, parfois également sur de grands écrans. Les outils de base de l’interaction sont la souris, le clavier et le joystick ; des gants ou un levier de commande peuvent parfois être proposés. Des dispositifs ont également été développés pour que l’utilisateur interagisse de façon naturelle, non intrusive. Des caméras peuvent ainsi capter les positions et déplacements des mains, de la tête ou du corps pour les traduire en actions dans le monde virtuel. La mise à jour de l’EV peut également être asservie aux mouvements de la tête du sujet grâce à un traqueur de tête, dont sont souvent dotés les visiocasques. Ces quelques exemples reflètent la variété des outils usuellement utilisés en psychothérapie et en neuropsychologie. Le choix de l’interface est lié à différents facteurs, tels le degré d’immersion souhaité, le coût, les capacités de la population de patients considérée, mais aussi à la faculté de l’interface d’exploiter un comportement naturel humain, sans entraînement préliminaire. Dans un souci d’ergonomie, de confort, il est parfois nécessaire de créer des interfaces spécifiques. L’immersion des patients dans l’EV dépendra également d’un facteur clef qui est celui de leur niveau émotionnel. Cette possibilité de susciter des émotions dans un EV est à la base des thérapies d’exposition en psychiatrie, mais peut aussi perturber les performances dans les tâches à effectuer dans des applications d’évaluation en neuropsychologie. Diverses techniques sont utilisées pour créer les environnements virtuels utilisés dans ces domaines : applications développées en VRML ; reprise de jeux vidéo adaptés au problème clinique (Max Payne, Half Life) ; utilisation de plates-formes de développement (Virtools, 3D Studio Game). L’inconvénient de cette diversité est le manque de standardisation, le gaspillage d’énergie dans la création systématique d’environnements qui pourraient être partagés par plusieurs centres. Pour l’intérêt de tous, il serait préférable de tendre vers le développement de librairies d’environnements et de stimuli.

122

Le traité de la réalité virtuelle

5.2.4 ASPECTS TECHNICO-ÉCONOMIQUES

L’exploitation de la réalité virtuelle en psychiatrie et en neurologie-neuropsychologie n’en est actuellement qu’au stade de recherches avec des prototypes. Elle n’est pratiquée couramment que par très peu d’équipes cliniques2 pour lesquelles les préoccupations de recherche sont toujours omniprésentes. Cette pratique n’est pour l’instant pas rentrée dans les mœurs, ni aux États-Unis, ni au Canada, ni encore moins en Europe et plus particulièrement en France. En psychothérapie, l’utilisation de la réalité virtuelle implique le plus souvent une vision cognitive et comportementale de l’abord des troubles. En neuropsychologie son développement pourrait être plus rapide du fait du besoin unanime et urgent d’outils d ’évaluation et de réhabilitation. Mais persistent encore beaucoup de réticences voire même d’incrédulité sur l’utilité de cette technique. Le coût de la réalisation d’une application de réalité virtuelle est actuellement un obstacle au développement. En effet cette réalisation nécessite la collaboration avec une équipe technique et revient soit à créer des postes dans les CHU, possibilité difficile à faire accepter, soit à trouver des fonds pour des contrats à durée déterminée, mais là encore le coût est très lourd étant donné les possibilités usuelles de la recherche clinique dans la plupart des CHU. Pourtant l’exploitation de la réalité virtuelle ne tardera pas à devenir économiquement réaliste, même si pour l’instant elle est liée aux subventions de recherche. En effet, les prévisions démographiques marquent la forte augmentation à venir de la population des plus de 65 ans - ils seront 10,4 millions en 2010, soit 1 million de plus qu’en 2000, et près de 19 millions en 2050, soit 28% de la population totale pour 16% aujourd’hui. Cette augmentation s’accompagne d’une accentuation considérable du nombre de patients touchés par les maladies liées au vieillissement, en particulier les maladies neurologiques. Or ces pathologies sont responsables de troubles neuropsychologiques qui deviennent ainsi un problème majeur de santé publique. Ce problème est d’autant plus important qu’il n’existe pas d’outil adéquat pour la réadaptation de ces troubles. Dans l’objectif d’une utilisation adéquate et performante des systèmes de réalité virtuelle, il faudra également se soucier de la mise en place de services tels que mise à jour, service après vente.

5.2.5 CONFLITS SENSORIELS ET COGNITIFS

Le monde virtuel expose l’utilisateur du système à des conflits de divers types. Toutes les informations sensorielles usuellement disponibles dans le monde environnant ne le sont pas nécessairement dans le monde virtuel. Prenons l’exemple d’un patient que l’on expose à un paysage vertigineux dans un visiocasque. Il se peut qu’il éprouve le besoin, pour regarder le fond du précipice, de trouver un appui. On peut alors avoir prévu à cet effet une balustrade dans l’environnement réel du sujet, sur laquelle le patient pourra prendre appui. Un nouveau choix s’imposera alors, celui de figurer ou non la balustrade dans le monde virtuel. Mais pour que cela ne représente pas un nouveau conflit sensoriel, ceci nécessite d’équiper le sujet de capteurs de position des mains et de représenter celles-ci dans le monde virtuel. Sans cela, un conflit s’en suivrait : le patient voit une 2 Nous pouvons citer, dans le domaine de la psychothérapie, le Virtual Reality Medical Center à San Diégo, le Laboratoire de Cyberpsychologie au Québec, l’Istituto Auxologico Italiano à Milan, ou encore l’Universitat Jaume I de Castellon, et dans le domaine de la neuropsychologie, le Department of Occupational Therapy à l’université de Haïfa.

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

123

balustrade dans le monde virtuel, il s’appuie dessus sans que son mouvement ne soit figuré dans l’environnement. Seules ses informations proprioceptives l’informent qu’il est en train de s’appuyer sur un objet. Une telle escalade dans la reproduction de la réalité comporte deux ordres de limites : • une limite d’ordre technique, en particulier temporelle (décalage entre les mouvements du sujet et l’affichage de l’image correspondante) ; • une limite d’ordre qualitatif. En imaginant que l’on puisse représenter avec précision le corps humain dans le monde virtuel, la limite sera toujours que ce qui y est figuré n’est qu’un modèle du corps. A ces différentes limites s’ajoutent celles qui proviennent du peu de variété des informations sensorielles utilisées. En particulier, la modalité auditive est pauvrement exploitée par les dispositifs de réalité virtuelle. Le plus souvent, dans les environnements virtuels, l’audition est uniquement sollicitée de manière associative : un événement visuel donné déclenche un son donné qui n’est pas spatialisé en 3D. Pourtant, le système auditif exploite simultanément des indices binauraux (perception directionnelle horizontale) et des indices monauraux (perception directionnelle verticale et distance) qui peuvent être synthétisés pour créer des scènes sonores virtuelles. Parallèlement, la perception auditive interprète la signature acoustique de la salle, liée aux réflexions et à la réverbération sur les parois, pour compléter la représentation spatiale de l’espace. L’exposition à un environnement virtuel qui n’est que visuel manque donc d’une composante essentielle de notre monde réel, puisque la modalité auditive nous fournit constamment des informations sur notre monde environnant et la façon dont nous y évoluons. Elle est en effet la seule modalité à nous permettre de scanner l’espace à 360 degrés autour de nous, ce qui représente un espace perçu bien plus large que celui offert par le champ de vision. Il est donc important de tenter d’intégrer à un dispositif de réalité virtuelle des outils de synthèse de scènes sonores gérant la restitution de la localisation statique ou dynamique des sources dans l’espace ainsi que la création d’un effet de salle associé (par exemple le Spatialisateur développé par l’équipe d’Acoustique des salles de l’Ircam [Jot e.a., 1995] ). Un outil tel que le Spatialisateur, couplé à un système de réalité virtuelle, permet d’obtenir une réelle interaction sensorielle entre les mouvements du sujet et le retour auditif fourni par l’environnement virtuel (voir [Delerue e.a., 2002] pour une application à la réalité augmentée). Une étude récente a démontré l’intérêt de l’ajout de la modalité auditive interactive lors du travail avec des patients anxieux, puisque le sentiment de présence exprimé par les patients était supérieur dans ce contexte [Viaud-Delmon e.a., 2005]. Cependant, cette étude a également révélé que des problèmes pouvaient survenir par l’ajout d’une nouvelle modalité sensorielle. En effet, non seulement les patients démontraient plus de signes de cinétose (symptômes du mal des transports) dans cette condition, mais encore la cohérence subjective des signaux sonores et visuels était difficile à obtenir. Ainsi, l’ajout de nouvelles modalités sensorielles pose néanmoins la question de la construction d’environnements virtuels multimodaux. Il n’est pas facile, aussi bien au plan technique que conceptuel, d’envisager des environnements artificiels dans lesquels chaque modalité sensorielle vient enrichir l’intégration plutôt que de générer un canal d’information supplémentaire pouvant de fait créer une surcharge cognitive. Quoiqu’il en soit, l’interaction avec un environnement virtuel ne pourra sans doute jamais fournir la même richesse sensorielle que l’interaction avec le monde réel. Si notre relation au monde est principalement médiatisée par des informations visuelles, il n’en reste pas moins que l’ensemble de nos systèmes sensoriels y contribue ; la variété de ces systèmes sensoriels est actuellement peu représentée dans les mondes virtuels qui sont essentiellement des mondes visuels.

124

5.2.5.1

Le traité de la réalité virtuelle

Avatars et conflits

Dans un monde virtuel, le corps du sujet actif est parfois représenté sous la forme d’un avatar. Celui-ci est couplé aux mouvements de l’individu. La présence d’un avatar dans l’environnement 3D révèle que les conflits générés par la réalité virtuelle ne sont pas seulement de l’ordre du sensoriel. Ils proviennent également d’une incohérence entre l’intention et les conséquences sensorielles de l’action. Les conséquences sensorielles d’une action sont en effet comparées en permanence avec les prédictions sensorielles faites par rapport à cette même action. La «sensation» provient de la comparaison entre les conséquences sensorielles de l’acte et les prédictions sensorielles. C’est l’absence de copie efférente qui distingue le mouvement propre du mouvement de quelqu’un d’autre. Au niveau neuronal, cela s’accompagne d’une atténuation de la stimulation sensorielle dans la région cérébrale traitant la modalité sensorielle concernée. Par ailleurs, nous savons depuis les travaux pionniers de Johansson que nous sommes sensibles au mouvement biologique [Johansson, 1973]. Nous sommes en effet capables de reconnaître les mouvements naturels du corps en les identifiant d’après des patrons ambulatoires. Johansson a démontré que visualiser des points lumineux attachés aux articulations d’un corps en déplacement est suffisant pour reconnaître la nature biologique d’un mouvement (voir le chapitre 12 du volume 1 du traité). Si un avatar ne respecte pas le mouvement biologique, quelles conséquences cela pourra-t-il avoir ? Verrons nous émerger une perte de la spécificité du mouvement biologique à force de devoir «coller» à un mouvement non biologique, ou au contraire un manque d’engagement des sujets dans les environnements virtuels ? Quand le sujet voit un avatar bouger dans l’environnement virtuel où il est immergé, accepte-t-il que le mouvement de l’avatar représente son propre mouvement (dans le cas où il est effectivement couplé à celui-ci via des capteurs) ou croit-il y voir le mouvement de quelqu’un d’autre ? Ces questions soulevées par l’utilisation d’un nouveau media relèvent de l’élucidation des mécanismes cognitivo-sensoriels de la déréalisation et de l’adaptation biologique. L’inflation du virtuel dans les pratiques humaines confronte le vivant à de nouvelles lois d’interaction avec son environnement. De la sorte de nouveaux mécanismes adaptatifs vont être sollicités.

5.2.5.2

La présence : paradigme de démembrement de la conscience

La manipulation expérimentale des entrées sensorielles en réalité virtuelle a permis d’étudier l’intégration multisensorielle dans de nombreuses études (intégration visuohaptique [Ernst e.a., 2002] ; intégration visuo-idiothétique [Warren e.a., 2001] ; intégration visuo-vestibulaire [Viaud-Delmon e.a., 1998]). Dans plusieurs de ces expérimentations, il a été rapporté que bien que soumis à des conflits sensoriels importants, les volontaires soumis à ces stimulations n’ont pas perçu l’incongruence de la situation [Ivanenko e.a., 1998], [Lambrey e.a., 2002]. Par exemple, lors d’études sur la recalibration de l’information vestibulaire au niveau perceptif, il a été constaté que celle-ci est intervenue sans prise de conscience du conflit. Pourtant, les sujets étaient soumis à des stimulations visuo-vestibulaires inhabituelles, puisqu’il existait une différence allant du simple au double entre les informations visuelles et vestibulaires. Les sujets visualisaient des rotations sur place de 90 degrés dans un visiocasque alors qu’ils tournaient physiquement de 180 degrés dans le monde réel [Viaud-Delmon e.a., 1999].

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

125

Ce phénomène amène deux types de remarques :

•

il est possible pour l’organisme d’effectuer une adaptation du type d’une recalibration sans que celle-ci soit accessible à la conscience ;

•

des expériences pourtant non dénuées d’effets secondaires peuvent néanmoins recueillir une adhésion totale des sujets à la situation virtuelle. Cette induction réussie de fausse croyance montre la capacité d’un sujet à s’échapper de la réalité.

Il a été proposé que le sentiment de présence influence le transfert d’un apprentissage effectué dans un monde virtuel vers le monde réel. Rappelons qu’en développant leur questionnaire mesurant le sentiment de présence dans l’environnement virtuel, Witmer et Singer [Witmer e.a., 1998] ont pu montrer que la présence était inversement liée à l’apparition de cinétose : plus le sentiment de présence dans le monde virtuel était important, moins le sujet immergé était malade. Ces résultats revêtent une importance particulière si on les rattache à ce qui a été dit plus haut à propos des conflits sensoriels. En effet, un sujet ne peut s’immerger vraiment dans un monde virtuel que s’il est capable de dépasser le rappel à la réalité du monde physique qui s’exprime au travers de la pérennisation du conflit sensoriel. Il est nécessaire pour lui d’oublier ou d’inhiber les informations sensorielles fournies par sa présence physique dans le monde réel, ce que peut-être ne parviennent pas à faire les sujets sensibles à la cinétose dans les mondes virtuels. Cependant, toutes les études ne s’accordent pas sur ce point. Une étude [Slater e.a., 1993] avait déjà mentionné qu’il pourrait y avoir une relation linéaire entre présence et cinétose. C’est également ce qui a été observé dans l’étude précédemment citée chez des patients anxieux [Viaud-Delmon e.a., 2005]. Dans ce cas particulier, il est possible qu’une importante présence dans le monde virtuel permette de s’abstraire de la réalité physiologique de la cinétose. On touche là à l’essence même du phénomène de «présence» ; il ne peut y avoir d’adhésion au monde virtuel sans abstraction du monde physique réel et donc sans inhibition des informations sensorielles qui nous rappellent son existence. On conçoit ainsi que ces opérations nécessaires d’abstraction du monde physique réel représentent une sollicitation particulière pour les sujets sensibles à la déréalisation.

5.2.5.3

La réalité virtuelle comme thème de recherche

La pratique sociale de plus en plus importante des techniques de réalité virtuelle représente un facteur pouvant exposer à des perturbations qui vont de dérives addictives aux troubles de déréalisation. L’immersion d’un sujet dans une scène virtuelle le conduit à fabriquer un nouveau cadre de référence distinct du monde réel. Cette déréalisation induite pose plusieurs types de problèmes. Notamment, il est légitime de se demander dans quelle mesure le sujet exposé à la réalité virtuelle est réellement capable de complètement dissocier deux cadres de référence, ou si au contraire les comportements suscités lors de l’immersion persistent lors de la réintroduction dans le monde réel. On peut se demander quelles sont les conséquences adaptatives de l’immersion, et les traces de cette adaptation qui resteront après l’exposition à la réalité virtuelle (mécanismes de l’adaptation au virtuel et séquelles du virtuel). Ainsi, d’outil expérimental et clinique, la réalité virtuelle est devenue aujourd’hui un objet de recherche à part entière.

126

Le traité de la réalité virtuelle

5.3 EXPLOITATION DE LA RÉALITÉ VIRTUELLE EN PSYCHOTHÉRAPIE Les études utilisant la réalité virtuelle dans un but psychothérapeutique se sont largement appuyées sur les postulats théoriques et méthodologiques des thérapies cognitives et comportementales (TCC) [Cottraux, 1994], basées sur les stratégies d’exposition. Les recherches menées depuis une trentaine d’années ont montré l’efficacité de ces thérapies dans le traitement des troubles anxieux, et en particulier des phobies. 5.3.1 PRINCIPES DES THÉRAPIES D’EXPOSITION

5.3.1.1

Les thérapies d’exposition traditionnelles

L’exposition du patient aux situations anxiogènes doit être progressive, prolongée et complète. Dans les thérapies cognitives et comportementales, elle se pratique suivant différents types exposés par Cottraux : • désensibilisation systématique : Le sujet relaxé suit une présentation hiérarchisée de stimuli imaginaires de plus en plus intenses. Il est invité à affronter dans la réalité les situations désensibilisées (ayant perdu leur caractère anxiogène) ; • désensibilisation in vivo : Le sujet relaxé affronte par étapes la situation redoutée en réalité ; • exposition graduée in vivo : Le sujet qui n’est pas relaxé affronte par étapes la situation redoutée en réalité ; • modeling de participation : Le thérapeute précède le sujet dans la situation réelle, il lui sert de modèle, puis le guide et le renforce dans son affrontement de la situation ; • implosion (flooding) : Le sujet est confronté en imagination à la situation anxiogène au niveau maximum d’intensité jusqu’à ce que son angoisse s’éteigne (trois quarts d’heure au moins) ; • immersion in vivo : Le sujet est immergé en réalité dans la situation anxiogène au niveau maximum d’intensité jusqu’à ce que son angoisse s’éteigne (trois quarts d’heure au moins).

Mais les obstacles aux techniques de désensibilisation sont nombreux : • impossibilité d’imaginer la scène anxiogène pour certains patients ou difficulté pour le thérapeute de savoir ce que le patient imagine ; • forte aversion du patient pour les expositions in vivo ; • contrôle difficile et/ou coût important des expositions in vivo ; • irrespect de l’intimité du patient.

5.3.1.2

Les thérapies d’exposition par réalité virtuelle

Les techniques de la réalité virtuelle peuvent en effet être utilisées pour surmonter certaines difficultés inhérentes au traitement traditionnel des troubles anxieux. Elles permettent d’une part l’exposition, sous contrôle, du patient à des stimuli à la fois

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

127

Figure 5.1 : Le patient et son thérapeute complexes, dynamiques, interactifs en 3D, et d’autre part l’évaluation et le traitement des performances cognitives, comportementales et fonctionnelles du patient. Dans le cabinet du thérapeute, elles préservent l’intimité du patient et limitent son embarras [North e.a., 1998b], (Figure 5.1). Les premières expériences d’exposition par la réalité virtuelle ont vu le jour en 1992. Depuis, les études se sont multipliées, profitant des avancées de la technologie. La plupart se sont focalisées sur les troubles anxieux, mais les recherches concernant les désordres alimentaires, les troubles sexuels, les addictions, le contrôle de la douleur se multiplient. Dans un premier temps et de façon générale, l’exposition sous réalité virtuelle (ERV) a été délivrée de la façon décrite ci après. Le patient est positionné devant un écran ou porte un visiocasque. Il navigue dans l’EV avec clavier, souris, ou manette. L’ERV est conduite comme toute autre forme d’exposition graduée. Après avoir été exposés aux stimuli anxiogènes, les patients mesurent leur anxiété vis-à-vis des situations proposées grâce à une échelle subjective d’inconfort (SUDS : Subjective Unit of Discomfort Scale ; 0-10 ou 0-100). Des niveaux supérieurs d’exposition leur sont proposés en fonction de ces scores. Le thérapeute commente et analyse comme dans l’exposition in vivo. Les patients sont informés qu’ils seront exposés aux situations anxiogènes de façon graduée. Dès que leur niveau d’anxiété dans une étape a chuté (SUDS relativement bas), ils sont encouragés à passer à l’étape suivante, un peu plus anxiogène. Et finalement les patients sont amenés à aborder le plus souvent possible les situations anxiogènes dans le monde réel. L’efficacité de l’ERV est liée à trois conditions : •

les patients doivent avoir la possibilité de naviguer et d’interagir dans les EVs ;

•

les stimuli délivrés dans l’EV doivent susciter des émotions, par exemple l’anxiété ;

•

les comportements appris et les changements dans les façons de penser doivent être généralisables aux situations réelles.

128

Le traité de la réalité virtuelle

Souvent l’ERV n’utilise que des techniques d’exposition et des encouragements, sans intervention cognitive ni relaxation. La plupart des études ne concernent que des études de cas [Krijn e.a., 2004b]. Mais des protocoles cliniques ont également vu le jour, permettant de standardiser les approches et d’appréhender les composantes cognitives et comportementales liées à ces troubles anxieux [Cottraux e.a., 2005, Riva e.a., 2003a, Roy e.a., 2003]. 5.3.2 LES PATHOLOGIES ABORDÉES

5.3.2.1

Les phobies

De nombreuses études de cas ont été réalisées et ont conclu à l’efficacité de l’ERV dans le traitement des phobies par la mise en évidence d’une amélioration significative des symptômes d’anxiété et d’évitement. Elles ont été suivies par des études contrôlées comparant selon les cas l’ERV à une liste d’attente, à un traitement de référence qui est la TTC, à l’exposition in vivo ou encore à l’exposition par imagination. Ces études concernent : •

•

• •

l’acrophobie, ou peur des hauteurs [Bouchard e.a., 2003], [Emmelkamp e.a., 2002], [Krijn e.a., 2004a], [North e.a., 1996], [Rothbaum e.a., 1995], [Choi e.a., 2001] ; l’aérophobie, ou la peur de voler en avion [Botella e.a., 2004b], [Maltby e.a., 2002], [Klein, 2000], [Muhlberger e.a., 2003], [Rothbaum e.a., 1996], [Rothbaum e.a., 2002], [North e.a., 1997a], [North e.a., 1994], [Wiederhold e.a., 1998], [Wiederhold e.a., 2002a] ; la peur de parler en public [Anderson e.a., 2000], [Botella e.a., 2000a], [Harris e.a., 2002], [Botella e.a., 2004a], [Lee e.a., 2002], [North e.a., 1998a], [Pertaub e.a., 2001], [Slater e.a., 2004], [Pertaub e.a., 2002] ; la phobie sociale [Anderson e.a., 2003], [Herbelin e.a., 2002], [James e.a., 2003], [Klinger e.a., 2005], [Klinger e.a., 2004b], [Roy e.a., 2003], [Slater e.a., 2004] ; le trouble panique et agoraphobie [Botella e.a., 2004c], [Vincelli e.a., 2003] ; l’arachnophobie ou peur des araignées [Carlin e.a., 1997], [Garcia-Palacios e.a., 2002] ; la claustrophobie [Botella e.a., 2000b] ; la phobie de la conduite [Wald e.a., 2003], [Walshe e.a., 2003].

Nous évoquerons la façon de traiter chaque type de phobie au travers d’un exemple représentatif, et nous décrirons la mise en place d’un protocole clinique dans le cas de la phobie sociale. L’ACROPHOBIE La plupart des recherches menées sur l’ERV ont concerné l’acrophobie, ou peur des hauteurs. Toutes les études proposent, en plus des stimuli audio et visuels, une forme de stimulus tactile matérialisé par l’appui sur une plate-forme ou sur une balustrade. Rothbaum et al. ont mené l’expérimentation décrite ci-après avec un patient consentant [Rothbaum e.a., 1995]. Ils lui ont tout d’abord demandé de classer une liste de

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

129

situations pouvant générer un vertige des hauteurs en fonction du degré de l’anxiété suscitée. Pendant la première session, le patient était familiarisé à la technologie des environnements virtuels grâce à plusieurs démonstrations. Puis, pendant les huit sessions suivantes, d’environ 15 minutes, un traitement individuel était conduit de façon standardisée. La première session commençait par le niveau le moins menaçant qui était au niveau du sol près d’un pont traversant un fleuve au milieu d’une ville simulée. Le patient évaluait l’anxiété et l’inconfort qu’il ressentait (échelle SUD = Subjective Unit of Disconfort) périodiquement, toutes les cinq minutes en répondant à des questionnaires préétablis. Le déroulement était totalement sous le contrôle du patient. Mais quand le score au SUD s’annulait, l’expérimentateur recommandait au patient de passer au niveau supérieur. Après un mois de traitement on a demandé au patient de remplir une échelle en dix points évaluant le degré de changement de ses symptômes depuis le test précédant son traitement. Les résultats ont indiqué une accoutumance significative du patient en ce qui concerne à la fois les symptômes d’anxiété et l’évitement des situations génératrices d’anxiété. Une étude récente a comparé deux situations d’ERV, différant par le degré d’immersion (CAVE versus visiocasque) [Krijn e.a., 2004a]. Les résultats n’ont montré aucune différence d’efficacité entre les deux situations même si la sensation de présence était bien sûr supérieure dans le CAVE. L’efficacité de l’ERV dans le traitement de l’acrophobie est désormais bien établie. Par ailleurs, Bouchard et al. ont émis des recommandations sur la façon de mener des études sur l’efficacité de l’exposition par réalité virtuelle : importance des mesures physiologiques pour soutenir les résultats aux questionnaires, ainsi que d’une mesure objective de la peur des hauteurs ; inclusion de situations témoin afin d’évaluer l’impact réel du traitement basé sur la réalité virtuelle [Bouchard e.a., 2003]. L’AEROPHOBIE Dans le traitement de l’aérophobie ou peur de voler, les avantages de l’ERV sur les thérapies d’exposition standard sont énormes : coût moindre, possibilité de répéter sans fin dans le bureau du thérapeute, possibilité de placer le sujet dans différentes conditions météorologiques de vol ou à divers moments du vol. Voici l’étude menée par North et al. auprès d’un homme de 42 ans, dont la peur de l’avion gênait ses activités professionnelles [North e.a., 1997a]. Accompagné de son thérapeute, le patient était placé dans le cockpit d’un simulateur de vol et volait pendant cinq séances au-dessus d’une ville virtuelle, Atlanta, d’une rivière et d’un lac. Un système de vibrations était placé sous le cockpit physique pour ajouter de l’augmentation tactile aux stimuli visuels et auditifs. Le patient évaluait l’anxiété ressentie au moyen de l’échelle SUD, graduée de 0 ou calme complet à 10 ou panique complète. Dans la thérapie virtuelle, plus le sujet était exposé à des situations stressantes, plus son anxiété augmentait, mais elle diminuait quand le temps d’exposition augmentait. Par ailleurs, le sujet ressentait des symptômes physiques et émotionnels liés à son anxiété, comme les mains moites, la perte de l’équilibre, etc. La thérapie virtuelle a permis à ce sujet de réduire ses symptômes liés à l’anxiété et d’affronter cette situation phobogène in vivo. Le patient est désormais capable de voler dans un confort raisonnable. Les études menées par la suite ont mis en évidence la réduction de la conductance de la peau après une séance de 20 minutes pendant laquelle le sujet était exposé à des vols virtuels [Wiederhold e.a., 1998] ; les effets durables d’un traitement à

130

Le traité de la réalité virtuelle

cours terme [Rothbaum e.a., 2002, Rothbaum e.a., 2000] ; la supériorité en efficacité de l’ERV sur l’exposition par imagination ainsi que l’apport du feed-back physiologique [Wiederhold e.a., 2002b] ; l’efficacité à long terme de l’ERV [Botella e.a., 2004b]. LA PEUR DE PARLER EN PUBLIC Un sujet souffrant de la peur de parler en public est saisi d’une peur persistante et intense dès lors qu’il est en contact avec des personnes non familières qui le regardent et peuvent s’adresser à lui. Dans leur première étude contrôlée, North et al. ont exposé des sujets à un EV composé d’un auditorium pouvant accueillir une centaine de personnes et doté d’un podium en bois [North e.a., 1998a]. Un haut-parleur était branché pendant les séances, permettant aux sujets d’entendre l’écho de leur voix. Le traitement consistait en cinq séances hebdomadaires, de 10 à 15 minutes chacune : le patient debout derrière le podium devait parler face à l’auditoire. Au cours de la séance, le thérapeute avait la possibilité de faire varier l’attitude de l’audience, en faisant alterner des séquences vidéo préenregistrées. Les auteurs relatent que les patients ont expérimenté diverses manifestations physiques et émotionnelles, semblables à celles ressenties in vivo. Cette étude a montré que la thérapie par réalité virtuelle permettait de réduire l’anxiété des patients face à un public. De nombreux EVs ont été développés pour le traitement de la peur de parler en public, certains envisagent l’utilisation de la télépsychologie [Botella e.a., 2000a], [Botella e.a., 2004a], d’autres sont basés sur le rendu d’images animées [Lee e.a., 2002]. L’influence de l’attitude de l’audience virtuelle à laquelle le sujet est confronté a également été examinée [Pertaub e.a., 2001, Pertaub e.a., 2002, Slater e.a., 2000]. Dans la dernière étude citée, 40 participants devaient faire une présentation devant une audience constituée de huit humains virtuels, l’audience pouvant être neutre, positive ou négative. Les résultats ont montré que les trois conditions d’exposition pouvaient générer de l’anxiété chez les participants. L’exposition à des audiences constituées de séquences vidéo a également été envisagée [Anderson e.a., 2000, Hodges e.a., 2001]. Les recherches concernant l’ERV pour traiter la peur de parler en public doivent être poursuivies même si les premiers résultats sont prometteurs. LA PHOBIE SOCIALE La phobie sociale, encore appelée anxiété sociale, consiste en une crainte persistante d’une ou de plusieurs situations dans lesquelles le sujet est exposé à une éventuelle observation attentive d’autrui et dans lesquelles il craint d’agir de façon humiliante ou embarrassante [APA, 1994], [Légeron e.a., 1998]. Il s’agit d’une véritable peur du jugement et de l’évaluation de la part de l’autre. Cette pathologie s’accompagne souvent d’un handicap social important et expose le sujet à des complications graves (dépression, suicide, conduites alcooliques) [André e.a., 1995]. Les études épidémiologiques récentes indiquent que la phobie sociale touche entre 2 et 4% de la population adulte, faisant de cette maladie l’une des pathologies mentales les plus fréquentes [André e.a., 2000]. Une étude a été menée en France dans le cadre du projet européen VEPSY avec pour objectif d’évaluer l’efficacité d’une thérapie par réalité virtuelle (TRV), comparée à un traitement psychologique validé (TCC : thérapie comportementale et cognitive de groupe) [Klinger e.a., 2002]. Sa description va nous permettre d’évoquer la mise en place d’un protocole clinique et d’une étude contrôlée. Le protocole clinique qui a été

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

131

Figure 5.2 : Traitement de l’anxiété de performance [Klinger, 2002]

défini précise la population cible, l’architecture de l’étude, les outils d’évaluation. Les critères d’inclusion et de non inclusion sont très restrictifs [Nugues e.a., 2001]. Sont exclus, par exemple, les patients souffrant de dépression, sous traitement médicamenteux non stabilisé. Le score obtenu à l’échelle d’anxiété sociale de Liebowitz est retenu comme le critère principal pour l’analyse statistique des résultats. Cette échelle est un autoquestionnaire, rempli par le patient, détaillé en 24 items, auquel on recourt pour évaluer des symptômes de phobie sociale. On cote la peur ou l’anxiété des patients de 1 (aucune) à 4 (sévère) et leur évitement de 1 (jamais ou 0%) à 4 (couramment ou 68 à 100 %) dans 24 situations différentes. Onze de ces situations représentent la peur et l’anxiété sociale, tandis que les treize autres représentent la peur et l’anxiété de performance. De nombreuses autres échelles permettent l’évaluation psychométrique des patients, parmi lesquelles les échelles HAD (Hospital Anxiety Depression scale), BDI-13 (short Beck Depression Inventory) et RAS (Rathus Assertiveness Schedule) [Klinger e.a., 2003]. Quatre environnements virtuels ont été créés correspondant aux quatre types d’anxiété sociale que sont les anxiétés d’affirmation (exprimer son désaccord, donner son avis, refuser), d’intimité (être présenté à des personnes inconnues, être invité à une soirée où l’on ne connaît personne), d’observation (effectuer une tâche, manger, boire, marcher sous le regard des autres) et de performance (cours, conférences, prise de parole lors de réunions) [Holt e.a., 1992]. Le premier environnement, situé dans un ascenseur, un hall d’immeuble et un magasin de chaussures, permet de confronter le patient à l’anxiété d’affirmation, et de lui apprendre à défendre ses intérêts, son point de vue, à se faire respecter. Le second, situé dans un appartement, a pour but d’exposer le patient à l’anxiété d’intimité, et de lui apprendre à avoir des contacts informels avec diverses personnes, à tenir des conversations banales. Le troisième, situé sur la terrasse d’un café, permet de confronter le patient à l’anxiété d’observation, et de lui apprendre à être et agir sous le regard des autres. Enfin, le quatrième, situé dans une salle de réunion, vise à exposer le patient à l’anxiété de performance, et à lui apprendre à prendre la parole devant un groupe, (Figure 5.1).

132

Le traité de la réalité virtuelle

Dans chacun des environnements, le patient se trouve confronté à des personnages virtuels, représentés par des 3D Sprites : ce sont de simples surfaces planes texturées, utilisées pour simuler des objets 3D, qui peuvent être contraintes sur un ou plusieurs axes à toujours regarder la caméra, le patient en l’occurrence. Pour créer ces 3D Sprites, des individus ont été filmés avec une caméra vidéo digitale, dans leur vie de tous les jours. Ces personnages posent des questions au patient, lui font des remarques, ou lui disent des banalités. Des phrases, définies par l’équipe clinique, ont donc été enregistrées, dans des situations réelles. Le patient expérimente le monde par la caméra qui le représente. La représentation du patient par un avatar aurait perturbé l’identification du patient ainsi que son implication. Les environnements ont été créés conformément aux contraintes définies dans le projet Vepsy, contraintes qui seront explicitées plus loin. Les douze séances de thérapie virtuelle se déroulent en présence d’un thérapeute comportementaliste, selon un scénario très précis, défini dans le protocole, mais aussi selon trois modalités : «évaluation», «spontané» et «guidage». Ce sont des séances individuelles, durant environ 45 minutes, le temps d’exposition n’excédant pas vingt minutes. Entre chaque séance hebdomadaire, le patient doit réaliser des exercices de mise en application des principes développés et expérimentés lors des séances, à savoir : (rq pour moi, je ferai une liste sous latex) Exposition progressive, répétée et prolongée à des situations sociales habituellement évitées ; Développement de comportements adaptés lors des situations sociales affrontées ; Travail cognitif (repérage des cognitions inadaptées présentes en situation sociale et modification des ces cognitions). Les résultats de cette étude menée auprès de 36 patients montrent que la TRV est aussi efficace que la TCC de groupe pour réduire les symptômes clé de la phobie sociale et pour améliorer le fonctionnement aussi bien social que global des patients [Klinger e.a., 2005]. Malgré ces résultats, le fait que des humains virtuels créés par l’ordinateur puissent être efficaces peut paraître surprenant. D’autres études présentent des résultats allant dans le même sens, indiquant que les individus exposés au monde virtuel peuvent réagir avec émotion à des humains virtuels, même si ceux ci ne sont des représentations d’humains peu réalistes. Il a déjà été démontré que l’anxiété de participants non phobiques pouvait augmenter lorsqu’ils doivent interagir avec des humains virtuels se désintéressant de la présence des participants [James e.a., 2003] ou s’ils doivent parler dans une pièce ne contenant que des paires d’yeux les regardant [Herbelin e.a., 2002]. Il en est de même lorsque des participants phobiques doivent faire un discours devant un groupe d’humains virtuels au comportement neutre [Slater e.a., 2004]. LE TROUBLE PANIQUE ET AGORAPHOBIE L’agoraphobie est la peur de se trouver dans des endroits ou des situations d’où il est difficile ou embarrassant de s’échapper [North e.a., 1996]. Les attaques de panique se manifestent par des épisodes soudains d’anxiété ou d’inconfort intense. Elles s’accompagnent de dyspnée , de vertiges, de palpitations, de la peur de mourir ou de perdre le contrôle. Pour les besoins de la thérapie par ERV, Botella et al. ont créé cinq environnements [Botella e.a., 2004c] : une chambre, un bus, un métro, un centre commercial et un tunnel. Plusieurs sensations corporelles sont simulées telles que les palpitations cardiaques, l’essoufflement, la vision trouble. Le simple fait de présenter des images brouillées ou des sons de battements de cIJur fait travailler l’imagination du patient. Il s’agit de stimuli incitant le patient à se replonger dans les symptômes qu’il peut connaître lors d’attaques de panique. Différents modulateurs peuvent graduer la diffi-

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

133

culté de la situation, comme le nombre de personnes, des conversations inquiétantes, la longueur des trajets, etc. Les résultats de cette étude, menée dans le cadre du projet Vepsy, confortent l’efficacité de l’exposition virtuelle dans le traitement des troubles panique et de l’agoraphobie. L’ARACHNOPHOBIE L’ERV à des environnements virtuels contenant des araignées a été menée de manière classique, c’est à dire de façon graduée, répétée et prolongée. Sa particularité a été d’être couplée à de l’augmentation tactile produite par un objet «chevelu» qui donnait au patient la sensation de tenir une araignée, alors qu’il voyait une araignée dans le visiocasque [Carlin e.a., 1997]. La fin du traitement, dans l’étude menée par GarciaPalacios et al. était déterminée par la capacité du sujet à tenir cette grosse araignée virtuelle avec feed-back tactile tout en rapportant des niveaux bas d’anxiété, ce qui a nécessité en moyenne quatre séances d’ERV [Garcia-Palacios e.a., 2002]. Cette étude conclut à l’efficacité de l’ERV dans le traitement de l’arachnophobie. LA CLAUSTROPHOBIE Placé dans un EV dont il peut faire varier les dimensions, le patient s’entraîne à supporter le fait de se situer dans des pièces aux murs de plus en plus rapprochés [Botella e.a., 1998]. Il peut naviguer dans les différents lieux de l’EV, quitter ceux dans lesquels il sent la claustrophobie s’installer pour y revenir au fur et à mesure de son habituation. Les études menées montrent l’efficacité d’un traitement de huit séances d’ERV, avec le maintien à trois mois du déclin de l’évitement [Botella e.a., 2000b]. Mais des études contrôlées sont nécessaires pour évaluer l’efficacité de l’ERV dans le traitement de la claustrophobie. LA PHOBIE DE LA CONDUITE La peur de conduire survient chez 18-38% des personnes ayant été victimes d’un accident. La première expérimentation publiée consistait en une étude de cas [Wald e.a., 2000]. Une femme souffrant de la phobie de conduire a été traitée en trois séances d’ERV de 60 minutes. Chaque étape de conduite durait 1 à 5 minutes et était répétée jusqu’à atténuation de l’anxiété. L’équipement consistait en un visiocasque, un volant et des pédales d’accélération et de frein (augmentation tactile). Quatre EVs furent utilisés : une zone résidentielle rurale, une voie rapide avec un pont, une zone résidentielle avec une école et une voie rapide d’insertion. La thérapie a permis le déclin de l’évitement et de l’anxiété, et le maintien à 7 mois de ce déclin a été mesuré.

5.3.2.2

Les autres troubles anxieux

STRESS POST TRAUMATIQUES La réalité virtuelle offre des perspectives intéressantes dans le traitement comportemental du stress post traumatique (SPT) (anxiété, hallucinations, insomnies, etc) dont souffrent par exemple les vétérans de la guerre du Vietnam. Les thérapies existantes n’offraient aucun bénéfice chez certains patients en raison de leur difficulté à imaginer, visualiser, décrire et verbaliser les scènes source d’angoisse. Les réactions des patients

134

Le traité de la réalité virtuelle

ont donc été enregistrées alors qu’ils expérimentaient un environnement virtuel simulant les environs d’une scène de guerre [Rothbaum e.a., 1999]. Les résultats montrent que les patients établissent un rapport entre le monde virtuel et les souvenirs de leurs expériences dans la guerre du Vietnam. Le but des exercices était de les rendre plus réceptifs à leur famille. Cette étude fut suivie par un essai clinique ouvert concernant dix patients souffrant de SPT toujours à la suite de la guerre du Vietnam. Le traitement combinait ERV, techniques d’imagination et relaxation. Pendant 8 à 16 séances, ils ont été exposés à deux environnements : un hélicoptère virtuel volant sur un Vietnam virtuel et une clairière entourée par la jungle [Rothbaum e.a., 2001]. Les résultats obtenus après un suivi de six mois ont confirmé une certaine efficacité de la réalité virtuelle dans le traitement du SPT chez les vétérans du Vietnam. Mais ces résultats restent limités, les traumatismes des soldats étant enfouis depuis trop longtemps. En effet l’objectif de l’ERV est de débloquer la mémoire et les émotions négatives stockées, en permettant au patient de verbaliser, de retraiter l’information et ses émotions. La rapidité avec laquelle la thérapie par réalité virtuelle est proposée semble donc jouer un rôle. Cette approche a été reprise avec les survivants ou témoins de l’attentat du World Trade Center qui développent également des troubles post traumatiques. Une étude de cas relate l’engagement émotionnel et le traitement d’une survivante [Difede e.a., 2002]. Pendant six séances d’une heure d’exposition virtuelle, la patiente a été graduellement et systématiquement exposée à des avions virtuels volant sur le World Trade Center, des avions s’écrasant avec des explosions, des sons, des personnes sautant des immeubles. L’exposition virtuelle graduée a permis de réduire les symptômes aigus de SPT. Et maintenant les thérapeutes utilisent l’ERV pour préparer ou soigner les soldats de la guerre en Irak. TROUBLES OBSESSIONNELS COMPULSIFS Les obsessions les plus fréquentes sont la peur de la contamination, la peur de faire des erreurs, la peur de blesser l’autre. Les compulsions courantes incluent le nettoyage et le lavage, le rangement, la collecte, le fait de compter et de répéter. Les médicaments et les thérapies comportementales sont les remèdes usuels. La réalité virtuelle peut donner au patient la possibilité d’aller au bout de sa compulsion et de chercher des comportements substitutifs [Clark e.a., 1998, North e.a., 1997b].

5.3.2.3

Les troubles des conduites alimentaires

Les techniques de la réalité virtuelle sont également utilisées pour corriger l’image du corps en cas de troubles alimentaires (boulimie, anorexie, obésité). VEBIM (The Virtual Environment for Body Image Modification) est un système développé en Italie pour traiter les troubles de l’image du corps présents en cas de désordre alimentaire [Riva, 1997]. Il vise à définir l’image que le sujet a de son corps afin de la modifier. L’environnement virtuel est constitué d’un ensemble de zones dans lesquelles le sujet évolue tout en exécutant des tâches. Dans certaines zones, le sujet a la possibilité de «manger», dans d’autres le sujet doit se «peser» pour évaluer l’effet de ce qu’il a consommé. Ailleurs le sujet peut voir son propre corps numérisé dans l’environnement virtuel et le déformer pour créer son image de corps idéal. L’écart entre les deux images représente l’insatisfaction du sujet à l’égard de son corps. A la fin, le sujet doit choisir la porte qui correspond à son corps réel pour quitter la zone finale [Riva e.a., 2001, Riva e.a., 2002]. Les résultats des études en cours montrent que

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

135

le traitement avec réalité virtuelle est plus efficace que le traitement traditionnel dans l’amélioration de l’état psychologique de l’ensemble des patientes, en particulier au niveau de la satisfaction corporelle, de l’auto efficacité et de la motivation au changement [Riva e.a., 2003b]. Ces travaux ont été poursuivis lors du projet européen VEPSY, ajoutant la comparaison à un groupe contrôle [Riva e.a., 2004]. La publication des résultats des essais cliniques est attendue. Un groupe de recherche espagnol a de son côté étudié les réactions émotionnelles (anxiété, dépression) de patientes souffrant de désordres alimentaires lors de leur exposition à des EVs [Gutierrez-Maldonado e.a., 2005]. Trente femmes ont été ainsi exposées à six conditions expérimentales. Dans deux premiers EVs (cuisine et restaurant) il leur était présenté de la nourriture basse ou haute calorie. Et dans deux autres EVs (salon, piscine) il n’y avait pas de nourriture. Dans le restaurant et à la piscine des personnages virtuels étaient présents ; dans la cuisine et dans le salon il n’y avait pas de témoins. Une mesure des états d’anxiété et de dépression était faite après chaque exposition. Les résultats montrent que les EVs dans lesquels les patientes sont contraintes d’ingérer de la nourriture haute calorie provoquent les plus hauts niveaux d ’anxiété et de dépression, le facteur social n’ayant eu un impact émotionnel que dans l’EV piscine. Les auteurs ont par ailleurs développé le logiciel BIAS (Body Image Assessment Software) qui permet d’évaluer les distorsions de l’image corporelle ainsi que l’insatisfaction par rapport à cette image. Placée devant une image de corps féminin, visualisée sur écran et proportionnelle à sa taille, la patiente peut en modifier différents composants dans des vues de face et de côté. L’objectif est que la patiente exprime d’une part l’image qu’elle a de son corps et d’autre part l’image idéale du corps qu’elle aimerait avoir. L’intérêt des différents EVs décrits ci-dessus dans les troubles alimentaires réside dans la possibilité de faire prendre conscience aux patientes de l’évolution de leur corps et donc de maintenir leurs efforts et leur traitement.

5.3.2.4

Les troubles sexuels masculins

L’utilisation de la réalité virtuelle dans le traitement de troubles sexuels masculins, tels que l’impuissance et l’éjaculation précoce, est envisagée depuis une dizaine d’années [Optale, 1993]. Ces deux troubles induisent une perte de l’estime de soi et peuvent conduire le patient vers la dépression. La thérapie développée est répartie sur douze séances [Optale e.a., 1998]. Elle mêle des séances acoustiques, une séance de psychothérapie et des séances de réalité virtuelle, et se conclut par une discussion finale. L’environnement virtuel est constitué de différents mondes qui reproduisent les expériences narrées dans les séances acoustiques : ré-expérience de l’enfance, participation à un tournoi et marche le long d’un chemin dans une forêt. On y trouve des routes et des rues, avec des endroits de référence tels que des immeubles ou des arbres. Le sujet peut aussi activer de petits films, durant 10 à 20 secondes, toujours en relation avec l’ontogenèse de l’identité sexuelle masculine. Dans l’expérience virtuelle, le patient suit des chemins qui accélèrent un processus psychodynamique qui élude les défenses cognitives et stimule directement le subconscient, tout étant en relation avec son expérience dans la sphère sexuelle. Les obstacles qui mènent au dysfonctionnement sexuel sont mis en évidence. Comme le patient prend

136

Le traité de la réalité virtuelle

conscience que les causes de ce dysfonctionnement peuvent être modifiées, guidé par le thérapeute, il acquiert des moyens supplémentaires pour prendre part au processus de guérison. Par ailleurs, les résultats d’études en imagerie cérébrale fonctionnelle, pratiquées avant et après la thérapie, conduisent les auteurs à affirmer qu’il est ainsi possible d’obtenir des changements dans l’activité métabolique de régions spécifiques du cerveau impliquées dans les mécanismes de l’érection [Optale e.a., 2000]. Ces travaux ont été poursuivis dans le cadre du projet VEPSY [Optale e.a., 2004].

5.3.2.5

L’autisme

Un système basé sur la réalité virtuelle a été développé pour l’éducation des enfants autistes [Strickland, 1997, Strickland e.a., 1996]. Son objectif est de pallier cette incapacité de généralisation à partir de différentes expériences, qui est une des caractéristiques des enfants autistes. Un environnement virtuel simple, constitué d’une rue, d’une auto, de quelques bâtiments, est soumis à des changements mineurs, tels que la couleur de l’auto ou la forme d’un bâtiment. L’enfant doit reconnaître un objet malgré ses transformations, puis se diriger vers lui et s’arrêter. Un des objectifs est de donner à l’enfant des comportements de base pour traverser une rue. Un autre environnement représente une cuisine virtuelle dans laquelle les enfants apprennent à reconnaître et utiliser divers objets, tels que fourchette, tasse, etc. Après entraînement les enfants furent capables d’utiliser les objets dans le monde réel, parfois pour la première fois. Les avantages de la réalité virtuelle chez les enfants autistes sont nombreux : sécurité des expériences, contrôle fin de l’environnement, recours aux sens dominants des enfants autistes (vision, audition) et surtout non nécessité d’engagement relationnel de l’enfant avec un tiers pendant l’expérience.

5.3.2.6

Les addictions

Dans le domaine des addictions, le traitement par exposition aux stimuli, relatifs au tabac ou à la drogue, a pour objectif de réduire la réactivité aux stimuli par extinction. Les études, menées pour évaluer l’efficacité des systèmes de réalité virtuelle comparés aux méthodes classiques d’exposition à des images, concluent que la réalité virtuelle éveille plus de symptômes d’envie subjectifs et physiologiques que ces méthodes classiques [Kuntze e.a., 2001, Lee e.a., 2003b]. La différence d’activation du cerveau entre l’exposition à un environnement virtuel induisant le désir de fumer et l’exposition à des images animées a été explicitée au moyen de l’imagerie fonctionnelle par résonance magnétique (IRMf) [Lee e.a., 2004], les signaux évocateurs de tabac suscitant l’envie de fumer chez des fumeurs [Baumann, 2004]. Un programme de réalité virtuelle pour les addictions incorpore des environnements neutres, inanimés et animés, qui utilisent des images vidéo réalistes et permettent aux participants d’interagir avec des personnes au lieu de le faire avec des avatars. Une application menée dans le cadre du tabagisme a montré la réactivité des fumeurs aux signaux présents [Bordnick e.a., 2004]. Ce même groupe de chercheurs mène également des travaux sur l’ERV dans l’étude de la dépendance à la drogue [Graap, 2004].

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

5.3.2.7

137

Le projet VEPSY

Le projet européen Vepsy Updated, «Telemedecine and Portable Virtual Environments in Clinival Psychology» (IST-2000-25323) a concerné douze groupes de recherche provenant de trois pays européens : l’Italie, l’Espagne et la France (www.vepsy.com ). Son principal objectif était de prouver la viabilité technique et clinique de l’utilisation de systèmes de réalité virtuelle portables et partagés en psychologie clinique, les troubles sélectionnés étant l’anxiété (phobie sociale et troubles panique), l’obésité et les troubles alimentaires, et enfin les troubles sexuels masculins [Riva, 2001b]. Pour atteindre cet objectif, les partenaires du projet Vepsy ont : • créé et développé quatre modules cliniques utilisant la réalité virtuelle pour les quatre troubles envisagés. Pour en assurer l’utilisation la plus large, ces modules devaient à la fois être des outils de télémédecine partagés utilisables grâce à l’Internet, mais aussi des outils portables, basés sur de simples PC. Ce choix leur assurait de moindres coûts, une grande accessibilité, une architecture ouverte ainsi qu’une possibilité d’évolution et d’amélioration. Tous les environnements devaient être développés avec la même plate-forme de développement française, Virtools (www.virtools.com) ; • défini de nouveaux protocoles de traitement pour l’utilisation des modules cliniques dans l’évaluation et la thérapie ; • testé l’efficacité des modules grâce à des essais cliniques ; • disséminé les résultats obtenus vers des audiences élargies, à la fois auprès des cliniciens et auprès des utilisateurs potentiels. Ce projet européen d’une durée de trente mois s’est terminé fin juin 2003 ; les résultats ont été publiés dans le Volume 99 de Studies in Health Technology and Informatics [Klinger e.a., 2004b]. Ce projet a été récompensé par une mention honorable aux eEurope Awards for eHealth 2004 (http ://www.cybertherapy.info). 5.4

DES TECHNIQUES DE DISTRACTION

Des recherches récentes ont suggéré que l’immersion dans un environnement virtuel pouvait jouer le rôle d’un analgésique non pharmacologique dans le cas de douleurs sévères. Les travaux ont tout d’abord été menés auprès des grands brûlés qui sont souvent découragés par la douleur lors de leurs exercices de motricité [Hoffman e.a., 2000b], [Hoffman e.a., 2001b]. Ces auteurs ont par ailleurs montré que le pouvoir distracteur de l’ERV était supérieur à celui de l’interaction avec une console de jeu vidéo [Hoffman e.a., 2000a]. Les patients brûlés vivent également très douloureusement les soins aux brûlures et le changement des bandages. Une nouvelle situation d’exposition a été envisagée. Le patient est immergé dans un environnement virtuel suggérant la neige, la glace pendant que lui sont prodigués des soins à ses blessures. Ce traitement permet de réduire les douleurs sensorielles et affectives du patient et de lui accorder un répit dans ses pensées concentrées sur la douleur. La réalité virtuelle agirait donc comme un distracteur de l’attention [Hoffman e.a., 2004], effet montré également dans le cas de soins lors de douleurs dentaires [Hoffman e.a., 2001a]. Les patients souffrant de cancer et subissant une chimiothérapie ressentent des symptômes de détresse et ont souvent des difficultés à adhérer au programme de soins prescrit. Des études pilote ont envisagé l’utilisation de la réalité virtuelle pour les distraire

138

Le traité de la réalité virtuelle

lors de leurs séances de chimiothérapie [Schneider e.a., 2004, Schneider e.a., 2000] ou différentes conditions de traitement invasif [Gershon e.a., 2003]. De nombreux autres exemples d’application de modulation de la douleur ont été envisagés : Douleurs pendant les soins aux ulcères aux jambes [Tse e.a., 2003] ; Douleurs durant la kinésithérapie post chirurgicale [Steele e.a., 2003] Détourner l’attention du patient de sa souffrance est donc l’un des objectifs de toutes ces applications des technologies de la réalité virtuelle.

5.5 EXPLOITATION DE LA RÉALITÉ VIRTUELLE EN NEUROPSYCHOLOGIE La neuropsychologie, branche de la spécialité psychologie, est «la discipline qui traite des fonctions mentales supérieures dans leur rapport avec les structures cérébrales» [Hecaen e.a., 1983]. L’utilisation de la réalité virtuelle dans les applications neuropsychologiques peut servir trois objectifs majeurs : l’étude scientifique des mécanismes cognitifs (mémoire, attention, planification, capacités visuospatiales), l’évaluation neuropsychologique et la réhabilitation (cognitive, motrice) [Kizony e.a., 2002].

5.5.1 L’ÉVALUATION EN NEUROPSYCHOLOGIE GRÂCE À LA RV

Une évaluation neuropsychologique efficace peut servir de nombreux objectifs. Cantonnée à ses débuts dans un rôle de diagnostic, la neuropsychologie s’est attachée, dans les années 1980, à la description des troubles par rapport à des modèles théoriques (Hécaen et Lanteri-Laura, 1983). Puis dans les années 1990, son objectif a été également d’apprécier le retentissement fonctionnel de ces troubles dans la vie quotidienne, point tout à fait fondamental pour le clinicien. Certaines épreuves ont tenté d’évaluer des troubles cognitifs en se basant sur un modèle théorique, comme par exemple le test des scripts [Grafman, 1995]. Cependant la spécification des opérations requises pour effectuer une tâche reste encore difficile. Une prise en charge adaptée d’un patient passe par la précision de la nature et de l’intensité de ses déficits et de leurs retentissements fonctionnels. Certains auteurs [Grafman, 1995, Shallice e.a., 1991] proposent de nouveaux outils d’évaluation ayant pour but d’observer le patient dans des situations proches de la vie quotidienne. Malheureusement la plupart de ces tests sont non réalisables en routine. Ces procédures ont par ailleurs échoué dans l’évaluation de l’impact précis des stimuli, de l’effet du changement dans leur présentation ou contenu. En effet, elles n’analysent pas en détail les réponses caractéristiques, ce qui pourrait justement être important dans la prédiction des performances dans la vie quotidienne. Les outils traditionnels présentent donc des limites : manque de naturel, de spécificité, de validité écologique ; influence de l’impact de l’examinateur, des conditions de test ; manque de fiabilité et de validité des tests par rapport à l’activité du cerveau. Ainsi que nous l’avons vu, avec ses atouts, la réalité virtuelle possède le potentiel d’aborder et de résoudre la majorité des demandes formulées ci-dessus (Rizzo et al., 2004b).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

139

5.5.2 LES APPLICATIONS RELATIVES AUX FONCTIONS COGNITIVES

Des applications utilisant les technologies de la réalité virtuelle ont été développées pour évaluer, puis réhabiliter les fonctions cognitives comme l’attention, les fonctions exécutives et la mémoire, mais aussi pour évaluer et entraîner les patients dans des activités de la vie quotidienne (AVQs) ou pour la réhabilitation motrice. Le domaine clinique est vaste, les applications sont donc très nombreuses et ne seront en général qu’évoquées ; nous ne détaillerons qu’un exemple dans chaque catégorie.

5.5.2.1

Les processus attentionnels

Les déficits d’attention chez les enfants hyperactifs (ADHD) ont ainsi pu être évalués dans une classe virtuelle [Rizzo e.a., 2002, Rizzo e.a., 2004]. Le scénario consiste en une salle de classe rectangulaire avec des rangées de bureaux, des bancs, le bureau de l’enseignant avec un grand tableau mural, des élèves, un instituteur ou une institutrice, une grande fenêtre donnant sur l’extérieur avec la rue et des immeubles, deux portes dans la classe par lesquelles des personnes vont aller et venir. Alors qu’il est demandé à l’élève de se concentrer sur une tâche adaptée à son âge, des éléments perturbateurs, dans la classe ou à l’extérieur, vont venir le distraire : bruit ambiant de salle de classe, mouvements des élèves, activités se produisant à l’extérieur, etc. L’enfant, porteur d’un visiocasque, est assis à un bureau virtuel au sein de la classe, et l’environnement peut varier en fonction de certains facteurs tels que la position de l’enfant, le nombre d’élèves, le sexe de l’enseignant. L’attention à la tâche peut être mesurée en termes de performance (temps de réaction) par rapport à une variété de défis attentionnels qui sont ajustés selon l’âge de l’enfant, ou le niveau escompté de performance. Les diverses composantes de l’attention peuvent être ainsi abordées : • attention sélective : il est par exemple demandé à l’enfant de presser une section colorée du bureau virtuel à la demande directe de l’enseignant ou chaque fois que l’enfant entend le nom de la couleur mentionnée par l’enseignant ; • attention soutenue : manipulation des exigences temporelles du test ; • attention divisée : l’enfant doit par exemple presser la section colorée seulement si l’enseignant évoque la couleur en fonction d’un animal (i.e., «le chien marron» et non pas «j’aime la couleur marron») et si seulement le mot «chien» est écrit sur le tableau. Des mesures comportementales peuvent être envisagées, mesures qui sont corrélées avec des composantes comme la distractibilité et/ou l’hyperactivité (i.e., mouvements de la tête, mouvements moteurs inhabituels) et les comportements impulsifs non liés à la tâche (i.e., le temps passé à jouer avec les items distracteurs du bureau). Ce système permet de diagnostiquer chez les enfants les symptômes de ADHD. D’autres scénarios (i.e., situations de travail, environnements d’habitation, etc.) utilisant la même logique et la même approche que le scénario précédent sont actuellement conceptualisés pour aborder ces questions avec d’autres groupes cliniques [Schultheis e.a., 2002]. Ces environnements seront également utilisés dans l’évaluation des troubles de la mémoire. L’attention divisée a également été évaluée dans des situations de conduite [Lengenfelder e.a., 2002]. La réalité virtuelle offre de nouvelles possibilités d’évaluation et de réhabilitation de la l’héminégligence visuelle (négligence perceptive et/ou motrice de l’hémi-espace

140

Le traité de la réalité virtuelle

contralatéral à la lésion) qui peut apparaître à la suite d’accidents vasculaires cérébraux. En effet, ses technologies permettent de traquer la position du patient, de suivre le regard du sujet [Kodgi e.a., 1999], d’essayer d’ancrer l’attention sur la région spatiale négligée [Myers e.a., 2000, Wann e.a., 1997].

5.5.2.2

Les fonctions exécutives

Les fonctions exécutives sont des processus qui permettent entre autres l’adaptation à des situations nouvelles ; elles comportent notamment l’inhibition, la flexibilité mentale et la planification qui intègre la formulation d’un but et l’anticipation. La réalité virtuelle permet de proposer des tâches complexes proches de celles de la vie de tous les jours, en prenant en considération le temps, la difficulté, l’intérêt et l’engagement émotionnel des sujets [Zhang e.a., 2001]. Les premiers EVs développés ont repris la problématique du Wisconsin Card Sorting Test (WCST), test destiné à évaluer le fonctionnement des lobes frontaux pendant lequel le sujet doit classer de longues séries de cartes en fonction de catégories (forme, couleur, nombre) gérées par l’examinateur [Elkind e.a., 2001, Mendozzi e.a., 1998, Pugnetti e.a., 1998a]. Puis dans un souci de validité écologique, des EVs représentant des situations de la vie quotidienne ont été créés : un magasin de fruits virtuel [Lo Priore e.a., 2003], un appartement [Zalla e.a., 2001], des supermarchés [Klinger e.a., 2004a, Lee e.a., 2003a, Marié e.a., 2003], une cuisine [Zhang e.a., 2001]. L’objectif de ces applications est de définir un outil d’évaluation des fonctions exécutives, ainsi le montre l’exemple décrit ci-après concernant l’évaluation de la planification des tâches chez des patients atteints de la maladie de Parkinson comparés à des sujets sains du même âge [Klinger e.a., 2004a, Marié e.a., 2003]. La planification est la capacité à organiser un comportement cognitif dans le temps et l’espace ; elle est nécessaire chaque fois qu’un but ne peut être atteint qu’au terme d’une succession d’étapes intermédiaires [Owen, 1997]. La planification apparaît dès les niveaux les plus précoces de traitement de l’information et reste activée jusqu’à l’achèvement complet de l’action. Elle intervient pour toutes les actions quotidiennes, qu’elles soient nouvelles ou routinières. Son évaluation et sa réhabilitation au moyen des méthodes psychométriques traditionnelles sont contestables [Marié, 2005], [Pugnetti e.a., 1995]. Les auteurs ont développé un paradigme similaire au «Test des commissions» [Martin, 1972] dans un supermarché virtuel [Klinger e.a., 2004a], [Marié e.a., 2003] : les patients remplissent une tâche (faire des courses suivant une liste imposée, payer et sortir) dans un supermarché virtuel de taille moyenne (Figure 5.3). Pendant leurs achats, effectués en cliquant avec la souris sur les objets recherchés, diverses variables sont enregistrées, comme les positions et les actions du patient, le temps écoulé. Ces variables sont reprises lors de l’analyse ultérieure afin de visualiser la trajectoire du patient et d’examiner divers paramètres comme la distance parcourue, le temps de la séance, les arrêts, etc. Une première étude a permis de comparer les performances de 13 malades parkinsoniens et de 11 sujets contrôle du même âge. Les premiers résultats montrent des différences significatives entre ces sujets notamment au niveau de la distance parcourue, du temps de la séance, du nombre d’arrêts. Des analyses plus approfondies de ces résultats sont en cours.

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

141

Figure 5.3 : La tâche dans le supermarché virtuel [Klinger and Marié, 2003]

5.5.2.3

La mémoire

Les incapacités résultant d’altérations de la mémoire concernent la désorientation (i.e., ne pas connaître le temps, ne pas reconnaître les personnes ou les lieux, se perdre), la désorganisation (i.e., oublier les rendez-vous, les intentions, les activités quotidiennes) et les actes répétitifs (i.e., répéter la même question, même action) [Brooks e.a., 2003]. La réalité virtuelle offre des possibilités de créer des approches visant de façon systématique les capacités de mémoire dans des EVs. Les efforts dans ce domaine sont particulièrement utiles du fait de l’inconsistance des méthodes traditionnelles dans la réhabilitation de la mémoire [Wilson, 1997]. L’étude de la mémoire prospective avec la réalité virtuelle a débuté à l’Université de East London (UEL) avec pour premier objectif la spécification des types de mémoire pouvant être mis en valeur lors de la réalisation d’une tâche de navigation, avec joystick et souris, dans une maison virtuelle de quatre pièces [Attree e.a., 1996, Rose e.a., 1996], et pour second objectif l’évaluation des déficits de mémoire chez des patients. Puis avec cet EV les auteurs ont exploré la mémoire explicite ouvrant une importante discussion sur la dichotomie Actif / Passif dans la mémorisation des objets, des événements et de l’espace [Andrews e.a., 1995, Pugnetti e.a., 1998b, Wilson e.a., 1997]. L’étude de la mémoire spatiale a été envisagée avec le développement d’EVs créés sur le modèle du Morris Water Task [Morris, 1981]. Dans la tâche virtuelle, les sujets naviguent dans une enceinte à la recherche d’une plateforme cachée, en se dirigeant grâce à des repères visuels mémorisés [Astur e.a., 2002, Moffat e.a., 2002, Sandstrom e.a., 1998, Skelton e.a., 2000]. L’analyse du traitement de l’espace est également explorée dans des applications de réalité virtuelle. Par exemple, VETO est un EV utilisé comme outil complémentaire dans l’évaluation et la réhabilitation des désordres d’orientation topographique [Bertella e.a., 2001]. Il est basé sur le modèle théorique de wayfinding (i.e., la capacité à apprendre et à se rappeler un itinéraire dans un environnement, avec comme but d’être capable de se localiser depuis n’importe quel endroit, dans un grand espace)

142

Le traité de la réalité virtuelle

[Chen e.a., 1999]. L’EV représente un quartier typique d’une ville de taille moyenne avec des routes, rues et avenues, avec dans chacune des points de référence comme des immeubles, boutiques, bureaux, mobilier urbain, etc. Il est utilisé soit à des fins d’évaluation, soit à des fins de traitement. L’évaluation se déroule en quatre séances. Pendant la séance 1, le sujet est guidé dans l’EV pendant quelques minutes afin de le découvrir. La séance 2 teste l’agnosie topographique et évalue la capacité du sujet à reconnaître des objets fonctionnant comme des points de référence dans l’EV. La séance 3 teste l’amnésie topographique et évalue la capacité du sujet à définir les relations topographiques qu’il a expérimentées dans l’EV. Et enfin la séance 4 teste l’orientation topographique et évalue la capacité du sujet à atteindre de façon autonome une place cible de l’EV. La validation du système VETO sera basée sur les performances de 200 sujets «normaux» ; leurs performances dans l’EV seront comparées à celles obtenues lors des tests neuropsychologiques «papier-crayon». Le développement de capacités spatiales chez des enfants dont les incapacités physiques limitent leur motricité est également un des enjeux de la réalité virtuelle. Il est ainsi donné à ces personnes la possibilité d’explorer un EV de façon indépendante et de générer plus aisément des cartes cognitives [Foreman e.a., 1989, McComas e.a., 1997]. Le transfert d’apprentissage des lieux de l’EV vers l’environnement réel a également été montré [Foreman e.a., 2003, Stanton e.a., 1998, Wilson e.a., 1996]. Un autre domaine prometteur d’exploration de la mémoire a récemment émergé ; il s’agit de l’utilisation d’EVs immersifs audio délivrant des sons 3D spatialisés qui peuvent ainsi produire des signaux en rapport avec l’environnement simulé [Kyriakakis, 1998], augmenter l’information environnementale pour des sujets déficients visuels [Berka e.a., 1998, Cooper e.a., 1998], ou encore favoriser la génération de cartes spatiales et cognitives chez les aveugles [Lumbreras e.a., 1998].

5.5.3 LES AUTRES APPLICATIONS EN NEUROPSYCHOLOGIE

5.5.3.1

Les compétences fonctionnelles / Activités de la vie de tous les jours

Les approches fonctionnelles appuient le développement d’EVs écologiques pour tester et entraîner un grand répertoire de comportements chez des personnes limitées dans leur capacité à apprendre de façon indépendante dans le monde réel. Ces EVs peuvent délivrer un entraînement hiérarchique et sécuritaire, libérant ainsi du temps au thérapeute pour par exemple des tête à tête avec le patient plus intensifs si le besoin se présente. Des EVs ont été développés pour cibler les compétences fonctionnelles requises lors de la traversée de rues [Desbonnet e.a., 1998], [Inman e.a., 1997], [Strickland, 1997], [Weiss e.a., 2003], du déplacement avec des chaises roulantes [Harrison e.a., 2002], de la préparation des repas [Christiansen e.a., 1998, Davies e.a., 1999, Davies e.a., 2002, Gourlay e.a., 2000, Zhang e.a., 2003], de la conduite automobile [Ku e.a., 2002], [Wald e.a., 2001], du déplacement en ville [Brown e.a., 1998, Cobb e.a., 1998], des achats dans un supermarché [Cromby e.a., 1996b], ou encore de la marche et de l’évitement d’obstacles chez les personnes âgées [Jaffe e.a., 2004]. Les techniques d’apprentissage mises en IJuvre sont variées (essai et erreur, sans erreur), adaptées aux pathologies, avec assistance ou non du thérapeute.

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

5.5.3.2

143

La réhabilitation cognitive

La réhabilitation cognitive peut être définie comme étant «le processus thérapeutique d’accroissement ou d’amélioration de la capacité d’un individu à traiter et utiliser l’information entrante de façon à permettre un fonctionnement augmenté dans la vie de tous les jours» [Sohlberg e.a., 1989]. L’approche réadaptative pure se focalise sur la répétition d’entraînement systématique de composants des processus cognitifs (attention, mémoire, perception visuelle, résolution de problèmes, fonctionnement exécutif) en considérant le cerveau comme un muscle. L’importance est donnée à l’entraînement et la pratique d’exercices présentés de façon hiérarchique en fonction du succès. L’approche fonctionnelle pure met l’accent sur l’entraînement des comportements et des habiletés observables, des activités utiles de la vie de tous les jours (AVQs). Les exemples doivent inclure l’entraînement à des activités dans des environnements de travail bien ciblés tels que cuisines, usines, magasins, bureaux, etc. Cependant l’un des points délicats concerne l’évaluation de l’efficacité de ces paradigmes de réadaptation : la plupart des études réalisées chez les patients évaluent l’efficacité de traitement au moyen de mesures psychométriques et non en fonction de résultats dans la vie quotidienne [Cicerone e.a., 2000]. En outre, parfois, le but de la réadaptation est d’entraîner des sujets à l’utilisation de stratégies adaptatives et compensatoires afin de réduire leurs déficits. Dans ces cas, les avantages réels de traitement peuvent ne pas être évidents sur les mesures qui ne fournissent pas l’occasion d’employer de telles stratégies. Ainsi, la réadaptation cognitive se doit d’être toujours orientée vers l’amélioration du fonctionnement quotidien [van der Linden e.a., 2004]. Les EVs, avec tous leurs attributs dont leurs aspects interactifs et immersifs, peuvent intégrer les caractéristiques de ces deux approches et fournir des applications d’entraînement systématique pour une amélioration des performances. Ainsi peuvent être abordés : la réhabilitation de la négligence visuelle [Myers e.a., 2000], la restauration de la mémoire par l’entraînement à des tâches répétitives [Foreman e.a., 2003, Stanton e.a., 1998], la réorganisation de la mémoire en utilisant les systèmes intacts pour aider ou remplacer les fonctions altérées [Brooks e.a., 1999, Glisky e.a., 1988, Glisky e.a., 1986], l’apprentissage procédural [Rose e.a., 1999], la réhabilitation de la mémoire par l’exercice physique [Grealy e.a., 1999], la réhabilitation dans les activités de la vie quotidienne cités virtuelles [Brown e.a., 1998], supermarchés [Cromby e.a., 1996a], [Lee e.a., 2003a], maisons [Rose e.a., 2001], cuisines [Brooks e.a., 2002], [Christiansen e.a., 1998], bureaux [Rizzo e.a., 2002], etc. Citons encore AVIRC, un EV intégré pour la réhabilitation cognitive, conçu sur la base de modèles cognitifs [da Costa e.a., 2004]. Les résultats encourageants de toutes ces études soutiennent le rôle bénéfique que peut jouer la réalité virtuelle dans l’évaluation et la réhabilitation cognitive. Mais les travaux doivent en général être menés sur des échantillons plus grands afin d’aborder les questions de fiabilité et de validité.

5.6

LA RÉHABILITATION DES FONCTIONS MOTRICES

La réhabilitation motrice est basée sur trois éléments déterminants : une intervention rapide, un entraînement orienté vers une tâche et l’intensité de la répétition [Malouin e.a., 2003]. Des tâches impliquant différentes modalités sensorielles (vision,

144

Le traité de la réalité virtuelle

audition, proprioception, haptique) vont permettre d’améliorer la fonction à réhabiliter. Les technologies de la réalité virtuelle offrent la possibilité d’aborder les différents aspects d’une réhabilitation motrice en proposant des EVs fonctionnels, motivants et visant un objectif défini. Différentes techniques d’interaction de l’utilisateur avec l’EV peuvent être envisagées allant du simple écran d’ordinateur au visiocasque, voire même le CAVE, en passant par les interfaces haptiques et tous les systèmes de capture de mouvement en temps réel, voir pour revue [Sveistrup, 2004]. Ainsi peuvent être abordées la réhabilitation de l’équilibre et du maintien, celle de la locomotion et celle des fonctions des membres supérieurs et inférieurs. De nombreuses applications sont rapportées utilisant la technologie de capture vidéo du VividGroup’s GX ou systèmes IREX [Bisson e.a., 2004], [Kizony e.a., 2003], [Sveistrup, 2004]. Le système prend une image vidéo du patient, utilise un logiciel de soustraction de couleur pour éliminer le fond monochrome et insère le patient dans un environnement virtuel dans lequel il a la possibilité d’interagir avec des objets. Les applications utilisées dans les différentes études représentent par exemples des tâches de jonglage, des tâches sur tapis roulant, ou encore une luge. De nombreux paramètres sont ajustables (vitesse ou nombre ou hauteur des objets, etc). D’autres applications, concernant la maladie de Parkinson, utilisent la réalité augmentée. Ainsi le projet européen PARREHA (Parkinson’s rehabilitation) vise à exploiter le phénomène dénommé «kinesia paradoxa», par lequel les patients sont capables de marcher normalement lorsque des obstacles visuels sont placés sur leur chemin (http ://www.futurasciences.com/sinformer/n/news5659.php). L’utilisateur porte un casque qui lui permet de voir l’environnement réel ainsi que des obstacles virtuels (série de rayures de couleur brillante). Un essai clinique est en cours auprès de patients parkinsoniens. Citons encore les systèmes Rutgers pour la cheville et la main, incorporant le sens haptique [Deutsch e.a., 2001, Merians e.a., 2002]. Les deux systèmes combinent le retour d’effort avec un EV qui demande au sujet de réaliser une tâche de saisie d’objets (main) ou de pilotage d’avion (cheville). Outre la possibilité d’aborder les différents aspects d’une réhabilitation motrice, le plus intéressant est sans doute l’aspect motivant qu’elle y ajoute.

5.7 CONCLUSIONS Ces dernières années voient s’accroître la reconnaissance du potentiel de la réalité virtuelle pour les applications liées à la santé. Mais sommes-nous en train d’inventer de nouvelles méthodes thérapeutiques qui ne pourraient se développer sans la réalité virtuelle ou la réalité virtuelle ne représente-t-elle qu’une technique alternative équivalente à toute autre technique utilisable ? La possibilité d’immersion offerte par les interfaces de la réalité virtuelle est sans doute ce qui a attiré en premier lieu les thérapeutes. Finalement, les réels atouts de la réalité virtuelle, représentés entre autre par l’interaction au moyen de capteurs, sont encore peu exploités dans ce domaine d’application. Dans la littérature ayant pour sujets la psychothérapie et la neuropsychologie, la description des dispositifs techniques de réalité virtuelle utilisés est souvent lacunaire de sorte qu’une analyse critique de ceux-ci s’avère difficile et qu’une comparaison entre les différentes méthodes utilisées est une tâche laborieuse. Quoiqu’il en soit, l’atout principal de la réalité virtuelle est sans doute qu’elle permet, grâce à l’interactivité, une approche sensorielle et cognitive des troubles. Outre tous les intérêts de la présentation de stimuli par ordinateur, permettant l’enregistrement des données et la gradation adaptative des environnements de test, la RV fournit un moyen d’insérer le

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

145

sujet dans un contexte spatial et temporel, ce qui n’est pas possible avec les moyens traditionnels. L’interaction par le corps permet de mettre en œuvre des techniques de réhabilitation motrice et cognitive à la fois ludiques et pertinentes, puisque la boucle perception/action est constamment sollicitée. Ainsi, un simple test de mémoire peut se transformer en un exercice à la fois moteur et cognitif. En psychiatrie, l’atout principal de la réalité virtuelle est sans doute qu’elle rend possible l’interaction avec un monde mental qui n’est plus qu’imaginé. Il serait bon cependant que la réalité virtuelle n’échappe pas à l’investigation scientifique afin que son potentiel reste entier et maîtrisé. Que l’on comprenne quels sont les tenants et les aboutissants de l’utilisation d’un avatar dans un environnement virtuel, de la notion de présence, des modalités de communication entre le thérapeute et le patient alors que celui-ci est immergé, ne relève pas seulement d’un questionnement circonstanciel. Il est maintenant important de connaître les portées de la réalité virtuelle afin que l’on en maîtrise son utilisation, que l’on sache comment et à qui la proposer, pour envisager toujours de nouvelles applications. 5.8

RÉFÉRENCES BIBLIOGRAPHIQUES

[Anderson e.a., 2000]

[Anderson e.a., 2003]

[Andrews e.a., 1995]

[André e.a., 1995] [André e.a., 2000] [APA, 1994]

[Astur e.a., 2002]

[Attree e.a., 1996]

[Baumann, 2004]

[Berka e.a., 1998]

P. Anderson, B. O. Rothbaum, and L. Hodges. Virtual reality exposure therapy for the fear of public speaking : A case study. In Annual Meeting of the American Psychological Association (2000), Washington, DC. P. Anderson, B. O. Rothbaum, and L. F. Hodges. Virtual reality in the treatment of social anxiety : Two case reports. Cognitive and Behavioral Practice, 10 :240–247 (2003). T. K. Andrews, F. D. Rose, A. G. Leadbetter, E. A. Attree, and J. Painter. Virtual reality : Its use in the assessment of cognitive ability. Proceedings of The British Psychology Society, 3(2) :112 (1995). C. André and P. Légeron. La phobie sociale : approche clinique et thérapeutique. Encephale, 21(1) :1–13 (1995). C. André and P. Légeron. La peur des autres : trac, timidité et phobie sociale. Editions Odile Jacob, Paris (2000). APA. DSM-IV : Diagnostic and Statistical Manual of Mental Disorders. American Psychiatric Press, Washington DC (1994), 4th edition edition. R. S. Astur, L. B. Taylor, A. N. Mamelak, L. Philpott, and R. J. Sutherland. Humans with hippocampus damage display severe spatial memory impairments in a virtual morris water task. Behav Brain Res, 132(1) :77–84 (2002). E. A. Attree, B. M. Brooks, F. D. Rose, T. Andrews, A. Leadbetter, and B. Clifford. Memory processes and virtual environments : I can’t remember what was there but i can remember how i got there. implications for people with disabilities. In First European conference on Disability, Virtual Reality and Associated Technologies (1996), Maidenhead, UK. S. Baumann. Smoking cues in a virtual world provoke craving in cigarette smokers as demonstrated by neurobehavioral and fmri data. In G. R. B. Wiederhold and M. D. Wiederhold, editors, Cybertherapy 2004 (2004), San Diego, CA. Interactive Media Institute. R. Berka and P. Slavik. Virtual reality for blind users. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of The 2nd European

146

[Bertella e.a., 2001]

[Bisson e.a., 2004]

[Bordnick e.a., 2004]

[Botella e.a., 2000a]

[Botella e.a., 1998]

[Botella e.a., 2000b]

[Botella e.a., 2004a]

[Botella e.a., 2004b]

[Botella e.a., 2004c]

[Bouchard e.a., 2003]

[Brooks e.a., 1999]

[Brooks e.a., 2003]

[Brooks e.a., 2002]

[Brown e.a., 1998]

[Carlin e.a., 1997]

Le traité de la réalité virtuelle Conference on Disability, Virtual Reality and Associated Technologies (1998), pages 89–98, Skovde, Sweden. L. Bertella, S. Marchi, and G. Riva. Virtual environments for topographic orientation (veto) : Clinical rationale and technical characteristics. Presence, 10(4) :440–449 (2001). Y. Bisson, B. Constant, H. Sveistrup, and Y. Lajoie. Balance training for elderly : comparison between virtual reality and visual bio-feedback. In Proceedings of the 6th World Congress on Aging and Physical Activity (2004), London. P. S. Bordnick, K. M. Graap, H. Copp, J. Brooks, M. Ferrer, and B. Logue. Utilizing virtual reality to standardize nicotine craving research : a pilot study. Addict Behav, 29(9) :1889–94 (2004). C. Botella, R. Banos, V. Guillen, C. Perpina, M. Alcaniz, and A. Pons. Telepsychology : Public speaking fear treatment on the internet. Cyberpsychol Behav, 3 :959–968 (2000a). C. Botella, R. M. Banos, C. Perpina, H. Villa, M. Alcaniz, and A. Rey. Virtual reality treatment of claustrophobia : a case report. Behav Res Ther, 36(2) :239–46 (1998). C. Botella, R. M. Banos, H. Villa, C. Perpina, and A. G. Palacios. Virtual reality in the treatment of claustrophobic fear : A controlled multiple-baseline design. Behavior Therapy, 31 :583–595 (2000b). C. Botella, S. G. Hofmann, and D. A. Moscovitch. A self-applied, internet-based intervention for fear of public speaking. J Clin Psychol, 60(8) :821–30 (2004a). C. Botella, J. Osma, A. G. Palacios, S. Quero, and R. Banos. Treatment of flying phobia using virtual reality : Data from a 1-year followup using a multiple baseline design. Clin Psychol Psychotherapy, 11(5) :311–323 (2004b). C. Botella, H. Villa, A. Garcia-Palacios, S. Quero, R. M. Baños, and M. Alcañiz. The use of vr in the treatment of panic disorders and agoraphobia. Stud Health Technol Inform, 99 :73–90 (2004c). S. Bouchard, J. St-Jacques, G. Robillard, S. Côté, and P. Renaud. Efficacité de l’exposition en réalité virtuelle pour le traitement de l’acrophobie : une étude préliminaire. Journal de Thérapie Comportementale et Cognitive, 13(3) :107–112 (2003). B. M. Brooks, J. E. McNeil, F. D. Rose, R. Greenwood, E. A. Attree, and A. Leadbetter. Route learning in a case of amnesia : A preliminary investigation into the efficacy of training in a virtual environment. Neuropsychol Rehab, 9(1) :63–76 (1999). B. M. Brooks and F. D. Rose. The use of virtual reality in memory rehabilitation : current findings and future directions. NeuroRehabilitation, 18(2) :147–57 (2003). B. M. Brooks, F. D. Rose, E. A. Attree, and A. Elliot-Square. An evaluation of the efficacy of training people with learning disabilities in a virtual environment. Disabil Rehabil, 24(11-12) :622–6 (2002). D. J. Brown, S. J. Kerr, and V. Bayon. The development of the virtual city : A user centred approach. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of the 2nd European Conference on Disability, Virtual Reality and Associated Techniques (1998), pages 11–16, Reading UK : University of Reading. A. S. Carlin, H. G. Hoffman, and S. Weghorst. Virtual reality and tactile augmentation in the treatment of spider phobia : a case report. Behav Res Ther, 35(2) :153–8 (1997).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

147

[Chen e.a., 1999]

J. L. Chen and K. M. Stanney. A theoretical model of way finding in virtual environments : proposed strategies for navigational aiding. Presence : Teleop Virt, 8(6) :632– 656 (1999).

[Choi e.a., 2001]

Y. H. Choi, D. P. Jang, J. H. Ku, M. B. Shin, and S. I. Kim. Short-term treatment of acrophobia with virtual reality therapy (vrt) : a case report. Cyberpsychol Behav, 4(3) :349–54 (2001).

[Christiansen e.a., 1998] C. Christiansen, B. Abreu, K. Ottenbacher, K. Huffman, B. Masel, and R. Culpepper. Task performance in virtual environments used for cognitive rehabilitation after traumatic brain injury. Arch Phys Med Rehabil, 79(8) :888–92 (1998). [Cicerone e.a., 2000] K. D. Cicerone, C. Dahlberg, K. Kalmar, D. M. Langenbahn, J. F. Malec, T. F. Bergquist, T. Felicetti, J. T. Giacino, J. P. Harley, D. E. Harrington, J. Herzog, S. Kneipp, L. Laatsch, and P. A. Morse. Evidencebased cognitive rehabilitation : recommendations for clinical practice. Arch Phys Med Rehabil, 81(12) :1596–615 (2000). [Clark e.a., 1998]

A. Clark, K. C. Kirkby, B. A. Daniels, and I. M. Marks. A pilot study of computer-aided vicarious exposure for obsessive-compulsive disorder. Aust N Z J Psychiatry, 32(2) :268–75 (1998).

[Cobb e.a., 1998]

S. V. G. Cobb, H. R. Neale, and H. Reynolds. Evaluation of virtual learning environment. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of The 2nd European Conference on Disability, Virtual Reality and Associated Technologies (1998), pages 17–23, Skovde, Sweden.

[Cooper e.a., 1998]

M. Cooper and M. E. Taylor. Ambisonic sound in virtual environments and applications for blind people. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of The 2nd European Conference on Disability, Virtual Reality and Associated Technologies (1998), pages 113–118, Skovde, Sweden.

[Cottraux, 1994]

J. Cottraux. Les thérapies cognitives et comportementales. PUF, Paris (1994), 3ème edition.

[Cottraux e.a., 2005]

J. Cottraux, A. Berthoz, R. Jouvent, C. Pull, M. Zaoui, A. Pelissolo, C. Pull, V. Genouilhac, N. Giraud, A. Duinat, F. Znaidi, C. D. M. Guillard, P. Panagiotaki, F. Fanget, I. Viaud-Delmon, E. Mollard, and F. Gueyffier. A comparative controlled study of virtual reality therapy and cognitive behaviour therapy in panic disorder with agoaphobia : design and methodological issues. In S. Richir and B. Taravel, editors, VRIC - Laval Virtual (2005), pages 125–130, Laval.

[Cromby e.a., 1996a]

J. Cromby, P. Standen, J. Newman, and H. Tasker. Successful transfer to the real world of skills practiced in a virtual environment by student with severe learning disabilities. In P. M. Sharkey, editor, Proceedings of the 1st European Conference on Disability, Virtual Reality and Associated Techniques (1996a), pages 305–313, Reading UK : University of Reading.

[Cromby e.a., 1996b]

J. J. Cromby, P. J. Standen, and D. J. Brown. The potentials of virtual environments in the education and training of people with learning disabilities. J Intellect Disabil Res, 40 ( Pt 6) :489–501 (1996b).

[da Costa e.a., 2004]

R. M. da Costa and L. A. de Carvalho. The acceptance of virtual reality devices for cognitive rehabilitation : a report of positive results with schizophrenia. Comput Methods Programs Biomed, 73(3) :173–82 (2004). R. C. Davies, G. Johansson, K. Boschian, A. Linden, U. Minör, and B. Sonesson. A practical example using virtual reality in the assessment of brain injury. The international Journal of Virtual Reality, 4(1) :3–10 (1999).

[Davies e.a., 1999]

148 [Davies e.a., 2002]

Le traité de la réalité virtuelle

R. C. Davies, E. Löfgren, M. Wallergard, A. Linden, K. Boschian, U. Minör, B. Sonesson, and G. Johansson. Three applications of virtual reality for brain injury rehabilitation of daily tasks. In International Conference on Disabilities, Virtual Reality and Associated Technology (2002), Hungary. [Delerue e.a., 2002] O. Delerue and O. Warusfel. Authoring of virtual sound scenes in the context of the listen project. In Proceedings of the 22nd AES Conference (2002), pages 39–47. [Desbonnet e.a., 1998] M. Desbonnet, S. L. Cox, and A. Rahman. Development and evaluation of a virtual reality based training system for disabled children. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of The 2nd European Conference on Disability, Virtual Reality and Associated Technologies (1998), pages 177–182, Skovde, Sweden. [Deutsch e.a., 2001] J. E. Deutsch, J. Latonio, G. Burdea, and R. Boian. Post-stroke rehabilitation with the rutgers ankle system : A case study. Presence : Teleop Virt, 10(4) :416–430 (2001). [Difede e.a., 2002] J. Difede and H. G. Hoffman. Virtual reality exposure therapy for world trade center post-traumatic stress disorder : a case report. Cyberpsychol Behav, 5(6) :529–35 (2002). [Elkind e.a., 2001] J. S. Elkind, E. Rubin, S. Rosenthal, B. Skoff, and P. Prather. A simulated reality scenario compared with the computerized wisconsin card sorting test : an analysis of preliminary results. Cyberpsychol Behav, 4(4) :489–96 (2001). [Emmelkamp e.a., 2002] P. M. Emmelkamp, M. Krijn, A. M. Hulsbosch, S. de Vries, M. J. Schuemie, and C. A. van der Mast. Virtual reality treatment versus exposure in vivo : a comparative evaluation in acrophobia. Behaviour Research and Therapy, 40(5) :509–16 (2002). [Ernst e.a., 2002] M. O. Ernst and M. S. Banks. Humans integrate visual and haptic information in a statistically optimal fashion. Nature, 415(6870) :429– 33 (2002). [Foreman e.a., 2003] N. Foreman, D. Stanton, P. Wilson, and H. Duffy. Spatial knowledge of a real school environment acquired from virtual or physical models by able-bodied children and children with physical disabilities. J Exp Psychol Appl, 9(2) :67–74 (2003). [Foreman e.a., 1989] N. P. Foreman, C. Orencas, E. Nicholas, P. Morton, and M. Gell. Spatial awareness in seven- to eleven-year-old physically handicapped children in mainstream schools. European Journal of Special Needs Education, 4 :171–179 (1989). [Garcia-Palacios e.a., 2002] A. Garcia-Palacios, H. Hoffman, A. Carlin, T. A. Furness, and C. Botella. Virtual reality in the treatment of spider phobia : a controlled study. Behaviour Research and Therapy, 40(9) :983–93 (2002). [Gershon e.a., 2003] J. Gershon, E. Zimand, R. Lemos, B. O. Rothbaum, and L. F. Hodges. Use of virtual reality as a distractor for painful procedures in a patient with pediatric cancer : a case study. Cyberpsychol Behav, 6(6) :657–61 (2003). [Glisky e.a., 1988] E. L. Glisky and D. L. Schacter. Long-term retention of computer learning by patients with memory disorders. Neuropsychologia, 26(1) :173–8 (1988). [Glisky e.a., 1986] E. L. Glisky, D. L. Schacter, and E. Tulving. Learning and retention of computer-related vocabulary in memory-impaired patients : method of vanishing cues. J Clin Exp Neuropsychol, 8(3) :292–312 (1986). [Gourlay e.a., 2000] D. Gourlay, K. C. Lun, Y. N. Lee, and J. Tay. Virtual reality for relearning daily living skills. Int J Med Inf, 60(3) :255–61 (2000).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux [Graap, 2004] [Grafman, 1995]

149

K. Graap. Virtual crack house. Science, 303 :1608 (2004). J. Grafman. Similarities and distinctions among current models of prefrontal cortical functions. Ann N Y Acad Sci, 769 :337–68 (1995). [Grealy e.a., 1999] M. A. Grealy, D. A. Johnson, and S. K. Rushton. Improving cognitive function after brain injury : the use of exercise and virtual reality. Arch Phys Med Rehabil, 80(6) :661–7 (1999). [Gutierrez-Maldonado e.a., 2005] J. Gutierrez-Maldonado and M. Ferrer-Garcia. Assessment of virtual reality effectiveness to produce emotional reactivity in patients with eating disorder. In S. Richir and B. Taravel, editors, VRIC - Laval Virtual (2005), pages 131–138, Laval. [Harris e.a., 2002] S. R. Harris, R. L. Kemmerling, and M. M. North. Brief virtual reality therapy for public speaking anxiety. CyberPsychology and Behavior, 5(6) :543–50 (2002). [Harrison e.a., 2002] A. Harrison, G. Derwent, A. Enticknap, F. D. Rose, and E. A. Attree. The role of virtual reality technology in the assessment and training of inexperienced powered wheelchair users. Disabil Rehabil, 24(1112) :599–606 (2002). [Hecaen e.a., 1983] H. Hecaen and G. Lanteri-Laura. Les fonctions du cerveau. Masson, Paris (1983). [Herbelin e.a., 2002] B. Herbelin, F. Riquier, F. Vexo, and D. Thalmann. Virtual reality in cognitive behavioral therapy : a preliminary study on social anxiety disorder. In 8th International Conference on Virtual Systems and Multimedia, VSMM2002 (2002). [Hodges e.a., 2001] L. F. Hodges, P. Anderson, G. Burdea, H. Hoffman, and B. Rothbaum. Treating psychological and physical disorders with vr. IEEE Computer Graphics and Applications, 21(6) :25–33 (2001). [Hoffman e.a., 2000a] H. G. Hoffman, J. N. Doctor, D. R. Patterson, G. J. Carrougher, and T. A. Furness. Virtual reality as an adjunctive pain control during burn wound care in adolescent patients. Pain, 85(1-2) :305–9 (2000a). [Hoffman e.a., 2001a] H. G. Hoffman, A. Garcia-Palacios, D. R. Patterson, M. Jensen, T. Furness, 3rd, W. F. Ammons, and Jr. The effectiveness of virtual reality for dental pain control : a case study. Cyberpsychol Behav, 4(4) :527–35 (2001a). [Hoffman e.a., 2000b] H. G. Hoffman, D. R. Patterson, and G. J. Carrougher. Use of virtual reality for adjunctive treatment of adult burn pain during physical therapy : a controlled study. Clin J Pain, 16(3) :244–50 (2000b). [Hoffman e.a., 2001b] H. G. Hoffman, D. R. Patterson, G. J. Carrougher, and S. R. Sharar. Effectiveness of virtual reality-based pain control with multiple treatments. Clin J Pain, 17(3) :229–35 (2001b). [Hoffman e.a., 2004] H. G. Hoffman, D. R. Patterson, J. Magula, G. J. Carrougher, K. Zeltzer, S. Dagadakis, and S. R. Sharar. Water-friendly virtual reality pain control during wound care. J Clin Psychol, 60(2) :189–95 (2004). [Holt e.a., 1992] C. S. Holt, R. Heimberg, D. Hope, and M. Liebowitz. Situational domains of social phobia. Journal of Anxiety Disorders, 6 :63–77 (1992). [Inman e.a., 1997] D. P. Inman, K. Loge, and J. Leavens. Vr education and rehabilitation. Communications of the ACM, 40(8) :53–58 (1997). [Ivanenko e.a., 1998] Y. P. Ivanenko, I. Viaud-Delmon, I. Siegler, I. Israel, and A. Berthoz. The vestibulo-ocular reflex and angular displacement perception in darkness in humans : adaptation to a virtual environment. Neurosci Lett, 241(2-3) :167–70 (1998). [Jaffe e.a., 2004] D. L. Jaffe, D. A. Brown, C. D. Pierson-Carey, E. L. Buckley, and H. L. Lew. Stepping over obstacles to improve walking in individuals with post-stroke hemiplegia. J Rehab Res Dev, 41(3A) :283–292 (2004).

150 [James e.a., 2003]

[Johansson, 1973] [Jot e.a., 1995]

[Kizony e.a., 2002]

[Kizony e.a., 2003]

[Klein, 2000] [Klinger e.a., 2005]

[Klinger e.a., 2004a]

[Klinger e.a., 2002]

[Klinger e.a., 2003]

[Klinger e.a., 2004b]

[Kodgi e.a., 1999]

[Krijn e.a., 2004a]

[Krijn e.a., 2004b]

[Ku e.a., 2002]

[Kuntze e.a., 2001]

[Kyriakakis, 1998]

Le traité de la réalité virtuelle L. K. James, C. Y. Lin, A. Steed, D. Swapp, and M. Slater. Social anxiety in virtual environments : results of a pilot study. CyberPsychology and Behavior, 6(3) :237–43 (2003). G. Johansson. Visual perception of biological motion and a model for its analysis. Perception and Psychophysics, 14(2) :201–211 (1973). J. M. Jot and O. Warusfel. A real-time spatial sound processor for music and virtual reality applications, proceedings. In ICMC’95 Conference (1995), Banff, Canada. R. Kizony, N. Katz, H. Weingarden, and P. L. Weiss. Immersion without encumbrance : adapting a virtual reality system for the rehabilitation of individuals with stroke and spinal cord injury. In Intl Conf. Disability, Virtual Reality and Assoc. Tech. (2002), Veszprém, Hungary. R. Kizony, N. Katz, and P. L. Weiss. Adapting an immersive virtual reality system for rehabilitation. The Journal Of Visualization And Computer Animation, 14 :1–7 (2003). R. A. Klein. Virtual reality exposure therapy in the treatment of fear of flying. J Contemporary Psychotherapy, 30 :195–207 (2000). E. Klinger, S. Bouchard, P. Légeron, S. Roy, F. Lauer, I. Chemin, and P. Nugues. Virtual reality therapy versus cognitive behavior therapy for social phobia : A preliminary controlled study. Cyberpsychol Behav, 8(1) :76–88 (2005). E. Klinger, I. Chemin, S. Lebreton, and R. M. Marié. A virtual supermarket to assess cognitive planning. Cyberpsychol Behav, 7(3) :292– 293 (2004a). E. Klinger, I. Chemin, P. Légeron, S. Roy, F. Lauer, and P. Nugues. Issues in the design of virtual environments for the treatment of social phobia. In VRMHR2002 (2002), pages 261–273, Lausanne. E. Klinger, I. Chemin, P. Légeron, S. Roy, F. Lauer, and P. Nugues. Designing virtual worlds to treat social phobia. In G. R. B. Wiederhold and M. D. Wiederhold, editors, Cybertherapy 2003 (2003), pages 113– 121, San Diego, CA. Interactive Media Institute. E. Klinger, P. Legeron, S. Roy, I. Chemin, F. Lauer, and P. Nugues. Virtual reality exposure in the treatment of social phobia. Stud Health Technol Inform, 99 :91–119 (2004b). S. M. Kodgi, V. Gupta, B. Conroy, and B. A. Knott. Feasibility of using virtual reality for quantitative assessment of hemineglect : A pilot study. In American Academy of Physical Medicine and Rehabilitation 61st Annual Assembly (1999), Washington DC. M. Krijn, P. M. Emmelkamp, R. Biemond, C. de Wilde de Ligny, M. J. Schuemie, and C. A. van der Mast. Treatment of acrophobia in virtual reality : the role of immersion and presence. Behav Res Ther, 42(2) :229–39 (2004a). M. Krijn, P. M. Emmelkamp, R. P. Olafsson, and R. Biemond. Virtual reality exposure therapy of anxiety disorders : a review. Clin Psychol Rev, 24(3) :259–81 (2004b). J. H. Ku, D. P. Jang, B. S. Lee, J. H. Lee, I. Y. Kim, and S. I. Kim. Development and validation of virtual driving simulator for the spinal injury patient. Cyberpsychol Behav, 5(2) :151–6 (2002). M. F. Kuntze, R. Stoermer, R. Mager, A. Roessler, F. Mueller-Spahn, and A. H. Bullinger. Immersive virtual environments in cue exposure. Cyberpsychol Behav, 4(4) :497–501 (2001). Kyriakakis. Fundamental and technological limitations of immersive audio systems. Proceedings of the IEEE,, 86(5) :941–951 (1998).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux [Lambrey e.a., 2002]

151

S. Lambrey, I. Viaud-Delmon, and A. Berthoz. Influence of a sensorimotor conflict on the memorization of a path traveled in virtual reality. Brain Res Cogn Brain Res, 14(1) :177–86 (2002). [Lee e.a., 2004] J. H. Lee, W. Y. Hahn, H. S. Kim, J. H. Ku, D. W. Park, S. H. Kim, B. H. Yang, Y. S. Lim, and S. I. Kim. A functional magnetic resonance imaging (fmri) study of nicotine craving and cue exposure therapy (cet) by using virtual stimuli. In CyberTherapy2004 (2004), San Diego, CA. [Lee e.a., 2003a] J. H. Lee, J. Ku, W. Cho, W. Y. Hahn, I. Y. Kim, S. M. Lee, Y. Kang, D. Y. Kim, T. Yu, B. K. Wiederhold, M. D. Wiederhold, and S. I. Kim. A virtual reality system for the assessment and rehabilitation of the activities of daily living. Cyberpsychol Behav, 6(4) :383–8 (2003a). [Lee e.a., 2003b] J. H. Lee, J. Ku, K. Kim, B. Kim, I. Y. Kim, B. H. Yang, S. H. Kim, B. K. Wiederhold, M. D. Wiederhold, D. W. Park, Y. Lim, and S. I. Kim. Experimental application of virtual reality for nicotine craving through cue exposure. Cyberpsychol Behav, 6(3) :275–80 (2003b). [Lee e.a., 2002] J. M. Lee, J. H. Ku, D. P. Jang, D. H. Kim, Y. H. Choi, I. Y. Kim, and S. I. Kim. Virtual reality system for treatment of the fear of public speaking using image-based rendering and moving pictures. Cyberpsychol Behav, 5(3) :191–5 (2002). [Lengenfelder e.a., 2002] J. Lengenfelder, M. T. Schultheis, T. Al-Shihabi, R. Mourant, and J. DeLuca. Divided attention and driving : a pilot study using virtual reality technology. J Head Trauma Rehabil, 17(1) :26–37 (2002). [Lo Priore e.a., 2003] C. Lo Priore, G. Castelnuovo, and D. Liccione. Experience with vstore : considerations on presence in virtual environments for effective neuropsychological rehabilitation of executive functions. Cyberpsychol Behav, 6(3) :281–7 (2003). [Lumbreras e.a., 1998] M. Lumbreras and J. Sanchez. 3d aural interactive hyperstories for blind children. In D. R. P. Sharkey and J. Lindstrom, editors, Proceedings of The 2nd European Conference on Disability, Virtual Reality and Associated Technologies (1998), pages 119–128, Skovde, Sweden. [Légeron e.a., 1998] P. Légeron and J. Gailledreau (1998). Phobies sociales. In Doin, editor, Phobies et Obsessions, Collection Psychiatrie pratique de l’Encéphale. Paris. [Malouin e.a., 2003] F. Malouin, C. L. Richards, B. McFadyen, and J. Doyon. [new perspectives of locomotor rehabilitation after stroke]. Med Sci (Paris), 19(10) :994–8 (2003). [Maltby e.a., 2002] N. Maltby, I. Kirsch, M. Mayers, and G. J. Allen. Virtual reality exposure therapy for the treatment of fear of flying : a controlled investigation. J Consult Clin Psychol, 70(5) :1112–8 (2002). [Marié, 2005] R. M. Marié (2005). Les évaluations neuropsychologiques : Exploration des fonctions exécutives. In F. E. B. Lechevalier and F. Viader, editors, Traité de Neuropsychologie Clinique. De Boeck, Bruxelles. [Marié e.a., 2003] R. M. Marié, E. Klinger, I. Chemin, and M. Josset. Cognitive planning assessed by virtual reality. In VRIC 2003, Laval Virtual Conference (2003), pages 119–125, Laval, France. [Martin, 1972] R. Martin. Test des commissions (2nde édition). Editest, Bruxelles (1972). [McComas e.a., 1997] J. McComas, C. Dulberg, and J. Latter. Children’s memory for locations visited : Importance of movement and choice. J Mot Behav, 29(3) :223–229 (1997). [Mendozzi e.a., 1998] L. Mendozzi, A. Motta, E. Barbieri, D. Alpini, and L. Pugnetti. The application of virtual reality to document coping deficits after a stroke : report of a case. Cyberpsychol Behav, 1 :79–91 (1998).

152 [Merians e.a., 2002]

Le traité de la réalité virtuelle

A. S. Merians, D. Jack, R. Boian, M. Tremaine, G. C. Burdea, S. V. Adamovich, M. Recce, and H. Poizner. Virtual reality-augmented rehabilitation for patients following stroke. Phys Ther, 82(9) :898–915 (2002). [Moffat e.a., 2002] S. D. Moffat and S. M. Resnick. Effects of age on virtual environment place navigation and allocentric cognitive mapping. Behav Neurosci, 116(5) :851–9 (2002). [Morris, 1981] R. G. M. Morris. Spatial localization does not depend on the presence of local cues. Learning and Motivation, 12 :239–260 (1981). [Muhlberger e.a., 2003] A. Muhlberger, G. C. Wiedemann, and P. Pauli. Efficacy of a onesession virtual reality exposure treatment for fear of flying. Psychotherapy Research, 13 :323–336 (2003). [Myers e.a., 2000] R. L. Myers and T. Bierig. Virtual reality and left hemineglect : A technology for assessment and therapy. Cyberpsychol Behav, 3(3) :465–468 (2000). [North e.a., 1994] M. North and S. North. Virtual environments and psychological disorders. Electronic Journal of Virtual Culture, 2(4) :37–42 (1994). [North e.a., 1996] M. North, S. North, and J. R. Coble. Effectiveness of virtual environment desensitization in the treatment of agoraphobia. Presence, Teleoperators and Virtual Environments, 5(4) :346–352 (1996). [North e.a., 1997a] M. North, S. North, and J. R. Coble. Virtual environment psychotherapy : A case study of fear of flying disorder. Presence, Teleoperators and Virtual Environments, 6(1) :87–105 (1997a). [North e.a., 1997b] M. North, S. North, and J. R. Coble (1997b). Virtual reality therapy : an effective treatment for psychological disorders. In G. Riva, editor, Virtual Reality in Neuro-Psycho-Physiology. Ios Press, Amsterdam, Netherlands. [North e.a., 1998a] M. North, S. North, and J. R. Coble. Virtual reality therapy : An effective treatment for the fear of public speaking. International Journal of Virtual Reality, 3(2) :2–6 (1998a). [North e.a., 1998b] M. M. North, S. M. North, and J. R. Coble. Virtual reality therapy : an effective treatment for phobias. Stud Health Technol Inform, 58 :112–9 (1998b). [Nugues e.a., 2001] P. Nugues, P. Légeron, F. Lauer, E. Klinger, and I. Chemin (2001). Functionnal description and clinical protocols for the anxiety disorders module : Social phobia. Technical report, European Commission. IST2000-25323. [Optale, 1993] G. Optale (1993). Valutazione con metodica virtuale dell’attività della sfera sessuale di volontari sani versus soggetti affetti da impotenza o turbe sessuali. In A. R. G. P. M. J. B. Verde, editor, Sessuologia ’93, pages 602–603. CIC Edizioni Internazionali, Modena-Italy. [Optale e.a., 1998] G. Optale, A. Munari, A. Nasta, C. Pianon, J. B. Verde, and G. Viggiano. A vr based therapy for the treatment of impotence and premature ejaculation. Stud Health Technol Inform, 58 :136–9 (1998). [Optale e.a., 2004] G. Optale, M. Pastore, S. Marin, D. Bordin, A. Nasta, and C. Pianon. Male sexual dysfunctions : immersive virtual reality and multimedia therapy. Stud Health Technol Inform, 99 :165–78 (2004). [Optale e.a., 2000] G. Optale, G. Riva, C. Pianon, A. Nasta, and G. Viggiano. Male sexual algorithm and virtual reality. European Journal of Medical Sexology Revue Européenne de Sexologie Médicale, IX(34) :22–25 (2000). [Owen, 1997] A. M. Owen. Cognitive planning in humans : neuropsychological, neuroanatomical and neuropharmacological perspectives. Prog Neurobiol, 53(4) :431–50 (1997).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux [Pertaub e.a., 2001]

[Pertaub e.a., 2002]

[Pugnetti e.a., 1998a]

[Pugnetti e.a., 1998b]

[Pugnetti e.a., 1995]

[Riva, 1997]

[Riva e.a., 2003a]

[Riva e.a., 2001]

[Riva e.a., 2002]

[Riva e.a., 2003b]

[Riva e.a., 2004]

[Rizzo e.a., 2002]

[Rizzo e.a., 2004]

153

D. P. Pertaub, M. Slater, and C. Barker. An experiment on fear of public speaking in virtual reality. Stud Health Technol Inform, 81 :372–8 (2001). D. P. Pertaub, M. Slater, and C. Barker. An experiment on public speaking anxiety in response to three different types of virtual audience. Presence : Teleoperators and Virtual Environments, 11(1) :68– 78 (2002). L. Pugnetti, L. Mendozzi, E. A. Attree, E. Barbieri, B. M. Brooks, C. Cazullo, A. Motta, and F. D. Rose. Probing memory and executive functions with virtual reality, past and present studies. Cyberpsychol Behavior, 1(2) :151–161 (1998a). L. Pugnetti, L. Mendozzi, B. M. Brooks, E. A. Attree, E. Barbieri, E. Alpini, A. Motta, and F. D. Rose. Active versus passive exploration of virtual environments modulates spatial memory in ms patients : a yoked control study. The Italian Journal of Neurological Sciences, 19 :424–432 (1998b). L. Pugnetti, L. Mendozzi, A. Motta, A. Cattaneo, E. Barbieri, and A. Brancotti. Evaluation and retraining of adults’ cognitive impairment : which role for virtual reality technology ? Comput Biol Med, 25(2) :213–27 (1995). G. Riva. The virtual environment for body-image modification (vebim) : development and preliminary evaluation. Presence, 6(1) :106– 117 (1997). G. Riva, M. Alcaniz, L. Anolli, M. Bacchetta, R. Banos, C. Buselli, F. Beltrame, C. Botella, G. Castelnuovo, G. Cesa, S. Conti, C. Galimberti, L. Gamberini, A. Gaggioli, E. Klinger, P. Legeron, F. Mantovani, G. Mantovani, E. Molinari, G. Optale, L. Ricciardiello, C. Perpina, S. Roy, A. Spagnolli, R. Troiani, and C. Weddle. The vepsy updated project : clinical rationale and technical approach. Cyberpsychol Behav, 6(4) :433–9 (2003a). G. Riva, M. Bacchetta, M. Baruffi, and E. Molinari. Virtual realitybased multidimensional therapy for the treatment of body image disturbances in obesity : a controlled study. Cyberpsychol Behav, 4(4) :511– 26 (2001). G. Riva, M. Bacchetta, M. Baruffi, and E. Molinari. Virtual-realitybased multidimensional therapy for the treatment of body image disturbances in binge eating disorders : a preliminary controlled study. IEEE Trans Inf Technol Biomed, 6(3) :224–34 (2002). G. Riva, M. Bacchetta, G. Cesa, S. Conti, and E. Molinari. Six-month follow-up of in-patient experiential cognitive therapy for binge eating disorders. Cyberpsychol Behav, 6(3) :251–8 (2003b). G. Riva, M. Bacchetta, G. Cesa, S. Conti, and E. Molinari. The use of vr in the treatment of eating disorders. Stud Health Technol Inform, 99 :121–63 (2004). A. A. Rizzo, T. Bowerly, J. G. Buckwalter, M. T. Schultheis, R. Matheis, C. Shahabi, U. Neumann, L. Kim, and M. Sharifzadeh. Virtual environments for the assessment of attention and memory processes : The virtual classroom and office. In C. S. L. P. Sharkey and P. Standen, editors, Proceedings of the 4th International Conference on Disability, Virtual Reality and Associated Techniques (2002), pages 3–12, Reading UK : University of Reading. A. A. Rizzo, T. Bowerly, C. Shahabi, J. G. Buckwalter, D. Klimchuk, and R. Mitura. Diagnosing attention disorders in a virtual classroom. IEEE Computer, 37(6) :87–89 (2004).

154 [Rose e.a., 2001]

Le traité de la réalité virtuelle

F. D. Rose, E. A. Attree, B. M. Brooks, and T. K. Andrews. Learning and memory in virtual environments - a role in neurorehabilitation ? questions (and occasional answers) from uel. Presence Teleop Virt, 10(4) :345–358 (2001). [Rose e.a., 1996] F. D. Rose, E. A. Attree, and D. A. Johnson. Virtual reality : an assistive technology in neurological rehabilitation. Curr Opin Neurol, 9(6) :461– 7 (1996). [Rose e.a., 1999] F. D. Rose, B. M. Brooks, E. A. Attree, D. M. Parslow, A. G. Leadbetter, J. E. McNeil, S. Jayawardena, R. Greenwood, and J. Potter. A preliminary investigation into the use of virtual environments in memory retraining after vascular brain injury : indications for future strategy ? Disabil Rehabil, 21(12) :548–54 (1999). [Rothbaum e.a., 1999] B. O. Rothbaum, L. F. Hodges, R. Alarcon, D. Ready, F. Shahar, K. Graap, J. Pair, P. Hebert, D. Gotz, B. Wills, and D. Baltzell. Virtual reality exposure therapy for ptsd vietnam veterans : a case study. J Trauma Stress, 12(2) :263–71 (1999). [Rothbaum e.a., 2002] B. O. Rothbaum, L. F. Hodges, P. L. Anderson, L. Price, and S. Smith. Twelve-month follow-up of virtual reality and standard exposure therapies for the fear of flying. J Consult Clin Psychol, 70(2) :428–32 (2002). [Rothbaum e.a., 1995] B. O. Rothbaum, L. F. Hodges, D. Opdyke, R. Kooper, J. S. Williford, and M. M. North. Virtual reality graded exposure in the treatment of acrophobia : A case study. J Behav Ther, 26(3) :547–554 (1995). [Rothbaum e.a., 2001] B. O. Rothbaum, L. F. Hodges, D. Ready, K. Graap, and R. D. Alarcon. Virtual reality exposure therapy for vietnam veterans with posttraumatic stress disorder. J Clin Psychiatry, 62(8) :617–22 (2001). [Rothbaum e.a., 2000] B. O. Rothbaum, L. F. Hodges, S. Smith, J. H. Lee, and L. Price. A controlled study of virtual reality exposure therapy for the fear of flying. J Consult Clin Psychol, 68(6) :1020–6 (2000). [Rothbaum e.a., 1996] B. O. Rothbaum, L. F. Hodges, B. A. Watson, C. D. Kessler, and D. Opdyke. Virtual reality exposure therapy in the treatment of fear of flying : a case report. Behaviour Research and Therapy, 34(5-6) :477– 81 (1996). [Roy e.a., 2003] S. Roy, E. Klinger, P. Légeron, F. Lauer, I. Chemin, and P. Nugues. Definition of a vr-based protocol to treat social phobia. Cyberpsychol Behav, 6(4) :411–20 (2003). [Sandstrom e.a., 1998] N. Sandstrom, J. Kaufman, and S. Huettel. Males and females use different distal cues in a virtual environment navigation task. Cognitive Brain Research, 6(4) :351–60 (1998). [Schneider e.a., 2004] S. M. Schneider, M. Prince-Paul, M. J. Allen, P. Silverman, and D. Talaba. Virtual reality as a distraction intervention for women receiving chemotherapy. Oncol Nurs Forum, 31(1) :81–8 (2004). [Schneider e.a., 2000] S. M. Schneider and M. L. Workman. Virtual reality as a distraction intervention for older children receiving chemotherapy. Pediatr Nurs, 26(6) :593–7 (2000). [Schultheis e.a., 2002] M. T. Schultheis and A. A. Rizzo. The virtual office. In 10th Annual Medicine Meets Virtual Reality Conference (2002), Newport Beach, CA. [Shallice e.a., 1991] T. Shallice and P. W. Burgess. Deficits in strategy application following frontal lobe damage in man. Brain, 144 :727–41 (1991). [Skelton e.a., 2000] R. W. Skelton, C. M. Bukach, H. E. Laurance, K. G. Thomas, and J. W. Jacobs. Humans with traumatic brain injuries show place-learning deficits in computer-generated virtual space. J Clin Exp Neuropsychol, 22(2) :157–75 (2000).

Applications de la réalité virtuelle aux troubles cognitifs et comportementaux

155

[Slater e.a., 2004]

M. Slater, D. P. Pertaub, C. Barker, and D. Clark. An experimental study on fear of public speaking using a virtual environment. In 3rd International Workshop on Virtual Rehabilitation (2004), Lausanne and Switzerland.

[Slater e.a., 2000]

M. Slater, A. Sadagic, and M. Usoh. Small group behaviour in a virtual and real environment : A comparative study. Presence : Teleoperators and Virtual Environments, 9(1) :37–51 (2000).

[Slater e.a., 1993]

M. Slater, A. Steed, and M. Usoh. The virtual treadmill : A naturalistic metaphor for navigation in immersive virtual environments. In M. Goebel, editor, First Eurographics Workshop on Virtual Reality Environments (1993), pages 71–83, Polytechnical University of Catalonia.

[Sohlberg e.a., 1989]

M. M. Sohlberg and C. A. Mateer. Introduction to cognitive rehabilitation : Theory and Practice. The Guilford Press, New York (1989).

[Stanton e.a., 1998]

D. Stanton, N. Foreman, and P. N. Wilson. Uses of virtual reality in clinical training : developing the spatial skills of children with mobility impairments. Stud Health Technol Inform, 58 :219–32 (1998).

[Steele e.a., 2003]

E. Steele, K. Grimmer, B. Thomas, B. Mulley, I. Fulton, and H. Hoffman. Virtual reality as a pediatric pain modulation technique : a case study. Cyberpsychol Behav, 6(6) :633–8 (2003).

[Strickland, 1997]

D. Strickland. Virtual reality for the treatment of autism. Stud Health Technol Inform, 44 :81–6 (1997).

[Strickland e.a., 1996]

D. Strickland, L. M. Marcus, G. B. Mesibov, and K. Hogan. Brief report : two case studies using virtual reality as a learning tool for autistic children. J Autism Dev Disord, 26(6) :651–9 (1996).

[Sveistrup, 2004]

H. Sveistrup. Motor rehabilitation using virtual reality. J Neuroengineering Rehabil, 1(1) :10 (2004).

[Tse e.a., 2003]

M. Y. Tse, J. K. Ng, and R. N. Chung. Visual stimulation as pain relief for hong kong chinese patients with leg ulcers. Cyberpsychol Behav, 6(3) :315–20 (2003).

[van der Linden e.a., 2004] M. van der Linden and A. C. Juillerat. La revalidation neuropsychologique dans la maladie d’alzheimer à un stade précoce : principes, méthodes et perspectives. Rev Neurol (Paris), 160 :6470 (2004). [Viaud-Delmon e.a., 2001] I. Viaud-Delmon, A. Berthoz, and R. Jouvent. Angoisse, corps et espace : de la physiologie à la réalité virtuelle. Pil éditions, Paris (2001). [Viaud-Delmon e.a., 1998] I. Viaud-Delmon, Y. P. Ivanenko, A. Berthoz, and R. Jouvent. Sex, lies and virtual reality. Nat Neurosci, 1(1) :15–6 (1998). [Viaud-Delmon e.a., 1999] I. Viaud-Delmon, Y. P. Ivanenko, R. Grasso, and I. Israel. Nonspecific directional adaptation to asymmetrical visual-vestibular stimulation. Brain Res Cogn Brain Res, 7(4) :507–10 (1999). [Viaud-Delmon e.a., 2005] I. Viaud-Delmon, O. Warusfel, A. Seguelas, E. Rio, and R. Jouvent. High sensitivity to multisensory conflicts in agoraphobia exhibited by virtual reality. European Psychiatry (2005). [Vincelli e.a., 2003]

F. Vincelli, L. Anolli, S. Bouchard, B. K. Wiederhold, V. Zurloni, and G. Riva. Experiential cognitive therapy in the treatment of panic disorders with agoraphobia : a controlled study. Cyberpsychol Behav, 6(3) :321–8 (2003).

[Wald e.a., 2001]

J. Wald and L. Liu. Psychometric properties of the drivr : a virtual reality driving assessment. Stud Health Technol Inform, 81 :564–6 (2001).

[Wald e.a., 2000]

J. Wald and S. Taylor. Efficacy of virtual reality exposure therapy to treat driving phobia : a case report. J Behav Ther Exp Psychiatry, 31(34) :249–57 (2000).

156 [Wald e.a., 2003]

Le traité de la réalité virtuelle

J. Wald and S. Taylor. Preliminary research on the efficacy of virtual reality exposure therapy to treat driving phobia. Cyberpsychol Behav, 6(5) :459–65 (2003). [Walshe e.a., 2003] D. G. Walshe, E. J. Lewis, S. I. Kim, K. O’Sullivan, and B. K. Wiederhold. Exploring the use of computer games and virtual reality in exposure therapy for fear of driving following a motor vehicle accident. Cyberpsychol Behav, 6(3) :329–34 (2003). [Wann e.a., 1997] J. P. Wann, S. K. Rushton, M. Smyth, and D. Jones. Virtual environments for the rehabilitation of disorders of attention and movement. Stud Health Technol Inform, 44 :157–64 (1997). [Warren e.a., 2001] W. H. Warren, Jr., B. A. Kay, W. D. Zosh, A. P. Duchon, and S. Sahuc. Optic flow is used to control human walking. Nat Neurosci, 4(2) :213–6 (2001). [Weiss e.a., 2003] P. L. Weiss, P. Bialik, and R. Kizony. Virtual reality provides leisure time opportunities for young adults with physical and intellectual disabilities. Cyberpsychol Behav, 6(3) :335–42 (2003). [Wiederhold e.a., 1998] B. K. Wiederhold, R. Gervirtz, and M. D. Wiederhold. Fear of flying : A case report using virtual reality therapy with physiological monitoring. Cyberpsychol Behav, 1 :97–103 (1998). [Wiederhold e.a., 2002a] B. K. Wiederhold, D. P. Jang, R. G. Gevirtz, S. I. Kim, I. Y. Kim, and M. D. Wiederhold. The treatment of fear of flying : a controlled study of imaginal and virtual reality graded exposure therapy. IEEE Trans Inf Technol Biomed, 6(3) :218–23 (2002a). [Wiederhold e.a., 2002b] B. K. Wiederhold, D. P. Jang, S. I. Kim, and M. D. Wiederhold. Physiological monitoring as an objective tool in virtual reality therapy. Cyberpsychol Behav, 5(1) :77–82 (2002b). [Wilson, 1997] B. A. Wilson. Cognitive rehabilitation : how it is and how it might be. J Int Neuropsychol Soc, 3(5) :487–96 (1997). [Wilson e.a., 1996] B. A. Wilson and J. J. Evans. Error-free learning in the rehabilitation of people with memory impairments. J Head Trauma Rehabil, 11(2) :54– 64 (1996). [Wilson e.a., 1997] P. N. Wilson, N. Foreman, and R. Gillet. Active versus passive processing of spatial information in a computer-simulated environment. Ecological Psychology, 9 :207–222 (1997). [Witmer e.a., 1998] B. Witmer and M. Singer. Measuring presence in virtual environments : A presence questionnaire. Presence Teleop Virt, 7(3) :225–240 (1998). [Zalla e.a., 2001] T. Zalla, C. Plassiart, B. Pillon, J. Grafman, and A. Sirigu. Action planning in a virtual context after prefrontal cortex damage. Neuropsychologia, 39(8) :759–70 (2001). [Zhang e.a., 2001] L. Zhang, B. C. Abreu, B. Masel, R. S. Scheibel, C. H. Christiansen, N. Huddleston, and K. J. Ottenbacher. Virtual reality in the assessment of selected cognitive function after brain injury. Am J Phys Med Rehabil, 80(8) :597–604 ; quiz 605 (2001). [Zhang e.a., 2003] L. Zhang, B. C. Abreu, G. S. Seale, B. Masel, C. H. Christiansen, and K. J. Ottenbacher. A virtual reality environment for evaluation of a daily living skill in brain injury rehabilitation : reliability and validity. Arch Phys Med Rehabil, 84(8) :1118–24 (2003).

6 GÉOSCIENCES

Jacques Vairon Contributeurs : Luc Frauciel et François Robida

6.1

INTRODUCTION

Le monde des géosciences (ou des sciences de la terre) est très vaste puisqu’il recouvre les phénomènes naturels et anthropiques ayant affecté ou affectant le sous-sol. Les diverses thématiques invoquées dans ce domaine sont donc nombreuses. La connaissance géologique qui permet de caractériser les diverses formations géologiques constituant le sous-sol et de comprendre comment elles sont agencées dans l’espace est le fondement de toutes les autres thématiques. La carte géologique qui est l’expression de cette connaissance à la surface du sol est complétée en profondeur par des modèles géométriques. Le sous-sol recèle de multiples ressources qu’il convient de gérer au mieux dans un esprit de développement durable. Les nappes d’eau souterraine qui représentent une part très importante de l’approvisionnement des populations, que ce soit pour l’alimentation, l’agriculture ou l’industrie, font l’objet d’études approfondies non seulement pour les quantifier mais également pour être à même de gérer leur évolution au cours du temps, à l’échelle d’une année ou de plusieurs décennies. Les matières premières, indispensables à l’industrie, requièrent la compréhension des processus de mise en place pour pouvoir assurer au mieux leur renouvellement ainsi que leur exploitation optimale. Il en est de même pour les énergies fossiles (pétrole, gaz, charbon) ou la géothermie. Les effets des risques naturels sont en général bien connus du public car relayés abondamment par les médias. Pour le géoscientifique, il s’agit d’être capable de les comprendre, de les simuler, de les prévoir. Les séismes, les glissements de terrain, les crues par remontée de la nappe phréatique, les fontis dans les zones karstiques ou liés aux anciennes mines font partie des phénomènes étudiés par ce domaine. Les pollutions, qu’elles soient accidentelles ou récurrentes, mettent en jeu des phénomènes de transfert et de diverses réactions chimiques dans le sous-sol qu’il est nécessaire de bien maîtriser pour y remédier. Les stockages souterrains mettent à profit la géométrie et les caractéristiques des formations géologiques. Si le stockage de gaz dans le sous-sol est mis en œuvre depuis plusieurs décennies, les études actuelles sont focalisées sur la problématique des déchets radioactifs et sur la séquestration du CO2 . Notre planète est à 3 Dimensions, le monde des géosciences a ainsi une longue tradition de la modélisation 3D de par l’essence même des données qu’il manipule. Les premiers écrits traitant de la géologie faisaient déjà largement appel aux blocs-diagrammes 3D et le papier isométrique n’a été abandonné que depuis peu au profit des outils informatiques. L’évolution de ces outils s’est faite longtemps selon deux axes. D’un côté, les Systèmes d’Information Géographique (SIG), dédiés typiquement à la cartographie 2D, permettent d’intégrer dans un même environnement des données de sources multiples tout en offrant des possibilités de présentation élaborées, de l’autre les outils de modélisation 3D dédiés au géosciences sont souvent limités en termes d’intégration de données variées. L’évolution récente voit se rejoindre ces deux lignées, les SIG intégrant des fonctionnalités 3D et les modeleurs ne se limitant plus aux seules données géométriques. Ces outils restent néanmoins largement cantonnés à des interfaces 2D

158

Le traité de la réalité virtuelle

que ce soit en termes de visualisation (écran) ou d’interactions (menus, souris). Pour les scientifiques qui manipulent l’ordinateur depuis plusieurs dizaines d’années pour bâtir des modèles numériques et réaliser des simulations, pouvoir travailler directement en 3D, sans se limiter à une interface 2D, doit permettre de concevoir plus rapidement et plus précisément les modèles et simulations nécessaires. Après une revue des éléments manipulés dans les environnements virtuels géoscientifiques, nous présenterons le retour d’expérience du BRGM, qui assure au niveau français le rôle de service géologique national. Bien qu’il ne soit pas directement impliqué dans le monde du pétrole, les thématiques qu’il aborde sont suffisamment proches pour que la présentation de quelques unes de ses applications fournisse néanmoins un bon aperçu de l’utilisation de la réalité virtuelle dans ce domaine.

6.2 LES ÉLÉMENTS DES ENVIRONNEMENTS VIRTUELS Les environnements virtuels manipulés dans le monde des géosciences font appel à diverses sources de données qui peuvent être classées en deux types : •

les données de base, qui correspondent aux données acquises sur le terrain par les équipes ou fournies par d’autres producteurs de données et qui sont en général stockées dans des bases de données ;

•

les données qui sont le résultat de modélisation ou de simulation.

Ces données étant géoréférencées, il est impératif qu’elles soient disponibles dans le même système de projection géographique. Cette manipulation préalable est relativement aisée pour notre premier type de données en utilisant les fonctionnalités des outils SIG, par contre elle est souvent difficile, voire impossible pour les modèles qui s’appuient sur des géométries dont la régularité originelle ne sera pas préservée lors d’un changement de projection.

6.2.1 LES DONNÉES DE BASE

6.2.1.1

La topographie et ses éléments associés

La topographie (la surface du sol) est un élément essentiel de l’environnement virtuel puisqu’elle constitue bien souvent pour l’observateur le seul moyen de se repérer. La surface topographique est en général fournie par les instituts géographiques nationaux sous la forme d’un modèle numérique de terrain (MNT). L’IGN [http1] fournit ainsi l’altitude de l’ensemble du sol français à une maille régulière de 50 mètres dans un format ASCII de type x, y, z ou dans un format standard SIG (Système d’Information Géographique). Les études d’emprise plus vaste peuvent faire appel aux données SRTM (Shuttle Radar Topography Mission) [http2] diffusées par l’USGS au pas de 90 mètres sur 80% du globe. A l’inverse, certaines études locales peuvent nécessiter une topographie plus précise que celle fournie par la couverture nationale, des levés spécifiques sont alors mis en œuvre, le produit numérique fourni étant habituellement une triangulation.

Géosciences

159

On se rend compte très vite que la taille de ces données peut être très importante et qu’il va être bien souvent nécessaire de mettre en œuvre des mécanismes de niveaux de détail si l’on veut offrir à l’utilisateur des fonctionnalités de zoom qui préservent la qualité des données. Cette surface topographique va permettre d’autre part de caler en 3D des éléments complémentaires qui bien souvent ne sont pas référencés en altitude. Une projection de ces éléments sur la surface est donc réalisée en prétraitement ou au vol lors de leur chargement. Ces éléments sont disponibles soit sous forme d’images géoréférencées, soit sous une forme vectorielle fournie en général dans un format standard des Systèmes d’Information Géographique. A titre d’exemple, nous pouvons citer : • • • • • • •

photos aériennes, imagerie satellitaire ; cartes topographiques à diverses échelles ; infrastructures routières, ferroviaires ; hydrographie ; limites territoriales, zones habitées ; bâti, éventuellement extrudé en 3D ; points d’information divers.

La carte géologique, qui fournit la nature des formations géologiques à la surface du sol, constitue un élément spécifique au monde des géosciences. La couverture nationale métropolitaine française à l’échelle du 1/50 000 comprend 1127 cartes (30 km x 20 km). Les autres échelles utilisées sont le 1/250 000 (44 cartes) et le 1/1 000 000 (1 carte). Outre sa version papier traditionnelle qui est également déclinée en image géoréférencée, elle est maintenant souvent disponible sous forme numérique associant les géométries et leurs attributs. Les éléments géométriques comprennent les polygones des formations géologiques, les courbes constitutives de ces polygones, les courbes spécifiques aux éléments structuraux (failles,...), les points de mesures structurales (direction, inclinaison des couches) et enfin un certain nombre de courbes ou points regroupant des informations de natures diverses (courbes isovaleurs, axes de plis, points particuliers - mines, carrières ). Les attributs sont stockés dans des bases de données. Ces données peuvent être très volumineuses, ainsi dans l’exemple de la carte de Bain de Bretagne (Figure 6.1), 55 formations géologiques sont individualisées. Les 1700 polygones sont définis par 4200 polylignes comportant 43000 points. Le passage en 3D de ces éléments, comme pour ceux de repérage, est réalisé également par projection sur le MNT. Sauf cas particuliers où l’on veut pouvoir interagir avec certains objets, l’utilisation d’images est en général privilégiée. La génération de ces images est réalisée habituellement avec les outils SIG qui vont permettre de combiner plusieurs couches d’information, le couplage avec les niveaux de détail de la géométrie faisant appel aux techniques de mipmapping. La topographie gérée par les géosciences n’est pas limitée à la surface actuelle, les surfaces anciennes sont également étudiées par les paléogéographes et la végétation associée aux temps géologiques considérés est parfois reconstituée à partir des données des végétaux fossiles. La visualisation mise en œuvre fait appel à des textures mais les modèles d’environnement naturel plus sophistiqués ouvrent de nouvelles perspectives.

160

Le traité de la réalité virtuelle

Figure 6.1 : Exemple d’une carte géologique 1/50 000 6.2.2 LES FORAGES

Les forages (ou sondages) correspondent à une investigation en profondeur du sous-sol. Quelque soit la technique de foration utilisée, ils peuvent fournir diverses informations alphanumériques ou numériques : • • •

nature de la roche (lithologie), âge (stratigraphie) ; paramètres physico-chimiques divers selon l’objectif ; diagraphies, imageries de paroi.

La structure géométrique support de cette information est une polyligne 3D (rectiligne verticale ou quelconque). Les informations associées au sondage sont relatives soit aux segments appelés communément «passes», soit aux nœuds. Pour une même géométrie globale du forage, le découpage de l’information sera différent. Par exemple, un forage pourra comporter un premier découpage guidé par la lithologie et un second correspondant à un échantillonnage systématique tous les mètres à des fins d’analyses chimiques. Pour présenter ces informations il est alors nécessaire de réaliser une «intersection» de toutes les découpes pour obtenir une géométrie apte à supporter les informations désirées, ce qui amène à des duplications d’attributs et à une augmentation du nombre de segments de la polyligne pénalisant le rendu. La présentation des forages dans l’environnement virtuel est souvent réalisée sous la forme de cylindres dont la coloration est en relation avec un attribut, la lithologie dans notre exemple. Une modulation du diamètre sera exploitée pour mettre en évidence les valeurs de l’analyse chimique. Le diamètre réel, du fait de sa faible importance (de l’ordre de la dizaine de centimètres) par rapport aux dimensions du monde virtuel, n’est en général pas directement utilisable.

Géosciences

161

Figure 6.2 : Coupe sismique et interprétation géologique

Ces sondages sont stockés sous diverses formes (fichiers ascii, tableurs ou bases de données). Au niveau français, le code minier national rend obligatoire la déclaration de tout ouvrage de plus de 10 mètres de profondeur, le BRGM a la charge de la gestion de la base de données nationale des forages (Banque du Sous-Sol - plusieurs centaines de milliers de forages) qui est accessible via son portail de diffusion des données InfoTerre [http3]. La taille de ce type de données n’est pas à sous-estimer, par exemple, la seule ville de Paris dispose de 4200 forages reconnaissant plusieurs dizaines de formations géologiques.

6.2.3 LES INFRASTRUCTURES SOUTERRAINES

Divers ouvrages souterrains (tunnels, métro, égouts, carrières souterraines, galeries de mine, cavités naturelles,...) peuvent également être pris en compte. Nous les distinguons des autres objets car la définition de leur géométrie relève généralement d’un travail préalable de CAO, bien que pour certains environnements virtuels leur matérialisation par des primitives simples (cubes, cylindres) ou des extrusions suffise amplement aux besoins des utilisateurs. Le recours à ces formes simples présente l’avantage de pouvoir générer de façon automatique les géométries. Nous pouvons cataloguer sous cette rubrique les équipements spécifiques qui peuvent être associés aux forages (tubages, crépines, pompes).

6.2.4 LES COUPES

Une coupe, dans sa version la plus simple, correspond à l’intersection du sous-sol par un plan vertical. Ces coupes sont le support d’informations variées comme une interprétation géologique du sous-sol, une image d’un profil géophysique (sismique, gravimétrie, magnétisme...) ou le couplage des deux (Figure 6.2). En pratique, la trace en surface des coupes est souvent une ligne brisée. Pour la restitution en 3D de ces informations, la géométrie de la surface support issue de la polyligne de surface est utilisée pour projeter l’information qui peut être une image ou des données vectorielles.

162

Le traité de la réalité virtuelle

Figure 6.3 : Modèle multicouche de la Beauce - logiciel GDM (BRGM)

6.2.5 LES MODÈLES

6.2.5.1

Les modèles géométriques

Les modèles géométriques correspondent à la définition de l’enveloppe des corps géologiques modélisés. Deux types de modélisation sont utilisés selon la géométrie. Lorsque la géologie est stratiforme comme c’est souvent le cas dans les bassins sédimentaires, une modélisation 2.5D est le plus souvent utilisée. L’altitude Z d’une couche est une fonction de x, y. Il s’agit alors d’interpoler aux nœuds d’une grille 2D souvent régulière, l’altitude du sommet («le toit») et/ou la base («le mur») des diverses formations géologiques modélisées. On parle alors de modèle multicouche (Figure 6.3). Les interpolateurs proposés par les divers outils sont multiples, les algorithmes issus de la géostatistique étant les seuls à prendre en compte la variabilité spatiale et à permettre l’évaluation de la précision de l’estimation. Ce sont les informations fournies par la carte géologique, les forages et les éventuelles coupes interprétatives qui sont utilisées pour cette interpolation. Il est à noter que l’ensemble des nœuds de la grille n’est pas forcément défini en Z car une formation peut ne pas être définie sur l’ensemble du domaine. Les outils de rendu de terrain ne sont pas aptes bien souvent à gérer cette notion de valeur indéfinie. Ce type de modèles s’apparente donc fortement aux modèles numériques décrits précédemment et la problématique de la taille de ces modèles est accentuée. A titre d’exemple, la modélisation en cours du bassin parisien entreprise par le BRGM s’appuie sur une grille de 2500x2500 nœuds (pas de 250 m) et elle concerne une cinquantaine de surfaces. Les techniques de niveaux de détail mises en œuvre doivent ici prendre en compte des contraintes additionnelles, préserver les caractéristiques de chacune des surfaces (limites, trous, rejets de failles...) ainsi que la cohérence de l’ensemble des surfaces (une surface ne doit pas venir en intersection avec une autre à

Géosciences

163

Figure 6.4 : Modèle 3D Armor - logiciel EarthVision (Dynamic Graphics) l’issue d’une simplification). Lorsque la morphologie est trop complexe (failles, plis inverses, formation intrusive...), c’est à dire quand la définition de la surface d’une formation ne peut pas être du type z=f(x, y), il est nécessaire de recourir à des modeleurs purement 3D (Figure 6.4). Parmi les exports proposés par ces modeleurs, le format VRML permet d’accéder très rapidement à la surface triangulée des enveloppes des formations géologiques. Une autre possibilité est la grille 3D où chaque nœud (ou élément) supporte le label ou l’indice de la formation présente. 6.2.6 LES MODÈLES MAILLÉS DE PARAMÈTRES

Nous dénommons ainsi les modèles issus des codes de calcul qui s’appuient sur des maillages souvent dérivés des modèles géologiques pour pouvoir prendre en compte les caractéristiques des formations du sous-sol. L’ensemble des thématiques citées précédemment fait largement appel à ces modèles et elles ont toutes le même souci de leur taille et de la difficulté d’analyse. Une bonne partie de ces modèles correspond à des simulations au cours du temps, les pas de temps pouvant être réguliers ou non selon la dynamique des phénomènes simulés. Les maillages support de l’information, sont de types multiples (réguliers ou non). Les codes, étant souvent propriétaires, leur exportation dans un format compatible avec les outils de visualisation est souvent possible. Les variables associées peuvent être des scalaires, des vecteurs et des tenseurs. Le ta-

164

Le traité de la réalité virtuelle

bleau ci-dessous fournit à titre d’exemple, quelques uns des paramètres communément manipulés. Perméabilité relative Compressibilité Masse volumique Concentrations Charge hydraulique, pression Viscosité Température Pression capillaire Porosité Coefficient d’emmagasinement Salinité Diffusion moléculaire Dispersivité L et T

T S S S S S S V S S S S S

6.3 RETOUR D’EXPÉRIENCE D’UN SERVICE GÉOLOGIQUE NATIONAL 6.3.1 MOTIVATION POUR LA RÉALITÉ VIRTUELLE

Le BRGM a entamé une réflexion en 2001 dans le cadre d’un projet d’entreprise, Terre Virtuelle, en partant du constat que le rôle des services géologiques était en pleine mutation. Il leur faut en effet adapter l’offre à l’évolution d’une demande qui a fortement changé, depuis une clientèle d’experts vers une clientèle beaucoup plus large, qu’il s’agisse de décideurs politiques ou d’entreprises, d’associations et d’ONG, voire de citoyens. Cette nouvelle clientèle a de fait une connaissance beaucoup plus limitée dans les domaines de compétence des services géologiques, ce qui se traduit par des demandes d’une réelle «démocratisation» de l’information scientifique. Parmi les axes majeurs dégagés, les techniques de restitution dans des environnements immersifs sont apparues comme un moyen de rendre intelligibles des modèles complexes à des non-spécialistes, des travaux importants étant cependant à mener pour concevoir de nouvelles interfaces de navigation ou de modélisation tirant réellement profit de cette technologie. Les besoins à court terme concernaient donc la visualisation de modèles existants dans un souci de communication. A moyen-long terme, l’objectif du BRGM est également de développer de nouveaux outils de modélisation en utilisant des interactions nouvelles et un couplage avec les simulations, préfigurant ainsi l’équipement du poste du géo-scientifique avec une technologie de réalité virtuelle. L’industrie pétrolière utilise largement, et ce depuis déjà de nombreuses années, les environnements immersifs et il est donc étonnant qu’aucun service géologique, bien que gérant le même type de données, ne dispose en 2001 de plate-forme de réalité virtuelle. L’aspect financier n’est sans doute pas étranger à cet état de fait, le retour sur investissement étant plus difficilement démontrable pour des services géologiques nationaux dont les activités se partagent entre recherche et appui aux politiques publiques. Le BRGM, soutenu financièrement par la Région Centre, avec la mise en œuvre de sa salle de réalité virtuelle fin 2002, est ainsi précurseur dans le monde des services géologiques, et promoteur également puisque le BGS (British Geological Survey) a installé également début 2005 une plate-forme de réalité virtuelle.

Géosciences

165

Figure 6.5 : La plate-forme de réalité virtuelle du BRGM avec le Spidar

6.3.2 L’ÉQUIPEMENT, LES CHOIX TECHNIQUES

Contrairement au monde pétrolier qui privilégie habituellement les salles immersives dans un souci de revue de projet, le choix s’est porté sur un bureau immersif bi-écran (Figure 6.5) qui correspondait davantage aux finalités d’utilisation envisagée, à savoir procurer aux modélisateurs un outil de travail interactif exploitant au mieux les possibilités de la réalité virtuelle. L’aspect communication reste néanmoins possible même si cette configuration est loin d’être optimale pour un large public. L’option visiocube, compte tenu de l’échelle des modèles manipulés, qui est le plus souvent sans relation avec celle de l’homme, n’a pas été envisagée. Le tracking est assuré par un Intersense 900. L’équipement est complété par un système haptique Spidar, développé par l’Institut de Technologie de Tokyo [http4], et installé dans le cadre du projet RNTL Geobench. La volonté affichée dans le choix du calculateur était de démontrer qu’il était possible de mettre en œuvre une plate-forme «industrielle» basée sur une grappe de PC standards de faible coût que ce soit en termes d’investissement, de maintenance ou d’évolutivité. Cet aspect PC standard est accentué par l’utilisation de cartes graphiques ne gérant pas le genlock, la synchronisation étant prise en charge par le logiciel opensource SoftGenlock [http5] développé par l’équipe du Laboratoire d’Informatique d’Orléans dont la proximité géographique a par ailleurs favorisé la collaboration. Sur les six PC constituant la grappe, deux sont dédiés au rendu sur chacun des deux écrans, les quatre autres étant disponibles pour les codes de calcul couplé. En terme de logiciels, les diverses possibilités disponibles sur le marché ont été passées en revue en prenant en compte quatre critères principaux :

166 •

caractère immersif et interactions ;

•

adéquation aux données manipulées ;

•

rapidité de mise en œuvre ;

•

extension possible des fonctionnalités.

Le traité de la réalité virtuelle

L’entreprise ne disposant pas de compétences particulières dans les développements informatiques spécifiques à la réalité virtuelle lors du démarrage du projet, le choix s’est porté sur un logiciel de visualisation scientifique généraliste, Amira de Mercury Computer Systems [http6] qui proposait une première version dédiée à la réalité virtuelle disponible sur une grappe de PC. Il présente d’autre part l’intérêt de disposer d’une interface utilisateur disponible sous la forme de menus 3D accessibles directement dans l’espace immersif de visualisation, des menus spécifiques sont également programmables très facilement via des scripts, ce qui permet regrouper les fonctionnalités nécessaires à l’application. Deux avantages supplémentaires étaient également procurés par cet outil, une version Windows qui permettait aux créateurs des environnements virtuels de travailler en autonome sur leur poste de travail habituel, un environnement de développement associé permettant de compléter les fonctionnalités disponibles, notamment l’import des données spécifiques au domaine traité. Ce choix a ainsi permis d’être opérationnel très rapidement après l’acquisition et l’installation du matériel. L’aspect logiciel est complété par des développements spécifiques utilisant le graphe de scène OpenSceneGraph [http7] qui a été privilégié par rapport aux autres graphes de scène disponibles (Performer, OpenSG) principalement parce qu’il offre des fonctionnalités en relation avec les SIG, notamment l’utilitaire GDAL permettant de générer automatiquement des niveaux de détail. Le contexte réalité virtuelle est géré par VRJuggler [http8] dans sa version 2 qui intègre les communications assurées précédemment par NetJuggler [http9]. Par contre, les fonctionnalités d’interaction ne sont pas disponibles dans cet environnement et sont donc à développer.

6.4 EXEMPLES D’APPLICATIONS 6.4.1 GÉOTHERMIE

Le BRGM et l’ADEME réalisent depuis 2002 l’inventaire des potentialités géothermiques du territoire métropolitain français, les premiers travaux étant concentrés sur les Limagnes d’Allier et de Loire en Auvergne. L’application de réalité virtuelle réalisée avec le logiciel AmiraVR dans le cadre de ce projet présente l’intérêt du mixage de données de compilations gérées dans un SIG et de modèles géologiques 3D dans un même environnement. Quatre niveaux de zoom sont mis en jeu. Une carte de l’Europe, présentant les températures du sous-sol extrapolées à une profondeur de 1500 mètres, permet tout d’abord de localiser la zone d’intérêt des Limagnes. Le niveau régional (100 km x 200 km) présente sur un modèle de terrain drapé d’une carte géologique synthétique les éléments issus du SIG (localisation des sources thermales, des forages, isothermes en profondeur, traces des profils sismiques utilisés pour la modélisation). Ces données, bien que typiquement cartographiques, sont gérées en tant qu’objets individuels afin de pouvoir les manipuler (affichage ou non) et de les interroger. Le modèle géologique 3D (Figure 6.6) réalisé sur le secteur le plus prometteur avec l’Editeur géologique 3D du BRGM [http10] prend en compte treize formations géologiques. La fonctionnalité de coupe interactive offerte par Amira est d’un appui incomparable pour

Géosciences

167

Figure 6.6 : Le modèle géologique des ressources géothermiques des Limagnes d’Auvergne

l’examen de ce modèle complexe. Enfin, un dernier zoom à l’aplomb du futur hôpital de Clermont-Ferrand présente les diverses options d’exploitation de la ressource géothermique (sondes thermiques de faible et moyennes profondeur, doublet géothermique). Cette application a été mise à profit pour réaliser le développement d’un import automatique dans Amira de données SIG (points, polylignes, grilles) dans leur format natif. Par ailleurs, la manipulation du modèle géologique a fait apparaître des difficultés d’interaction du fait de son volume. Les enveloppes des treize formations modélisées sont en effet importées sous la forme de fichiers VRML constitués à partir d’une grille 3D régulière, la prise en compte de la complexité du modèle nécessite alors l’utilisation d’une grille très fine. Une simplification classique des surfaces individuelles n’est pas à même de résoudre ce problème car invariablement la cohérence des surfaces entre elles est alors détruite. D’autre part, le système de projection utilisé (Lambert2 en mètres) imposant de manipuler des coordonnées de taille importante (de l’ordre du million), la précision de l’algorithme de décimation induit des artefacts (crénelage) lorsque les

168

Le traité de la réalité virtuelle

couches sont peu épaisses. La résolution de ce problème, tout en gardant le même algorithme de simplification, a nécessité la mise en place d’un script gérant la fusion des enveloppes conservant la topologie initiale, une translation temporaire du modèle à l’origine et enfin l’application de la simplification. La fonctionnalité de génération de film procurée par Amira a permis par ailleurs de réaliser une animation présentant les résultats du projet.

6.4.2

CRUES PAR REMONTÉE DE NAPPE

L’objectif de cette réalisation avec l’outil Amira était de tirer profit des possibilités d’un environnement virtuel pour communiquer sur ce phénomène peu connu du public et pourtant largement impliqué dans les crues qu’a connu la Somme il y a quelques années. Les données utilisées sont celles de la simulation dans le Val d’Orléans d’une crue de ce type que pourrait entraîner une crue «classique» centennale de la Loire, le sous-sol étant constitué de calcaires affectés par des processus de karstification, la rivière alimente ainsi directement la nappe phréatique et la fait monter localement jusqu’à la surface. Elles sont constituées essentiellement d’un modèle numérique sous la forme d’une grille fournissant la position de la nappe phréatique à divers pas de temps. La comparaison avec le modèle numérique du terrain permet de calculer la profondeur de la nappe et donc de classifier les risques selon qu’elle est plus ou moins proche de la surface, par exemple une profondeur comprise entre 2 et 3 mètres affectera seulement les bâtiments disposant d’un sous-sol. La première réalisation se contentait de la visualisation au cours du temps d’une part de l’évolution des zones dangereuses par une texture colorée selon les critères de risque adoptés et d’autre part de l’évolution de la surface de la nappe phréatique montrant sa déformation en corrélation avec la progression de la crue de la Loire d’amont en aval. L’amplitude du battement de la nappe étant très faible par rapport à l’étendue du domaine, il est nécessaire de dilater les surfaces selon l’axe des Z pour que cette déformation soit visible. Cela implique d’affecter le même coefficient de dilation à la surface topographique, ce qui fait ressembler très rapidement le Val d’Orléans aux gorges du Verdon ! Il est à noter que cette problématique, qui est commune à beaucoup d’applications mettant en jeu des modèles géoscientiques de large étendue et de faible profondeur, rend souvent très difficile la visualisation 3D. Le retour des utilisateurs sur cette première réalisation, où le caractère scientifique des données avait voulu être préservé, a été relativement négatif car n’apportant pas vraiment d’aide aux néophytes dans la compréhension du phénomène mis en jeu. Une deuxième application a donc été conçue, où les données de bases, tout en étant présentes, n’étaient plus le centre mais plutôt le support à des explications sous la forme d’images animées ou de bâtiments fictifs (Figure 6.7) permettant de mieux mettre en évidence le phénomène.

6.4.3 RISQUES SISMIQUES DE LA RÉGION NIÇOISE

Cette application met en œuvre un modèle géologique 3D définissant les principales formations géologiques du sous-sol de l’agglomération niçoise. Les ondes sismiques sont en effet plus ou moins amplifiées selon la nature de la roche et la configuration topographique, il est donc important de pouvoir quantifier ces «effets de site» pour être

Géosciences

169

Figure 6.7 : Simulation d’une crue par remontée de nappe dans le val d’Orléans

à même de définir les zones particulièrement sensibles à un séisme dans les régions à risque. Le code de calcul de géomécanique prend en entrée les résultats d’une simulation réalisée par le CEA définissant les caractéristiques des ondes sismiques qui se propagent depuis un épicentre situé à 15 kilomètres en mer. Du modèle géologique a été extrait un modèle maillé du centre historique de la ville sur lequel un code de géomécanique a été utilisé pour calculer les effets de site d’un séisme Le maillage supportant les résultats finaux (vitesse, accélération, déplacement) comporte 80 000 éléments tétraédriques, la simulation dure 15 secondes avec un pas de temps d’un centième de seconde. On aborde ici la problématique de la visualisation de résultats scientifiques de gros volume, commun à d’autres domaines. La visualisation de ce modèle (Figure 6.8) au cours du temps est à la limite de l’interactivité raisonnable pour la plate-forme, le chargement des divers pas de temps étant très coûteux. Le projet RNTL Geobench, associant le BRGM, le CEA les laboratoires I3D et ID de l’INRIA, le Laboratoire d’Informatique d’Orléans et l’éditeur du logiciel Amira (Mercury Computer Systems), a permis d’aborder d’autre part les aspects haptiques sur ce type de modèle complexe, où la visualisation montre rapidement ses limites dans l’exploration. Le dispositif haptique utilisé sur la plate-forme du BRGM est constitué par un Spidar mis en œuvre grâce à l’appui du laboratoire I3D. Des modules haptiques spécifiques, couplés à Amira grâce à l’intergiciel FlowVR [http11], ont été développés par l’équipe I3D dans le cadre de ce projet, notamment un module permettant d’explorer les lignes de courant d’un champ de vecteurs. La main de l’utilisateur est contrainte par une légère tension du Spidar sur une ligne de courant.

170

Le traité de la réalité virtuelle

Figure 6.8 : Quantification des effets de site non linéaires dans l’agglomération niçoise (vecteur déplacement)

6.4.4 MILIEU URBAIN

La représentation des modèles urbains est un des éléments prépondérants pour l’aménagement et la gestion des risques naturels dans le cadre d’une agglomération. Les modèles réalistes de ville sont en général très coûteux en taille et posent donc des problèmes de rendu. Ces aspects ont été abordés dans le cadre du projet Prog(ressive)City, labellisé par le réseau national RIAM (Recherche et Innovation en Audiovisuel et Multimédia) et qui a impliqué en 2004 quatre partenaires : Archividéo SA, France Télécom R&D, la Ville de Rennes et le BRGM. L’objectif du projet est de développer un logiciel de rendu interactif (en local et sur Internet) de données urbaines 3D permettant une représentation fluide et réaliste de la ville à n’importe quel niveau de détail, que ce soit sous Internet ou en local, en l’occurrence sur une plate-forme de réalité virtuelle. Ce logiciel est basé sur la fusion de deux technologies : FASTBUILDER (Archividéo) pour la création rapide de maquettes 3D vraisemblables de villes, et PROGCITY (FranceTélécom R&D) qui concerne le streaming adaptatif de villes 3D. Le BRGM est intervenu dans le projet en tant qu’expérimentateur sur sa plate-forme de réalité virtuelle, en y intégrant des données géoscientifiques, au même titre que la ville de Rennes qui abordait les aspects de diffusion sur Internet. Le centre technique du BRGM étant localisé à Orléans, l’expérimentation BRGM a été réalisée sur le modèle urbain de cette ville. La première phase du projet a consisté dans l’intégration du logiciel, livré sous la forme d’un nœud spécifique OpenSceneGraph, dans l’environnement logiciel de la plate-forme de réalité virtuelle, la deuxième phase a permis de tester la possibilité d’intégrer les données géoscientifiques que manipule communément le BRGM (forages, modèle géologique, points d’information) (Figure 6.9). Ce projet a par ailleurs

Géosciences

171

Figure 6.9 : Modèle urbain d’Orléans - Projet RIAM Prog(ressive)

été l’occasion de renforcer les compétences dans l’utilisation du graphe de scène utilisé.

6.4.5 CHÂTEAU DE SAUMUR

Cette application représente le cas idéal de l’appropriation par les utilisateurs de la plate-forme de réalité virtuelle. Une première étude géologique a été menée pour préciser l’origine de l’effondrement d’un rempart du château en avril 2001. Les résultats de cette étude ont été visualisés par les géologues et les architectes des monuments historiques sous la forme d’un environnement virtuel intégrant un modèle géologique du sous-sol et les sondages ayant servi à sa réalisation, les éléments de repérage étant constitués par un modèle simplifié du château et par diverses infrastructures (bâtiments, caves) aux alentours immédiats. Une deuxième phase a ensuite été réalisée sur la partie du château à proximité du rempart arraché. La tour principale et ses éléments annexes ont fait l’objet d’un scan 3D (Figure 6.10) avec l’objectif de disposer d’un modèle maillé permettant des simulations géomécaniques pour déterminer les zones de contraintes à consolider. Les réunions dans la salle de réalité virtuelle des divers intervenants impliqués dans le projet ont été un moyen pour les intervenants de pouvoir partager leurs informations en couplant les supports traditionnels des architectes (plans historiques sur papier) aux technologies de la réalité virtuelle, permettant ainsi de comprendre les imbrications des éléments du château et son interaction avec le sous-sol.

172

Le traité de la réalité virtuelle

Figure 6.10 : Château de Saumur et son environnement géologique

Géosciences

173

Les données du modèle géologique ont d’autre part été utilisées dans le cadre d’un démonstrateur d’interpolation couplée du projet Geobench. Au-delà de la représentation, de nouvelles techniques de modélisation sont en effet largement attendues en géosciences afin de passer d’une modélisation à partir de raisonnements 2D (coupes et plans) à des méthodes réellement 3D. Une première application de modélisation a été développée pour l’interpolation géostatistique de surfaces géologiques en mettant en œuvre les résultats du projet. Classiquement le géologue dispose des données fournies par la carte géologique (limite des couches géologiques en surface), de données en profondeur via les sondages ou des investigations géophysiques. Malheureusement, compte tenu du coût d’acquisition des données en profondeur, les informations disponibles sont rarement suffisantes pour contraindre les surfaces géologiques. Le géologue doit introduire de nouvelles données ou modifier les surfaces pour pallier cette insuffisance et ajouter ainsi sa connaissance. Le processus de modélisation est donc souvent itératif : •

•

détection des éventuelles anomalies via l’examen de la surface interpolée ; le retour haptique procure ici une aide complémentaire ; ajout / modification de points de données pour contraindre l’interpolation dans les zones mal reconnues. Le déplacement d’un point est ici contraint via le retour haptique soit dans une direction donnée (en général la verticale), soit dans un plan particulier ; regénération de la surface.

L’intergiciel FlowVR permet ici de distribuer le composant d’interpolation géostatistique issu du logiciel BRGM GDM [http12] sur les nœuds disponibles de la grappe de PC. Les principaux paramètres (interpolateur, voisinage, variogramme) peuvent également être modifiés, faisant également de cette application un outil novateur de formation à l’interpolation. 6.5

CONCLUSIONS ET PERSPECTIVES

Beaucoup de monde a déjà du mal à lire une carte topographique, il est encore plus difficile pour une personne néophyte dans les géosciences de pouvoir appréhender les outils classiques du géologue que sont les cartes géologiques, les coupes... Les environnements virtuels représentent donc un élément essentiel pour permettre la compréhension des phénomènes géologiques au sens large non seulement par les scientifiques mais également par les décideurs, les citoyens qui doivent pouvoir s’approprier ces informations. La constitution de ces environnements à des fins de communication, outre les aspects techniques qui sont plus ou moins bien maîtrisés, n’est pas aussi évidente qu’il peut y paraître au premier abord. Elle fait intervenir en effet des compétences que l’on pourrait qualifier de scénaristiques qui font malheureusement trop souvent défaut dans le milieu scientifique et rendent ainsi particulièrement coûteuses en temps ce genre de réalisation. Pour l’utilisateur scientifique, outre la revue de projet particulièrement utilisée dans l’industrie pétrolière, le travail de modélisation géologique directement dans l’espace 3D est certainement un aspect qui va devenir prépondérant dans les années à venir. L’introduction de l’haptique, qui n’en est qu’à ses premiers balbutiements dans le domaine des géosciences, est également très prometteuse. Cela supposera cependant un très grand changement dans les habitudes de travail du géologue.

174

Le traité de la réalité virtuelle

Parmi les difficultés techniques de la création des environnements virtuels, la simplification des surfaces géologiques et/ou la génération de niveaux de détail, qui respectent la cohérence des couches permettant un rendu sans affecter la fluidité des interactions, est certainement le problème le plus ardu à résoudre. Cet aspect est abordé dans le cadre d’une thèse BRGM hébergée par le laboratoire d’informatique d’Orléans, en mettant à profit la capacité de calcul d’une grappe de PC pour générer dynamiquement les niveaux de détail. Un autre aspect concernant l’accès aux données nous parait essentiel. Les données géoréférencées sont proposées par leurs producteurs sur le Net (gratuitement ou non) depuis déjà de nombreuses années mais leur exploitation est devenue très rapidement ingérable (dispersion des sources de données, formats variés, systèmes d’exploitation divers). L’alternative qui émerge depuis quelques années est la mise en œuvre du concept d’interopérabilité dont l’idée prédominante est non pas de vouloir intégrer toutes ces données dans un nouveau système, mais de fournir aux producteurs un protocole de dialogue pour que leurs données puissent être combinées avec d’autres, sans qu’ils aient à modifier leurs modes de fonctionnement interne. Le consortium OpenGeospatial (OGC) [http13] et l’ISO ont ainsi défini une norme pour les données géoréférencées qui permet à une application distante de demander à un serveur OGC ce qu’il est en mesure de fournir et de charger les données dans un format unique. Les données sont ainsi à jour date lors de leur utilisation, qui peut être une simple visualisation de l’information mais aussi l’analyse, la modélisation ou la simulation de processus au travers des données chargées. Des premiers tests ont été réalisés dans cet esprit par le BRGM dans le cadre du projet Geobench en visualisant directement dans l’environnement virtuel des données servies par son serveur OGC. La multiplication de ce type d’applications sur Internet, comme WorldWind de la Nasa [http14] ou plus récemment Google Earth [http15], montre que l’introduction de ce concept est un enjeu important. Adresses des sites d’entreprises et d’institutions : [http1] [http2] [http3] [http4] [http5] [http6] [http7] [http8] [http9] [http10] [http11] [http12] [http13] [http14] [http15]

IGN (Institut Géographique National) http ://www.ign.fr SRTM (Shuttle Radar Topography Mission) http ://srtm.usgs.gov Infoterre http ://infoterre.brgm.fr Spidar (Institut de Technologie de Tokyo) http ://sklabwww.pi.titech.ac.jp/ SoftGenlock http ://softgenlock.sourceforge.net Amira (Mercury Computer Systems) http ://www.mc.com/tgs OpenSceneGraph http ://www.openscenegraph.org VRJuggler http ://www.vrjuggler.org NetJuggler http ://netjuggler.sourceforge.net Editeur géologique 3D (BRGM) http ://3dweg.brgm.fr FlowVR http ://flowvr.sourceforge.net GDM http ://software.brgm.fr Open Geospatial Consortium http ://www.opengeospatial.org WorldWind http ://worldwind.arc.nasa.gov Google Earth http ://earth.google.com

7 INDUSTRIES MANUFACTURIÈRES

Patrick Bourdot, Jean-Pierre Jessel et Indira Thouvenin Contributeurs : N. de Bonnefoy, T. Convard, A. Kendira, F. Laborie, C. Mouton et E. Plot

7.1

INTRODUCTION

Dans ce chapitre, nous allons parler des enjeux et limites de la réalité virtuelle pour les industries manufacturières. L’un des apports déjà constaté de la réalité virtuelle au sein du monde industriel est de réduire, voire de supprimer la production de maquettes physiques, d’utiliser la maquette numérique pour les nombreux tests ou simulations utiles tout au long du cycle de vie du projet. Ainsi, il devient de plus en plus courant dans les industries manufacturières d’utiliser la réalité virtuelle, pour la revue numérique de projets, pour la simulation de processus de montage ou pour l’étude ergonomique de certains composants du produit. Cependant ces usages restent très ponctuels au sein d’une organisation du travail encore traditionnelle du cycle de vie du produit. Ainsi, la maquette numérique est en partie refaite pour chaque type d’usage, car elle n’est pas suffisamment modifiable au point d’être le média complet et unique de tout le processus de conception et de validation du produit. Particulièrement performants pour représenter de façon détaillée les objets, les modèles CAO ont le défaut de trop figer les données du produit. Ces modèles doivent donc être repensés dans le contexte de la réalité virtuelle, pour pouvoir servir de support numérique à la conception. Un des enjeux des applications industrielles de la réalité virtuelle est donc de rendre possible un travail sur la maquette numérique du produit dès les premières étapes de la conception afin d’optimiser le coût de la gestion du cycle de vie du produit. Par ailleurs, il est important d’agir le plus naturellement possible et de permettre la collaboration, la capitalisation des idées et des intentions de conception avant et même au cours de la création de la maquette numérique. A l’aide des environnements virtuels et des interactions offertes à l’utilisateur, on peut espérer améliorer la conception et l’évaluation des risques sur les chaînes de production, la fabrication du produit, les études ergonomiques du produit et les crash tests numériques, ainsi que les études marketing. Il est également important d’ajouter la dimension collaborative : en effet la collaboration est au centre de tous les programmes de conception industrielle. Cependant, les dernières années ont vu s’élever cette collaboration au rang d’élément stratégique. Une collaboration efficace réduit considérablement les temps de développement et améliore la capacité d’innovation des équipes. Trois facteurs ont influencé cette mise en avant : l’adoption de l’ingénierie concourante comme processus de conception, la distribution de certaines équipes sur plusieurs lieux, pays, voire continents, et le rôle central de la maquette numérique dans les projets de conception. Enfin les aspects maintenance et risque sont intégrés de plus en plus tôt dans la conception, et la simulation des situations réelles à risques que peut apporter la réalité virtuelle en font un excellent support d’aide à la décision. Pour détailler ces différents enjeux des applications industrielles de la réalité virtuelle, le présent chapitre s’organise donc autour de trois grandes sections. La première s’intéresse tout d’abord aux limites actuelles et aux potentialités de l’articulation RV-CAO ou CARV (Conception Assistée

176

Le traité de la réalité virtuelle

par RV), puis présente ensuite un tour d’horizon sur l’usage du prototypage virtuel dans l’ensemble du cycle de vie du produit. La seconde section traite des environnements virtuels collaboratifs construits pour supporter l’ingénierie concourante autour d’une maquette virtuelle partagée. Cette partie décrit les systèmes informatiques distribués de réalité virtuelle puis les environnements physiques pour la visualisation et l’interaction collective. La troisième section traite d’un point particulier dans le cycle de vie produit, la maintenance, en particulier dans les domaines de l’énergie et de l’aéronautique, et la gestion du risque industriel.

7.2 CONCEPTION ET SIMULATION 7.2.1 DE LA CAO À LA RÉALITÉ VIRTUELLE DANS LES INDUSTRIES MANUFACTURIÈRES

Deux aspects fondamentaux et fortement liés caractérisent les systèmes de réalité virtuelle : l’immersion et l’interactivité. L’aspect «immersion» d’un système de réalité virtuelle résulte de l’exploitation d’un ou plusieurs canaux sensori-moteurs (images, son, toucher, et même parfois odorat) pour donner l’illusion aux utilisateurs d’être au sein d’un mode en relief. La multiplication de ces canaux n’est pas un but en soi (d’autant que leur cohabitation n’est pas toujours techniquement triviale). Elle vise à présenter le monde de la manière la plus plausible et la plus «pertinente» possible [Dumas, 1998] [Dumas, 1999], pour rendre l’interaction 3D la plus efficace possible pour une tâche donnée. Du point de vue de la conception de produits, il est un fait que les outils actuels de CAO (Conception Assistée par Ordinateur) permettent une description très précise de la géométrie des objets appuyée sur plusieurs types de graphes (pour plus de détail, voir section 7.2.2). Inversement, les ingénieurs utilisent les outils de CAO après la phase de conception dans laquelle les différents métiers tels que le design ont émis des propositions, défini des fonctions, proposé des modifications. Les discussions entre ces différents métiers sont malheureusement perdues et la capitalisation n’est effectuée finalement que lors de la modélisation CAO. En d’autres termes, les modèles CAO offrent une large diversité de fonctionnalités pour décrire de façon profonde les objets : précision, contraintes géométriques, contraintes mécaniques, contraintes technologiques... Cependant, cette grande richesse de définition a le défaut majeur de figer le produit dans une forme qui ne permet plus le retour aux hypothèses et discussions qui ont précédé. Une des problématiques de certaines équipes de recherche est donc de s’interroger sur la manière d’articuler les outils CAO sur les systèmes interactifs de réalité virtuelle de sorte à rendre aussi naturelle que possible la conception de formes à l’aide de ces outils. Une autre problématique est de capitaliser [Aubry, 2005a] [Aubry, 2005b] les intentions de conception, et d’inclure dans l’environnement virtuel les outils d’échanges et de communication qui entourent la maquette virtuelle elle-même [Thouvenin, 2005] [Guénand, 2005]. A partir de ces constatations, les utilisateurs de la maquette CAO s’orientent davantage vers l’utilisation de visualisation de la maquette intermédiaire des modèles CAO afin d’ajouter des annotations dans un environnement 2D. Ceci rajoute des niveaux dans la complexité de manipulation des modèles : transferts d’un format CAO à un autre, interprétation du modèle CAO par le viewer, avec perte de données correspondant à la description d’origine.

Industries manufacturières

177

Une autre méthodologie est largement utilisée dans l’industrie manufacturière : elle consiste à alléger le modèle CAO afin d’en restituer les éléments essentiels à une visualisation cohérente et fluide dans un système de réalité virtuelle. Différentes méthodes [Drieux, 2003] sont utilisées afin de réduire le nombre final de polygones de la maquette virtuelle, ou afin de simplifier cette maquette dans le but d’afficher en temps réel un nombre important de facettes. Après un rappel sur les modèles de données des systèmes de CAO (sous-section 7.2.2), la présente section se propose donc : •

de montrer pourquoi la conception de formes en réalité virtuelle pose problème, puis de présenter des résultats récents qui ouvrent des perspectives intéressantes pour rendre possible cet usage (sous-section 7.2.3) ;

•

de faire plus largement le point sur l’usage du prototypage virtuel dans l’ensemble du cycle de vie du produit (sous-section 7.2.4).

7.2.2 MODÈLES DE DONNÉES DES SYSTÈMES DE CAO ACTUELS

Les systèmes de CAO offrent de nombreux outils pour décrire avec précision la géométrie des objets. Cette description est généralement basée sur deux types de graphes : ceux permettant de mémoriser l’historique de construction des objets et, quand les nœuds de ces graphes sont des objets solides, des structures de données décrivant les frontières de ces objets (ou B-Rep). Ces deux types de graphes pointent à différents niveaux sur des informations purement métriques : coordonnées 3D de points, courbes et surfaces paramétriques (Bézier, BSpline Uniforme ou Non Uniforme) éventuellement rationnelles (NURBS), contraintes géométriques associées (valeurs de tangence ou de courbure aux extrémités, vecteur nodaux, degrés et types de continuité), matrices de transformation ou référentiels... Ces formalismes mathématiques, détaillés dans de nombreux ouvrages d’infographie, ne seront pas rappelés ici.

7.2.2.1

Historique de construction

A l’heure actuelle, tous les systèmes CAO se basent sur des historiques de construction pour représenter les objets. L’historique de construction contient la séquence d’opérations et les paramètres qui ont conduit à la création d’un objet. Ces historiques sont représentés par des graphes généralisant les traditionnels arbres CSG (Constructive Solid Geometry) en intégrant les form features1 , la modélisation paramétrique et les contraintes géométriques. On peut considérer le système EREP [Hoffmann, 1993] comme étant le précurseur des historiques de construction. Ils permettent de représenter des objets non solides (points, courbes, surfaces. . .) et étendent le stockage des opérations booléennes à l’ensemble des opérations disponibles sur les outils CAO (balayages, congé, chanfrein. . .). Pour chaque type d’objet, un modèle le décrivant explicitement est associé, par exemple pour les solides, un modèle de représentation par frontière (Boundary Representation ou B-Rep). 1 Caractéristique locale de forme permettant une construction géométrique de «plus haut niveau» : chanfrein, trou débouchant, rainure, etc. Pour une revue exhaustive sur ce sujet le lecteur peut se référer à [Shah, 1995].

178

Le traité de la réalité virtuelle

Du point de vue de l’Interaction Humain-Machine, les outils de CAO présentent à l’utilisateur l’historique de construction sous forme d’arbre ou de liste déroulante contenant toutes les étapes de création de l’objet. La modélisation paramétrique avec gestion de l’historique s’avère très pratique pour la conception de bibliothèques de composants standard. Les pièces sont construites selon un même modèle, il suffit alors de modifier certains paramètres dans l’historique pour avoir des variantes sur un même composant. Un des problèmes actuels posé par les graphes d’historiques est l’interopérabilité des systèmes, chaque logiciel de CAO possédant son propre format découlant entre autre de ses capacités géométriques.

7.2.2.2

Modèles B-Rep

Le modèle de représentation par frontière permet de décrire un solide tridimensionnel à travers les entités topologiques qui composent sa frontière, c’est-à-dire ses sommets, arrêtes et faces. Dans ce type de modélisation on recherche la structure permettant de résoudre efficacement le maximum de requêtes topologiques (par exemple donner toutes les faces incidentes à un sommet, etc.), mais étant la plus compacte possible (on souhaite occuper un espace mémoire raisonnable pour des raisons de performance). Le B-Rep doit contenir la métrique ainsi que les informations topologiques du solide. La métrique de l’objet est l’ensemble des paramètres de base qui définissent la forme, par exemple les points de contrôle de courbes et surfaces paramétriques, voire leur restriction (surface «trimmed»), alors que les informations topologiques décrivent la connexité entre les différents éléments géométriques. Il existe de nombreuses structures de données publiées dans la littérature permettant de modéliser informatiquement un B-Rep : le winged-edge [Baumgart, 1975], le half-edge [Mäntylä, 1988], le quad-edge [Guibas, 1985] ou bien encore d’autres travaux visant à étendre le domaine représentable aux complexes cellulaires de dimension 3 orientables [Dobkin, 1989]. En effet, si un solide peut être représenté par un B-Rep 2-manifold (2-variété topologique) orientable, la tendance actuelle va vers la modélisation d’objets non manifolds. Contrairement aux graphes d’historique, il existe pour les B-Reps différents formats d’échange entre systèmes CAO (IGES ou STEP). En pratique une approximation polyédrique (maillage de triangles ou mesh) du B-Rep est utilisée pour l’interaction et la visualisation. Cette approximation est suffisante pour les applications de revue de projet en Réalité Virtuelle mais n’est pas suffisante seule pour modifier la description géométrique des objets.

7.2.3 CONCEPTION DE FORMES EN SITUATION IMMERSIVE

Durant le cycle de vie du produit, la Réalité Virtuelle est utilisée avec succès pour le prototypage virtuel, l’évaluation esthétique ou bien encore la maintenance et la formation. Toutefois, dans ces cas, les objets manipulés ont été créés avec des systèmes CAO traditionnels sur station de travail puis exportés dans des formats graphiques standard, comme VRML ou STL, pour être utilisés en réalité virtuelle. Il en résulte que les objets ne sont pas modifiables en environnement virtuel.

Industries manufacturières

179

La Réalité Virtuelle ouvre des perspectives prometteuses pour la conception géométrique d’objets. Celle-ci peut lui offrir un meilleur réalisme et des interactions plus naturelles. Ces propriétés peuvent redonner à la tâche de conception l’aspect manuel qui avait disparu avec l’apparition de la CAO. Certaines études ont en effet montré que cet aspect manuel favorisait entre autre l’expression des idées de l’utilisateur ainsi qu’une meilleure communication des concepts au sein des équipes [Lebahar, 1983] [Poitou, 1989] [Poitou, 1992].

7.2.3.1

Bref historique

On trouve des prototypes d’application de conception de formes dès les débuts de la Réalité Virtuelle, par exemple le système 3DM [Butterworth, 1992] qui permettait à un utilisateur équipé d’un HMD et de capteurs électromagnétiques de créer des objets polyédriques. Il montrait déjà à l’époque que l’interaction naturelle qu’avait l’utilisateur avec les objets permet une meilleure compréhension de leur forme. De plus, ce type d’interface intuitive peut rendre les systèmes de CAO accessibles aux utilisateurs novices. On peut citer d’autres approches assez similaires qui suivirent 3DM, telle que le système JCAD [Liang, 1993]. Avec le projet ARCADE [Stork, 1995], on se rapproche un peu plus de la CAO, le système permettant la création de courbes et surfaces de formes libres et les opérations CSG. Toutes ces approches cherchent à tirer parti du réalisme offert par la visualisation stéréoscopique, ainsi que des interactions gestuelles avec périphériques de capture de mouvement. Leur but est de donner un côté intuitif et manuel à l’activité de conception de forme avec un ordinateur. Toutefois, la création ou la modification en réalité virtuelle d’objets typiques de CAO n’est pas encore possible. En effet, les applications de conception, ainsi que celles de revue de projet, n’utilisent pas le modèle d’objet complet contenant l’historique de construction. Certaines approches, visent à utiliser de nouveaux modèles pour représenter les objets. Par exemple [Zhong, 2002] décrit les contraintes de manipulation qui président à la création des objets en réalité virtuelle. Cependant, ce modèle ne trouve pas d’écho auprès des industriels car il est éloigné des modèles CAO standard et ne permet pas la modification de ces objets en réalité virtuelle.

7.2.3.2

Perspectives de recherche

Une raison possible de l’absence des historiques de construction en réalité virtuelle est, comme nous l’avons vu précédemment, le manque de format d’échange neutre pour ce type de données. En effet, une application de réalité virtuelle voulant utiliser l’historique de construction d’un logiciel de CAO devient dépendante du système choisi. Si les recherches actuelles sur les formats de transferts de modèles paramétriques donnent l’espoir que ce problème sera résolu dans un futur proche, il reste toutefois le problème de l’interaction immersive sur cet historique. En effet, sur station de travail l’édition se fait principalement en utilisant le paradigme WIMP (Windows, Icons, Menus and Pointing device) avec interaction au clavier et à la souris et parcours de menus déroulants. Ce type d’interaction n’est pas du tout adapté à la Réalité Virtuelle où l’on souhaite utiliser les modalités naturelles de l’utilisateur, par exemple le geste et la voix (Figure : 7.1).

180

Le traité de la réalité virtuelle

Figure 7.1 : Interaction multimodale et immersive pour la conception d’objets avec le Prototype VRAD.

L’approche élaborée au LIMSI-CNRS vise donc à permettre la création et la modification d’objets CAO traditionnels, modélisés par des historiques de construction, en Réalité Virtuelle. L’interaction se base sur une interface multimodale [Convard, 2005] alliant la reconnaissance vocale, pour la saisie des commandes et le geste, pour la sélection et la manipulation en 3D. Le prototype VRAD (Virtual Reality Aided Design) ainsi développé permet aussi la modification de l’historique des objets CAO. De plus, pour rendre plus naturelle l’interaction en environnement virtuel, cette modification est implicite [Convard, 2004] : à partir de manipulations par l’utilisateur de certaines portions de la forme d’un objet, le système infère quelles sont les paramètres à modifier dans l’historique de construction afin de produire une déformation de ladite forme (en faisant rejouer en continu l’historique) en correspondance avec l’interaction de l’utilisateur. Ce prototype trouve des applications pour la conception collaborative, ainsi que la revue de projet, mais une revue de projet où la modification de la maquette numérique en environnement virtuel devient possible. Ce genre d’approche reste maintenant à évaluer en situation réelle, en étudiant ses conséquences sur l’organisation du travail. La Réalité Virtuelle peut aussi trouver des applications pour les tâches de conception de forme plus en amont dans le cycle de vie du produit, par exemple le sketching, où le designer se concentre essentiellement sur les aspects esthétiques de l’objet et où la géométrie n’a que peu d’importance. Différents systèmes existent actuellement sur station de travail, par exemple freeform2 de Sensable ou Sketchup3D3 pour l’architecture. Ces logiciels pourraient bénéficier d’une interaction plus naturelle et d’un réalisme accru en les adaptant aux technologies réalité virtuelle. 2 http 3 http

://www.sensable.com/freeform ://www.sketchup.com

Industries manufacturières

181

7.2.4 DU PROTOTYPAGE VIRTUEL À LA SIMULATION INTÉGRÉE ET À LA SIMULATION POUR L’ENTREPRISE VIRTUELLE

L’importance de la CAO, de la simulation numérique et l’apport de la réalité virtuelle n’a cessé de croître depuis la conception du Boeing 777 [Arbabanel, 1996] [Neely, 1996], où plus de 200 groupes dispersés géographiquement ont été coordonnés. Pour le dernier Falcon de Dassault Aviation, le développement a été favorisé par l’utilisation massive d’outils informatiques pour la conception et la mise en œuvre de l’ingénierie collaborative, ce qui a permis au Falcon d’être en avance de plusieurs mois pour ses premiers essais. En effet, dès les premiers succès de l’ingénierie collaborative, il a été clairement affiché de vouloir considérablement réduire la durée avant la mise sur le marché [Jasnoch, 1996] en se donnant les moyens de remplacer les maquettes physiques en utilisant les modèles provenant de la CAO et de visualiser et interagir avec ces modèles partagés grâce aux technologies de la RVD. Cela passe en particulier par la facilitation des communications entre des équipes de développement disséminées et hétérogènes qui peuvent alors créer et accéder à des informations (non) graphiques à partir des modèles 3D en utilisant de nouvelles métaphores d’interaction. Le but final est de réduire les coûts et les temps de conception en améliorant le travail collaboratif pour permettre des évaluations globales, prendre les bonnes décisions (et corriger les erreurs) au plus tôt. Avec des exemples, nous allons suivre le cycle de vie produit, en commençant par la spécification, la conception, et en terminant par des projets dont la portée est l’intégralité du cycle de vie et même la globalité de l’entreprise virtuelle, entièrement simulée. Le prototypage virtuel Avant de lancer la conception détaillée d’un produit, des équipes multi-métier ont besoin de définir le produit et de le dimensionner. Cette étape utilise une modélisation plus ou moins précise et encore largement susceptible d’évoluer. Seuls les caractéristiques et les fonctionnalités de haut niveau sont testées et validées. Le positionnement, l’allocation et le dimensionnement spatial et les tests de compatibilités entre des blocs fonctionnels voisins (thermique, électromagnétique, vibrations, etc.) sont en partie résolus à ce niveau (Figure : 7.2). Par exemple, CAVALCADE [Torguet, 2000] est un outil de prototypage virtuel collaboratif destiné aux utilisateurs finaux pour plusieurs activités de conception de voiture, d’engin spatial, de train, de bâtiments. Il est possible de fournir à des décideurs et à des concepteurs une solution puissante et intuitive pour le prototypage virtuel collaboratif en intégrant des techniques issues de plusieurs domaines comme la réalité virtuelle distribuée, les interfaces utilisateur et le rendu temps réel. En particulier, CAVALCADE repose sur les concepts de VIPER [Torguet, 1995] [Torguet, 1998] pour la modélisation de l’univers virtuel et pour le modèle de communication. Le travail collaboratif en phase de conception Pour réduire les coûts et le temps de mise sur le marché, l’effort à porté sur la réduction du coût de développement, en particulier les coûts de gestion, de conversion et de trans-

182

Le traité de la réalité virtuelle

Figure 7.2 : CAVALCADE : à gauche utilisation collaborative ; à droite, l’interface [Torguet, 2000] ferts de données en prônant le développement du travail collaboratif dans le domaine de l’ingénierie, de la conception, de la simulation numérique. ENHANCE (ENHanced AeroNautical Concurrent Engineering) est un projet dans le domaine aéronautique (http ://www.vivaceproject.com) dont le but était de chercher les méthodes et les processus à utiliser en commun pour étendre les approches collaboratives des phases de conception, de simulation, de développement et de les valider à travers l’expérimentation. Si l’un des objectifs était d’utiliser la réalité virtuelle pour placer la maquette numérique au centre de l’équipe de conception, ce sont en fait les principes du travail collaboratif distant qui ont permis la manipulation distante interactive et partagée des modèles 3D, devenant de ce fait de la réalité virtuelle de bureau disponible pour les ingénieurs (Figure : 7.3).

Figure 7.3 : Evolution de la résolution géométrique entre la définition et la fabrication du produit L’utilisation de la RV pour la validation en phase de conception La validation des résultats de la conception passe de plus en plus par la simulation numérique. Pour optimiser le cycle de vie produit sur ces phases initiales et détecter au

Industries manufacturières

183

plus tôt les problèmes, les étapes de conception et de simulation sont de plus en plus souvent simultanées. Il est donc important de pouvoir intégrer les données CAO et les données des simulations dans une même application. Une plate-forme de simulation utilisant les technologies de la réalité virtuelle et autorisant l’intégration de la CAO et de l’ingénierie assistée par ordinateur dans un environnement virtuel permet de réduire le délai entre la modélisation et l’évaluation et/ou la simulation. La réalité virtuelle est alors utilisée pour mettre à disposition un environnement où les utilisateurs peuvent charger un modèle CAO, en déduire des modèles pour la simulation et manipuler ces différents modèles. Ceci inclut des techniques de (re)maillage automatique, de couplage à la simulation (préparation, pilotage en cours de calcul, exploitation des résultats) et des techniques de visualisation et d’interactions adaptées. En suivant l’évolution déjà amorcée, la conception et les simulations multi physiques nécessaires à la validation seront de plus en plus indissociables et menées conjointement soit intégrées dans des applications distribuées sur des plate-formes hétérogènes éclatées et des infrastructures de calcul de type grille (en ajoutant la dimension interactive et des outils de visualisation immersives et d’interaction 3D) soit en les assemblant comme des composants au dessus d’une architecture qui en assure l’interopérabilité. 7.3

MAQUETTE VIRTUELLE PARTAGÉE

Dans cette section, nous nous intéressons aux environnements virtuels collaboratifs dans lesquels il est possible de percevoir et d’agir sur un objet 3D, «maquette virtuelle». Ces espaces partagés étant manipulés par plusieurs utilisateurs simultanément, se pose la question de la représentation et de l’explicitation des actions de chacun : la «matérialisation» d’un utilisateur au sein même de l’espace. Elle doit se faire sur le même plan de représentation que les données elles mêmes manipulées (dans un chat, partage de données texte : représentation des participants par leur nom, dans un jeu 3D, partage de géométrie 3D : représentation des participants par une géométrie 3D, etc.). Même si une correspondance bidirectionnelle relie ainsi un participant à sa matérialisation (appelons-la «avatar»), celle-ci dépend principalement de questions techniques posées autour de sa mise en place. Quelles sont les capacités d’acquisition et de restitution des périphériques ? Quelle qualité d’interfaçage pourra être obtenue ? Quelle complexité les interactions avec le monde pourront-elles atteindre ? La section 7.3.1 rappelle quels sont les principaux environnements virtuels collaboratifs et leur évolution au cours des dix dernières années puis la section 7.3.2 donne un aperçu des moyens existants afin de permettre l’interaction et la visualisation collaborative. 7.3.1 ENVIRONNEMENTS VIRTUELS COLLABORATIFS

Depuis quelques années, le terme environnement virtuel collaboratif (EVC) a fait son apparition marquant une nuance de taille dans l’ensemble des environnements virtuels 3D. En effet, la notion d’EVC introduit une notion de coopération entre les différents utilisateurs. Dans un EVC, certaines règles sont à respecter afin de permettre la communication et la coopération entre les utilisateurs pour, par exemple, rendre la sensation de présence des autres, renseigner les utilisateurs sur l’activité des autres.

184

Le traité de la réalité virtuelle

Les environnements virtuels coopératifs sont complexes à développer tant ils requièrent de compétences issues de domaines divers. Certains s’intéressent à des aspects synthèse d’images temps réel et d’interfaces comportementales permettant la représentation du monde virtuel et l’interaction avec celui-ci. D’autres s’intéressent à l’aspect multi utilisateurs des environnements virtuels. Sur ce dernier aspect, tout d’abord d’un point de vue technique, certains s’intéressent aux technologies réseaux à mettre en oeuvre pour supporter le monde virtuel et la distribution des utilisateurs. Ensuite, au-delà de ces aspects purement techniques, des facteurs humains sont également à prendre en compte lors de la conception d’un environnement virtuel : en effet, certains s’intéressent aux relations et à la communication interhumaine dans l’environnement virtuel. Cela relève du Travail Coopératif Assisté par Ordinateur (TCAO). Dans cette section nous présenterons plusieurs systèmes représentatifs des EVC et qui sont considérés comme des pionniers dans leur domaine de technologie :

•

on peut distinguer des environnements virtuels permettant à des avatars d’interagir entre eux comme DIVE (Distributed Interactive Virtual Environment), [Carlsson, 1993a] [Carlsson, 1993b] qui est un système d’EVC développé par le SICS (Swedish Institute of Computer Science) ou comme BRICKNET [Capin, 1997] développé par la National University of Singapore, qui fournit la possibilite de créer rapidement des mondes virtuels en réseau ;

•

VirtualLifeNetwork (VLNET) [Capin, 1997] est un système d’Environnement Virtuel Collaboratif qui introduit un haut niveau de communication et de représentation de l’utilisateur via des Humains Virtuels ;

•

le système Blaxxun Interactive Inc. [Baxxun] a été conçu pour créer des communautés 3D on line où les utilisateurs peuvent se rencontrer, discuter et même commercer. A travers un groupe de modules, le système supporte une grande série de fonctionnalités comme des agents pré-programmables, des maisons personnelles qui peuvent être érigées par les participants, des avatars personnalisés, le contrôle des droits d’accès, etc.

•

dans le cadre des Programmes Vision pilotés par la Direction Scientifique, France Télécom R&D développe une plate-forme de travail collaboratif synchrone et conviviale nommée Spin-3D en partenariat avec le LIFL (Laboratoire d’Informatique Fondamentale de Lille et l’INRIA - projet Alcove). Spin-3D se veut une interface de réalité virtuelle pour se réunir et collaborer à distance via le réseau Internet. Elle est destinée à supporter des activités collaboratives en temps réel c’est à dire assurant aussi bien la communication entre personnes que la co-manipulation d’objets. De ce fait, elle est adaptée aux situations où un objet doit être créé ou manipulé, et où les échanges entre personnes sont nécessaires.

Industries manufacturières EVC DIVE NPSNET AVIARY NPSNET-V Visinet

1993 1993 1994 1997 1997

TRADE BAMBOO NETICE SmallTool

1997 1998 1998 1998

VPARK

1999

AVOCADO NATIVE ICOME PAVR COVEN CAVERNSOFT-G2 DEVA3

1999 1999 1999 1999 1999 2000 2000

PAULINGWORLD

2000

MASSIVE-3

2000

SMARTCU3D OCTOPUS CyberWalk

2001 2001 2002

Tuppi3D Continiuum ANTS

2002 2002 2003

VASE

2003

Balxxun PLATFORM 7

2004

185 Origine Swedish Institute of Computer Science

Site Web http ://www.sics.se/dce/dive/dive.html

The MOVES Institute, Naval Postgraduate School, US European Research, Department of Electronic Imaging and Media Communications, University of Bradford

http ://www.npsnet.org/ npsnet/v/ http ://www.eimc.brad.ac.uk/earnshaw.html

German National Research Center for Information Technology Institute for Applied Information Technology (FIT) http ://www.miralab.unige.ch//3research/ research

EU Training and Mobility of Researchers program. EC ACTS Project, Lancaster University Electronic visualization laboratory School of Computer Science, University of Manchester School of Information Technology & Engineering , George Mason University, Fairfax, Virginia School of Computer Science and Information Technology, University of Nottingham Information Communication Institute of Singapore Iowa State University Virtual Reality Application Center City University of Honk Kong, Department of Computer Graphics,Virtual Reality and Multimedia Systems University of Oulu Electronic visualization laboratory University of Tarragona, Department of Computer Engineering & Mathematics, Spain Uppsala University, Department of Information Technology, Swedish

ligwww.epfl.ch/ Projects/pavr.html http ://coven.lancs.ac.uk/ http ://www.openchannelsoftware.org http ://aig.cs.man.ac.uk/research/deva/ deva.php http ://www.virtual.gmu.edu/ss_worlds/ pauling.htm http ://www.computerscience.nottingham.ac.uk http ://www.icis.ntu.edu.sg/ http ://www.vrac.iastate.edu http ://www.cs.cityu.edu.hk http ://www.tol.oulu.fi http ://www.evl.uic.edu http ://ants.etse.urv.es http ://www.it.uu.se/research/project/vase

L’association, au plus tôt du projet, d’ergonomes et d’informaticiens a permis de prendre en compte les exigences ergonomiques ainsi que les contraintes technologiques dans le développement des applications. Ces applications préfigurent des services du futur innovants et conviviaux tant dans les domaines du travail que des loisirs (jeux en réseau). Les principaux secteurs cibles de Spin-3D sont : la simulation, la CAO, l’architecture, la téléformation, la démonstration, la hotline (manipulation d’un objet et explications sur son fonctionnement), la réunion d’experts autour de cas pratiques tel que le partage d’image médicale 3D via l’application «Argonaute 3D». Nous avons analysé les publications scientifiques des quinze dernières années concernant les EVC. Les résultats montrent une nette progression de 1987 à 1997, puis un ralentissement jusqu’ à 2003 (Figure : 7.4). 7.3.2 INTERACTION COLLABORATIVE ET VISUALISATION COLLECTIVE

7.3.2.1

L’ingénierie concourante

L’adoption de l’ingénierie concourante par les grandes industries, notamment automobile et aéronautique, est basée sur trois concepts [Prasad, 1995] : • une parallélisation des activités autrefois séquentielles, de sorte que deux équipes peuvent concevoir simultanément des sous-systèmes fortement interdépendants ; • une vision globale du cycle de vie du produit permettant d’intégrer dès les premières phases de conception les contraintes métier des phases aval ; • l’introduction d’équipes de développement multidisciplinaires. Cette organisation a deux effets importants sur le besoin de collaboration. D’une part, le développement parallèle de systèmes fortement couplés force les équipes à échanger des données non matures. Ainsi, toute modification d’une partie des

186

Le traité de la réalité virtuelle

Figure 7.4 : liste chronologique des publications (normalisations) sur les Environnements Virtuels Collaboratifs.

systèmes par une équipe peut entraîner des modifications sur des parties traitées antérieurement ou simultanément par une autre équipe [Rabardel et al., 1996]. D’autre part, l’implication de plusieurs métiers dès les phases amont, tel que les experts production ou maintenance, et l’établissement d’équipes pluridisciplinaires force la collaboration de disciplines aux occupations et expertises très différentes. Il est donc nécessaire de faciliter la coordination de ces équipes travaillant en parallèle et de faciliter la compréhension mutuelle entre des disciplines différentes. Cette collaboration est rendue difficile par la distribution des équipes sur plusieurs sites et plusieurs pays. Le nombre de pays et de partenaires associés aux grands projets industriels est en augmentation continuelle. La part importante de la sous-traitance [Simienuch et al., 1999] et la croissance continuelle du nombre de pays impliqués dans les grands programmes forcent à adopter de nouvelles méthodes de collaboration. Guthrie relève par exemple qu’un des derniers programmes aéronautiques a rassemblé jusqu’à 39 nationalités, et qu’une réunion sur trois implique un partenaire étranger [Guthrie, 2004]. Le fort besoin de collaboration se traduit avant tout par des réunions formelles, rassemblant tous les acteurs à des moments précis du projet. Le reste du temps, les outils classiques de collaboration, téléphone et émail, demeurent les moyens privilégiés d’échange et de coordination [McGregor, 2002]. La collaboration constitue donc la majeure partie de l’activité d’un concepteur. Parmi les 50% de son temps qu’un concepteur passe à collaborer [Guthrie, 2004], les réunions les plus formelles sont les revues d’avancement de projet, les présentations aux clients, les intégrations maquette pour évaluer les problèmes éventuels aux interfaces. Les réunions semi-formelles permettent des discussions plus ouvertes sur les choix de conception et les réunions informelles [Törlind, 2002], [Guthrie, 2004] regroupent deux ou trois concepteurs autour d’une station de CAO pour débattre de choix ponctuels critiques pour le déroulement des projets. Les réunions informelles se basent habituellement sur les outils intégrés aux logiciels de CAO pour supporter les discussions. Les autres types de réunion nécessitent en revanche des outils et des

Industries manufacturières

187

environnements spécifiques capables de supporter la collaboration entre un plus grand nombre d’utilisateurs et de permettre des échanges de points de vue plus complexes [Matsushita et al., 1997].

7.3.2.2

Les systèmes de visualisation collective pour le développement de produits complexes et leurs processus associés

La nécessité d’identifier, de développer et de mettre en œuvre des moyens efficaces et intuitifs pour interagir avec l’ensemble des données visualisées au cours de la revue apparaît donc clairement. Une interaction fluide et ergonomique avec le système de visualisation permettrait de se focaliser sur les issues techniques sans contrainte matérielle pouvant entraver le déroulement des réunions. Nous allons étudier des types d’interaction qui permettent à une équipe de spécialistes d’interagir de façon optimale avec l’ensemble des informations diverses utilisées et affichées collectivement pendant une réunion de type revue de conception. Dans le cadre de pilotage de processus complexes, la prise de décision est un facteur essentiel à tous les niveaux, qui doit être envisagée dans des perspectives de développement durable, de cohérence avec les objectifs, de gestion des problématiques interdisciplinaires engendrées et de prévision des impacts [Nachez, 2001]. La prise de décision doit être perçue comme un processus dynamique mettant en jeu plusieurs agents en interaction. Afin de maximiser la réactivité lors des phases clef du pilotage de processus complexes, des structures dédiées à la prise de décision collective pour des problématiques spécifiques ont été développées. Elles rassemblent dans un même espace (réel ou virtuel) les acteurs concernés et des artéfacts cognitifs, mettant en place un environnement collaboratif facilitant le processus de prise de décision. On parlera alors de salle de décision collaborative. L’enjeu de tels environnements est d’établir un contexte de connaissances mutuelles dans lequel est défini un référentiel opératif commun : quel que soit le contexte du processus de prise de décision collective, la synchronisation cognitive sera un prérequis essentiel. Elle sera en partie assurée par un système de visualisation collective qui, au-delà de l’impact visuel et du confort d’affichage, offre un espace commun de communication focalisant toutes les informations sur une même location spatiale contribuant à l’uniformisation de la perception du projet [Stewart et al., 1999].

7.3.2.3

Les systèmes de visualisation collective pour l’ingénierie collective

L’utilisation des systèmes d’affichage collectifs permettent par leur grande surface d’affichage la simulation comparative et concurrentielle de solutions, l’étude d’impact, facilitée par ailleurs par les innovations organisationnelles menées dans le cadre de l’entreprise étendue, et également par les outils de simulation mieux conçus et mieux maîtrisés [Mellet et al., 1999]. Les systèmes de visualisation de type mur d’images permettent donc implicitement la mise en place d’une unité d’espace et de temps pour la visualisation de données hétérogènes provenant de sources diverses en tirant parti de la surface de travail étendue et de l’aspect synchrone et collectif de l’information affichée. De plus, la grande taille de l’espace d’affichage (zone visuelle de travail) permet d’envisager de très vastes capacités d’interaction avec les données visualisées lors

188

Le traité de la réalité virtuelle

de processus d’argumentation collective. Cependant, comme le souligne Guimbretière [Guimbretière et al., 2001], il n’est pas suffisant de replacer les interfaces graphiques existantes sur des systèmes de grande taille. En effet, les murs peuvent accepter beaucoup plus de types d’interaction que les simples stations de travail pour plusieurs raisons : • la grande surface d’affichage peut être utilisée pour travailler simultanément avec de grandes quantités de sources ; • l’interaction peut se faire directement sur l’écran par des périphériques de type stylo ou toucher plutôt que d’utiliser le clavier et un périphérique de pointage indirect ; • les gens travaillent souvent en groupe sur le mur en mixant des interactions sociales et informatiques. Tous ces points ont amené les chercheurs à se diriger vers le développement de nouvelles méthodes d’interaction spécifiques aux systèmes de visualisation de grande taille, en plus de recherches sur l’architecture d’interfaces multi-utilisateurs en collaboration simultanée pour affichages sur grands écrans. L’utilisation de systèmes d’affichage de grande taille a tout d’abord été perçue à partir de projets tels que CoLab [Stefik et al., 1987] comme une opportunité d’accéder à des espaces de travail de taille importante permettant de focaliser l’attention d’un groupe de participants en réunion. Il s’agissait de déplacer l’espace de collaboration depuis la salle jusqu’au mur d’images. Cependant les interactions simples accessibles ne permettaient pas de répondre aux aspirations d’interaction directe et dynamique avec le contenu du tableau. C’est ce constat qui va entraîner le développement de systèmes d’interaction sophistiqués permettant de détecter les actions des utilisateurs sur l’écran de projection.

7.3.2.4

Les environnements de travail pour l’ingénierie concourante

Un aspect central pour tous ces environnements est le besoin de rassembler les acteurs issus de plusieurs disciplines autour d’une vision commune du projet. La maquette numérique joue souvent ce rôle de catalyseur, permettant de visualiser l’ensemble des avancées de chacune des équipes intégrées dans le produit final [Milne, 2005]. Autour d’affichages collectifs, tous les participants peuvent partager cette vue commune lors des réunions, c’est la synchronisation cognitive [Lécaille et al., 2000]. Des environnements intégrant des systèmes de visualisation collective de la maquette numérique ont été développés dans l’industrie automobile et aéronautique. Cette visualisation collective est basée sur des technologies différentes. Certains de ces environnements permettent une immersion partielle ou totale des acteurs dans la maquette. D’autres utilisent de grandes surfaces d’affichage à haute définition pour permettre une visualisation réaliste à une distance rapprochée [Laborie, 2003]. Cependant, dans de nombreux cas, les besoins d’argumentation ou de négociation font référence à d’autres documents liés à la maquette. Les participants on alors besoin de visualiser en parallèle deux voire trois informations, souvent stockés sur des machines différentes. Les systèmes de visualisation collective doivent donc permettre l’affichage parallèle de plusieurs données : par exemple une vue globale de la maquette, un fichier de planning et une vue détaillée d’un composant. Plusieurs solutions ont été proposées pour répondre à ce besoin. Dans une application au management de projets de construction, l’environnement CIFE [Fischer, 2004] permet d’afficher sur trois écrans distincts des données corrélées. L’environnement IDR, proposé dans un cadre aéronautique et basé sur un mur d’image, permet de visualiser en parallèle des données issues de réseaux

Industries manufacturières

189

différents [Laborie, 2003]. L’interaction avec les modèles affichés sur le dispositif collectif est également un point critique. Elle se fait le plus souvent par l’intermédiaire d’une seule personne, dédiée au pilotage de la surface collective [Lécaille et al., 2000]. Cette pratique limite les possibilités d’interaction des autres participants et oblige un filtrage entre la salle et l’affichage collectif. Des solutions de partage de contrôle depuis des postes privés, ou d’utilisation de modalités plus adaptées à un environnement collaboratif ont été proposées. Les solutions de partage de contrôle permettent par exemple à un participant de prendre le contrôle des modèles affichés sur l’écran principal à partir de ses propres modalités d’interaction (clavier souris) [Johanson et al., 2002]. Des outils d’interaction mieux adaptés à la manipulation de maquettes numériques sur des espaces publics ont également été investiguées [Buxton et al., 2001], mais les outils classiques, souris et souris 3D, demeurent encore les plus utilisés. Les discussions privées entre participants jouent également un rôle important lors de ces réunions [Milne, 2005]. La dynamique entre les discussions publiques, centrées sur l’affichage collectif, et les discussions privées, essentiellement centrées sur des affichages à usage privé (portables, tablettes tactiles), est complexe. Il existe un fort besoin de transfert d’information entre ces espaces, par exemple pour annoter un modèle avant de le re-soumettre à l’ensemble des participants. Ce besoin a été considéré dans plusieurs environnements, notamment à travers les projets iLand [Straitz et al., 1999] et iSpaces [Johanson et al., 2002] qui ont tenté les premiers de répondre à ce besoin. Les environnements logiciels collaboratifs et les dispositifs matériels d’affichage et les périphériques d’interactions ne sont pas décrits dans ce chapitre, mais dans le volume 2 du traité de la réalité virtuelle.

7.4

MAINTENANCE

Les nouvelles orientations prises par les industriels dans le domaine de la maintenance, de la prévision et de la gestion du risque intègrent aujourd’hui les possibilités d’optimisation du geste de maintenance sur la maquette virtuelle ou de l’aide à la décision dans des situations simulées. Cette prise en compte commence de plus en plus dès la conception, d’où l’utilisation de la simulation. Trois exemples sont proposés dans cette partie : •

celui du simulateur de l’EDF du point de vue de la maintenance nucléaire (section 7.4.1) ;

•

celui de la réalité virtuelle pour la maintenance dans l’aéronautique (section 7.4.2).

7.4.1 AIDE À LA MAINTENANCE DANS UN CENTRE NUCLÉAIRE

Les Centres Nucléaires de Production d’Electricité (CNPE) mènent régulièrement des opérations de maintenance au sein des installations de production d’électricité, en particulier à l’intérieur du bâtiment réacteur. EDF R&D a conçu et mis au point un simulateur d’aide à la maintenance pour étudier, en temps réel ou accéléré, de nouveaux scénarios d’opérations de maintenance. Il est ainsi possible de simuler avant travaux

190

Le traité de la réalité virtuelle

différentes hypothèses, de montrer à tous le déroulement des opérations, d’analyser les impacts et de faire un retour d’expérience autour d’une maquette virtuelle 3D explicite. Le simulateur dispose aujourd’hui de représentations 3D de différents bâtiments réacteur construits en France et de leurs équipements, de moyens de visualisation d’informations complémentaires (zones protégées, mesures en temps réel des distances, etc.), d’une navigation interactive dans l’environnement, d’interactions avancées permettant le contrôle des personnages et des équipements avec leurs comportements. Techniquement, ce simulateur succède aux travaux réalisés par EDF R&D de 2000 à 2003, primé à Laval Virtual 2003, dans le cadre de l’atelier d’apprentissage de la conduite de l’engin de levage des bâtiments réacteur : le pont polaire. Il se compose de plusieurs modules : •

•

un visualiseur issu des technologies les plus récentes (jeu vidéo, accélération graphique par programmation directe de la carte graphique4 ) chargeant : • des modèles CAO photo-texturés ; • des modèles géométriques par nuages de points obtenus par acquisition laser (millions de points). d’un moteur de comportement renforcé d’un moteur de simulation physique.

Ce moteur permet les mouvements des objets mobiles en respectant les contraintes cinématiques. Par ailleurs il est possible de représenter de manière réaliste les phénomènes physiques et de coupler des résultats de simulations numériques portant sur des zones protégées. Enfin un gestionnaire de scénarios permet de créer, éditer et jouer des scénarios basés sur des enchaînements d’actions. L’architecture modulaire autorise l’intégration de nouveaux modules pour les études de faisabilité. Afin de répondre aux besoins des CNPE, EDF R&D a lancé des campagnes d’acquisition de nuages de points de ses installations, permettant de disposer d’une représentation 3D la plus fidèle possible de différents types d’installation. Ainsi des nuages (de plusieurs millions de points) sont acquis en début d’arrêt de tranche sur la zone de l’opération et sont fusionnés avec les modèles 3D existants pour dérouler et valider le scénario et les outillages sur les spécificités locales. Quelles sont les premières applications ? En 2004, EDF a simulé l’opération de remplacement d’échangeurs au sein d’un bâtiment réacteur en mettant en oeuvre cette méthodologie. Le simulateur a permis de tester et de faire le choix des matériels les plus adaptés en offrant la possibilité de vérifier la faisabilité du passage des câbles et des matériels. Les gains sur la durée du chantier d’installation des matériels concernés sont de l’ordre de 30% du temps de l’opération. A son terme, le simulateur proposera aux ingénieurs et aux chargés d’affaires du groupe EDF un outil léger pour ordinateur portable qui permettra d’interagir en temps réel avec les maquettes 3D. Le simulateur offrira aussi des équipements pour créer et dérouler des scénarios d’opérations de maintenance en intégrant les relevés laser spécifiques des installations impactées (Figure : 7.5, Figure : 7.6 et Figure : 7.7). 7.4.2 MAINTENANCE DANS LE DOMAINE AÉRONAUTIQUE

La maintenance aéronautique peut se voir comme une hiérarchie d’interventions qui sont appliquées régulièrement en appliquant des procédures normalisées établies par 4 Ce simulateur utilise la suite logicielle de création d’applications 3D interactive de l’éditeur français Virtools, http ://www.virtools.com

Industries manufacturières

191

Figure 7.5 : vue du simulateur représentant une zone protégée et l’agent EDF guidant l’opération. Des indicateurs supplémentaires (boîte englobante) permettent une meilleure perception de l’environnement. les constructeurs, les organismes de l’aviation civile (nationaux et internationaux) : ce sont principalement les visites pré-vol et post-vol, les visites périodiques, et les grandes visites. D’autres interventions peuvent survenir lors d’une panne de l’avion, et nécessiter l’application de procédures préétablies ou d’urgence.

7.4.2.1

Simulation et monitoring des opérations d’escale AVITRACK

Le projet AVITRACK (www.aero-scratch.net/avitrack.html) met en œuvre un système intelligent pour surveiller les opérations d’approvisionnement lors des escales. La présence des personnes, les véhicules et les avions est détectée en temps réel et leurs mouvements sont alors suivis en temps réel, dans le but de détecter les manquements au respect des procédures (la citerne d’essence ou la source d’énergie externe doivent arriver dans un intervalle de temps donné, par un chemin précis, pour stationner à un endroit fixé). Le but est de garantir et d’optimiser les délais et d’augmenter la sécurité, mais aussi, simplement d’améliorer la supervision des opérations sur l’aire de manœuvre et de partager les connaissances pour des prises de décisions collectives. Les premières étapes ont été de comprendre l’ensemble des activités sur le tarmac, de modéliser en 3D l’environnement et l’ensemble des acteurs. Les modèles de comportement, les modèles pour le suivi et la visualisation sont inclus dans l’application. Les

192

Le traité de la réalité virtuelle

Figure 7.6 : Vue du simulateur intégrant objets 3D «CAO» et nuages de points issus des acquisitions laser. On perçoit ici les différences «locales» entre un modèle 3D CAO «générique» et la construction réelle.

modèles 3D de la scène et de véhicules ont été obtenus avec Image Modeler de Realviz. La précision des modèles permet d’étudier le positionnement des caméras de suivi pour simuler leur point de vue et donc de simuler l’application dans son environnement opérationnel, où à chaque instant la zone devra être suivie par une majorité de capteurs. Les techniques de synthèse d’image et de réalité virtuelle sont aussi utilisées lors de la phase opérationnelle. Le processus de reconnaissance des opérations au sol utilise le suivi vidéo des activités autour de l’avion. La scène 3D générée représentant la situation courante (personnes, avion et véhicules) est combinée avec le modèle 3D connu (prévu) de l’environnement et la situation de l’aire de manœuvre est comparée en temps réel avec le modèle d’activité de la zone. Chaque opération et chaque mouvement, simple ou complexe, sont analysés et identifiés. Les évènements sont affichés pour les responsables (technique, logistique, sécurité) de la zone.

Industries manufacturières

193

Figure 7.7 : vue du simulateur dans son environnement de développement : Virtools Dev. Le nuage de points précise ici l’environnement dans cette manutention délicate à travers cette trappe. 7.4.2.2

Système d’apport d’information temps réel et interactif pour opérateurs mobiles : aide à la réalisation de tâches de maintenance aéronautique

La maintenance est une activité clé dans le domaine aéronautique. Elle demande beaucoup de rigueur et de réactivité. Les tâches de maintenance sont entièrement gérées par l’utilisation d’une documentation technique riche et volumineuse. Cette dernière a le monopole de l’apport d’information, et est encore exploitée sous format papier. Les opérateurs de maintenance aéronautique sont des travailleurs nomades. La réalisation de leur travail demande une certaine mobilité et ne peut s’effectuer que sur avion. L’utilisation des deux mains simultanément est généralement requise pour le bon déroulement de la tâche de maintenance. L’opérateur de maintenance aéronautique a donc besoin d’être «mains libres». Il est important de noter que les tâches de maintenance aéronautique demandent une concentration constante. L’opérateur doit se focaliser sur la tâche qu’il a à faire et sur son environnement direct. Le simple fait de consulter la documentation technique utile à l’accomplissement de sa tâche, peut engendrer des pertes de concentration car l’opérateur est obligé de détourner son attention. Cette consultation peut être accomplie par un simple mouvement de tête dans les cas les plus basiques, mais aussi, par une obligation de quitter la zone de la tâche dans le pire des cas. L’effet de

194

Le traité de la réalité virtuelle

transposition, qui suit, peut également provoquer une perte de temps supplémentaire, car l’opérateur doit contextualiser les informations qu’il vient de percevoir dans la documentation. Ce besoin de concentration n’est pas unique. Le paragraphe suivant propose les différents besoins des opérateurs de maintenance aéronautique qui ont été recensés. Cette liste n’est pas exhaustive, mais présente les besoins les plus évidents. Le premier est celui de la localisation. L’opérateur nomade a besoin de localiser sur l’aéronef, la zone de l’avion concernée par sa tâche. Il faut ensuite qu’il puisse se localiser dans son environnement proche par une identification des pièces qui l’entourent, utiles à la tâche en cours («où je suis»). Un autre type de localisation utile est la possibilité de pouvoir de se localiser dans le processus qu’il est en train d’accomplir, comme par exemple se localiser dans la procédure («où j’en suis»). Le deuxième besoin, et non des moindres, est celui de la visualisation, l’information doit pouvoir être visualisée dans la zone géographique de la tâche. L’opérateur doit pouvoir accéder à l’information utile tout en restant focalisé sur son travail. Ce type d’information peut être, tout simplement, la procédure à suivre pour mener à bien son activité, les manuels concernés par sa tâche, une mesure quelconque, etc. Mais ce besoin peut aussi se traduire par la visualisation d’une zone non accessible, comme par exemple une zone cachée derrière un panneau. L’opérateur pourrait également avoir besoin de simuler certains processus avant de les accomplir directement. Le troisième grand besoin recensé est celui de la communication. L’opérateur aurait besoin, dans certains cas, d’appeler ou de faire intervenir un opérateur plus ou autrement qualifié. Ces différents besoins peuvent être en partie résolus par l’introduction des postes nomades et de la réalité augmentée dans les processus de maintenance [Chevalet & deBonnefoy03]. Les progrès des nouvelles technologies de l’information et de la communication (NTIC) rendent possible l’utilisation de postes de travail électroniques et nomades, communément appelés «postes nomades». Avec un même support, il est possible de donner accès à différents fonds et différentes formes d’information, et ceci de manière synchrone ou asynchrone. Contrairement à l’utilisation du support papier qui n’autorise qu’une perception visuelle de l’information, l’utilisation des «postes nomades» permet à l’opérateur de percevoir l’information au travers de divers canaux sensoriels. Les perceptions auditives et visuelles sont généralement privilégiées. Pour le domaine aéronautique, les enjeux de l’amélioration de l’apport d’information sont considérables : le gain de temps dans la réalisation des tâches, les améliorations des conditions de travail, l’amélioration de la qualité du travail, l’amélioration de l’accès à l’information, l’amélioration de la présentation de l’information, l’usage intuitif des outils, etc. Pour cela, l’idéal serait d’apporter à l’opérateur nomade l’information dont il a besoin quand il en a besoin. Les notions d’«intuitivité» et de «non-intrusivité» sont primordiales en vue d’une bonne acceptation, et doivent être prédominantes à tous les niveaux de l’apport d’information que sont la perception, l’interaction, la communication, l’échange ou le partage (entre opérateurs nomades ou entre un opérateur nomade et un expert à distance). Deux types de casques vidéo HMD (head mounted display) sont utilisés en Réalité Augmentée. Le «video see-through» (lunettes vidéo) fournit à l’utilisateur la vidéo prise par la ou les caméras situées sur le casque, sur laquelle sont surimposées les entités virtuelles spécifiques à l’application. Dans le cadre de la maintenance aéronautique on ne peut accepter que l’utilisateur ne soit pas en lien constant avec

Industries manufacturières

195

la réalité. De plus, il existe un décalage entre le point de vue de la caméra et celui de l’opérateur. Et en cas de défaillance du système, il peut s’avérer dangereux dans certain cas. A contrario, «l’optical seethrough» (lunettes vidéo semi-transparentes) laisse à l’utilisateur sa vision directe du réel, sur laquelle viennent se surimposer les entités virtuelles spécifiques à l’application. Une réflexion s’impose sur la quantité et la qualité de l’information à afficher, en fonction de la tâche à effectuer. Dans le cas d’une procédure de maintenance par exemple, lors de l’affichage des procédures agrémentées de schémas, la charge cognitive risque d’être importante. De plus, il n’est pas bon d’augmenter la réalité en permanence. Le système doit permettre à l’utilisateur d’activer ou désactiver l’augmentation à la demande. L’intérêt de l’utilisation de la RA dans l’industrie a été souligné dès le début des années 90 par le groupe de Steve Feiner de l’Université de Columbia [Seligmann & Feiner, 1991] [Feiner & McKeown, 1991] [Feiner, 1993a]. De son côté, Boeing a développé un système de RA pour aider les techniciens chargés de faire une partie du câblage électrique d’un avion [Caudell, 1992] [Janin, 1993] [Simienuch et al., 1999]. D’autres projets plus récents utilisent la Réalité Augmentée dans le domaine des industries manufacturières : • •

•

ARVIKA http ://www.arvika.de/www/e/home/home.htm MARA (Maintenance Assistée en Réalité Augmentée) http ://www.ensi-bourges.fr/LVR/SIV/Projet_Mara.html STARMATE (System using Augmented Reality for Maintenance, Assembly, Training and Education) http ://vr.c-s.fr/starmate/ TATEM (Technologies and techniques for New Maintenance Concepts)

Conclusion Les techniques de synthèse d’images et de réalité virtuelle distribuée trouvent donc toute leur place pour apporter des solutions pour afficher les modèles 3D sous une forme appropriée, avec le niveau de détail pertinent et avoir des protocoles d’échange et de mise à jour des bases de données réparties adaptés au support de visualisation et à l’infrastructure de communication. 7.5

CONCLUSION

Dans la première partie de ce chapitre nous avons tout d’abord montré que la Réalité Virtuelle ouvre des perspectives prometteuses pour utiliser la CAO lors de la conception des formes géométriques. L’une des approches investiguée consiste : •

•

d’une part, à limiter l’usage du paradigme WIMP en ayant plutôt recours à des interactions multimodales vocales et gestuelles par essence plus naturelles ; d’autre part, à rendre plus réactif l’outil de CAO, par exemple en gérant implicitement l’édition des historiques de construction des objets pour éviter de les afficher systématiquement dans l’espace de travail immersif.

Au-delà de la description et de la modification d’objets en CAO immersive, cette première partie a ensuite présenté toute une analyse sur l’usage du prototypage virtuel dans l’ensemble du cycle de vie du produit. Le prototype virtuel devient l’élément clé pour associer à la conception une phase conjointe de simulations multiples. En allant

196

Le traité de la réalité virtuelle

plus loin, ces simulations vont jusqu’à repenser l’organisation des entreprises élargies par la virtualisation de l’entreprise et par sa simulation. Dans la seconde partie de ce chapitre nous avons abordé le concept de maquette virtuelle partagée, très répandu dans les industries manufacturières pour le concurrent engineering, l’innovation et le partage des connaissances. Les environnements virtuels collaboratifs apportent une solution pour supporter l’ingénierie concourante. Les architectures distribuées issues des systèmes de réalité virtuelle distribués apportent une infrastructure pour la collaboration distante. Les environnements physiques tels que les salles de décision collective et plus généralement les dispositifs de visualisation et d’interaction collective apportent le contexte tangible pour les sessions de travail collaboratif. La description de projets réalisés à l’aide de tels systèmes de réalité virtuelle montre une évolution dans les dix dernières années : une sérieuse baisse des coûts en fait une option à considérer pour les chercheurs et les industriels. Les troisième et quatrième parties donnent un aperçu des applications de la réalité virtuelle dans le domaine de la maintenance et du risque. La maturité des technologies et le recul sur les usages peut permettre d’envisager sereinement le développement important de systèmes de maintenance par la réalité virtuelle. Dans le domaine aéronautique, la maintenance est soit préventive (des visites pré vol aux visites périodiques) soit curative (réparations). La réalité virtuelle est utilisée, via la simulation, pour aider à (re)définir les procédures, et avec d’autres techniques, elle sert à en vérifier la mise en place et à supporter les opérateurs dans leurs missions. Dans le domaine du risque, la réalité virtuelle est clairement identifiée comme puissant support d’aide à la décision et sera très certainement utilisée largement dans les prochaines années. Au global, tous les enjeux des applications industrielles de la réalité virtuelle concourent à long terme à faire évoluer une grande partie de l’organisation du travail autour du cycle de vie du projet, dans l’objectif d’optimiser ses coûts et de garantir la fiabilité des produits, de leur fabrication et de leur re conception. Au-delà d’une grande rigueur dans l’analyse de l’organisation du travail de chaque type d’application industrielle, le succès de la réalité virtuelle dans le milieu industriel passera aussi par la conception de méthodes pour impliquer de façon forte les futurs utilisateurs de ces systèmes. 7.6 RÉFÉRENCES BIBLIOGRAPHIQUES [Arbabanel, 1996]

R. M. Arbabanel, E. Brechner, and W. McNeely. FlyThru the Boeing 777. ACM SIGGRAPH, Visual Proceedings, 1996.

[Aubry, 2005a]

Aubry S., Lenne D., Thouvenin I., Guénand A., «VR Annotations for Collaborative Design», in Advances in Virtual Environments Technology : Musings on Design, Evaluation, & Applications, published by Lawrence Erlbaum Associates, en cours de publication.

[Aubry, 2005b]

Aubry S., Lenne D., Thouvenin I., Guénand A., «VR Annotations for collaborative design», HCII 2005 proceedings, 22-27 July 2005, Las Vegas, USA, to be published.

[Baumgart, 1975]

Baumgart, B.G. «A Polyhedron representation for computer visio». AFIPS National Computer Conference. Volume 44, 1975, p 589-596.

[Benford, 1997]

Benford, S., et al., Embodiments, avatars, clones and agents for multi-user, multi-sensory virtual worlds, ed. M. Systems. 1997 : Springer-Verlag.

[Bonnardel, 1999]

Bonnardel, N. «L’évaluation réflexive dans la dynamique de l’activité du concepteur » Pilotage et évaluation des processus de conception. L’Harmattan. 87-104, J. Perrin (Ed.), 1999.

Industries manufacturières

197

[Bowers, 1996]

J., Bowers, J. Pycock, and J. O’Brien. Talk and embodiment in collaborative virtual Environment. in CHI’96. 1996. Vancouver, British Columbia, Canada.

[Butterworth, 1992]

Butterworth, J., Davidson, A., Hench, S., Olano, T.M. «3DM : A Three Dimensional Modeler Using a Head-Mounted Display». ACM Symposium on Interactive 3D Graphics. 1992, p 134-138.

[Buxton et al., 2000]

Buxton, B., Balakrishnan, R., Kurtenbach, G., Fitzmaurice, G. «Large Displays in Automotive Design» IEEE Computer Graphics and Application, avril 2000, pp 68-75.

[Buxton et al., 2001]

Buxton, B., Grossman, T., Balakrishnan, R., Kurtenbach, G., Fitzmaurice, G., Khan, A. «Interaction Techniques for 3D Modeling on Large Displays» Proceedings of the 2001 ACM Proceedings of Symposium on Interactive 3D Graphics, pp 17-23.

[Capin, 1997]

Tolga Capin, H.N., Daniel Thalmann, Igor Sunday Pandzic, Nadia Magnenat Thalmann, Virtual Human Representation and Communication in VLNet, in IEEE Computer Graphics and Applications. 1997. p. 42-53.

[Capps, 2000]

Capps, M., et al., NPSNET-V, in IEEE Computer Graphics and Applications. 2000. p. 12-15.

[Carlsson, 1993a]

Carlsson and Hagsand, DIVE - A Multi User Virtual reality System, I. VRAIS, Editor. 1993.

[Carlsson, 1993b]

C. Carlsson and O. Hagsand, DIVE - a multi user virtual reality system,Proceedings of VRAIS’93, 1993.

[Cassell, 1999]

Cassell, J. and H. Vilhjàlmsson, Fully Embodied Conversational Avatars : Making Communicative Behaviors Autonomous, in Autonomous Agents and MultiAgent Systems. 1999.

[Caudell, 1992]

Thomas P. Caudell, David W. Mizell «Augmented Reality : An Application of Heads-Up Display Technology to Manual Manufacturing Processes » In Proceedings of Hawaii International Conference on System Sciences, Janvier 1992, 659-669.

[Cavens et al., 2002]

Cavens, D., Vogt, F., Fels, S., Meitner, M. «Interacting with the Big Screen : Pointers to Ponder», Proceedings of ACM Conference on Computer-Human Interaction 2002 (CHI’2002).

[Chevalet& deBonnefoy, 2003] Pascale Chevalet et Nelly de Bonnefoy «Les apports de la réalité augmentée nomade pour la maintenance aéronautique» Proceedings of MOSIM’03, 4e conférence francophone de Modélisation et Simulation, Toulouse, 23-25 Avril 2003. [Churchill, 2001]

F. Churchill, E., D. N. Snowdon, and A. J.Munro, Digital Places and Spaces for interaction, in Collaborative Virtual Environments, Springer, Editor. 2001.

[Convard, 2004]

Convard, T., Bourdot, P. «History-Based Reactive Objects for Immersive CAD» ACM Solid Modeling, SM’04. Genova, Italy, Juin 2004, p 291-296.

[Convard, 2005]

Convard, T., Bourdot, P. «A Multimodal Immersive Solid Modeler with Reactive Objects» 11th International Conference on Human-Computer Interaction, HCII 2005. Las Vegas, USA, July 2005.

[Davis & Chen, 2002]

Davis, J., Chen, X. «LumiPoint : Multi-User Laser-Based Interaction on Large Tiled Displays», Displays Mar 2002.

[Dobkin, 1989]

Dobkin, D.P., Laszlo, M. «Primitives for the manipulation of three-dimensional subdivisions», Algorithmica. Volume 4, 1989, p 3-32.

[Drieux, 2003]

Guillaume Drieux, Jean Claude Léon, François Guillaume, Nicolas Chevassus, «Tools criteria for data transfer from CAD to VR environments», Virtual Concept 2003, Biarritz, pp 296-303.

[Dumas, 1998]

Dumas, C., Degrande, S., G. Saugis, C. Chaillou, , M.-L. Viaud, 1998, «A 3-D Interface for Cooperative Work, Proceedings of CVE’98», (Collaborative Virtual Environments 1998), University of Manchester, UK.

[Dumas, 1999]

Dumas, C., Degrande, S., G. Saugis, C. Chaillou, P. Plénacoste, M.-L. Viaud, 1999, «SpIn : a 3-D Interface for Cooperative Work, Virtual Reality Society Journal», Springer-Verlag London Ltd, 4, 15-25.

[Ellis, 1996]

G. Ellis «They’re Not Making ’Em Like They Used To. Virtual Reality Saves Time and Money in Manufacturing and Construction.» Iris Universe, Summer 1996.

198 [Elrod et al., 1992]

Le traité de la réalité virtuelle

Elrod, S., Bruce, R., Gold, R., Goldberg, D., Halasz, F., Janssen, W., Lee, D., McCall, K., Pederson, E., Pier, K., Tang, J., Welch, B. «LiveBoard : a Large Interactive Display Supporting Group Meetings, Presentations and Remote Collaboration» CHI’92 Conference Proceedings, pp 599-607, 1992. [Greenhalgh, 1995] Greenhalgh, C. and S. Benford. MASSIVE : a Distributed Virtual Reality System Incorporating Spatial Trading. in 15th International Conference on Distributed Computing Systems (DCS 95). 1995. Vancouver, Canada : IEEE Computer Society Press. [Feiner & McKeown, 1991] S. Feiner, K. Mc Keown «Automating the Generation of Coordinated Multimedia Explanations» IEEE Computer 1991 24(10) : 33-41. [Feiner, 1993a] Steven Feiner, Blair MacIntyre and Dorée Seligmann «Knowledge-based Augmented Reality» Communications of the ACM 36, 7 (juillet1993),52-62. [Fischer, 2004] Fischer, M. ; Hartmann, T. ; Rank, E. ; Neuberg, F. : Combining Different Project Modeling Approaches for Effective Support of Multi-Disciplinary Engineering Tasks. In Proceedings INCITE 2004, Langkawi, Malaysia (2004). [Guénand, 2005] Guénand A., Thouvenin I., Lenne D., Aubry S., «Vers l’Integration des Connaissances en Amont de la Conception : de Nouvelles Perspectives», Revue Française de Gestion Industrielle, à paraître. [Guibas, 1985] Guibas, L., Stolfi, J. «Primitives for the manipulation of general subdivisions and the computation of Voronoi diagrams». ACM Transactions on Graphics. Volume 4, number 2. 1985, p 75-123. [Guimbretière et al., 2001] Guimbretière, F., Stone, M, Winograd, T. «Fluid Interaction with Highresolution Wall-size Displays» Proceedings of ACM Symposium on User Interface Software & Technology 2001. [Guthrie, 2004] Guthrie, C. «La Coexistence des Médias de Communication dans le Processus de Conception. Un projet de recherche-action dans une entreprise industrielle» Thèse de Doctorat, GREGOR, Université Paris1 Sorbonne, 2004. [Guye-Vuillème, 1998] Guye-Vuillème, A., et al. Nonverbal Communication Interface for Collaborative Virtual Environments. in CVE’98. 1998. Manchester, UK. [Hoffmann, 1993] Hoffmann, C.M., Juan, R. Erep, An Editable High-Level Representation for Geometric Design. Geometric Modeling for Product Realization. P. Wilson, M. Wozny, M. Pratt. 1993, p 129-164. [Janin, 1993] Adam Janin, David W. Mizzel, Thomas P. Caudell «Calibration of a HeadMounted Displays for Augmented Reality Applications» In Proceedings of IEEE VRAIS’93, Seattle, WA, 18-22 septembre 1993, 246-255. [Jasnoch, 1996] U. Jasnoch, E. Klement, H. Kress, N. Schiffner «Towards Collaborative Virtual Prototyping in a World Market.» Proceedings FAIM, Atlanta, 1996. [Johanson et al., 2002] Johanson, B., Fox, A. (2002) «The EventHeap : A Coordination Infrastructure for Interactive Workspaces», 4th IEEE Workshop on Mobile Computing Systems & Applications, WMCSA 2002. [Joslin, 2004] Joslin, C., T. Di Giacomo, and N. Magnenat-Thalmann, Collaborative Virtual Environments, From Birth to Standardization, in IEEE Communications Magazine. 2004. p. 28 - 33. [Laborie, 2003] Laborie, F., Jessel, J.-P., Hugues, E. «Enhanced collaborative design through interactive Decision Room», International Conference on Engineering Design (ICED 2003), août 2003, KTH Stockholm, pp 327-329. [Lebahar, 1983] Lebahar, J.C. Le dessin d’architecte : simulation graphique et réduction d’incertitude. Editions Parenthèses. 1983. [Lécaille et al., 2000] Lécaille P., Vink D. (2000)«Aspect Sociologiques et Ergonomiques du monde virtuel» The DMU-Vi Consortium (Digital Mock-Up Visualisation in Product Conception and Downstream Processes) Ref. DMU-Vi/1.5/3S-CRISTO/D1.5.4. [Liang, 1993] Liang, J., Green, M. «Geometric Modeling Using Six Degrees of Freedom Input Devices». 3rd International Conference on CAD and Computer Graphics. Beijing, China. 1993, p 217-222. [Louis Dit Picard, 2004] Louis Dit Picard, S., et al., SPIN-3D : a CVE platform for synchronous collaborative work, in Virtual reality for Industrial Application (VIA 2004). 2004, Compiègne. [Macedonia, 1997] Macedonia, M.R. and M.J. Zyda, A Taxonomy for Networked Virtual Environments, in Multimedia, IEEE. 1997. p. 48-56.

Industries manufacturières [Macedonia, 1995] [Macedonia, 1994] [Mäntylä, 1988] [Martin, 2001] [Matsushita et al., 1997] [McGregor, 2002] [McKenzie et al., 2001] [Mellet et al., 1999]

[Milne, 2005]

[Myers et al., 2002]

[Nachez, 2001] [Neely, 1996] [Normand,1999]

[Oliveira, 2000]

[Oliveira, 1999]

[Olsen et al., 2001] [Pavy, 2004] [Peck, 2001] [Pederson et al., 1993]

[Poitou, 1989]

[Poitou, 1992]

[Prasad, 1995]

199

R. Macedonia, M., et al. NPSNET : A Multi-Player 3D Virtual Environment Over the Internet, in Interactive 3D Graphics. 1995. Monterey (California) : ACM. R. Macedonia, M., et al., NPSNET : A Network Software Architecture for Large Scale Virtual Environments, in Presence. 1994. Mäntylä, M. An Introduction to Solid Modeling. Computer Science Press, 1988. Martin, G. (2001) Intégration et confrontation des points de vue dans le cadre de la conception en ingénierie concourante Thèse CNAM. Matsushita, N., Rekimoto, J. «HoloWall : designing a finger, hand, body, and object sensitive wall» Proceedings of UIST’97, pp 209-210, 1997. McGregor, S.P. «Towards a Prescriptive Design Process for Distributed Design Teams.» Thèse de Doctorant, DMEM University of Strathclyde, Glasgow, 2002. MacKenzie, S., Jusoh, S., «An Evaluation of Two Input Devices for Remote Pointing» Proceedings of EHCI 2001, pp 235-249, 2001. LCl Mellet, Bidault C., LCl Bouquin «Apport de la simulation aux décideurs de haut niveau» Commandement de la Doctrine et de l’Enseignement Militaire Supérieur de l’Armée de Terre, Fevrier 1999. Milne, A «An Information-Theoretic Approach to the Study of Ubiquitous Computing Workspaces Supporting Geographically Distributed Engineering Design Teams as Group-Users.» Thèse de Doctorat, Stanford Univeristy, Ca, USA, 2005. Myers, B., Bhatnagar, R., Peck, C.H., Nichols, J., Kong, D., Miller, R., Long, C. «Interacting at a Distance : Measuring the Performance of Laser Pointers and Other Devices» Proceedings of CHI’2002 : Human Factor in Computing Systems, pp 33-40. Major Nachez «Les systèmes d’aide à la décision», Commandement de la Doctrine et de l’Enseignement Militaire Supérieur de l’Armée de Terre, Août 2001. W. Mc Neely «Boeing’s High Performance Visualization Software : FlyThru.» CERN Computing Seminar, June 1996. Normand, V., et al., The COVEN project : exploring applicative, technical and usage dimensions of collaborative virtual environments, in Presence : teleoperators and virtual environments. 1999, MIT Press. p. 218-236. Oliveira, J.C.d., S. Shirmohammadi, and N.D. Georganas, A Collaborative Virtual Environment for Industrial Training, in Proceedings of the IEEE Virtual Reality 2000 Conference, I.V.R. 2000, Editor. 2000, IEEE Computer Society. Oliveira, J.C.d., S. Shirmohammadi, and N.D. Georganas, Collaborative Virtual Environment Standards : A Performance Evaluation, in Proceedings of the 3rd International Workshop on Distributed Interactive Simulation and Real-Time Applications. 1999, IEEE Computer Society. Olsen, D., Nielsen, T., «Laser Pointer Interaction» Proceedings of CHI’2001, pp 17-22. Pavy, D., et al. Spin-3D : a VR-platform on internet ADSL network for synchronous collaborative work. in E Challenge. 2004. Pecks, C.H. «Useful Parameter for the Design of Laser Pointer Interaction Techniques» Proceedings of ACM CHI’2001, Student Postes, pp 461-462. Pederson, E., McCall, K., Moran, T., Halasz, F. (1993) «Tivoli : An Electronic Whiteboard for Informal Group Meetings» Proceedings of Human Factor in Computing Sciences (InterCHI’93), ACM Press, pp 391-398. Poitou, J.P. «STEREO : Etude d’un système tridimensionnel en relief par ordinateur.» Compte-rendu de fin d’étude d’une recherche financée par - le Ministère de la Recherche et de l’Enseignement supérieur, novembre 1987, n◦ 87P0401 le PIR Technologie, Travail, Emploi, Mode de Vie du CNRS, novembre 1987, n◦ 87/16". 1989. Poitou, J.P., Cartonnet, Y., Carbonell, J., Marraud, A. «Le système de CAO autostéréoscopique interactif STEREO (Système Tridimensionnel en Relief par Ordinateur). Application aux opérations en milieu hostile». MICAD’92 Actes de la onzième conférence internationale sur la CFAO, l’infographie et les technologies assistées par ordinateur. Paris, Hermes, 1992, p. 443-459. Biren Prasad «Concurrent Engineering Fundamentals : Integrated Product and Process Organization», December 20 1995, Prentice Hall ; ISBN : 0131474634.

200 [Rabardel et al., 1996]

Le traité de la réalité virtuelle

Rabardel, P., Rogalski, J., Beguin, P. (1996) Les processus de coopération à l’articulaion entre modalités organisationnelles et activités individuelles dans G. Tersac & E. Friedberg (Eds.), «Coopération et conception» (pp 289-306). France : Octares Edition. [Rohall & Lahtinen, 1996] Rohal, S., Lahtinen, E. «The VIEP system : interacting with collaborative multimedia» Proceedings of UIST’96, pp 59-66, 1996. [Seligmann & Feiner, 1991] D. Seligmann, S. Feiner «Automated Generation of Intend-Based 3D Illustration» Computer Graphics 1991, 25(4) : 123-132. [Shah, 1995] Shah, J.J., Mäntylä, M. Parametric and Feature-Based CAD/CAM : Concepts, Techniques and Applications. John Wiley & Sons, Inc., New York, NY, USA, 1995. [Simienuch et al., 1999] Simienuch, C.E., Sinclair, M. «Real time collaboration in design engineering : an expensive fantasy or affordable reality ?» Behaviour and information technology, 18(5) :361-371, 1999. [Sims94] Dave Sims «New realities in aircraft Design and Manufacture» IEEE Computer Graphics 1994. [Stefik et al., 1987] Stefik, M., Foster, G., Bobrow, D., Kahn, K., Lanning, S., et Schumann, L. «Beyond the chalkboard : Computer support for collaboration and problem solving in meetings», Communication of the ACM, pp 32-47, Jan. 1987. [Stewart et al., 1999] Stewart, J., Beredrson, B., Druin, A. «A Single Display Groupware : A Model for Co-present Collaboration» Proceedings of Human Factor in Computing Systems (CHI’99) ACM Press pp 286-293. [Stone, 2002] Stone, M. «Overview of iRoom Operation and infrastructure» Stanford University, Interactivity Lab, Internal Publication, 2002. [Stork, 1995] Stork, A., Anderson, B. «3D Interfaces in a Distributed Modelling Environment – 3D Devices, Interaction and Visualization Techniques» Int. Workshop on Modelling, Virtual Worlds, and Distributed Graphics (MVD’95). D.W. Fellner. 1995, p 83-92. [Straitz et al., 1999] Straitz, N., GeiSSler, J., Holmer, T., Konomi, S., Müller-Tomfelde, C., Reischl, W., Rexroth, P., Seitz, P., Steinmetz, R., (1999), «i-LAND : An interactive Landscape for Creativity and Innovation», Proceddings of the ACM, CHIŠ99, pp 120-127. [Terzopoulos, 1999] Terzopoulos, D., Artificial Life for Computer Graphics. Communication ACM, 1999. 42(8) : p. 32-42. [Thouvenin, 2005] Thouvenin I., Guenand A., Lenne D., Aubry S.. «Knowledge Integration in Early Design Stages for Collaboration on a Virtual Mock Up», CSCWD 2005, 24-26 May 2005, Coventry - UK. [Torguet, 1995] P. Torguet, R. Caubet «VIPER (VIrtuality Programming EnviRonment) : A virtual reality applications design platform.» Proceedings of 2nd Eurographics Workshop on Virtual Environments, Janvier 1995. [Torguet, 1998] P. Torguet «VIPER : un modèle de calcul réparti pour la gestion d’environnements virtuels.» Thèse de l’Université Paul Sabatier, Toulouse, 1998. [Torguet, 2000] Torguet P, Balet O, Jessel JP, Gobbetti E, Duchon J, Bouvier E CAVALCADE : a system for collaborative virtual prototyping Journal of Design and Innovation Research (IJODIR), volume 2 numéro 1 special «Virtual prototyping», juillet 2000. [Törlind, 2002] Törlind, P., Larsson, A. «Support for Informal Communication in Distributed Engineering Design Teams.» CIRP 2002, Hong-Kong, 2002. [Tromp, 1998] Tromp, J., et al., Small Group Behavior Experiments in the Coven Project, in IEEE Computer Graphics and Applications. 1998. p. 53-63. [Vilhjálmsson, 2003] Vilhjálmsson, H.H., Avatar Augmented Online Conversation, in Media Arts and Sciences, School of Architecture and Planning. 2003, Massachusetts Institute of Technology. p. 206. [Winograd et al., 1999] Winograd, T., Guimbretière, F. «Visual Instruments for an Interactive Mural» Proceedings of ACM SIGCHI CHI99,234-235, 1999. [Zhong, 2002] Zhong, Y., Mueller-Wittig, W., Ma, W. «A Model Representation for Solid Modelling in A Virtual Reality Environment». 2002 International Conference on Shape Modeling and Applications (SMI 2002). IEEE Computer Society, 2002, p 183-190.

8 LA RÉALITÉ VIRTUELLE DANS LE GROUPE PSA PEUGEOT CITROËN

Jean Lorisson

8.1

CONTEXTE DE L’INDUSTRIE AUTOMOBILE

Faut-il le rappeler, le véhicule automobile est un objet complexe : il comporte des milliers de composants, son développement implique des centaines de personnes de spécialités très différentes travaillant en simultané sur différents sites et dans différentes entreprises, il est une synthèse de style, de technique et de réponses à des prestations attendues par les clients (sécurité, confort, équipement,...). C’est également un produit qui est fabriqué en centaines de milliers ou en millions d’exemplaires. Les enjeux économiques sont donc énormes. La pression du marché et des exigences des clients, le cycle accéléré d’apparition des innovations sont d’autres éléments qui éclairent la compréhension de l’industrie automobile. Il faut développer vite et faire converger les acteurs dans des délais réduits vers le compromis style-technique-prestations. Dans cette industrie, la maquette (physique s’entend) reste le point de rendez-vous incontournable des équipes de développement. On regarde, on se penche, on touche, on caresse, on manipule. On échange, on critique, on partage autour de la maquette. On décide. Bien sûr, les outils de la CAO (Conception Assistée par Ordinateur) permettent de partager, y compris pour des équipes distantes, une vision de l’avancement du projet. Mais la CAO offre une lucarne bien petite (une vingtaine de pouces de diagonale) sur l’objet en cours de conception ; bien petite et peu adaptée au débat entre acteurs du développement. Une première étape a été franchie grâce aux écrans de projection échelle 1, introduits d’abord dans les studios de style puis dans les bureaux d’étude. Ils ont permis l’instauration d’un échange fructueux entre les différents métiers. Mais, assis dans un amphithéâtre ou debout devant l’écran, on reste quand même des spectateurs bien passifs et bien extérieurs à l’objet en cours de création ; on aimerait tant entrer dans l’écran. Les outils de la Réalité Virtuelle permettent cette incursion dans l’écran, cette immersion dans l’environnement virtuel, cette simulation à la première personne où ce ne sont plus des mannequins numériques qui sont à bord et que nous observons de l’extérieur, essayant de comprendre ce qu’ils voient, ce à quoi ils accèdent. Nous sommes à bord, nous, êtres humains, nous voyons en vraie grandeur, nous ressentons en direct, nous interagissons en temps réel, ouvrant une porte, réglant la hauteur d’un volant, manipulant un pare-soleil ou réglant un rétroviseur : c’est tellement plus simple, tellement plus riche. Le mot est lâché : on se croirait dans une maquette physique. C’est vrai : la Réalité Virtuelle vient d’ouvrir dans l’industrie une piste alternative à ce point de passage obligé, coûteux, en temps et en argent, que sont les maquettes physiques. Je dis «vient d’ouvrir» car on le verra par la suite, les exigences des hommes de métiers dans la qualité des maquettes sont telles que, même si des principes comme ceux du CAVET M datent de plus de 15 ans et si le monde universitaire ou de la recherche les manipule depuis tout autant, l’usage au quotidien dans un contexte industriel a dû attendre les progrès tout récents des systèmes de projection et de suivi de

202

Le traité de la réalité virtuelle

mouvements et l’arrivée des clusters de PC graphiques. Les outils de la Réalité Virtuelle produisent des maquettes virtuelles au même titre que les fraiseuses produisent des maquettes physiques. Ce sont donc ses résultats qu’il faut être en mesure de présenter aux équipes de développement et pas les technologies de la Réalité Virtuelle : des résultats d’une qualité (géométrique, dimensionnelle, texturale, cognitive) indiscutable pour des professionnels qui vont prendre des décisions fortes de conséquences. L’objectif est atteint lorsque vous voyez une équipe d’une demidouzaine de personnes en train de débattre de la largeur d’un montant de pare-brise ou de l’implantation d’une console dans un intérieur de véhicule : la technologie est oubliée, seul le produit automobile compte ; certains, pris par le débat, en viennent parfois à heurter l’écran du CAVET M , en oubliant son existence. 8.2 LE RÉALISME DES MAQUETTES VIRTUELLES Pour être acceptées par l’industrie, les maquettes virtuelles doivent être aussi réalistes que possible. C’est une lapalissade, qui peut être formulée autrement : il y a un seuil de réalisme qui, s’il n’est pas atteint, laissera votre maquette virtuelle au rang des objets de curiosité, sans intérêt industriel. La formulation «réalité virtuelle» ne relève pas du hasard : un virtuel tellement réaliste qu’il paraît réel. La vraie vie est multi sensorielle, les maquettes physiques sont multi sensorielles : pour ce qui concerne le produit automobile, elles adressent essentiellement la vue et le toucher ; de façon plus modeste l’ouïe. En Réalité Virtuelle industrielle, c’est de toute évidence la représentation visuelle qui est prépondérante. La liste des exigences pour un système de classe industrielle est sans fin et seules les nouvelles technologies, en particulier de projection, ont réussi à satisfaire en partie : •

•

niveaux de luminosité et de contrastes élevés : le point fondamental qui fait passer un CAVET M de la case outil de démonstration à la case outil de travail ; résolution élevée : sinon, par exemple, il est impossible de lire les indications d’un tableau de bord ; champ de vision large : d’où l’importance de l’image qui se forme au sol et qui crée le réalisme de la scène ; qualité de la stéréoscopie : bonne séparation des canaux de perception de l’œil droit et de l’œil gauche, sans perte excessive de luminosité et sans image fantôme ; garantie de conformité dimensionnelle : la maquette virtuelle doit être à l’échelle 1, parfaitement calée selon les protocoles métiers ; un styliste ou un architecte véhicule ont une précision d’évaluation dimensionnelle de l’ordre du centimètre qu’il faut respecter ; latence la plus faible possible de la chaîne capture de position des yeux, calcul d’image et projection : pour réduire les retards d’affichage et éviter l’effet chewinggum sur les gros modèles (les images réparties sur plusieurs écrans ne sont pas rafraîchies à la même vitesse et les objets projetés semblent se déformer mollement).

Pour ce qui concerne le toucher, il convient d’analyser plus en détail les sensations dont on parle : toucher réaliste (par exemple, le grain d’une planche de bord, le moelleux d’un siège) ; contact lors d’une détection de collision (la main est bloquée et ne peut

La réalité virtuelle dans le groupe PSA Peugeot Citroën

203

pas aller plus loin) ; retour d’effort (perception des forces et couples exercés par un objet). Les technologies de l’haptique commencent à fournir des réponses industrielles satisfaisantes à certaines de ces formes de besoins. De façon pragmatique, une partie de cette problématique peut être résolue par des objets physiques introduits dans le virtuel, constituant ainsi une maquette «hybride». Le premier d’entre eux, c’est le siège qu’on installe dans la scène virtuelle - il faut dire qu’il est difficile de lui substituer une méthode virtuelle pour asseoir les utilisateurs ; ce sont d’autres objets tels que des barrières pour matérialiser le pare-choc ou le rebord d’un compartiment moteur et pour éviter ainsi que l’être humain pénètre dans un virtuel non autorisé. Il faut admettre cependant que nombre de situations maquettées n’exigent pas d’haptique : ne pas pouvoir prendre en main le volant est certes frustrant mais pas indispensable dans une situation de maquettage où la conduite n’est pas nécessaire. Ce sont les simulations des process industriels qui se révèlent, à ce jour, les plus demandeuses de retour d’effort ; parce qu’on y étudie des activités physiques où le contact avec l’environnement (véhicule et outillage) est prépondérant. Sans retour d’effort, il est possible de concevoir un poste de travail en immersif, de vérifier la faisabilité des gestes, de mettre au point les principes d’une gamme, de contrôler que toutes les tâches se feront en situation de visibilité ; mais, sans retour d’effort, il est quasiment impossible de réaliser la cotation ergonomique du poste et d’en évaluer les conditions de travail, ni de déterminer le temps d’opération. Pour exemple : en phase de peinture, il existe des opérations manuelles consistant à déposer des cordons d’étanchéité ; ces opérations sont simulables en partie dans un CAVET M : on mettra au point le type de moyens de manutention du poste, on vérifiera l’accessibilité des zones à enduire, on contrôlera qu’à tout moment l’opérateur voit l’extrémité de sa buse d’encollage ; mais on ne parviendra pas à reproduire le geste de l’opérateur qui, dans la vraie vie, faisant prendre appui à la buse sur le fond des tôles, la déplace par un geste rapide de glissement. Enfin, pour le son, il est indispensable dans certains protocoles de simulation, par exemple la simulation de conduite, parce qu’il participe au réalisme de la scène. Dans les activités liées aux maquettes virtuelles jalonnant le processus de développement du véhicule, son usage reste encore marginal. Mais il saura probablement, dans les années à venir, montrer toute son utilité comme dispositif d’interface homme machine par l’envoi de séquences sonores d’information ou l’utilisation de la reconnaissance vocale.

8.3

LE BESOIN DE TRANSPARENCE DES TECHNOLOGIES DE LA RÉALITÉ VIRTUELLE

Pour être acceptées par l’industrie, les technologies de la Réalité Virtuelle doivent se faire oublier. Quand une équipe projet vient voir une maquette physique, elle ne demande pas à voir la fraiseuse qui l’a réalisée. De la même façon les technologies de la Réalité Virtuelle doivent se faire oublier le plus possible. Plus facile à dire qu’à faire car ces technologies restent intrusives en particulier celles liées au retour d’effort d’autant plus quand il est appliqué aux mains et aux doigts. Des progrès ont cependant été apportés, par exemple grâce aux liaisons sans fils des systèmes de suivi de mouvement ; de la même façon, même si un seul participant dispose à un moment donné d’un point de vue correct, un vrai progrès a été accompli par la capacité à suivre en mouvements plusieurs personnes et à donner instantanément à l’une quelconque d’entre elles le contrôle de l’affichage.

204

Le traité de la réalité virtuelle

Quant aux systèmes à retour d’effort, c’est par l’implantation astucieuse des équipements et la manipulation de pièces intermédiaires conformes dans leur forme et leur toucher aux objets réels simulés (pièces automobiles ou outillages) que l’on devrait réconcilier utilisateur et technologie. Les systèmes à fils offrent une piste intéressante, permettant une bonne colocalisation virtuel - réel, c’est-à-dire l’impression qu’un outil virtuel est bien positionné dans la main physique que l’on voit au travers des lunettes stéréoscopiques. Le besoin de discrétion des outils de la Réalité Virtuelle a amené par ailleurs à une marginalisation de l’usage industriel des casques qui multiplient les caractéristiques intrusives (lourdeur, nécessité de réglage, champ de vision réduit, qualité médiocre des images) et isolent l’opérateur du monde qui l’entoure. Ces technologies sont désormais réservées à des usages d’experts ayant à simuler des tâches très précises. Beaucoup de travail reste également à être mené dans le domaine des interfaces, c’est-à-dire sur les mécanismes et artifices de communication entre l’être humain immergé dans le virtuel et dont les 2 mains peuvent éventuellement être occupées par des systèmes à retour d’effort. Loin de lui la souris et le clavier habituels. Va-t-il communiquer par la voix, au travers de menus flottant dans l’espace, via un tiers qui exécute ses vœux ?

8.4 LES MAQUETTES VIRTUELLES ACCOMPAGNENT LES MAQUETTES PHYSIQUES A coup sûr, les maquettes virtuelles ne remplaceront jamais toutes les maquettes physiques. Elles se substitueront probablement à certaines d’entre elles dont le coût sera jugé définitivement trop élevé pour le bénéfice obtenu. Leur rôle prouvé actuellement est ailleurs :

•

illustration anticipée de ce que sera la maquette physique ; dans un processus continu d’itérations de conception, l’équipe projet s’installe dans son véhicule, compare des hypothèses, arbitre, examine des alternatives ; la convergence entre style, technique et prestations est accélérée ;

•

sécurisation de la maquette physique : avant d’en lancer l’exécution, l’équipe vient s’installer une dernière fois dans son véhicule virtuel ; les résultats sont sans contestation possible : une maquette physique bonne du premier coup ;

•

actualisation de la maquette physique : la réalisation de la maquette physique prend plusieurs semaines, quelques mois dans le cas de maquettes complexes ; pendant cette période d’exécution, l’équipe projet ne s’arrête pas de travailler : par exemple, les équipes process simulent des phases de montage, découvrent des impossibilités qui amènent à des changements techniques ; quand la maquette physique est livrée, elle n’est plus conforme à la définition projet ; la maquette virtuelle est là pour apporter l’illustration complémentaire des points modifiés ;

•

illustration des variantes (par exemple, direction à droite) et des véhicules dérivés (par exemple version loisirs d’une berline) pour lesquels il n’est plus possible ni financièrement ni en terme de délais de réaliser toutes les versions physiques ; c’est d’ailleurs là un terrain admirable de coexistence physique et virtuel : une maquette physique présentant la version principale d’un véhicule, installée devant un CAVET M délivrant les maquettes virtuelles des variantes.

La réalité virtuelle dans le groupe PSA Peugeot Citroën

8.5

205

LE GOULOT D’ÉTRANGLEMENT DE LA CONVERSION DES DONNÉES DE LA CAO

Les logiciels de mise en scène virtuelle représentent une niche dans la panoplie des outils de conception : ce sont des produits spécifiques développés par des éditeurs spécialisés. Ils offrent un certain nombre de fonctionnalités propres à la Réalité Virtuelle dont la gestion des environnements de projection multicanaux et des périphériques propres aux mondes immersifs. Ils permettent de définir des événements, des scénarios d’interaction, des interfaces immersives. Ils manipulent leurs propres formats de données, principalement basés sur des structures et des géométries facettisées. Le passage du monde de la CAO à celui de la Réalité Virtuelle exige de ce fait un ensemble de traitements qui ressemble parfois à un parcours du combattant. Ceux qui ont l’expérience des outils de CAO hétérogènes savent de quoi l’on parle, eux qui se sont frottés aux difficultés d’échanges de données entre modeleurs concurrents : formats neutres IGES, SET, STEP et bien d’autres, ou bien encore convertisseurs «directs». Le passage de la géométrie exacte des modeleurs tels que ICEMSurf et CATIA vers les définitions utilisables en Réalité Virtuelle se traduit par les actions bien connues de facettisation, de rebouchage de trous, d’orientation de normales, d’application de textures, de définitions de cinématiques et autres événements. La préoccupation de disposer de modèles légers pour obtenir des performances d’affichage que l’on peut qualifier de temps réel surcharge encore cette phase de traitement. C’est aujourd’hui le goulot d’étranglement dans l’utilisation industrielle de la Réalité Virtuelle. Les axes d’amélioration résident dans la mise en place de bonnes pratiques dans les bureaux d’études pour une qualité améliorée des modèles de départ, dans la définition d’automatismes de conversion, dans la veille d’outils mieux adaptés.

8.6

LE PREMIER CENTRE DE RÉALITÉ VIRTUELLE DE PSA PEUGEOT CITROËN

PSA Peugeot Citroën a mis en service son premier Centre de Réalité Virtuelle dans son Centre de Design dénommé ADN, Automotive Design Network, installé à Vélizy et dont l’inauguration a eu lieu le 7 octobre 2004. L’ADN accueille environ un millier de personnes, regroupant les 3 Directions du Style, Style Peugeot, Style Citroën et Style Coopération (pour les véhicules conçus en partenariat avec d’autres constructeurs automobiles) ainsi que les équipes projets véhicules placées sous la responsabilité de la Direction de la Recherche et de l’Innovation Automobile durant les 2 premières années de développement. Le Centre de Réalité Virtuelle est ainsi idéalement installé au cœur de la conception automobile. Viennent y travailler également les équipes de développement des process industriels installés au Centre Technique de Vélizy ainsi qu’à La Garenne et Sochaux. Le Centre de Réalité Virtuelle est doté de 3 équipements complémentaires : un écran échelle 1 stéréoscopique, une table de Réalité Virtuelle de technologie HolobenchT M et une salle immersive de typologie CAVET M dénommée I-SpaceT M . Il est exploité par une équipe dédiée de spécialistes, ingénieurs diplômés en Réalité Virtuelle. Ils ont en charge de préparer les données envoyées par les studios de style ou les bureaux d’études, d’en assurer la mise en scène et d’organiser les séances de présentation des maquettes. Les données sont issues des modeleurs ICEMSurf ou CATIA ; le logiciel de mise en scène est VIRTOOLS. L’écran stéréoscopique (Figure 8.1) est principalement utilisé pour des présentations d’extérieurs de véhicules ou des restitutions de simula-

206

Le traité de la réalité virtuelle

Figure 8.1 : Ecran stéréoscopique tions aérodynamiques. Il dispose d’un potentiel élevé pour des activités d’évaluation de la qualité perçue, c’est-à-dire de la qualité telle qu’elle apparaît aux clients lorsqu’ils entrent dans un point de vente et découvrent un véhicule : jeux et affleurements des tôles, qualité des matériaux, etc. La table de Réalité Virtuelle (Figure 8.2) supporte principalement des activités d’implantation d’organes mécaniques et de simulation des process associés : montage en usine et démontage - remontage en service après-vente. La salle immersive (Figure 8.3) représente à ce jour l’environnement le plus avancé pour immerger une équipe projet. Deux types d’explorations y sont conduits : •

étude du produit automobile : en grande majorité pour l’intérieur du véhicule en vue d’analyse et de présélection d’hypothèses de planches de bords, pour l’évaluation de différentes solutions d’implantation, d’aménagement et des prestations clients associées (impression de volume, de visibilité, d’accessibilité, de modularité,...) ; dans ces cas, un ou plusieurs sièges physiques y sont installés et les activités sont conduites en situation assise ;

•

étude du process industriel : simulation de postes de travail en usine pour juger de la faisabilité des opérations, définir les moyens de manutention, à terme juger l’ergonomie et les conditions de travail ; les activités sont conduites en situation debout.

8.7 MISE EN PERSPECTIVE Le Centre de Réalité Virtuelle, sous la pression des projets et des métiers, monte en puissance rapidement. Les axes d’évolution et de progrès se dessinent de façon claire :

La réalité virtuelle dans le groupe PSA Peugeot Citroën

207

Figure 8.2 : Table de Réalité Virtuelle

•

exploration de toutes les phases du développement du véhicule où les maquettes virtuelles apportent un bénéfice significatif et reproductible d’un projet à l’autre ; inscription de leur usage dans le schéma de développement ; mise en place des meilleures pratiques de modélisation et des automatismes de conversion des données CAO vers l’environnement virtuel pour réduire ce goulot d’étranglement et saturer les équipements ; extension de l’usage vers la conception interactive ; aujourd’hui, les équipements sont essentiellement utilisés pour des revues de projets, c’est-à-dire de la restitution visuelle de définitions réalisées en CAO dans les studios de style et les bureaux d’études. Une demande grandissante se fait pour disposer d’outils de modification de la géométrie, voire de modelage interactif en immersif, en particulier à l’intérieur du CAVET M . Pour le premier point, le besoin est relativement simple : il s’agit par exemple de déplacer des composants d’un poste de travail en usine, pour leur trouver la position la plus adaptée aux gestes de l’opérateur. Une fois la solution trouvée, les coordonnées des objets sont remontées vers le modeleur CAO pour définition détaillée. Dans le cas du modelage interactif, c’est la question des interfaces qui posera probablement le plus de difficultés, car la conception manipule un nombre d’activités bien supérieur à celui de la revue de projets ; amélioration de la qualité du rendu visuel de la maquette virtuelle par la gestion en temps réel des ombres et des reflets ; intégration des moyens haptiques pour les activités de simulation des process industriels ; réflexions sur les environnements virtuels de demain, impliquant la prise en compte de plus de sens tout en restant discrets et non intrusifs, assurant une meilleure coexistence de l’être humain (ou de son avatar) et du virtuel.

208

Le traité de la réalité virtuelle

Figure 8.3 : Salle immersive

La réalité virtuelle dans le groupe PSA Peugeot Citroën

8.8

209

LA RÉALITÉ VIRTUELLE VA-T-ELLE RÉVOLUTIONNER LE PROCESSUS DE DÉVELOPPEMENT AUTOMOBILE ?

La réponse est probablement non parce que les deux grandes révolutions ont déjà eu lieu : la généralisation du numérique d’une part et l’organisation du développement en mode projet d’autre part. Aujourd’hui, chez la plupart des constructeurs automobiles, tout le cycle de vie du produit est numérique : sketchs des stylistes, définitions CAO des pièces et assemblages, maquette numérique1, usine numérique, simulation numérique des phénomènes physiques et des process de fabrication, gammes de service aprèsvente, documents commerciaux. Quant au développement en mode projet, il est décrit dans des référentiels, balisé par des jalons, chronométré. Il n’est bien sûr pas figé et s’adapte en permanence, poussé par l’amont des bureaux d’étude chez certains constructeurs, tiré par l’aval industriel chez d’autres. Mais un certain nombre d’étapes restent incontournables qui imposent le rythme du schéma de développement : la définition de la cible du produit, la convergence entre le style, la technique et les prestations attendues par le client, la réalisation des outillages de fabrication et des lignes de production, les essais réglementaires et les tests consuméristes, la montée en puissance des usines. La Réalité Virtuelle ne va donc probablement pas révolutionner le processus de développement automobile mais elle risque de lui donner un nouvel élan : •

•

réduction du délai de certaines phases essentielles du développement, celles où toute décision anticipée se traduit en fin de projet par qualité, respect des délais et des coûts ; limitation du nombre de maquettes physiques dans un contexte de diversification des silhouettes et de leurs variantes ; illustration à risque minimal d’hypothèses innovantes ou en rupture.

Son déploiement devra être accompagné, comme toute nouvelle façon de faire travailler ensemble des équipes pluridisciplinaires, de la mise en place des codes et protocoles qui en garantiront la crédibilité, l’objectif étant d’exploiter à fond son potentiel sans pour autant chercher à dépasser la limite de ce qu’elle est en mesure de démontrer.

1 ne pas confondre la Maquette Numérique d’une part, terme désignant la base de données contenant l’ensemble des définitions (essentiellement géométriques) d’un produit et la maquette issue de la Réalité Virtuelle d’autre part, qui est un environnement, certes virtuel, mais dans lequel les équipes projets viennent s’installer, au même titre qu’elles s’installent dans une maquette physique, pour travailler et prendre des décisions.

9 ARCHITECTURE, URBANISME ET PAYSAGE

Guillaume Moreau

9.1

INTRODUCTION

Si l’on en croit le nombre de réponses donné par le moteur de recherche Google1, le domaine de l’architecture est une des applications les plus courantes de la réalité virtuelle : sur 17 300 000 réponses à la recherche du terme «Virtual Reality», 1 800 000 comportent également le mot «architecture». Et pourtant, nous verrons dans ce chapitre combien la perception des environnements intérieurs (architecturaux) et extérieurs (urbains et paysagers) peut rester embryonnaire. Pourquoi cet intérêt pour l’architecture ? Peut-être parce que les architectes sont par nature proches des problématiques de l’image, qu’ils travaillent nécessairement sur des objets qui ont trois dimensions. Ils furent parmi les premiers à exploiter les images de synthèse, peut-être parce qu’en apparence au moins, les applications sont simples : la PCV la plus importante est l’observation, l’interaction est limitée, la restitution sensorielle essentiellement visuelle. Et pourtant très rapidement, l’architecte est confronté aux limites de la technologie : les champs de vision sont trop faibles, les luminosités et les contrastes des écrans ne permettent pas une visualisation convenable d’un éclairage naturel, cet éclairage naturel étant par ailleurs particulièrement difficile à calculer en temps réel. Dans ce chapitre nous ferons un tour d’horizon rapide des principales applications dans le domaine de l’architecture et de l’urbanisme. Les différences entre applications architecturales et urbaines portent à la fois sur l’échelle envisagée (le bâtiment contre l’îlot urbain ou le quartier) mais aussi sur le type d’éclairage (artificiel et/ou naturel contre naturel). Enfin, nous essaierons de dresser un tableau des principaux défis que vont devoir relever les techniques de la réalité virtuelle pour faire franchir une nouvelle étape à ces applications.

9.2

APPLICATIONS ARCHITECTURALES

Dans le domaine de l’architecture, les applications portent dans leur immense majorité sur la visite d’environnements virtuels intérieurs. Les modalités sont donc visuelles, l’interaction la plupart du temps limitée à la navigation. On notera que quantité d’applications dites de réalité virtuelle sont en réalité de simples images de synthèse fixes calculées hors ligne.

1 Vérification effectuée pour la dernière fois le 18 septembre 2005 ; à noter quand même que le terme architecture peut aussi se rapporter à l’architecture d’une application. Les 10% restent néanmoins significatifs.

212

Le traité de la réalité virtuelle

9.2.1 PANORAMAS

9.2.1.1

Reconstitution de scènes réelles

Le terme réalité virtuelle est pris ici dans son acception la plus large possible ; on trouvera d’abord quantité de panoramas dont l’interactivité est pour le moins limitée voire dans certains cas carrément inexistante. Ils peuvent concerner des visites extérieures de bâtiments comme des visites intérieures (généralement limitées à une grande pièce). Par exemple, le site Virtual Guidebooks [http1] recense à lui tout seul plus de 4000 panoramas ! Ceux-ci sont classés par zones géographiques ou par thématiques. La plupart de ces panoramas sont basés sur la technologie Quicktime VR [Chen, 1995] développée par Apple. Grâce à une caméra montée sur une rotule, différentes images qui se recouvrent partiellement sont montées ensemble. Les images sont utilisées en tant que textures plaquées sur une sphère. La visualisation se fait à partir d’un point fixe avec 2 rotations seulement conservant ainsi la référence au plan de l’horizon. Comme toute technique de rendu basé image [Debevec, 1996, Debevec e.a., 1996], l’intérêt de cette approche réside dans sa capacité à utiliser des images réelles plutôt des images de synthèse qui n’atteindront pas la même qualité visuelle. La conséquence immédiate est que ces panoramas sont tels quels limités à des environnements existants auxquels il est extrêmement difficile d’apporter des modifications. Les problèmes rencontrés seraient alors ceux de la réalité augmentée : •

recalage des environnements réels et virtuels afin que ceux-ci coïncident : une modélisation 3D de l’environnement réel est nécessaire pour permettre le masquage correct des objets réels et virtuels en fonction de leur profondeur ;

•

éclairage couplé des environnements réel et virtuel : cela consiste à calculer les paramètres d’éclairage de la scène réelle et à les réinjecter dans la scène virtuelle afin que celle-ci soit éclairée de façon cohérente. Par exemple, Bastos et al [Bastos e.a., 1999] proposent de décomposer l’éclairage global de la scène en deux composantes : l’une est indépendante du point de vue (éclairage diffus reconstruit à travers une méthode de radiosité), l’autre est dépendante du point de vue et est elle-même décomposée en une carte de radiance et une BRDF (ces termes sont définis au chapitre «Modèles pour le rendu visuel» du volume 3). Ce modèle permet de maximiser les précalculs pour permettre le temps réel mais se base plusieurs étapes de blending, c’est-à-dire de lissage des modèles obtenus limitant ainsi le réalisme physique des résultats obtenus.

9.2.1.2

Scènes de synthèse

En matière de réalité virtuelle, les contraintes de temps-réel limitent aujourd’hui largement la qualité des images (cf. volume3, chapitre «Modèles pour le rendu visuel») en matière de scènes qui ne seraient pas des reproductions d’un monde existant. Les scènes de synthèse sont pour la plupart des créations provenant de logiciels d’infographie plutôt que d’architecture. Elles sont utilisées pour la communication du projet [http2]. Là encore, Internet regorge d’images fixes mises à disposition par les architectes ou les infographistes en vue de leur communication personnelle. Le projet Entourage 3D du département d’Architecture de l’Université de Washington [http3] met à disposition de la communauté un site de partage de modèles 3D relatifs à l’architecture et au mobilier. Le site est actif depuis 2001 et recense environ

Architecture, urbanisme et paysage

213

Figure 9.1 : Insertion d’une annotation sur un objet dans le logiciel Walkinside, avec l’aimable autorisation de VRcontext s.a.

150 modèles à ce jour selon un principe d’échange ; les membres fournissent des modèles et reçoivent des points utilisables pour télécharger d’autres modèles en échange. Toujours à l’Université de Washington, le projet RedLiner mis au point par Thomas Jung [Jung e.a., 1999, Jung e.a., 2000] vise à permettre un début de conception collaborative à l’aide d’un système d’annotations. D’autres travaux de l’Université de Washington encore, imaginent ce que serait une conception véritablement collaborative [Gross e.a., 2000, Jung e.a., 2002] en étendant le système d’annotations au modèle 3D lui-même : dans une application archéologique où les experts soulevaient différentes hypothèses, celles-ci pouvaient être présentées aux experts ! Sur un plan plus industriel, il existe maintenant des logiciels complets reprenant les principes de recherche évoqués ci-dessus. Le logiciel Walkinside [http4] permet de reprendre des modèles existants générés soit par des logiciels d’infographie soit par des outils de conception en architecture et de les afficher en y insérant un ou plusieurs personnages virtuels. Les utilisateurs de l’application peuvent alors annoter les environnements 3D, comme le montrent les deux photos de la figure 9.1, afficher uniquement les couches qui les concernent (mobilier, faux-plafonds, circuits courants forts et faibles).

9.2.1.3

Construction des modèles

Les architectes utilisant les moyens informatiques furent parmi les premiers à utiliser différentes techniques d’interaction. Si les logiciels comme AutoCAD utilisent essentiellement un langage de commande fonctionnel (façon Lisp), les tablettes graphiques furent utilisées très tôt (dès les années 70) pour la construction de primitives géométriques. L’engouement pour le système WIMP (Windows, Icons, Menus, Pointing) les reléguèrent momentanément au domaine de de l’infographie [Gross e.a., 2000]. Elles reviennent aujourd’hui grâce à un domaine de recherche émergent, la reconstruction d’objets 3D à partir d’esquisses. Mettant en œuvre un solveur formel basé sur l’algèbre de Grassman-Cayley [Macé, 1997], le projet Marina [Sosnov e.a., 2002] permet la construction d’un environnement architectural à partir de dessins en perspective à main levée. Malheureusement, le système utilise un moteur formel de résolution de contraintes et n’est pas encore compatible avec le temps-réel des applications réalité virtuelle.

214

Le traité de la réalité virtuelle

Encore au Design Machine Group de l’Université de Washington, le projet Sketck VR met en œuvre la reconnaissance de dessins à main levée [Do, 2002], en temps réel cette fois mais uniquement en reconstruisant des primitives connues pour la conception architecturale.

9.3 APPLICATIONS URBAINES Pour Batty [Batty e.a., 2000], l’urbanisme se conçoit comme l’intersection de la planification et de l’architecture. En pratique, l’urbanisme s’intéresse à l’arrangement physique des composants de base (bâtiments, rues...) qui forment l’espace urbain. Contrairement à l’architecture qui s’organise plutôt autour de la conception (esthétique, intérieure) du bâtiment, la conception urbaine s’oriente plutôt vers une organisation fonctionnelle des espaces, reflétant ainsi la structure économique et sociale du quartier. C’est aussi une activité pluri-disciplinaire par nature qui fait le lien entre la politique de la ville et son instanciation dans la réalité. L’urbanisme est friand d’informatique depuis le début, notamment de par la quantité de données qui sont gérées : réseaux de transport et d’assainissement, cadastre numérique, modèle d’élévation de terrain. Depuis les années 80, des systèmes d’informations géographiques (SIG) permettent le stockage, l’audit et le croisement de l’ensemble de ces données. Les SIG sont des bases de données dotées d’une composante spatiale, c’est-à-dire que les données sont associées à une variété géométrique de l’espace (généralement 2D). On trouve essentiellement deux types de données spatiales : •

les données vectorielles : une forme est définie par une forme géométrique (polyligne, surface) qui a généralement été décrite par un humain. Les délimitations de deux cantons ou deux parcelles du cadastre constituent typiquement des données vectorielles ;

•

les données en mode point (raster) sont plutôt issues de capteurs automatiques qui fournissent des résultats agrégés en mode discret (photos aériennes ou staellites par exemple).

Les SIG sont aujourd’hui essentiellement des outils d’organisation de données 2D ou 2,5D (modèles de données de la forme z = f (x, y)) mais le monde de la recherche commence à produire des données et des SIG qui sont réellement 3D [de la Losa, 2000]. Tous les grands SIG intégrent aujourd’hui la possibilité de créer des représentations 3D2 des différentes données sur lesquelles ils travaillent (cf. Figure 9.2). Cette caractéristique doit son importance et son intérêt à la complexité des requêtes spatiales effectuées et au nombre de couches de données disponibles. Batty [Batty e.a., 2000] montre comment ajouter du contenu à un SIG commercial pour créer des modèles 3D : certaines surfaces se voient affectées une nouvelle donnée hauteur pour effectuer une extrusion ; d’autres se voient dotées d’un modèle 3D VRML construit dans une autre application. Hachet et Guitton [Hachet e.a., 2001] vont plus loin en recréant à partir du cadastre numérique de la ville de Bordeaux un modèle numérique 3D dédié au géo-marketing (cf. Figure 9.3). D’autres travaux encore, cherchent à construire ces modèles 3D à partir de photographies aériennes [Vinson e.a., 2001] ou par fusion de données réglementaires, cadastrales (voir notamment [Allani-Bouhoula, 1999] qui se spécialise dans la reconstruction des formes de toit à l’aide d’une base de règles)... 2 On a même assisté un temps à la tentative d’éclosion d’une norme GeoVRML, c’est-à-dire la norme VRML étendue aux systèmes de coordonnées géographiques et prenant en compte tous les systèmes de projection en vigueur. Le projet semble aujourd’hui plus ou moins à l’abandon.

Architecture, urbanisme et paysage

Figure 9.2 : Visualisation de données SIG en 3D : caractérisation de certains rez-de-chaussée sur l’île de Nantes, image CERMA

Figure 9.3 : Modèle 3D de la ville de Bordeaux reconstruit par Hachet et Guitton [Hachet e.a., 2001], image Iparla (LaBRI-INRIA)

215

216

Le traité de la réalité virtuelle

Pour la communauté SIG, l’accès à la troisième dimension permet d’envisager de nouvelles représentations cartographiques abstraites voire de modifier simplement le réel afin de mettre en évidence certaines propriétés qui resteraient peu visibles sur une carte 2D classique. Dykes [Dykes e.a., 1999] cite ainsi quelques exemples : une exagération du relief afin de mettre en évidence certaines propriétés topologiques, un modèle d’interaction mixte 2D/3D pour la navigation à l’aide d’un GPS, l’accélération des périodes géologiques... La réalité virtuelle constitue aussi un outil de visualisation de résultats de simulation de phénomènes d’érosion et de dilatation (voir chapitre 6 de ce même volume).

9.3.1 VILLES VIRTUELLES

Sous cette appellation, on retrouvera un certain nombre de travaux qui sont liés à la modélisation et la représentation 3D de villes existantes. Les modèles ainsi construits sont généralement statiques. Un inventaire des outils et méthodes de modélisation de la ville (aussi bien dans ses aspects statiques que dynamiques) a été dressé dans le cadre du PIR Ville ; le rapport de cette étude est disponible en ligne sur le site du CERMA [http5]. L’objectif de ces villes virtuelles est souvent une mise en ligne sur le Web du modèle 3D partiel ou complet de la cité. On trouve aujourd’hui un certain nombre de ces modèles en ligne 3 : •

Rennes Citévision [http6] : c’est un projet expérimental de la ville de Rennes dont l’idée directrice est de proposer de l’information et des services de proximité aux rennais en utilisant les technologies multimédia proches du jeu vidéo. L’outil permet de naviguer en ligne dans la maquette virtuelle 3D de la ville de de Rennes et de localiser plus de 1300 organismes. Les recherches peuvent se faire par nom, par thème ou par quartier. Par ailleurs, toutes les adresses sont localisables (38 000 bâtiments), ainsi que les stations de bus ou de métro les plus proches.

•

Virtual City Models [http7] sur le site de l’Institut de Photogrammétrie de l’Université de Stuttgart recense quelques sites dédiés à la construction de modèles de villes virtuelles, dont la ville de Heidelberg présentée figure 9.4. La construction de tels modèles reste un sujet de recherche en soi, les applications restent pour l’heure limitées.

Peu d’applications permettent, à l’instar des travaux de Bishop [Bishop e.a., 2001a], de marcher dans la rue, monter dans le trawmay puis en redescendre un peu plus loin, entrer dans un immeuble et prendre l’ascenseur. Cela dit, Bishop ne dit rien des moyens qui permettent toutes ces interactions avec l’environnement virtuel. Ces applications font face aux difficultés classiques des applications de réalité virtuelle (voir 9.5) mais aussi à celles plus spécifiques des SIG qui sont utilisés pour créer plus ou moins automatiquement les environnements virtuels : les SIG conservent des données de nature, d’échelle et de date d’acquisition différente. Le croisement de ces données suppose un mode de représentation commun (même échelle pour les données raster par exemple). En outre, ces données sont souvent lacunaires et leur validité temporelle limitée. Les informations contenues dans le SIG sont généralement suffisantes pour le côté fonctionnel de l’application mais la représentation des données en 3D pose généralement un problème de repérage dans l’environnement. C’est pourquoi quelques études visent à générer des mondes 3D «vraisemblables» plutôt que réalistes, en générant automatiquement des formes de bâtiments ou de toits comme on l’a vu 3 Cette

liste n’est bien aucunement exhaustive !

Architecture, urbanisme et paysage

217

Figure 9.4 : Modèle de la vieille ville de Heidelberg (Institute for Photogrammetry, Université de Stuttgart)

au paragraphe précédent. Larive et al [Larive e.a., 2004] ont proposé un état de l’art sur la reconstruction 3D de formes urbaines lors des journées de l’AFIG (Association Française d’Informatique Graphique) de 2004 auquel le lecteur pourra se référer pour plus d’informations, ce thème sortant du cadre de ce chapitre. L’autre problème, largement évoqué par Donikian [Donikian, 2004] est l’insuffisance d’un modèle purement géométrique : les environnements virtuels urbains ont besoin d’être informés, c’est-àdire de contenir des informations à caractères non seulement géométriques mais aussi topologiques (réseaux et connexions entre ces réseaux) et sémantiques (le sens associé à un élément urbain, par exemple un feu rouge). La figure 9.5 montre la construction d’un environnement virtuel informé à partir du modeleur urbain VUEMS développé à l’IRISA.

9.3.2 AMBIANCES ARCHITECTURALES ET URBAINES

L’environnement urbain est défini ici par l’interprétation cognitive faite par l’être humain de l’interaction entre les caractéristiques morphologiques de la ville et les phénomènes physiques (comme la lumière) qui interviennent dans la perception (Figure 9.6 tirée de [Tahrani e.a., 2005a]). La psychologie contemporaine met l’accent sur la relation entre perception et action et confirme que la perception est enrichie par le mouvement de l’observateur. Le lecteur trouvera de plus amples détails dans [Gibson, 1986] et dans le volume 1 de cet ouvrage. En architecture et urbanisme, de nombreuses études [Lynch, 1960] confirment que l’analyse de l’espace est enrichie par une perception visuelle dynamique. Certains utilisent notamment la marche à pied comme outil de lecture et d’évaluation de l’espace public. L’objectif de cette application est la construction d’un outil d’analyse et de communication des ambiances lumineuses dans le projet urbain. Dans un premier temps, il s’agit de développer un outil de perception visuelle dynamique afin de déterminer l’influence

218

Le traité de la réalité virtuelle

(a) Définition d’une intersection

(b) Ajout de la signalisation

(d) Modèle VRML informé

Figure 9.5 : Création d’environnements virtuels urbains informés avec le modeleur VUEMS [Thomas e.a., 2000]

Figure 9.6 : L’ambiance architecturale et urbaine : interaction entre phénomènes physiques, caractéristiques morphologiques et interprétation humaine

Architecture, urbanisme et paysage

219

Figure 9.7 : Exemple d’effets solaires : rue de la Barillerie à Nantes de l’impact des effets solaires (cf. Figure 9.7) sur la compréhension de l’espace. La figure 9.8 montre quelques éléments sur les conditions d’apparition des effets solaires : Le modèle géométrique sans calcul d’éclairage ne permet pas leur apparition tandis que les textures permettent de faire apparaître certains effets qui n’étaient pas perceptibles. Afin de construire un outil d’analyse valide, les auteurs s’appuient sur la comparaison d’une expérience en environnement réel avec la même expérience en environnement virtuel (cf. Figure 9.9). Les résultats de l’expérience permettront de déterminer dans quelle mesure les effets solaires présents dans un parcours réel le seront aussi dans un parcours virtuel. Une fois déterminés les biais perceptifs, l’application pourra être étendue à des projets non bâtis. L’expérience est menée de la façon suivante : •

le sujet parcourt le chemin (réel et/ou virtuel) et relate à voix haute ses impressions, selon la méthode du parcours commenté [Thibaud, 2001]. Dans cette méthode, trois modes d’interaction sont possibles : la marche, l’observation et la description ;

•

le sujet est ensuite soumis à un questionnaire ciblé ainsi qu’à une interview pour évaluer leur expérience du parcours.

Les données résultantes sont analysées de plusieurs façons : •

d’une part les impressions globales pour déterminer les facteurs influençant le jugement des sujets sur le parcours urbain ;

•

détermination des effets solaires par extraction des commentaires via une liste de synonymes ;

•

étude des différents découpages du parcours déterminés par les sujets ;

•

agrégation des résultats obtenus à l’aide d’une méthode de correspondance qualitative et visuelle, les abaques de Régnier [Mucchielli, 1996].

220

Le traité de la réalité virtuelle

(a) Photo réelle

(b) Modèle géométrique

(d) Utilisation de textures

Figure 9.8 : Construction du modèle de parcours pour étudier les conditions d’apparition des effets solaires

Figure 9.9 : Conditions expérimentales en environnement virtuel

Architecture, urbanisme et paysage

221

Les problèmes posés par ce type d’application sont assez classiques des applications architecturales et urbaines de la réalité virtuelle et seront détaillés en 9.5.

9.3.3 ET GOOGLE EARTH ?

L’arrivée de Google Earth [http8] avec sa masse de données considérable sur la planète et les principales villes du monde peut révolutionner l’approche de l’information géographique et de ses usages. Si elle était jusqu’à maintenant plutôt réservée aux décideurs (par exemples les collectivités locales), elle est en passe de devenir un produit de grande consommation, à l’instar du moteur de recherche. Réservé à l’origine à la recherche d’informations que l’utilisateur ne savait pas trouver, le moteur de recherche tend à remplacer aujourd’hui le classement des informations : Apple MacOS X incorpore aujourd’hui Spotlight, un moteur de recherche permettant par exemple de créer instantanément un dossier virtuel regroupant tous les compte-rendus de réunion sur les importations de bananes dans la communauté européenne. Google propose aussi le même service (Google Desktop Search) et la prochaine version de Windows (Vista) sera dotée d’un outil similaire. Quelles conséquences sur l’information géographique ? Celle-ci devrait donc devenir accessible au plus grand nombre, les modèles 3D des grandes villes américaines sont déjà disponibles, d’autres devraient suivre. Les réseaux routiers sont déjà disponibles ainsi que les emplacements des bâtiments publics, la visualisation est extrêmement rapide, l’interaction a été soigneusement étudiée et pourrait rapidement devenir un standard de facto. Il est probable que, de même qu’une page Web doit être référencée par Google pour être «visible», dans un avenir proche, toute construction utilisant des informations à caractère géographique, soit – sinon disponible dans Google Earth – du moins compatible avec celui-ci.

9.4

APPLICATIONS AU PAYSAGE

Au delà de l’espace urbain dans lequel on s’intéresse essentiellement à l’espace construit (bâtiments et réseaux de circulation), quelques applications se créent dans le domaine du paysage. Ici encore, il y a un lien très fort entre les SIG et l’application ; ceux-ci fournissent les données pour la création (automatisée au maximum) des mondes virtuels. Stock et Bishop [Stock e.a., 2002] utilisent le système d’information géographique ArcGIS pour exporter des données vers un monde virtuel animé par une surcouche de IRIS Performer déjà utilisée pour l’application [Bishop e.a., 2001a] citée au paragraphe 9.3.1. L’objectif de l’application est de visualiser les changements potentiels qui affecteront un paysage (cf. Figure 9.10). Des PDA sont utilisés pour interagir avec l’application (explorer les différentes alternatives). Les applications restent pour l’instant limitées ; les travaux du Néo-Zélandais Bishop constituent une référence en la matière parce que celui-ci s’intéresse aussi à l’évaluation des potentialités de la réalité virtuelle dans les problèmes paysagers [Bishop e.a., 2001b]. Des travaux [Jallouli, 2005], utilisant ces principes, se déroulent en ce moment au CERMA pour étudier les potentialités de la réalité virtuelle pour évaluer l’impact des éoliennes sur le paysage.

222

Le traité de la réalité virtuelle

Figure 9.10 : Deux vues de la vallée virtuelle de Cudgewa avec une couverture végétale différente. Des espaces agricoles marginaux ont été remplacés par des plantations de pins [Stock e.a., 2002]. 9.5 LIMITES DES APPLICATIONS ENVISAGÉES Dans cette section, nous nous intéresserons aux problèmes les plus fréquemment posés par les applications de réalité virtuelle dans le domaine de l’architecture, de l’urbanisme ou du paysage. 9.5.1 IMMERSION

En matière d’immersion, les problèmes sont les problèmes classiques des applications de réalité virtuelle, même s’ils peuvent prendre une importance particulière parmi les spécialistes de la représentation visuelle que sont les architectes : •

•

la résolution de l’écran est limitée par rapport à l’acuité visuelle humaine et pose des problèmes de perception de forme en particulier dans les angles vifs ; ce sujet est notamment sensible lors de la visualisation de formes de toits vues de la rue. En raison de l’angle et la distance, cette représentation est particulièrement peu précise ; les architectes(et encore plus les urbanistes) sont extrêmement sensibles à la qualité de l’éclairage et bien peu se contentent d’algorithmes temps réel de synthèse d’images. La représentation visuelle doit souvent être une véritable simulation et la représentation des résultats pose problème : le manque de contraste des écrans d’ordinateurs (et en particulier des écrans LCD et des vidéo-projecteurs) ne permet pas une représentation fidèle de la qualité d’éclairage. La plupart des études sur la qualité comparée des différents type de représentation est très pessimiste sur ce sujet [Billger e.a., 2003, Charton, 2002]. le champ de vision est limité et c’est, avec le manque de sensations vestibulaires, une des causes des problèmes de localisation (l’observateur ne sait pas où il se trouve) des environnements virtuels.

9.5.2 INTERACTION

Les courts paragraphes suivants décrivent les problèmes liés à l’interaction dans les applications architecturales et urbaines en les classant par PCV (voir le chapitre «Les techniques d’interaction» , partie sur les primitives comportementales du volume 2). De

Architecture, urbanisme et paysage

223

façon générale, on peut dire que contrairement à des applications de CAO classiques, les objets conçus sont beaucoup plus grand que l’observateur rendant leur observation à l’échelle 1 beaucoup plus compliquée que celle d’une voiture ou d’une pièce CAO.

9.5.2.1

Observation

Les problématiques de l’observation d’en environnement virtuel ou urbain sont liées à celles de l’immersion ; on peut citer également des problèmes typiques de l’informatique graphique : la qualité du rendu visuel et surtout la quantité de données à gérer ! si les bases de données graphiques classiques font généralement quelques centaines à quelques millions de polygones, une ville pet contenir à elle seule plusieurs dizaines de milliers de bâtiments eux-mêmes représentés par un nombre important de polygones et de textures... Dans un environnement extérieur comme une rue droite, il est possible qu’à un instant donné, 100% des polygones de la base de données soient visibles au même instant. Les systèmes de portals (graphes de visibilité) de réduction de bases de données graphiques n’ont alors aucune efficacité. Le sous-système graphique doit alors prendre en compte toute la base de données et le nombre de bits limités utilisable pour stocker les informations de profondeur pour l’algorithme du z-buffer peut provoquer des effets gênants : apparition brusque d’éléments comme des immeubles, clignotement entre deux éléments (l’un apparaît devant l’autre puis la situation s’inverse très rapidement). L’observateur est souvent confronté à des problèmes de localisation et d’orientation dans les environnements virtuels de grande taille comme les environnements virtuels urbains. La section 1.3 du chapitre «Les techniques d’interaction» du volume 2 de cet ouvrage revient largement sur les causes de ces problèmes et propose des solutions, ils ne seront pas détaillés plus avant ici.

9.5.2.2

Déplacement et navigation

Le déplacement dans un environnement virtuel pose le problème de la taille relatives de l’environnement réel par rapport à l’environnement virtuel ; ici, nous nous intéressons à des environnements de grande taille par rapport à l’observateur. Le déplacement virtuel est donc important et réalisé avec un déplacement physique restreint ou inexistant. La sensation de déplacement chez l’homme est principalement donnée par le système visuel et le système vestibulaire comme le rappelle la section 1.4 du chapitre «Les techniques d’interaction» du volume 2 de cet ouvrage. La section propose en outre un nombre important de solutions matérielles ; la majorité d’entre elles sont encore du domaine de la recherche et d’une mise en œuvre peu évidente. Certaines approches restent purement logicielles comme celle du guide virtuel proposé par Azpiazu [Azpiazu e.a., 2004] et reprise par [Tahrani e.a., 2005b] : comme au musée, l’observateur suit un guide virtuel représenté par personnage virtuel. Ce guide a une trajectoire prédéfinie qu’on peut interrompre à tout moment. Une fois le guide arrêté, l’observateur se déplace autour du guide pour prendre connaissance différemment de l’environnement qui l’entoure. Cette étape terminée, le guide redémarre jusqu’au prochain arrêt.

224

9.5.2.3

Le traité de la réalité virtuelle

Manipulation

L”interaction étant généralement limitée dans les applications architecturales et urbaines, les problèmes de sélection et de manipulation le sont tout autant. En architecture, quelques applications disposent ça et là de techniques d’interaction (aménagement virtuel de cuisines par exemple) mettant en œuvre un nombre important d’aides logicielles comportementales (détection de collision orientant et plaçant les éléments d’une cuisine dans des cases par exemple). En urbanisme, les représentations 3D d’un quartier ou d’une ville peuvent être aménagées, mais essentiellement par glisser-déplacer le long d’un plan 2D éventuellement vu en perspective. Il y a un exemple typique dans le domaine du jeu vidéo avec les jeux de rôle qui mettent le joueur dans le rôle d’un aménageur ou du moins du maire d’une ville (Sim City et produits dérivés).

Architecture, urbanisme et paysage

9.6

225

RÉFÉRENCES BIBLIOGRAPHIQUES

[Allani-Bouhoula, 1999] N. Allani-Bouhoula (1999). Reconstruction tridimensionnelle de tissus urbains. Thèse de doctorat, Institut National Polytechnique de Lorainne, Nancy. [Azpiazu e.a., 2004] A. Azpiazu, C. Pedrinaci, and A. Garcia-Alonso. A new paradigm for virtual reality : the guided visit trough a virtual world. In S. Richir and B. Taravel, editors, Virtual Reality International Conference (VRIC) (2004), pages 181–186, Laval. [Bastos e.a., 1999] R. Bastos, K. Hoff, W. Wynn, and A. Lastra. Increased photorealism for interactive architectural walkthrough. In Proceedings of the 1999 Symposium on Interactive Graphics (1999), Atlanta GA, USA. [Batty e.a., 2000] M. Batty, M. Dodge, B. Jiang, and A. Smith (2000). New technologies for urban designers : the venue project. Technology Applications Programme (JTAP) Working Paper 21, Center for Advanced Spatial Analysis, University College London, Londres. [Billger e.a., 2003] M. Billger and I. Heldal. Virtual environments versus a full-scale model for examining color and space. In Virtual Concept (2003), pages 249– 256, Biarritz. [Bishop e.a., 2001a] I. Bishop and B. Dave. Beyond the moving camera : systems development for interactive immersive exploration of urban environments. In Computers in Urban Planning and Urban Management (CUPUM) (2001a), Honolulu. [Bishop e.a., 2001b] I. Bishop, J. Wherrett, and D. Miller. Assessement of path choices on a country walk using a virtual environment. Landscape and urban planning, 52(4) :225–237 (2001b). [Charton, 2002] V. Charton (2002). Etude comparative de la perception des ambiances lumineuses en milieu réel et en milieu virtuel. Thèse de doctorat, Ecole Nationale des Travaux Publics de l’Etat, Lyon. [Chen, 1995] S. E. Chen. QuickTime VR — an image-based approach to virtual environment navigation. Computer Graphics, Proceedings of SIGGRAPH95, 29(Annual Conference Series) :29–38 (1995). [de la Losa, 2000] A. de la Losa (2000). Modélisation de la troisième dimension dans les bases de données géographiques. Thèse de doctorat, Université de Marne-la-Vallée, Marne-la-vallée. [Debevec, 1996] P. Debevec (1996). Modeling and rendering architecture from photographs. Thèse de doctorat, University of California at Berkeley, Berkeley. [Debevec e.a., 1996] P. E. Debevec, C. J. Taylor, and J. Malik. Modeling and rendering architecture from photographs : A hybrid geometry- and image-based approach. Proceedings of SIGGRAPH 96, pages 11–20 (1996), ISBN 0-201-94800-1. Held in New Orleans, Louisiana. [Do, 2002] E. Y.-L. Do. Drawing marks, acts, and reacts : toward a computational sketching interface for architectural design. Artificial Intelligence for Engineering Design, Analysis and Manufacturing, 16 :149–171 (2002). [Donikian, 2004] S. Donikian (2004). Modélisation, contrôle et animation d’agents virtuels autonomes évoluant dans des environnements informés et structurés. Habilitation à diriger des recherches, Université de Rennes I, Rennes. [Dykes e.a., 1999] J. Dykes, K. Moore, and D. Fairbairn. From chernoff to imhof and beyond : Vrml and cartography. In VRML ’99 : Proceedings of the fourth symposium on Virtual reality modeling language (1999), pages 99–104, Paderborn, Allemagne. ACM Press.

226 [Gibson, 1986] [Gross e.a., 2000]

[Hachet e.a., 2001]

[Jallouli, 2005]

[Jung e.a., 2000] [Jung e.a., 1999]

[Jung e.a., 2002] [Larive e.a., 2004]

[Lynch, 1960] [Macé, 1997] [Mucchielli, 1996] [Sosnov e.a., 2002]

[Stock e.a., 2002]

[Tahrani e.a., 2005a]

[Tahrani e.a., 2005b]

[Thibaud, 2001]

[Thomas e.a., 2000]

[Vinson e.a., 2001]

Le traité de la réalité virtuelle J. J. Gibson. The ecological approach to visual perception. L.E.A (1986). M. Gross, E. Y.-L. Do, and B. Johnson. Beyond the low-hanging fruit : information technology in architectural design, past, present and future. In ACSA2000 Technology Conference (2000), pages 100–106, Cambridge MA, USA. MIT. M. Hachet and P. Guitton. From cadastres to urban environments for 3d geomarketing. In Proceedings of IEEE/ISPRS joint workshop on remote sensing and data fusion over urban areas (2001), pages 146– 150. J. Jallouli (2005). La réalité virtuelle : quelles réponses aux impacts des éoliennes ? thèse de doctorat (en cours), CERMA CNRS UMR 1563, Nantes. T. Jung and E. Do. Immersive redliner : collaborative design in cyberspace. In ACADIA Conference (2000), Washington DC, USA. T. Jung, E. Do, and M. Gross. Immersive redlining and annotation of 3d design models on the web. In Computer Aided Architectural Design Futures, CAADs Future 1999 (1999), pages 81–98, Atlanta GA, USA. T. Jung, M. Gross, and E. Do. Annotating and sketching on 3d web models. In Proceedings of IUI 2002 (2002), San Francisco CA, USA. M. Larive, Y. Dupuy, and V. Gaildrat. Génération automatique de formes urbaines : un état de l’art. In Journées de l’Association Française d’Informatique Graphique (2004), Poitiers. K. Lynch. The image of the city. MIT Press (1960). P. Macé. Tensorial calculus of line and plane in homogeneous coordinates. Computer Networks and ISDN Systems, 29 (1997). A. Mucchielli. Dictionnaire des méthodes qualitatives en sciences sociales. Armand Colin, Paris (1996). A. Sosnov, P. Macé, and G. Hégron. Semi-metric formal 3d reconstruction from perspectives sketches. In International Workshop on Computer Graphics and geometric modelling, Lecture Notes in Computer Science (2002), Amsterdam, Pays-bas. Springer Verlag. C. Stock and I. Bishop. Immersive, interactive exploration of changing lanscapes. In A. E. Rizzoli and A. J. Jakeman, editors, Integrated Assessment and Decision Support, Proceedings of the First Biennial Meeting of the International Environmental Modelling and Software Society, volume 1 (2002), pages 30–35, Lugano, Suisse. iEMSs. S. Tahrani, G. Moreau, and P. Woloszyn. Assessing the use of virtual reality in daylighting ambiences design : A case study. In Virtual Concept 2005 (2005a), Biarritz. S. Tahrani, G. Moreau, and P. Woloszyn. Motion impact on daylighting ambiance evaluation in virtual world. In Computer in Urban Planning and Urban Management, CUPUM (2005b), Londres, Royaume-Uni. CASA. J.-P. Thibaud (2001). La méthode des parcours commentés. In M. Grosjean and J.-P. Thibaud, editors, L’espace urbain en méthodes, pages 79–99. Editions Parenthèses. G. Thomas and S. Donikian. Virtual humans animation in informed urban environments. In Computer Animation (2000), pages 129–136, Philadelphia, PA. S. Vinson, L. Cohen, and F. Perlant. Extraction of rectangular buildings on aerial images. In SCIA (2001).

Architecture, urbanisme et paysage

227

Adresses Web des exemples mentionnĂŠs [http1] [http2] [http3] [http4] [http5] [http6] [http7] [http8]

http ://virtualguidebooks.com/ http ://depts.washington.edu/agaligo/udistrict/start.htm http ://quicksilver.caup.washington.edu/entourage/index.php http ://www.walkinside.com http ://www.cerma.archi.fr/inventur/inventur.html http ://www.citevisions.rennes.fr/ http ://www.ifp.uni-stuttgart.de/forschung/photo/VirtualCity/VirtualCity.en.htm http ://earth.google.com

RÉALITÉ VIRTUELLE ET ARCHÉOLOGIE

Robert Vergnieux

Comme dans de nombreuses autres disciplines, l’image numérique a progressivement envahi le monde de l’archéologie. La diminution des coûts des ordinateurs et la simplification des interfaces logicielles ont rendu accessibles ces technologies au plus grand nombre. Cependant ces nouvelles images mélangent allègrement images précalculées et la réalité virtuelle, masquant ainsi pour le public l’intérêt particulier que présente la Réalité virtuelle pour l’archéologie. L’écart entre ces deux modes de production et de visualisation de scènes 3D n’est pas encore perçu parfaitement même dans les couloirs de la recherche en archéologie. Les enjeux méthodologiques entre ces deux voies sont cependant importants. L’image de synthèse précalculée est généralement utilisée pour l’illustration de la recherche alors que la réalité virtuelle est mise en œuvre comme un outil propre à la recherche. Mais avant de cerner la pertinence de l’utilisation de la réalité virtuelle en archéologie, il est indispensable de se pencher sur les usages liés aux scènes archéologiques 3D. La phase proprement dite de modélisation, située en amont de la visualisation virtuelle des sites archéologiques est commune à ces deux pratiques (images précalculées / réalité virtuelle). Elle procède d’une recherche de restitution d’espaces aujourd’hui disparus. En effet, à partir d’un site archéologique l’un des objectifs scientifiques récurrents est de chercher à restituer l’aspect du site à un instant Ti de sa période d’activité. 10.1

LA DÉMARCHE DE RESTITUTION EN ARCHÉOLOGIE

10.1.1 DE LA DOCUMENTATION À LA RESTITUTION 3D

Dans de nombreux cas les vestiges archéologiques fournissent des informations sur les plans de l’édifice avec parfois des élévations conservées sur une hauteur plus ou moins significative. La première étape d’une démarche de restitution consiste en l’analyse des vestiges archéologiques du site : structures in situ ; vestiges divers ; témoins négatifs. Ensuite il faut rechercher les éventuels témoignages de personnages contemporains des édifices qui ont laissé soit une image (mosaïque, peinture, gravures etc..) soit une description textuelle du secteur étudié. Une fois la collecte de toutes ces informations réalisées, elles sont croisées pour permettre d’esquisser une élévation 3D du site. Cette phase de modélisation amène à l’élaboration d’un modèle initial (version V1) du site archéologique étudié. Cette visualisation, rendue possible, éclaire sous un angle nouveau ce qui ne se concevait pas à partir de documents en 2D (plans, coupes). Lors de cette phase, de nombreux problèmes se résolvent d’eux-mêmes par le simple passage en 3D. De la même façon, d’autres problèmes, jusqu’alors insoupçonnés, surgissent de cette mise en volumes, ce qui nécessitera la mise en place d’actions complémentaires de recherche. Cette version V1 du site n’est qu’une étape à partir de laquelle le travail scientifique de restitution peut enfin commencer. Il est nécessaire de reprendre point par point toutes les unités architecturales du site pour les valider progressivement. Des modèles successifs (version V2,i ) suivront l’avancée de la recherche, jusqu’à la version V3, synthèse de ce qu’il est possible de proposer comme restitution scientifique du site à ce jour. Ce modèle (version V3,0 ) doit pouvoir être modifié au rythme des nouvelles

230

Le traité de la réalité virtuelle

découvertes. Elles alimenteront la démarche de restitution pour enrichir le modèle et le faire évoluer vers des versions actualisées. 10.1.2 LES RECHERCHES COMPLÉMENTAIRES POUR L’ÉLABORATION DE LA SCÈNE 3D

En parallèle à la démarche de restitution des volumes, s’engage une recherche sur les matériaux utilisés dans la construction. Pour maîtriser la version V3 , il est nécessaire de faire appel aux archéomètres. Grâce à leur expertise sur la caractérisation des matériaux, il devient possible d’élaborer une politique de texture qui dépasse le problème de rendu visuel. De cette recherche sortent les textures à appliquer sur le modèle à partir des versions V3 . Les textures utilisées dans les versions antérieures (V2 ) sont seulement significatives des informations archéologiques connues sur la question mais ne cherchent pas à donner un rendu réaliste. Une fois ces aspects maîtrisés, le modèle correspondant à la restitution du site archéologique peut nécessiter d’être placé dans son environnement topologique et naturel. Aussi est-il nécessaire de positionner des repères géo-référencés dans les scènes 3D. Cette précaution permettra par la suite de pouvoir lier cette scène 3D à d’autres espaces archéologiques issus du voisinage immédiat. Une recherche sur la couverture végétale et son évolution peut-être menée de même qu’une extension de la scène 3D à l’environnement immédiat. Les sites archéologiques ont connu des évolutions au cours du temps : agrandissement, aménagements, destructions. Ces évolutions doivent aussi clairement être prises en compte. Tout modèle doit être associé à un segment chronologique. Si la visualisation simultanée de phases de construction à des époques différentes est parfois souhaitable, les scènes 3D qui leur correspondent doivent le faire savoir explicitement. Il est à noter enfin que les phases d’abandon des sites sont aussi des segments chronologiques importants à étudier. 10.1.3 DE L’INTÉRÊT DE RÉALISER UN MODÈLE NUMÉRIQUE 3D EN ARCHÉOLOGIE

La démarche de restitution n’est pas nouvelle en archéologie puisque déjà au XIXeme siècle les prix de Rome de la Villa Médicis restituaient en de magnifiques aquarelles les sites majeurs de l’antiquité. La communauté scientifique s’est écartée de cette pratique car elle semblait fixer à jamais des hypothèses. L’apparition des outils informatiques a donné une impulsion nouvelle à ce champs d’investigation délaissé par la recherche. Mais les nouvelles images sorties des laboratoires ont été critiquées dans un premier temps car leur aspect «plus vrai que nature» les éloignaient de cette notion d’hypothèse. Elles peuvent donner l’illusion de figer définitivement des suppositions. Mais, à l’inverse, ne pas matérialiser ces images rend les discussions et les échanges entre les scientifiques impossibles. Visualiser les hypothèses de restitution permet d’en discuter avec précision. Elles autorisent le dialogue entre les spécialistes de différentes disciplines : archéologues, historiens, historiens de l’art, architectes, épigraphistes etc. Comment argumenter entre collègues sur l’articulation des volées d’escaliers dans les couloirs d’accès du public sur les gradins du Circus Maximus si on ne visualise pas l’ensemble architectural ?

Réalité virtuelle et archéologie

231

Bien que tous les usagers de l’image de restitution en archéologie n’aient pas encore pris la mesure de l’innovation méthodologique qu’entraîne leur utilisation, bien moins encore ont perçu le très fort potentiel de la réalité virtuelle pour l’archéologie bien que des expériences pionnières aient vu le jour au milieu des années 80.

10.2

RÉALITÉ VIRTUELLE : DES PREMIERS PAS VERS LA VALORISATION DES SITES ARCHÉOLOGIQUES

10.2.1 LES EXPÉRIENCES PIONNIÈRES DE RÉALITÉ VIRTUELLE EN ARCHÉOLOGIE

Avant l’explosion de l’usage de la micro informatique il était impossible pour les chercheurs d’un laboratoire en sciences humaines d’accéder aux outils de modélisation car ils étaient hors d’atteinte financière. En Europe, c’est la Direction des Etudes et Recherche d’Eléctricité De France qui a ouvert en premier la voie dans le cadre du mécénat technologique dès les années 1986. Deux conventions, signées avec le Centre National de la Recherche Scientifique, avaient pour objectif la restitution des temples de Karnak en Haute Egypte ainsi que l’étude des pyramides de l’ancien empire du secteur de Saqqarah. Ces modèles numériques furent parmi les premiers, d’une part, à être issus des milieux scientifiques archéologiques concernés (mission franco-égyptienne des temples de Karnak et Mission du MAE de Saqqarah) et d’autre part, visualisables sous la forme de modèles 3D en temps réel. Les logiciels utilisés (PDMS - Review) étaient ceux mis en œuvre par EDF pour la gestion du bâti des centrales nucléaires et développés par la société CAD Centre (société issues d’un centre de recherche de l’université de Cambridge, devenue par la suite la société Avéva). Ce mécénat, très profitable pour les archéologues, nécessitait encore de travailler dans les locaux d’EDF qui disposait alors de stations Unix adéquates. En 1994, l’équipe bordelaise d’archéologie et la direction du Mécénat Technologique d’EDF ont décidé de pousser plus loin l’expérience en transférant à la Maison de l’Archéologie de l’université de Bordeaux 3 les outils informatiques. La diminution des coûts rendait ce développement possible. Dès 1995 deux projets pilotes furent lancés : l’un sur l’étude de l’amphithéâtre d’El Jem en Tunisie, l’autre sur les temples de la Marmaria à Delphes. Mais c’est en 1996, toujours à Bordeaux, que la potentialité de la réalité virtuelle dédiée à l’archéologie fera ses premières preuves en s’appuyant sur l’image de synthèse interactive en 3D. La maquette électronique de la restitution du Circus Maximus de Rome constituera alors une interphase graphique en temps réel, permettant un accès instantané à la documentation scientifique associée. Depuis c’est un catalogue de plus de 50 sites archéologiques complexes qui sont au cœur de programmes de recherche ouverts en partenariats par la Plate-Forme Technologique 3D de l’Institut Ausonius . Parallèlement à ces recherches, de l’autre côté de l’Atlantique, une équipe de l’UCLA dirigée par le professeur B. Frischer, s’est engagée sur l’usage de la réalité virtuelle en archéologie en privilégiant l’aspect immersif dans un contexte pédagogique. Le «Cave» permet aux étudiants, munis de lunettes stéréoscopiques de se déplacer collectivement avec leur enseignant dans les édifices antiques grâce à un système de projection sur les différentes parois de la pièce d’immersion. L’usage de la réalité virtuelle en archéologie est apparu également dans des opérations plus à l’intention du grand public que des scientifiques. En 1986, le salon Imagina a été

232

Le traité de la réalité virtuelle

l’occasion, via le réseau, de faire se rencontrer des avatars dans une galerie virtuelle de l’abbaye de Cluny. Les aspects scientifiques de l’archéologue s’étant alors effacés devant les impératifs de la communication sur les nouvelles technologies.

10.2.2 DE L’UTILITÉ DE L’IMMERSION EN ARCHÉOLOGIE

Restituer les édifices antiques pour approcher visuellement l’état tel qu’ils avaient été construits est un moyen très efficace de valorisation auprès du public et des visiteurs qui fréquentent les aires archéologiques. Depuis une dizaine d’années nous constatons une importante production d’images de synthèse restituant les monuments les plus prestigieux du passé. Parfois les maquettes électroniques élaborées pour le calcul de ces images de synthèses sont présentées au public via des systèmes plus ou moins immersifs. C’est sur site, ou le plus souvent dans le cadre d’expositions, que sont présentés ces mondes interactifs. Il est possible de circuler dans la tombe de Néfertari ou bien dans une villa romaine de Pompéi. Si ces productions sont élaborées sur des scènes 3D interactives avec une possibilité d’immersion, elles n’entrent pas dans les processus de recherche. Leurs motivations de réalisation sont inféodées aux objectifs de l’exposition concernée et non pas aux objectifs scientifiques à atteindre. Peut-être la seule utilisation effective de la réalité virtuelle dans laquelle l’aspect immersif a joué un véritable rôle sur l’apport scientifique pour l’archéologie est le projet mis en œuvre sur la grotte Cosquer avec le support d’EDF. Pour accéder physiquement à cette grotte les scientifiques doivent passer par un conduit immergé. Ces conditions interdisent aux personnes qui ne pratiquent pas la plongée sous-marine d’avoir accès au site archéologique. D’où l’idée d’élaborer un double numérique de la grotte que les scientifiques peuvent explorer virtuellement. L’acquisition s’est faite à l’aide d’un scanner Mensi avec une précision autorisant, à certains endroits, jusqu’à visualiser des traces d’outils préhistoriques sur les parois virtuelles de la grotte. Les textures des parois étaient issues d’images vidéo enregistrées parallèlement au travail du scanner.

10.2.3 RÉALITÉ VIRTUELLE ET VALORISATION DES SITES ARCHÉOLOGIQUES

Comment expliquer aux personnes qui visitent un site archéologique l’apparence qu’avait le site avant son abandon ainsi que les différentes phases de son évolution ? Par le texte il est possible d’évoquer les lieux et leurs évolutions pour aider l’auditeur à élaborer une image mentale du lieu. L’image de synthèse à son tour aide le visiteur qui, par un jeu du regard, passe des vestiges encore en place aux vestiges restitués. La réalité virtuelle autorise une plus grande efficacité en venant jouer sur les sens : toujours dans le but d’aider à l’élaboration d’une image mentale. La synthèse visuelle reçue par le spectateur est alors l’équivalent d’un méta langage composant un espace tridimensionnel interactif induit à partir des dossiers de recherche des archéologues. Devant le succès du double physique de la grotte de Lascaux, les modèles numériques de réalité virtuelle ont encore à inventer un mode de consultation qui puisse rivaliser avec l’impacte que produit une copie matérielle du réel, une maquette physique à l’échelle 1/1. Notons que les visites de Lascaux II connaissent une telle fréquentation aussi du fait que la maquette a été réalisée sur le site même. Si la réalité virtuelle veut rivaliser, il faut qu’elle soit aussi accessible à proximité des lieux concernés. Ceci nous incite à croire dans le développement des musées de sites archéologiques intégrant de plus en plus des systèmes de visualisation collectifs et immersifs.

Réalité virtuelle et archéologie

233

Cependant l’une des difficultés de l’utilisation de la 3D interactive à partir d’un poste de consultation dans les musées de site reste l’interface de déplacement qui parfois laisse l’utilisateur se perdre dans la scène 3D restituée. Il est nécessaire de préenregistrer des parcours fléchés permettant aux visiteurs de pouvoir toujours se retrouver. Des ouvertures vers la technique de la réalité augmentée sont à explorer. Cette méthode nécessite de pouvoir envoyer les images devant les yeux du spectateur, recalculées en temps réel, en fonction de la position de sa tête dans l’espace. Le visiteur, équipé de lunettes et d’un GPS, reçoit en superposition la vue directe des vestiges archéologiques qui sont devant lui, avec les images restituant les édifices tels que les scientifiques peuvent les restituer. Si l’idée semble bonne, sa mise en œuvre n’est pas encore concluante : équipements lourds et coûteux ; difficulté pour faire coïncider l’axe de vision du visiteur avec l’axe du point de vue à partir duquel est calculé l’image en temps réel. Ces techniques restent du domaine expérimental. Mais la génération du flux d’images en temps réel et en stéréoscopie ne peuvent être issue que d’un moteur temps réel oeuvrant sur un double du site archéologique. Ceci montre encore que la réalité virtuelle recouvre ce double enjeux de la recherche scientifique en archéologie et de sa valorisation. 10.3

CONCLUSION

S’inspirer de sites antiques pour se les réapproprier et pour les injecter dans une recréation (la Renaissance en a démontré la pertinence), est respectable et utile. Même si la liberté de chacun est d’imaginer comment était tel ou tel édifice au temps de sa splendeur, les restituer avec exactitude est une affaire de professionnels. Restituer des sites archéologiques en 3D est un acte de recherche dont l’outil principal est l’élaboration du modèle numérique correspondant et des données archéologiques (maquette électronique interactive). L’usage principal pour les archéologues de ces nouvelles techniques consiste essentiellement dans l’interactivité avec le modèle 3D. L’environnement virtuel et l’immersion concernent plus la communication à destination du grand public. Il y a en effet peu de cas où il serait nécessaire de faire croire à l’archéologue qu’il se trouve devant un véritable édifice antique (mis à part le cas de la grotte Cosquer). Alors que pour le public ceci peut être souhaitable afin de rendre encore plus ludique la découverte des sites archéologiques. La réalité virtuelle permet de subvenir à ces deux besoins. Cette convergence montre que la réalité virtuelle a un avenir important dans le futur de l’archéologue. En effet les scènes 3D utilisées dynamiquement comme moyen d’accès à l’information sont les futurs outils de gestion scientifique des sites archéologiques complexes. Comment s’en passer dans un avenir proche ? De nombreux enjeux sont encore devant nous tel que l’archivage et la pérennisation des données 3D en archéologie ; l’élaboration d’interfaces pertinentes de consultation, de manipulation d’objet et de déambulation dans ces clones restituant les mondes antiques. L’usage de la réalité virtuelle pour visualiser des sites antiques disparus est incontournable tant pour les archéologues que pour les citoyens avides de se promener dans le passé de l’humanité. 10.4

RÉFÉRENCES BIBLIOGRAPHIQUES

ADMITECH 1996 Actes du Colloque organisé par Admitech et l’Unesco, Innovation et technologie au service du patrimoine de l’humanité, Paris 1996. ALBOUY et al 1989 Albouy, M,. Boccon-Gibod, H., Golvin J. Cl., Martinez Ph.,

234

Le traité de la réalité virtuelle

Goyon J. Cl. ; Karnak : le temple d’Amon restitué par l’ordinateur ; M. A. Edition 1989. ALBOUY 1990 Albouy, M. Le Mécénat technologique et scientifique au service de l’Archéologie ; in Les Dossiers de l’Archéologie N◦ 153, Paris, octobre 1990 ; p. 2-7. ALBOUY 1994 Albouy, M. Du Titanic à Karnak ; l’aventure du Mécénat technologique ; Dunod, Paris 1994. ARCHEOVISION, 2004 Actes du Colloque Virtual Retrospect 2003, éditions Ausonius, éditeur scientifique R. Vergnieux et C. Delevoie (Bordeaux 2004) BAR 2000 BAR International Series 843, 2000 ; Virtual Reality in Archaeology. Conference on Computer Applications and Quantitative Methods in Archaeology ; Edited by Juan A. Barcelo, Maurizio Forte and Donald H. Sanders ; Oxford 2000. BOMMELAER 1997 Bommelaer J. Fr., (sous la dir.) Marmaria - Le sanctuaire d’Athéna à Delphes ; Ecole Française d’Athènes, Sites et Monuments XVI, 1997. BRILLAULT - THIBAULT 1996 Brillault B. - Thibault G., Relevés laser et image de synthèse pour le patrimoine. Modélisation numérique de la grotte Cosquer à Marseilles et du sanctuaire d’Athéna à Delphes, in ADMITECH 1996, p. 377-387 BUR - ZIMMER 2002 Bur Didier - Zimmer Johny, La reconstitution virtuelle de la villa gallo-romaine d’Etchternach, Luxembourg, in Monumental 2002 ; Dossier Patrimoine antique, p. 96-99 CHAZALY - LAROZE 2005 Chazaly Bertrand - Laroze Emmanuel, Le relevé par scannage 3D du temple d’Opet à Karnak, Egypte ; in XYZ n◦ 102, mars 2005, p.25-30 FLEURY 2000 Fleury Philippe, Projet de reconstitution virtuelle de la Rome antique, in colloque 1996 : Rome Antique, Pouvoir des images, Images du pouvoir ; Presses Universitaires de Caen 2000. FORTE 1996 Forte M. et al, Archéologie virtuelle : le passé retrouvé ; Arthaud, Paris 1996 ; FRISCHER 2004 Frischer Bernard, Mission and Recent Projects f the UCLA Cultural Virtual Reality Laboratry, in ARCHEOVISION 2004, p. 65 - 74 GAGNON 2003 Gagnon J. Art et sciences dans le tourbillon numérique : l’importance de la recherche, in Les défis du Cybermonde, sous la direction de Fischer H., Presses de l’université Laval (Canada), Laval 2003, GUIMIER-SORBET 2003 Guimier-Sorbet, A.-M., Recherche d’informations et publication en archéologie : vers de nouveaux modèles ?, in Convegno Internationale sul tema : I modelli nella ricerca archeologica :Il ruolo dell’informatica ; Roma novembre 2000 ; Accademia Nazionale dei Lincei, Rome 2003 ; p. 115-129. ICOM 2004 Nouvelles de l’Icom, Lettre du Conseil international des musées, Le musée virtuel, Vol. 57, 2004 n◦ 3.

Réalité virtuelle et archéologie

235

SLIM - GOLVIN - BERNARD 1996 Slim H., Golvin J. - Cl. - Bernard J.-Fr., La restitution visuelle de l’amphithéâtre d’El-Jem ; in ADMITECH 1996, p. 393 - 398 VERGNIEUX 1999 Vergnieux R. La réalité virtuelle au coeur de la stratégie d’informatisation des données en archéologie ; dans Les Nouvelles de l’Archéologie ; n◦ 76 ; p. 23-25 (Paris 1999). VERGNIEUX 2001 Vergnieux R. Espace architectural égyptien, maquettes, modèles électroniques et réalité virtuelle, in Actes du colloques de Strasbourg Maquettes architecturales de l’Antiquité décembre 1998 (Strasbourg 2001). VERGNIEUX 2003 Vergnieux R. Le modèle numérique au coeur des données scientifiques sur le Circus Maximus, in Acte du colloque Rome an 2000, p. 357 - 359 (Caen 2003). VERGNIEUX 2004 Vergnieux R. Virtual Reality : a tool for Archaeologists, inARCHEOVISION 2004, p. 13 - 16.

APPORT DE LA RÉALITÉ VIRTUELLE À LA CRÉATION ARTISTIQUE

Alain Grumbach

11.1

PROLOGUE : LE VIRTUEL AU-DELÀ DU RÉEL

L’approche par la réalité virtuelle permet de construire des mondes artificiels à l’image du réel. C’est l’objectif de la simulation. Les mondes de ce type sont caractérisés par une fidélité maximale au réel. Typiquement les applications de formation à la conduite de véhicule ou au pilotage d’avion illustrent cette démarche. La réalité virtuelle reproduit ainsi des potentialités naturelles telles que des espaces à trois dimensions, le temps réel, l’interactivité, l’immersion, etc. Grâce à sa souplesse, l’approche réalité virtuelle permet aussi de concevoir et réaliser des mondes différents du réel, des mondes imaginaires. Elle ouvre ainsi le domaine de l’art à de nouveaux modes de création, de nouvelles œuvres, de nouvelles pratiques, de nouvelles émotions. Ce chapitre consacré à l’apport de la réalité virtuelle à la création artistique débute par la présentation de la problématique à travers les composantes : réalité virtuelle et création artistique, et leur apports mutuels. Il se poursuit par la description d’œuvres caractéristiques de la problématique proposée (présentées sous forme de fiches). A la lumière de ces exemples, le chapitre propose une discussion des apports de la réalité virtuelle à la création, à travers les nouveaux modes de création, les nouveaux partenaires (l’auteur et le spectateur), les nouveaux effets et les nouvelles émotions conséquentes. 11.2

PROBLÉMATIQUE

Le domaine de la réalité virtuelle ainsi que celui de l’art ayant des contours non définis de manière précise, il nous est apparu indispensable de caractériser en quelques mots les acceptions de la réalité virtuelle et de la création artistique que nous utilisons. 11.2.1 RÉALITÉ VIRTUELLE

Nous considérons qu’une application de réalité virtuelle doit satisfaire les contraintes suivantes : •

•

espace : 3D ; la communication entre l’application de réalité virtuelle et l’utilisateur comporte une composante image des objets du monde virtuel (sens large incluant des entités animées) qui permet de les visualiser en trois dimensions ; temps : temps réel ; les réactions du système de réalité virtuelle sont fonction du comportement de l’utilisateur ; le temps de réaction du système est analogue à celui dont l’humain a l’habitude ; interactivité : l’utilisateur fait un large usage d’interactions ; un spectacle dans lequel les mouvements des acteurs sont captés en temps réel et utilisés pour engendrer des comportements et des images projetées, entre tout à fait dans le cadre des œuvres de réalité virtuelle. Cette dimension interactive s’applique de manière plus

238

Le traité de la réalité virtuelle

Figure 11.1 : Traitement de l’information

générale aux arts vivants illustrés dans ce chapitre par la danse et les marionnettes. En revanche un spectacle chorégraphique tel que «Paradis» de Montalvo-Hervieu [Montalvo-Hervieu 98] met en œuvre des danseurs s’exprimant devant un écran sur lequel est projetée une séquence pré-enregistrée. Dans la mesure où les danseurs interagissent avec des images pré-enregistrées, il n’y a pas interaction en temps réel. Nous ne considérons donc pas qu’il s’agit de réalité virtuelle. Notons que ceci ne retire rien à la qualité de ce spectacle remarquable ; •

composante synthétique : si l’on considère que le traitement de l’information réalisé tant par l’utilisateur H que par le monde virtuel E peut se modéliser par les trois composantes : - perception - traitement - action, cette contrainte spécifie qu’une de ces composantes au moins doit être artificielle (Figure 11.1). Si ce n’est pas le cas, si les trois composantes sont naturelles, on a à faire à une interaction naturelle, sans réalité virtuelle. Ce point qui peut être considéré comme trivial, est nécessaire à la bonne caractérisation d’un monde virtuel comme nous le verrons plus loin pour l’une des réalisations artistiques : «La plume» [Couchot et al 88].

Enfin, G. Burdea propose pour caractériser la réalité virtuelle les trois «I» : Imagination, Interaction, Immersion. Appuyons-nous sur ce point de vue pour examiner un aspect de la pertinence de la réalité virtuelle comme outil de création artistique. Le premier «I» : imagination, concerne de manière naturelle les applications relevant du domaine de l’art. Déclinons les deux autres dans ce contexte. Le «I» d’interaction est explicitement présent dans les contraintes évoquées. Par ailleurs, comme nous le développerons plus tard, suivant les situations, l’interaction peut être le fait de l’artiste et/ou du spectateur. Dans le cas général, nous utiliserons le terme «interacteur». Dans le cas où l’interaction est le fait du spectateur, nous utiliserons le néologisme introduit par Réjean Dumouchel : «spectacteur». Quant au «I» de «immersion», il concerne l’art dans la mesure où une installation de réalité virtuelle a pour vocation de transporter le spectateur dans un monde qui n’est pas le monde réel. L’immersion peut être légère, réalisée avec des moyens tels que écran-souris, casques, ou plus profonde lorsque les moyens mis à disposition sont des work-benchs, des caves, ou des scènes de spectacles.

Apport de la réalité virtuelle à la création artistique

239

11.2.2 CRÉATION ARTISTIQUE

Le processus de création artistique a évolué depuis ses origines tant sur le plan des outils, des formes et styles, que des contenus et des participants. Cette évolution connaît actuellement une étape importante à travers les possibilités nouvelles apportées par les technologies de l’électronique et de l’informatique. La réalité virtuelle participe à cette évolution de manière conséquente et originale. De la même manière que pour le concept de réalité virtuelle, il nous faut caractériser brièvement l’acception du concept d’œuvre artistique que nous utilisons. Le critère majeur permettant de qualifier une création d’artistique s’appuie sur les deux conditions nécessaires suivantes : •

il y a production d’un artéfact, qui engendre un objet sensoriel, une perception, chez l’observateur ;

•

cette production est génératrice d’une émotion, négative ou positive ; elle ne laisse pas le spectateur, l’auditeur indifférent ; pour être plus précis, il serait pertinent de considérer le couple producteur-spectateur ; mais ce point de vue s’écarte trop de considérations technologiques qui constituent la matière de cet ouvrage.

A ces conditions nécessaires, il faudrait adjoindre une condition suffisante. Nous ne sommes pas en mesure d’énoncer une telle condition qui synthétise les différents types d’œuvres virtuelles, et laissons donc cette tâche au sens commun, à l’intuition du lecteur. Sur ces bases, considérons quelques œuvres respectant ces contraintes. Notre étude peut être ponctuée par les questions suivantes : •

comment se situent les applications de la réalité virtuelle au domaine de l’art par rapport aux œuvres traditionnelles ?

•

quels sont les apports de la réalité virtuelle au domaine de la création artistique, les enrichissements conséquents ?

11.2.3 RÉALITÉ VIRTUELLE ET CRÉATION ARTISTIQUE

Décrire une œuvre artistique avec des mots et/ou quelques images et sons, ne permet pas de rendre compte de toute sa richesse, d’autant plus si elle n’est que potentielle et destinée à être «réalisée» par interaction avec le spectacteur. Toutefois dans l’optique de ce volume du Traité consacré aux applications de la réalité virtuelle, il nous a semblé intéressant, voire indispensable, de donner au lecteur un aperçu des réalisations dans ce domaine. Le paragraphe suivant comporte deux parties complémentaires : •

la description d’œuvres, leur positionnement par rapport aux œuvres traditionnelles ;

•

une discussion sur la base des œuvres présentées, sur le thème de l’apport de la réalité virtuelle à la création artistique.

240

Le traité de la réalité virtuelle

11.3 FICHES ŒUVRES 11.3.1 PRÉSENTATION DES FICHES

L’apport de la réalité virtuelle à la création artistique est illustré par un ensemble d’œuvres artistiques s’inscrivant dans cette démarche. La sélection proposée n’a pas la prétention de constituer un panorama représentatif du domaine. Elle a été effectuée en raison de leur caractère illustratif et pédagogique relativement à notre problématique1. Les œuvres proposées sont : • • • • •

•

«La plume», image numérique interactive, de M. Bret, E. Couchot et MH.Tramus ; «Numeric circus», marionnettes virtuelles, de C. Jaspart et JJ. Flores ; «Silence», expression corporelle collective, de JP. Mazeau ; «Worldskin», safari photographique au pays de la guerre, de M. Benayoun «Schlag», spectacle de R. Auzet incluant un personnage virtuel conçu et réalisé par C. Ikam et L. Fléri ; «Apparition», ballet de lumières, de K. Obermaier.

L’ensemble de ces œuvres couvre les différentes dimensions d’installation en terme de nombre de participants acteurs et spectateurs, depuis «La Plume» (un acteur, quelques spectateurs) jusqu’à «Apparition» ou «Schlag» (plusieurs acteurs, une salle de spectateurs). Chaque description d’œuvre débute par la carte d’identité de l’œuvre comportant les informations suivantes : - titre - auteurs - date - lieu - interacteur(s) - matériel utilisé. La présentation des œuvres est limitée aux aspects conceptuels s’inscrivant dans le sens de la problématique : apport de la réalité virtuelle à la création artistique. En ce sens, ces descriptions ne sont que très partielles. 11.3.2 «LA PLUME»

Titre : «La plume» Auteurs : E. Couchot, M. Bret, M-H. Tramus Date : 1988 Lieu : PIXIM, La Villette Interacteurs : un acteur, quelques spectateurs Matériel : ordinateur, écran, microphone «La plume» de E. Couchot, M. Bret, M-H. Tramus [Couchot et al 88] est une œuvre d’une grande simplicité et d’une grande poésie. Un spectacteur est placé devant un ordinateur dont l’écran affiche l’image d’une plume. Cet ordinateur est muni d’un microphone. Lorsque le spectacteur souffle dans le microphone, la plume se met en mouvement, se déplace au gré du «vent virtuel» créé par le souffle. Il est difficile d’expliciter 1 Le critère de date de création n’a pas été considéré, une œuvre pouvant être importante vis à vis de notre problématique quelle qu’en soit sa date de création. Le critère géographique relatif à l’origine de l’œuvre n’a pas non plus été retenu. La production française étant particulièrement riche tant en qualité qu’en quantité, nous avons puisé essentiellement dans ce creuset.

Apport de la réalité virtuelle à la création artistique

241

les raisons pour lesquelles cette réalisation est source d’un effet poétique, artistique, d’une émotion. A propos de «La plume», revenons sur la contrainte d’artificialité d’une des trois composantes : perception, traitement, action. Dans le monde réel, le souffle produit par le sujet, le déplacement d’air, la force exercée sur la plume, le mouvement de celle-ci, et la perception visuelle de ce mouvement par le sujet, font intervenir des phénomènes physiques familiers. Dans le monde virtuel, le premier phénomène (souffle) et le dernier (impression rétinienne de la perception visuelle du déplacement de la plume) sont naturels, identiques au cas réel. Mais la chaîne reliant ces phénomènes est prise en compte par le numérique, introduisant une part de surprise, de mystère, de magie dans la réalisation de celle-ci. Ainsi cette application illustre le cas minimal où une seule des trois composantes est artificielle. Dans la même direction, M-H. Tramus et M. Bret sont aussi les créateurs du dispositif : «La funambule» permettant à un humain muni d’un balancier utilisé par les équilibristes, de commander des mouvements d’une funambule virtuelle dont l’image est projetée sur un écran. La funambule est dotée d’un comportement lui permettant de rétablir son équilibre lorsque celui-ci est perdu, en effectuant un mouvement du corps ou en se déplaçant. Elle peut ainsi réagir aux perturbations engendrées par le spectacteur. La compétence artificielle de la funambule est obtenue grâce à un réseau neuromimétique, qui est une architecture informatique s’inspirant de l’architecture neuronale naturelle. Ce programme est capable d’apprendre à réaliser une tâche automatiquement à partir d’exemples. Après apprentissage, la funambule est dotée du comportement décrit ci-dessus, lui permettant d’évoluer en interaction avec le spectacteur.

11.3.3 «NUMERIC CIRCUS»

Titre : Numeric circus Auteurs : C. Jaspart, JJ. Flores Date : 2001 Lieu : Odyssud Blagnac Interacteurs : une marionnettiste, éventuellement un acteur, des spectateurs Matériel : deux capteurs magnétiques (Polhemus) Le groupe Animaçao [Jaspart et Flores 01] a constitué un spectacle de marionnettes virtuelles mettant à profit les possibilités spécifiques des mondes virtuels. Le marionnettiste dispose de deux capteurs fournissant trois informations de position et trois informations d’orientation spatiales (capteurs magnétiques «Polhemus»). A l’aide de ces capteurs, il commande les évolutions d’une marionnette en image de synthèse projetée sur un grand écran. Le marionnettiste peut ainsi déplacer la marionnette à son gré. Il peut aussi lui permettre de faire des mouvements qui ne peuvent être obtenus avec des marionnettes traditionnelles, à fils ou à tiges. Par exemple, la marionnette virtuelle ne subissant pas de contrainte mécanique de disposition des fils ou tiges, et n’étant pas soumise aux lois physiques du monde réel, elle peut effectuer des mouvements non réalisables par les marionnettes traditionnelles comme la désolidarisation, la séparation des différentes parties du corps de la marionnette pour les faire évoluer à distance et indépendamment.

242

Le traité de la réalité virtuelle

11.3.4 «SILENCE»

Titre : Silence Auteur : J-P. Mazeau Date : 1999 Lieu : Cité des Sciences, Paris Interacteurs : un groupe de participants spectateurs et acteurs Matériel : capteur sonore et visuel, haut-parleur, bougies J-P. Mazeau a développé un ensemble très riche d’applications de la réalité virtuelle aux domaines de la culture, de l’art, de l’éducation, des loisirs, et du sport. La motivation de JP. Mazeau se situe du côté de l’installation elle-même en tant que dispositif technique permettant de créer des situations originales et de provoquer des effets et des ressentis nouveaux. Son approche ne se situe pas dans la finalité des mondes virtuels, mais dans leur utilisation pour créer une activité corporelle dans un espace interactif (dont la dimension peut atteindre une quarantaine de mètres carrés). Dans ce contexte, le «virtuel» est un moyen pour animer un espace et des acteurs bien réels. L’idée de «Silence» est fondée sur la métaphore du gâteau d’anniversaire dont les bougies se rallument après avoir été soufflées. J-P. Mazeau transpose la situation en mettant en œuvre des bougies virtuelles qui émettent des bruits. L’objectif est d’annihiler ces bruits et la pollution sonore conséquente, en éteignant les bougies. Pour ce faire, un spectacteur s’introduit dans l’espace. En déployant son corps, il tente de cacher les bougies qu’il peut atteindre. C’est une manière de les éteindre, et de supprimer les bruits qu’elles émettent. Si le spectacteur quitte l’espace ou modifie sa gestuelle, les bougies se rallument. Plusieurs participants doivent se mouvoir et s’entremêler dans l’espace, afin d’éteindre toutes les bougies et d’atteindre enfin le silence, symbole ici de l’antipollution sonore. Si cet objectif est accompli, il aura permis de composer une grappe humaine, statue de chaire immobile, éveillée, palpitante, silencieuse. Dans cet «immobilisme éveillé», chaque participant aura découvert la proximité physique, olfactive, visuelle, sensitive de ses voisins. Dans cette immobilité intime, naît, pour quelques instants, le jeu complexe des attirances/répulsions. Quand les sens s’éveillent, les bougies sont déplacées. Elles se rallument, déconstruisent la statue. Chacun reprend alors le besogneux travail des «soldats du bruit».

11.3.5 «WORLDSKIN»

Titre : Worldskin, Safari photographique au pays de la guerre Auteur : M. Benayoun Date : 1998 Lieu : Linz Interacteurs : un groupe de participants spectateurs et acteurs Matériel : Cave, joystick, lunettes stéréoscopiques, appareils photos spécifiques, machine Onyx (SGI) Maurice Benayoun a conçu et réalisé des œuvres remarquables dont une caractéristique essentielle est qu’elles mettent pleinement en application les possibilités de la réalité virtuelle : les effets produits, les émotions conséquentes sont spécifiques au domaine de la réalité virtuelle. Ces œuvres incluent «Le tunnel sous l’Atlantique», «Worldskin»,

Apport de la réalité virtuelle à la création artistique

243

«Watch Out», etc. «Worldskin» [Benayoun 98] (prix Ars Electronica 1998) consiste en un espace de type Cave dans lequel se retrouve un petit groupe de visiteurs munis d’un appareil photographique. Sur les murs de cet espace sont projetés des photographies de scènes de guerre : soldats armés, chars, canons, blessés, immeubles détruits, ... un «univers saturé de violence tranquille»". Un pilote gère la navigation dans le paysage virtuel. Les participants peuvent prendre des photographies à l’aide d’un appareil photographique spécial, muni de capteurs de position et d’orientation spatiales. Le fait de prendre une photo se traduit par la disparition de l’image correspondante, du mur, et son remplacement par une silhouette, justifiant bien l’expression «prise de vue». La «peau du monde» est ainsi progressivement arrachée. Le sens profond de cette disparition est celui de la disparition des traces, l’occultation de la mémoire des événements. Suivant les termes de M. Benayoun, «la prise de vue dépossède de l’intimité de la douleur en même temps qu’elle en témoigne». Chaque prise de vue fait l’objet d’une impression sur papier, ce qui constitue en quelque sorte une exorcisation de la mémoire de l’événement, par transfert sur un support externe, par mise en matière, par inscription dans la permanence. M. Benayoun ménage particulièrement le contraste entre le cadre réel : ensemble de touristes munis d’appareils photographiques, et le cadre virtuel : images et sons de guerre, en jouant sur l’analogie entre l’action d’appuyer sur un déclencheur d’appareil photographique pour faire disparaître l’image visée, et celle d’appuyer sur une gâchette. L’image est accompagnée d’une séquence sonore conçue par J-B. Barrière indissociable de l’image, qui suit l’évolution des événements. Des bruitages consistent en des crépitements d’armes à feu d’autant plus nourris qu’il y a de prises de vue en cours. Ces trames sonores évoluent en fonction de la proportion de mémoire effacée. La guerre est une œuvre collective dangereusement interactive. (Maurice Benayoun) 11.3.6 «SCHLAG»

Titre : «Elle», «Schlag» Auteurs (pour la partie visuelle et virtuelle) : R. Auzet, Catherine Ikam et LouisFrançois Fléri Date : 2003 Lieu : Paris Interacteurs : comédiens - danseurs Matériel : capteurs de déplacement, projecteurs vidéo, écrans C. Ikam et L. Fléri ont conçu et réalisé plusieurs installations dont le point commun et le centre d’intérêt majeur consistent en la projection des expressions d’un personnage virtuel interagissant avec son environnement. «Schlag» s’inscrit dans cette démarche amorcée par «Elle». «Elle» est un visage numérisé élaboré par C. Ikam et L.F. Fléri [Ikam et Fléri 00a] (prix Ars Electronica 2000). L’image de ce visage est projetée sur un écran. Le spectacteur entre dans un espace qui ne contient que l’écran sur lequel est projeté le visage d’«Elle». La position et la vitesse de déplacement du spectacteur dans l’espace sont captées par un scanner situé sous l’écran, puis utilisées par Elle pour modifier sa posture et son expression. Grâce à des possibilités de mouvements de parties du visage, Elle peut tourner la tête, diriger son regard, et arborer différentes expressions

244

Le traité de la réalité virtuelle

telles que le rire, la joie, la tristesse, la douleur. Elle est ainsi dotée de comportements qui laissent penser qu’Elle réagit suivant une réelle intention. Elle choisit le spectacteur avec lequel Elle souhaite communiquer, auquel Elle souhaite sourire. Cette installation crée une situation de rencontre, de communication, de jeu entre le spectacteur et Elle, situation chargée d’intenses émotions. La dernière version de l’installation : Elle et la voix [Ikam et Fléri 00b] inclut un jeu sonore entre le spectacteur et «Elle». En l’absence de spectacteur, une musique d’ambiance, composée par P. Charvet, est diffusée. Lorsque la présence d’un spectacteur est détectée, la musique varie en fonction de la position du spectacteur. Si le spectacteur s’adresse à Elle par la voix, Elle analyse la voix, puis répond en adaptant sa réponse au spectacteur. Cette approche a été poursuivie et amplifiée dans le spectacle «Schlag» de R. Auzet [Auzet 2003]. Dans ce spectacle, une créature virtuelle, Oscar, réagit aux mouvements des acteurs-danseurs sur la scène. Pour ce faire, trois caméras captent les positions des acteurs. Ces informations sont traitées pour animer le visage d’Oscar d’expressions. L’image d’Oscar est projetée sur un des six écrans répartis autour de la scène. Elle suit les déplacements des acteurs-danseurs en passant d’un écran au prochain. Une version en forme de tableau a été réalisée où Oscar réagit à son environnement composé d’un spectacteur. Stéphanie Lhorset, artiste dramatique faisant partie de la troupe de Schlag fait une remarque très intéressante relative à cette installation : ... on ne pourra pas entrer dans ce monde électronique et lui (Oscar) ne pourrra pas entrer dans notre monde vivant. Ce qui est intéressant, c’est qu’il se passe une rencontre, un échange, une relation ... (Stéphanie Lhorset)

11.3.7 «APPARITION»

Titre : Apparition Auteur : K. Obermaier Date : 2004 Lieu : Linz Interacteurs : danseurs Matériel : capteurs de mouvements, projecteurs vidéo Klaus Obermaier a conçu et réalisé «Apparition», un spectacle de projections lumineuses qui se produit dans une grande salle. Ce spectacle est constitué de projections de lumière, sous forme de points et de lignes sur un écran et/ou sur le corps de danseurs. Les mouvements du danseur sont captés puis reproduits, en terme d’un partenaire virtuel, avec possibilité de variantes de taille, de courbure, de distorsion, etc. Ainsi par exemple, des raies lumineuses verticales sont projetées sur l’écran alors que des raies horizontales habillent le corps d’un danseur situé devant l’écran. Dans une autre partie du spectacle, ce sont des points lumineux qui se déplacent en bancs ou sous forme de feu d’artifices. A un autre moment encore, le corps du danseur sert d’écran de projection pour des mots. «Apparition» est ainsi un ballet de lumières dirigé par un danseur, mixant allègrement réel et virtuel. Sur le plan technique, ce spectacle suppose des moyens sophistiqués de capture et de suivi (tracking) de mouvements, d’analyse et de synthèse d’images.

Apport de la réalité virtuelle à la création artistique

11.4

245

DISCUSSION

Reprenons le titre de ce chapitre : apports de la réalité virtuelle à la création artistique et déclinons le à la lumière des œuvres mentionnées. Dans ce contexte, l’objet de ce paragraphe est de compléter le point de vue en extension adopté au paragraphe précédent (fiches), par un point de vue en intension visant à dégager quelques caractéristiques d’un concept d’œuvre virtuelle, à travers l’étude des points communs et des différences entre les œuvres mentionnées.

11.4.1 NOUVEAUX MOYENS D’INTERACTION

La réalité virtuelle apporte de la nouveauté au domaine de la création artistique à travers l’introduction de nouveaux dispositifs de perception et/ou d’action. Un exemple typique est celui du marionnettiste qui utilise des capteurs magnétiques pour commander le mouvement et le déplacement de la marionnette. Cette nouveauté se manifeste aussi sur le plan des actions. En général, une marionnette physique est un objet d’un seul tenant ; certains mouvements sont impossibles de par la présence des fils ou tiges. Ces contraintes n’existent pas dans le cas d’une marionnette électronique, ce qui autorise une palette d’actions bien plus large. Cette possibilité a été largement mise en application par le spectacle de marionnettes «Numeric Circus». Les mondes virtuels ... évoquent immédiatement la joie de l’émancipation des contraintes du monde réel. Virtuels, ils ne seraient bornés que par les limites de notre imagination. (Stéphane Barbery)

11.4.2 NOUVEAUX EFFETS

Outre les nouveaux moyens de perception et d’action, en réalité virtuelle, il est aussi possible d’introduire des comportements nouveaux. Cette faculté permet ainsi d’évoluer dans des mondes différents (du monde réel). Par exemple, dans [Benayoun 94], le concept de mur de briques est altéré par M. Benayoun au profit d’un espace traversable et même à creuser au gré du spectacteur. Le spectacteur commande son déplacement face au mur de briques. Le mur «s’efface» devant l’avancée du spectacteur. Un couloir se crée ainsi, qui subsiste durant toute l’exploration du spectacteur. Sur un plan plus large, les œuvres de M. Benayoun sont un tremplin idéal pour évoquer les domaines d’applications qui tirent profit des nouvelles possibilités offertes par la réalité virtuelle dans le sens où l’effet produit ne pourrait l’être hors du contexte de la réalité virtuelle. Ces œuvres utilisent la réalité virtuelle pour sortir du cadre du réel, pour explorer des espaces nouveaux (d’«infra-réalité»). En ce sens, elles mettent à profit les possibilités les plus riches, les plus caractéristiques, les plus profondes, de la réalité virtuelle. Ainsi, le premier espace virtuel que nous connaissons, n’est-il pas celui formé dans notre esprit, et qui, précisément, abrite les mystères de la mémoire, de l’imaginaire et du rêve ? (Julie Ghautier)

246

Le traité de la réalité virtuelle

11.4.3 NOUVELLES OCCURRENCES D’UNE ŒUVRE

Un aspect original de la création en réalité virtuelle est le fait que les œuvres qui relèvent de ce domaine peuvent avoir un degré de variabilité d’une représentation à une autre très différent. Nous désignerons une œuvre «pratiquée» par un spectacteur par l’expression : occurence d’œuvre. Ainsi deux représentations du spectacle «Numeric Circus» ou de «Apparition» seront très voisines. Le scénario est défini a priori et identique pour les différentes occurrences. En revanche pour «Elle», «Silence», ou «Worldskin», les occurrences sont très différentes d’une représentation à l’autre, en fonction des goûts et des comportements des spectacteurs.

11.4.4 NOUVEAU PARTAGE DES FONCTIONS DE CRÉATION

Une caractéristique commune des nouveaux environnements de création artistique est le fait qu’ils consacrent «l’artiste non plus comme créateur d’objet mais comme créateur de situations dans lesquelles la créativité du public peut se déployer» [Bureaud 99]. Qui est le réel créateur d’une œuvre virtuelle ? Plusieurs acteurs peuvent prétendre partager ce rôle. Dans l’optique de la citation d’Annick Bureaud, le premier créateur est le concepteur de l’installation, celui qui en a eu l’idée originale. Dans «Elle» par exemple, la part du concepteur est importante dans la mesure où c’est lui qui a défini les comportements potentiels, les expressions d’«Elle». Le concepteur est suivi par l’ingénieur, celui qui confectionne l’installation, sur les plans matériel et logiciel, en suivant le cahier des charges indiqué par le concepteur. La réalité virtuelle permet de construire des mondes en laissant une grande liberté à l’imaginaire du concepteur. Certes, d’autres modes d’expression tels que la peinture permettent aussi l’expression de cet imaginaire, par exemple à travers des contenus qui à l’extrême sont abstraits ou surréalistes. Mais cette possibilité est plus contrainte dans la mesure où une peinture est a priori une nature morte. La réalité virtuelle apporte des dimensions supplémentaires par la possibilité de créer des œuvres dynamiques (moyennant le respect du temps réel) et surtout interactives. Par le biais de l’interaction, le spectateur participe à la création de l’œuvre. Il peut laisser s’exprimer ses propres motivations, sensibilités et goûts. Il devient ainsi un spectacteur ou un interacteur. L’œuvre élaborée par l’artiste-concepteur peut alors être qualifiée d’œuvre potentielle. On retrouve ici l’idée de potentialité chère à l’«Oulipo», l’«Ouvroir de Littérature Potentielle» créé par les surréalistes. Ainsi la création en réalité virtuelle se traduit par la coopération de plusieurs partenaires : •

le concepteur ;

•

l’ingénieur ;

•

le spectateur ;

•

l’acteur.

Ces deux dernières fonctions justifient le néologisme «spectacteur». Ainsi la fonction initiale de «créateur», objet de la question introductive de ce paragraphe, regroupe les différentes fonctions listées à l’exception de celle de spectateur pur, non-acteur.

Apport de la réalité virtuelle à la création artistique

11.5

247

EPILOGUE : UN ART NOUVEAU ?

A travers cette étude nous avons voulu montrer les possibilités nouvelles apportées par la réalité virtuelle au domaine de la création artistique. Ces possibilités incluent tant des moyens technologiques nouveaux que des modes de création nouveaux et des pratiques nouvelles faisant intervenir de manière importante le spectacteur. La conjonction de ces aspects originaux donne lieu au concept nouveau d’œuvre virtuelle.

11.6

RÉFÉRENCES BIBLIOGRAPHIQUES

[Auzet 03], R. Auzet, Schlag, Festival Agora, Paris, 2003. [Benayoun 94], M. Benayoun, Dieu est-il plat ?, Biénale Artifices 3, 1994, http ://www.z-a.net/dieu/dieudiable.fr.html [Benayoun 95], M. Benayoun, Le tunnel sous l’Atlantique, Centre Pompidou, 1995, http ://www.z-a.net/tunnelatlantique/index.fr.html [Benayoun 98], M. Benayoun,Safari photographique au pays de la guerre, Ars Electronica, Linz, 1998, http ://www.z-a.net/worldskin/index.fr.html [Bureaud 99], A. Bureaud, Utopies distribuées, Net.art, Web.art, in Artpress, hors série n◦ 2, Internet all over, l’art et la toile, 1999. [Couchot et al 88], E. Couchot, M. Bret, M-H. Tramus, La plume, PIXIM, La Villette, 1988. [Fuchs 01], P. Fuchs, G. Moreau, J-P. Papin, Traité de la Réalité Virtuelle, Presses de l’Ecole des Mines de Paris, 2001. [Grumbach 03], A. Grumbach, Cognition Virtuelle, ENST, Paris, 2003, http ://perso.enst.fr/ grumbach/cognition-virtuelle [Ikam et Fléri 00a], C. Ikam, L.F. Fléri, Elle, Ars Electronica, Linz, 2000. [Ikam et Fléri 00b], C. Ikam, L.F. Fléri, Elle et la voix, ISEA, Paris, 2000. [Ikam et Fléri 03], C. Ikam, L.F. Fléri, Oscar, Spectacle "Schlag" de R. Auzet, Paris, 2003. [Jaspart et Flores 01], C. Jaspart, J.J. Flores, Numeric circus, Blagnac, 2001. [Mazeau 97], J-P. Mazeau, Environnement MAGIC, http ://www.metafort.com/projets, Université Paris 8, 1997. [Mazeau 98], J-P. Mazeau, Un espace interactif polyvalent pour une communication corporelle directe, Journées GT-RV, CNET, Issy-les-Moulineaux, 1998. [Montalvo-Hervieu 98], Compagnie Montalvo-Hervieu, Paradis, Maison des Arts de

248

Le traité de la réalité virtuelle

Créteil, 1998. [Pimentel et Teixeira 94], K. Pimentel, K. Teixeira, La réalité virtuelle, De l’autre côté du miroir, Addison Wesley France, 1994.

12 L’INTERACTIVITÉ SENSORIELLE AU SERVICE DE LA CRÉATION ARTISTIQUE CONTEMPORAINE

Stéphane Donikian

12.1

INTRODUCTION

La création artistique contemporaine se nourrit de plus en plus de l’utilisation des nouvelles technologies et nous assistons en même temps à un décloisonnement des arts classiques. Au sein d’un même spectacle le théâtre peut se mêler à la danse et au cirque, la musique live à des bandes son préenregistrées ou générées par ordinateur et le réel au virtuel. Cet article ne prétend pas présenter une vision exhaustive des interactions entre l’art et les nouvelles technologies, mais quelques exemples seront utilisés pour dresser un panorama d’un certain nombre de technologies et montrer la nécessité d’un rapprochement des recherches menées par les artistes et les scientifiques. Un artiste peut avoir l’envie ou le besoin de théoriser son activité ou de l’enseigner. Aujourd’hui cette capacité lui est offerte au sein des écoles d’Arts ou au sein des départements artistiques des Universités. Par contre où peut-il aller s’il veut se confronter aux nouvelles technologies et interagir avec des chercheurs dans ce domaine ? Chercher, travailler ou expérimenter la création dans le domaine de l’art numérique1 requiert des moyens matériels conséquents, qui ne sont pas souvent à la portée aujourd’hui des artistes et qui existent peu dans des lieux qui leurs soient ouverts. Dans le cas où il s’agit d’œuvres purement numériques appelées aussi installations électroniques, il n’existe pas non plus beaucoup de structures de diffusion adaptées et ces œuvres sont cantonnées à être présentées dans quelques festivals et musées. P. Bongiovanni disait en 1999 [Bongiovanni, 1999] que les arts hybrides électroniques étaient sourds, muets et aveugles car sans critique, sans producteur et sans public, cette situation n’a malheureusement pas évolué depuis. La différence entre les médias traditionnels et la réalité virtuelle est principalement le fait que l’utilisateur, dans le premier cas, est spectateur de l’univers qui lui est présenté, tandis que, dans le second cas, il se retrouve immergé à l’intérieur de cet univers (cf figure 12.1). Toutes les œuvres dites installations électroniques rentrent dans ce champ. Par contre, dans le spectacle vivant contemporain, il faut rajouter une dimension supplémentaire, car le spectateur n’est pas interacteur mais spectateur d’une interaction entre deux univers réel et virtuel qui se juxtaposent et dialoguent sous ses yeux. Autant la capture des actions de l’utilisateur et la restitution multi-sensorielle peuvent être riches car bénéficiant de l’avancée des technologies dans les domaines de la réalité virtuelle ou du jeu vidéo, autant le dialogue entre les univers est aujourd’hui très limité par manque de langages supports à ce dialogue qui soient à la fois riches, pluri-artistiques et ouverts. Ce pluriel est employé pour le terme langage car il n’y a aucun sens à vouloir normaliser un langage universel. Il suffit de voir le domaine de la chorégraphie dans lequel chacun se crée son langage à partir de sa propre ontologie et où, par exemple, la notation de Laban [Laban, 1966] n’est que peu utilisée. D’autre part, l’art numérique se nourrit d’un dialogue d’un autre genre et pas toujours simple entre artistes et scientifiques sur la conception des outils, matériels et logiciels, d’aide à ce type de création artistique. C’est ce propos qui va être développé et illustré par des exemples, tout au 1 Ce terme englobe ici toutes les œuvres artistiques se servant partiellement ou complètement pour leur création des nouvelles technologies.

250

Le traité de la réalité virtuelle

long de ce chapitre.

Figure 12.1 : Position du spectateur dans un environnement virtuel immersif ou non.

12.2 DANSE, THÉÂTRE ET NOUVELLES TECHNOLOGIES OU LE CORPS CAPTURÉ 12.2.1 LA TECHNOLOGIE COMME SUPPORT À LA CRÉATION

Dans le domaine de la danse, la capture et la restitution des mouvements des danseurs sont utilisées depuis un certain nombre d’années pour aider le chorégraphe dans son processus de création artistique. Initialement nommé Compose, le logiciel Life Forms2 d’animation des mouvements humains a été conçu par le laboratoire de Tom Calvert à la Simon Fraser University au Canada [Landis e.a., 1979], sur des bases inspirées de la notation de Laban [Laban, 1966] sur les mouvements humains. Il est devenu un logiciel applicatif à la composition chorégraphique et à la notation de mouvement en danse, suite à la rencontre avec Merce Cunningham en 1990. C’est Thecla Schiphorst [Schiphorst, 1992], ingénieur, membre de l’équipe, qui travailla avec le chorégraphe américain sur les premières pièces réalisées avec l’aide de cet outil : les phrases chorégraphiques imaginées par Merce Cunningham étaient ensuite proposées aux danseurs qui interprétaient des figures parfois totalement inouïes. Des allers-retours constants s’effectuaient jusqu’à l’élaboration de l’œuvre. Actuellement cet outil est complètement intégré au processus artistique du chorégraphe qui a prolongé en 1999 son utilisation en la couplant avec la création de danseurs 3D projetés sur scène dans une scénographie de Paul Kaiser et Shelley Eshkar (Biped). Par ailleurs, ces deux artisteschercheurs ont réalisé tout récemment une installation montrant une capture de mouvement des mains de Merce Cunningham visualisées par des formes non figuratives jaillissantes sur lesquelles vient s’écouter un commentaire en voix off du chorégraphe parlant de son processus créatif. En 1994 les chorégraphes Nicole et Norbert Corsino ont réalisé avec le logiciel Life Forms et l’appui de Thecla Schiphorst le film Totempol, dont les séquences chorégraphiques mêlaient des danseurs réels et virtuels dans l’architecture urbaine de Vancouver, relativement à l’altérité gémellaire issue des mythes amérindiens.

2 Life Forms est maintenant commercialisé par la société Credo Interactive Inc. : http ://www.credointeractive.com

L’interactivité sensorielle au service de la création artistique contemporaine

251

Le Laboratoire d’Applications et de Recherches en Technochorégraphie (LARTech)3 du Département de danse de l’Université du Québec A Montréal (UQAM) a participé au développement du logiciel de traitement de geste LIFEanimation, réalisé par la compagnie montréalaise Digits ’n Art4 . Le prototype de ce logiciel, dérivé du système de capture et d’édition électronique du mouvement LIFEsource, qui a fait la réputation internationale de cette compagnie, a été mis au point pour la danse par les spécialistes de D ’n A en partenariat avec Martine Époque directrice du LARTech, Denis Poulin, chercheur conseil au LARTech, et le Centre de Traitement en Imagerie Virtuelle de Montréal. Ce logiciel propose une banque de mouvements appliqués à deux danseurs virtuels, Mona et Philip, et à un squelette baptisé Ostar, que l’utilisateur peut modifier et animer directement à l’écran par simple déplacement de leurs segments. En 2001, Martine Époque a créé Tabula Rasa (cf figure 12.2), une chorégraphie multimédia de 38 minutes dans laquelle se côtoient danseurs réels et virtuels, à l’aide du logiciel de traitement de geste LIFEanimation.

Figure 12.2 : Tabula Rasa, spectacle chorégraphique multimédia de Martine Époque. Musique de Arvo Pärt. Photo de Denis Poulin. Au cours des années, l’usage initial des danseurs virtuels comme assistance au processus de création a donné naissance à une hybridation entre le réel et le virtuel, les chorégraphes mêlant à leur spectacle vivant des danseurs virtuels. 12.2.2 LE CORPS COMME MATÉRIAU DE COMPOSITION TEMPS-RÉEL

Le corps a été utilisé comme un matériau permettant la création d’une réalité augmentée, c’est à dire qu’il sert dans certains projets artistiques de moteur de la création d’éléments numériques visuels et sonores venant compléter la performance des danseurs. Il y a aujourd’hui beaucoup de compagnies de danse qui s’intéressent à la danse interactive. Un site web a même été créé pour mettre en réseau ces artistes : http ://art.net/ dtz/. Le projet DanseSpace, développé par Flavia Sparacino au Medialab du MIT5 permet à des danseurs professionnels ou novices de créer un univers graphique et sonore à partir de la capture non invasive des mouvements de leur propre corps. Le danseur a par exemple un violoncelle dans sa main droite, un vibraphone dans sa main gauche, des percussions à ses pieds. Sa tête est utilisée pour gérer le volume sonore : plus elle se rapproche du sol, plus le volume sera faible. La hauteur des notes des instruments dépendra de la hauteur des bras : un bras en l’air générera une note aigüe pour cet instrument. Le corps est ainsi complètement instrumentalisé et générateur direct du re3 http

://www.lartech.uqam.ca ://www.dnasoft.com 5 http ://web.media.mit.edu/ flavia/DanceSpace/DanceSpace.html 4 http

252

Le traité de la réalité virtuelle

tour sonore. La figure 12.3 montre deux mouvements de danse et les trajectoires des positions prises en compte.

Figure 12.3 : DanseSpace, par Flavia Sparacino, 1996, flavia@media.mit.edu NARVAL est une œuvre réalisée par l’association Mobilis-Immobilis6 qui mèle une danseuse réelle et un univers virtuel via la capture des mouvements de la danseuse à l’aide de sept capteurs. La danseuse a derrière elle un écran de 8m par 4m dont le contenu, généré en temps-réel par le logiciel de rendu 3D temps réel AAAseed, mélange peintures et environnements de synthèse. Cet univers visuel est accompagné d’un univers sonore via la création live d’une musique électroacoustique et d’un univers olfactif via la diffusion d’odeurs associées aux trois environnements traversés. La figure 12.4 présente les différents composants du spectacle à la fois d’un point de vue scénographique (croquis de droite) et d’un point de vue technique (schéma de gauche).

Figure 12.4 : Schématique de Narval (copyright Mobilis-Immobilis).

6 L’objectif de cette association est d’accueillir des artistes de différentes disciplines (image, cirque, design, musique, arts plastiques, parfum, ...) pour ouvrir le champ artistique à de nouvelles expérimentations.

L’interactivité sensorielle au service de la création artistique contemporaine

253

Palindrome7 est une compagnie atypique car réellement transdisciplinaire et pluriartistique. En effet, la compagnie installée à Nuremberg en Allemagne se compose de chorégraphes et danseurs, d’un compositeur, d’un Dj/infographiste, d’un compositeur de musique interactive et d’un ingénieur informaticien. Le but affiché de la compagnie consiste à développer des systèmes assez sophistiqués de communication entre médias et personnes pour permettre des formes d’interaction à haut niveau artistique. Ils utilisent deux types de technologies pour capturer des informations venant du corps des danseurs : la première concerne la capture des positions (absolues et relatives) et des mouvements des danseurs à partir de plusieurs caméras vidéos et la seconde utilise des électrodes pour capter les signaux électriques émis par le corps et provenant de la contraction des muscles du corps. Les électrodes traduisent non pas ce que le danseur veut montrer par sa danse, mais elles révèlent l’expérience physique qu’il est entrain de vivre. Le système EyeCon est utilisé dans des performances interactives pour contrôler la génération de différents médias (musique, son, photos, film, éclairage) à partir de la capture du mouvement humain (cf figure 12.5). D’autres logiciels ont été développé dans le même but à partir des autres types de capture (électrodes, battements du cœur, contact entre danseurs).

Figure 12.5 : Le logiciel Eyecon (copyright Palindrome IMPG, Frieder Weiss, eyecon@palindrome.de).

EyesWeb8 est un logiciel de capture de mouvement, développé par le laboratoire DIST de l’université de Gênes en Italie [Camurri e.a., 2000]. Ce logiciel diffusé en open source et qui dispose d’un atelier de programmation graphique est très utilisé pour la création artistique. Du fait de sa capacité à dialoguer avec d’autres logiciels via le protocole OSC (Open Sound Control), il est utilisé dans un certain nombre d’œuvres dans le domaine des arts de la scène ou pour des application présentées dans des musées. Il est actuellement complètement reconçu et enrichi dans le projet européen IST TAI-CHI, dans le but de fournir un outil d’écriture d’une structure narrative interactive multimédia, intitulé Meta-EyesWeb [Camurri e.a., 2004] ayant la capacité de superviser et d’ordonnancer des applications écrites en EyesWeb, permettant ainsi une écriture de la relation au cours du temps de la modalité gestuelle avec les autres modalités. 7 http 8 http

://www.palindrome.de ://www.eyesweb.org

254

Le traité de la réalité virtuelle

12.2.3 INTERACTION DANSEURS VIRTUELS/UTILISATEUR

D’autres chercheurs intéressés par l’utilisation des nouvelles technologies dans la création chorégraphique se sont focalisés sur l’interaction entre des danseurs virtuels et un spectateur. C’est le cas notamment des chercheurs du laboratoire ATI de l’université Paris 8 (Edmond Couchot, Michel Bret, Marie-Hélène Tramus) qui ont été les précurseurs en France du métissage entre l’art et la technologie dans les formations universitaires. Corps et graphie, installation interactive numérique projetée sur écran géant, est une œuvre de Marie-Hélène Tramus réalisée avec le logiciel Anyflo de Michel Bret. Le dispositif Corps et Graphie propose au spectateur de jouer un instant le rôle d’un chorégraphe animant une petite troupe de danseurs. Ce dernier se voit ainsi attribuer la possibilité de créer, en agissant sur plusieurs danseuses synthétiques, une sorte de chorégraphie vivante, évoluant sur une musique de Miles Davis. L’interaction se fait à l’aide d’un clic souris sur une partie du corps de l’un des danseurs. A l’endroit touché, une nouvelle danseuse apparaît, poussant comme un bourgeon qui éclôt, et exécute, à son tour, une figure de danse tirée au sort parmi une bibliothèque de mouvements créés au préalable (cf figure 12.6a). Danse avec moi est une œuvre de Michel Bret et Marie-Hélène Tramus. Dans cette œuvre, le spectateur peut interagir avec une danseuse virtuelle à travers un capteur sensoriel qu’il se passe autour de la taille. La danseuse ne reproduit pas les mouvements du spectateur, mais improvise des mouvements en fonction de ceux du spectateur (cf figure 12.6b).

(a)

(b)

Figure 12.6 : (a) Corps et graphie / Marie-Hélène Tramus ; (b) Danse avec moi / Michel Bret et Marie-Hélène Tramus (copyright ATI, université Paris 8). Nicole et Norbert Corsino ont créé une navigation chorégraphique 3D interactive : Topologies de l’instant (nˇr7) contenant des clones danseurs dans une scénographie composée de cinq mondes urbains ou désertiques. Les mouvements de danse ont été acquis par capture de mouvement et sont appliqués aux clones danseurs. Nous avons ici un transfert du corps réel vers le corps virtuel sans adaptation. Le navigateur se déplace grâce à une manette gyroscopique qui lui permet d’accélérer, d’errer, d’aller à la rencontre des clones en jouant sur la proximité et l’éloignement, avec la possibilité de ralentir le mouvement des danseurs et de certaines structures mobiles. Lorsque l’utilisateur s’aventure trop près des clones ceux-ci deviennent translucides et disparaissent.

12.2.4 DES ŒUVRES HYBRIDES

PHASE est un système multi-modal pour l’exploration de la musique. C’est le résultat du projet RIAM éponyme réalisé conjointement par l’IRCAM, le CEA-LIST, et les

L’interactivité sensorielle au service de la création artistique contemporaine

255

Figure 12.7 : Topologies de l’instant / n+n corsino.

sociétés ONDIM et HAPTION. L’objet du projet PHASE était de concevoir et d’expérimenter de nouvelles formes d’interaction multi-sensorielles pour l’exploration et le contrôle du son et de la musique. Le système d’interaction développé dans ce projet se compose de : • • • •

une interface gestuelle à retour d’effort (Virtuose de la société Haption) ; un rendu visuel 3D projeté sur grand écran (logiciel Virtools) ; des programmes de synthèse sonore interactifs développés par l’IRCAM ; la spatialisation complète du son autour du joueur (logiciel SPAT de l’IRCAM).

Un jeu, avant tout musical, a été réalisé dans le cadre du projet et a été montré au public dans le cadre d’une exposition temporaire sur le son au Centre Georges Pompidou en 2004. Ce jeu s’inspire d’un jeu de poursuite sur la surface d’un disque vinyle, vu avec un énorme grossissement. La tête d’écriture inscrit la musique en gravant un sillon sur le disque, tandis que le joueur la poursuit en manipulant la tête de lecture, à l’aide du bras Virtuose, permettant au joueur de toucher le son, c’est à dire concrètement de ressentir des efforts via le bras manipulateur en fonction du son. Comme le disque tourne, le joueur entend et ressent les vibrations du son à l’endroit où il passe sur le disque grâce au bras haptique. Il évite ou percute différents obstacles sonores en essayant de rattraper la tête d’écriture. La musique produitre est un mélange entre celle générée par la tête d’écriture et celle produite par le parcours du joueur à l’aide de la tête de lecture. Toutes les sources sonores sont spatialisées, grâce au spatialisateur Ircam, sur huit voix de diffusion. La projection stéréoscopique permet de s’immerger encore d’avantage dans le jeu et d’avoir un meilleur repérage des objets. WAVES est une œuvre résultant du travail conjoint du compositeur de musique Andrea Cera et du chorégraphe Hervé Robbe. L’installation présente des captations vidéo traitées dans EyesWeb et utilise des patches Max/MSP qui génèrent les matériaux sonores à partir de ces captations. A partir de ces matériaux de départ, des fichiers audio plus complexes ont été composés et sont également diffusés. L’écriture musicale de l’installation repose sur le principe d’un dialogue entre danse et musique dans un duo dont la logique de montage exploite les règles de pré-écriture qui sont à la base du projet chorégraphique. S CHLAG ! est une création de Roland Auzet, d’après Le Tambour de Günter Grass, qui a été présentée sous un chapiteau au Jardin des Tuileries dans le cadre du festival Agora

256

Le traité de la réalité virtuelle

2003. S CHLAG ! met en scène la tribu Otzerath formée de seize créatures (réelles et virtuelles) : artistes de cirque, musiciens, marionnette analogique (de taille humaine) ainsi qu’une créature virtuelle Oscar. Utilisant diverses technologies numériques (traitement du son en temps réel, images de synthèse, captation de mouvement...), Roland Auzet noue une confrontation en forme de dialogue interactif entre ces dites technologies et les arts les plus traditionnels : le cirque, la musique percussive et les marionnettes. Le spectacle S CHLAG ! est articulé autour de l’interaction entre quatre entités : • les artistes de cirque : les «actants» ; • les musiciens : 6-7 percussionnistes ; • un personnage virtuel nommé Oscar prenant vie sur des écrans vidéo ; • des éléments sonores électroniques spatialisés. Deux applications, développées à l’Ircam à partir d’EyesWeb, sont utilisées. La première permet à Oscar, le héros du spectacle, de suivre des yeux les déplacements de certains personnages. L’autre application est un système de reconnaissance des positions de la main. Ce logiciel analyse la forme des mains des musiciens filmées par deux caméras. Les informations sont ensuite transmises à un ordinateur central, chargé de reconnaître des postures et des positions de mains prédéfinies. Cette reconnaissance déclenche un nouveau signal, envoyé à un ordinateur chargé de la synthèse et du traitement des sons. Oscar, dont la tête apparaît sur six écrans vidéo, réagit et se déplace en fonction de l’ensemble de ces données. « Les informations de détection fournies par EyesWeb sont utilisées soit à des fin musicales, soit pour fournir à Oscar des données sur le monde réel. » explique Emmanuel Flety, ingénieur à l’Ircam. « EyesWeb permet de doter Oscar du sens de la vue. Max lui fournit l’ouïe. Oscar réagit à certaines formes, à certains types de déplacements. Il peut aussi reconnaître des formes rythmiques ou mélodiques simples. »

Figure 12.8 : Illustration de S CHLAG ! Ahad Yari Rad, étudiant en thèse en Arts Plastiques à l’Université de Rennes 2, a pour sujet d’étude l’esthétique de la réalité virtuelle. Il a choisi de développer un musée virtuel de la photographie contemporaine et est, pour ce faire, accueilli au sein du projet SIAMES de l’IRISA afin de disposer du plateau technique lui permettant de mener à bien son projet. Le thème du musée porte sur les droits de la femme et de l’enfant. Les photographies sont associées par paires : une image en couleur représente une situation agréable de la société idéaliste proposée par la publicité ; l’autre en noir et blanc représente une face cachée de la société réelle, une situation véridique mais dissimulée. Dans le musée, chaque image couleur masque son image noir et blanc opposée. L’ambiance du musée est enrichie par une création sonore adaptée aux photographies et réagissant aux actions de l’utilisateur. Ce musée offre à l’utilisateur la possibilité via une commande gestuelle de naviguer dans cet espace (zoom avant/arrière, panoramique latéral

L’interactivité sensorielle au service de la création artistique contemporaine

257

gauche ou droit) et d’interagir avec des couples d’œuvres photographiques. Les mouvements de la main permettent d’effacer au fur et à mesure la photographie de premier plan faisant apparaître petit à petit une seconde photographie permettant ainsi un dialogue entre les deux œuvres, accompagné par l’évolution dynamique de la composition musicale.

Figure 12.9 : Le musée virtuel de la photographie contemporaine. EyesWeb est utilisé pour la commande gestuelle, Max/MSP pour la génération musicale temps-réel et OpenMASK pour la gestion de l’interaction avec l’environnement virtuel. Le protocole OSC (Open Sound Control) est utilisé pour permettre à ces trois logiciels de dialoguer entre eux, chacun d’eux s’exécutant sur une ou plusieurs machines indépendantes (1 PC windows pour Eyesweb, 1 Mac OSX pour le son et trois PC linux pour le rendu visuel sur grand écran). La figure 12.10 montre l’architecture logicielle de l’application. L’analyse d’EyesWeb est envoyée à OpenMASK qui en déduit l’animation de la scène 3D et les points de vue adaptés. Selon le comportement de l’utilisateur, OpenMASK envoie à Max/MSP des directives pour la sonorisation de la salle immersive.

Figure 12.10 : Architecture logicielle du musée

12.2.5 CONCLUSION

Un point commun entre l’ensemble des œuvres hybrides présentées ci-dessus est le protocole OSC (Open Sound Control). Ce protocole développé par Matt Wright à

258

Le traité de la réalité virtuelle

l’Université de Berkeley aux Etats-Unis permet de faire communiquer ensemble des ordinateurs, des synthétiseurs et d’autres périphériques multimédia. OSC fonctionne sous la forme d’un mécanisme client/serveur avec de la transmission d’unités de données appelées des paquets. Les données de base pouvant être intégrées (empaquetées) dans un message OSC sont très rudimentaires : entier, réel, chaîne de caractères, estampille temporelle. Ce protocole est aujourd’hui intégré au sein d’un certain nombre de logiciels dont EyesWeb, Max/MSP, Pure Data et OpenMASK. 12.3 LA FICTION INTERACTIVE OU LE PARADOXE DE LIER NARRATION ET INTERACTION 12.3.1 INTRODUCTION

Dès lors que l’univers virtuel est narratif, l’immersion dans cet univers n’est pas neutre du tout. Il ne suffit pas comme dans un jeu vidéo classique d’intégrer le spectateur dans l’univers en l’assimilant au personnage principal capable de se mouvoir dans l’univers et d’y effectuer un certain nombre d’actions, mais il faut aussi prendre en compte le verbe : endosser le rôle du héros ou d’un des protagonistes d’une histoire permet une identification forte du spectateur à son personnage mais nécessite aussi de traiter du problème complexe de la cohérence entre les envies du spectateur face à celles du scénariste et de la cohérence de l’histoire ou de la méta-histoire qu’il a écrite. Pour Glassner [Glassner, 2001], cette limite se situe entre le fait d’endosser un rôle et celui de participer à la création de la fiction : il y a pour lui une frontière ici infranchissable. De même il pense qu’il est impossible de demander à un utilisateur lambda d’improviser sur la durée d’une œuvre (du fait de la difficulté de ce type d’expérience) ni d’endosser l’un des rôles principaux d’une histoire, du fait de l’implication émotionnelle que cela suppose. Avant d’introduire la fiction interactive, il semble nécessaire de présenter de façon succincte ce que sont les éléments constituants d’une fiction linéaire classique9 . 12.3.2 STRUCTURE D’UN RÉCIT LINÉAIRE

Le récit est un exposé de faits réels ou imaginaires. Chaque fait peut recouvrir deux types de réalité, l’événement et l’action, qui font toutes deux références à une modification du cours naturel des choses, en d’autres termes à une transformation. Une action se caractérise par la présence d’un agent (acteur humain ou anthropomorphe) qui va provoquer le changement, tandis qu’un événement va intervenir sous l’effet de causes ne découlant pas de l’intervention intentionnelle d’un agent. Il est nécessaire de distinguer les notions de cause et de motif. Dans le cas d’une relation de cause à effet, l’antécédent est logiquement disjoint du conséquent. Le motif, par contre, ne possède aucune existence propre et n’est pensable qu’à partir de l’action, puisqu’il s’agit de la ou des raisons qui déterminent ou permettent d’expliquer un acte ou une conduite. Le héros d’une histoire est ainsi mû par un motif d’agir afin d’atteindre son but ou sa quête. La description d’une action se présente en général sous la forme d’une séquence d’actions temporellement ordonnées : une action globale est décomposée en une suite de 9 Le lecteur intéressé par plus de détails et de références bibliographiques peut se référer au chapitre 8 de [Donikian, 2004].

L’interactivité sensorielle au service de la création artistique contemporaine

259

micro-actions. Des lois régissent le déroulement des actions et elles ont trait aux caractéristiques physiques du monde, mais aussi aux mœurs et usages de la société dans laquelle se déroule le récit. Pour une société donnée, un certain nombre d’actions peuvent être décomposées en une succession chronologique d’actions conventionnelles. Ceci a pour conséquence, lorsque l’ordre canonique est respecté, de permettre de faire l’économie de la description exhaustive de l’ensemble des actions : des ellipses sont ainsi possibles au cours du récit. Dans un cadre plus général, l’enchaînement des actions doit suivre un ordre chronologique, mais doit aussi respecter un enchainement causal : il y a un nécessaire lien de causalité logique entre les faits. Afin de situer temporellement et géographiquement un récit, un certain nombre de descriptions doivent être effectuées : description des personnages, des lieux, des objets vivants ou inertes les peuplant, et enfin du temps de l’histoire. Tout récit se caractérise par la présence de deux bornes : les situations initiale et finale, entre lesquelles existe un rapport de transformation. Si tout récit possède une structure transformationnelle, toute transformation entre deux états n’est pas forcément assimilable à un récit. Il est nécessaire d’y adjoindre la notion d’intrigue. Dans [Aristote, 1990], Aristote insiste sur la structuration en deux versants de l’intrigue tragique. Le nœud détermine tout le déroulement de la fable et l’intrigue se réduit aux variations des motifs principaux introduits par le nœud. Le schéma narratif canonique se décompose en cinq propositions : Séquence narrative

Situation initiale

Noeud déclencheur

Action ou évaluation

Dénouement ou résolution

Situation finale

Figure 12.11 : Schéma narratif canonique.

La tension dramatique rend compte des variations, c’est-à-dire des péripéties qui modifient l’équilibre ou le déséquilibre de la situation initiale. La tension s’accroît au fur et à mesure que le renversement de la situation approche. Néanmoins, il est à noter que si la notion de tension est considérée comme un élément constitutif de l’intrigue, il peut exister des intrigues sans tension dramatique. Le nœud dramatique est un événement qui fait rebondir l’action, qui apporte une pierre à l’édifice quelle que soit sa taille : il conclut ce qui précède et appelle ce qui suit. D’une certaine manière, on peut dire qu’une histoire va de nœud dramatique en nœud dramatique. La plupart du temps, le nœud dramatique est un obstacle pour le protagoniste. Le climax (point culminant pour les anglo-saxons, gradation ascendante pour les dramaturges) est le nœud dramatique le plus important de l’histoire donc logiquement l’obstacle le plus fort. C’est l’événement final et en général paroxystique, qui apporte une réponse définitive à la question dramatique. Il est donc naturellement à la fin du deuxième acte. Le climax ne clôture pas seulement le deuxième acte, il doit aussi apporter une réponse aux problématiques mises en place pendant cet acte. L’incident déclencheur est le second nœud dramatique dans l’ordre d’importance. C’est celui qui va permettre de déterminer pour le protagoniste son futur objectif. Il ne se trouve pas nécessairement à la fin du premier acte, car soit le protagoniste ne fait pas partie de cet événement, soit il peut se passer un certain temps entre cet événement et la définition de cet objectif. Pour Y. Lavandier [Lavandier, 1997], la structure d’une scène est identique à la structure de l’œuvre en général et la majorité des scènes doivent contenir du conflit.

260

Le traité de la réalité virtuelle

12.3.3 APPROCHE STRUCTURALISTE DU RÉCIT

Un certain nombre de chercheurs se sont intéressés à la structure du récit et ont, pour étayer leur discours, analysé des corpus particuliers. Vladimir Propp [Propp, 1970] a analysé un corpus de cent contes russes et a proposé une transcription sous forme d’une liste de 31 fonctions correspondant aux différentes phases du récit. Un postulat de Propp est que l’ensemble de ces fonctions s’enchaînent pour ne former qu’une seule séquence (considérée comme le schéma idéal du conte russe), même si elles ne sont pas toutes présentes dans chaque conte. V. Propp s’est aussi intéressé à la répartition des fonctions entre personnages. Il définit ainsi des sphères d’actions regroupant logiquement certaines fonctions. Ces sphères correspondent aux personnages qui accomplissent les fonctions. Claude Brémond [Bremond, 1973] dans son ouvrage intitulé la logique du récit s’attaque au postulat de Propp, selon lequel la séquence des fonctions est toujours identique. Il met en cause notamment l’absence de point de vue multiple : il n’y a qu’un héros et tout est défini selon son point de vue. Selon Bremond, les fonctions se groupent en séquences chronologiques selon un ordre qui échappe à la fantaisie du conteur, mais ces groupes de fonctions sont susceptibles d’agencements variés et c’est cette liberté de combinaison qui assure à l’artiste la possibilité d’une création originale. C. Brémond définit la structure comme une juxtaposition de séquences (dont la structure est figée) qui se superposent, se nouent, s’entrecroisent ou encore s’anastomosent. J. Campbell, dans son ouvrage intitulé Les héros sont éternels [Campbell, 1978], constate que les mêmes histoires ont été racontées sans cesse tout au long de l’histoire de l’humanité, quelle que soit la culture, bien sûr avec des détails et des noms de personnages différents. Il fournit une description, argumentée de nombreux exemples, des différents éléments constituants des trois phases successives du récit. Ce modèle de l’arc dramatique en trois étapes est celui des films hollywoodiens depuis des décennies. En regroupant les fonctions définies par Propp selon certaines sphères d’action de ceux qui les accomplissent, A.J. Greimas [Greimas, 1966] propose un schéma actantiel qui valide la place de chaque actant dans le cours du récit : •

• • • • •

Le destinateur est le mandateur qui pousse le héros à agir, celui qui l’envoie en mission ; Le sujet (ou héros) est celui qui accomplit l’action, celui qui effectue la quête ; L’objet est ce que cherche le sujet ou ce qu’il doit accomplir ; Le destinataire est le bénéficiaire de l’action du sujet ; L’opposant nuit au sujet et l’empêche d’agir ; L’adjuvant est la personne (ou l’objet) qui vient en aide au sujet, lui permettant de surmonter les épreuves auxquelles il se trouve confronté.

Un même personnage peut être à la fois sujet et destinataire et une même fonction peut être occupée par plusieurs forces agissantes : il y a souvent plusieurs adjuvants et plusieurs opposants. Enfin, une même force agissante peut, au cours du récit, changer de fonction. L’action du récit progresse à travers les configurations des rapports de force en présence. A.J. Greimas définit aussi un modèle fonctionnel construit en trois étapes successives : la situation initiale caractérisée par un manque, une transformation (épreuves qualifiante, principale et glorifiante) et une situation finale. Dans [Greimas, 1983], A.J. Greimas propose entre autre une théorie des modalités et discute des statuts sémiotique et narratif des valeurs associées aux objets. A travers les cent nouvelles du recueil de Boccace, Tzvetan Todorov [Todorov, 1969] se propose de décrire les lois du récit, d’en coder les manifestations et de jeter les bases d’une science :

L’interactivité sensorielle au service de la création artistique contemporaine

261

la narratologie. Todorov propose de distinguer trois aspects : sémantique, syntaxique et verbal. Ceux-ci lui servent à définir trois niveaux d’étude : •

•

ce que le récit représente ou évoque, les contenus plus ou moins concrets qu’il apporte ; la combinaison des unités entre elles, les relations qu’elles entretiennent mutuellement ; les phrases concrètes par lesquelles on reçoit le récit.

De ces trois aspects, Todorov ne retient comme pertinent pour son étude que le second et traite aussi incidemment de l’aspect sémantique. L’aspect verbal est quant à lui complètement ignoré. L’unité syntaxique de base est la proposition, qui correspond à un énoncé narratif minimum, du type sujet-prédicat. Cet énoncé narratif désigne une action concernant un être humain ou une créature anthropomorphe. Une suite de propositions narratives liées entre elles constitue une séquence. Parmi les liens qui peuvent ainsi unir deux propositions, Todorov distingue : •

• •

la relation logique, ou d’implication qui lie la proposition cause à la proposition effet, et qui se code ⇒ ; la relation temporelle, qui enregistre une succession dans le temps, et qui se code + ; la relation spatiale de parallélisme, qu’il laisse de coté.

Contrairement à Propp ou Greimas, Todorov ne cherche pas à définir une typologie des agents car, pour lui, tout agent est toujours susceptible de se muer d’un de ces rôles en l’autre. C. Brémond dans son ouvrage, la logique du récit [Bremond, 1973], critique le modèle de T. Todorov en montrant un certain nombre de limitations, dont l’absence de la prise en compte des moyens d’une action, ce qui fausse la perception du sens du rôle des agents. C. Brémond, reprend le principe des séquences de V. Propp, mais le modifie dans sa signification. Ainsi, chaque séquence devra être décrite par : • • •

une situation qui ouvre la possibilité d’un comportement ou d’un événement ; le passage à l’acte (si la possibilité est actualisable) ; l’aboutissement de cette action, qui clôt le processus par un succès ou un échec.

Les séquences élémentaires se combinent en séquences complexes selon des configurations et des liaisons syntaxiques variées : •

• •

le bout-à-bout ou la succession de deux séquences élémentaires, la clôture de la première coïncidant avec l’ouverture de la seconde ; l’enclave : une séquence élémentaire se développe à l’intérieur d’une autre ; l’accolement : deux séquences élémentaires se développent simultanément, traduisant d’ordinaire le fait qu’un même processus matériel, envisagé de deux points de vue différents, remplit des fonctions distinctes.

La logique de l’intrigue est pour C. Brémond la première étape obligée d’une analyse structurale du récit. Pour ce faire, il a procédé à l’inventaire systématique

262

Le traité de la réalité virtuelle

des rôles narratifs principaux, que l’on retrouve détaillé dans la logique du récit [Bremond, 1973]. Dans l’ouvrage intitulé Sémiotique narrative et textuelle, on trouve un chapitre [van Dijk, 1973] discutant des différents modèles logiques et de leur adéquation à la modélisation de la structure narrative d’un texte, en portant notamment l’accent sur les grammaires textuelles.

12.3.4 LA FICTION INTERACTIVE

La fiction interactive est une extension de la fiction classique, en ce sens qu’elle suppose une participation active du spectateur avec pour objectif d’influencer le déroulement de l’histoire. La fiction est, par essence, linéaire. Elle est une progression ordonnée d’événements, dont le mouvement est toujours ordonné vers l’avant, même si des flash-back ou des ellipses sont autorisés. Dans la fiction interactive, le spectateur est plus immédiatement impliqué que dans les œuvres littéraires, cinématographiques, théâtrales ou chorégraphiques classiques. Il est même actant car il peut influer sur l’évolution de l’histoire : il n’y a pas une mais une infinité d’histoires pouvant se dérouler sur la base de la trame définie par l’auteur. Cela impose un niveau de complexité supplémentaire pour ce dernier, car il doit envisager l’ensemble des hypothèses requises pour qu’une action dramatique se produise et il doit aussi formuler l’impact de celleci sur le déroulement de la suite de l’histoire. La fiction interactive peut être regardée comme un nouveau genre dérivant à la fois du versant interactif (réalité virtuelle, jeu vidéo) et du versant narratif (littérature, cinéma, théâtre). Le problème principal à résoudre concerne la fusion de la narration et de l’interactivité, sous-entendu l’immersion dans l’univers et l’identification aux personnages de l’histoire. Il est donc nécessaire de faire coopérer la trame plus ou moins rigide de la structure narrative avec la liberté de l’interactivité, sachant que forcément le scénario a tendance à limiter la liberté de l’utilisateur mais maximise en contrepartie le plaisir de la performance. A. Glassner [Glassner, 2001] montre combien le chemin est long, du fait de l’opposition des structures des jeux vidéos et des fictions. De la même manière, il oppose l’action et la communication telles qu’effectuées dans ces deux médias. C. Crawford [Crawford, 2002] évoque quant à lui un problème culturel entre l’univers des ingénieurs développeurs de jeux et celui des artistes. Etant donné le niveau de technicité requis pour développer des fictions interactives, il est absolument nécessaire de faire coopérer artistes et ingénieurs en créant une relation de travail qui n’est pas simple à mettre en place. Une alternative est d’essayer de dispenser une double formation à chacun10. Comme l’illustre la figure 12.12, il y a une relation bidirectionnelle entre le monde de l’histoire et celui de la scène. L’histoire doit réagir logiquement aux actions de l’audience tandis que l’audience doit réagir émotionnellement à la narration. Dans la fiction interactive, il n’y a pas une seule mais une infinité d’histoires pouvant se dérouler sur la base de la trame définie par l’auteur. Cela impose un niveau de complexité supplémentaire pour celui-ci, car il doit envisager l’ensemble des hypothèses requises pour qu’une action dramatique se produise et il doit aussi formuler l’impact de celle-ci sur le déroulement de la suite de l’histoire.

10 La filière ATI de l’Université Paris 8 est un bon exemple de formation conjointe à l’art et aux nouvelles technologies.

L’interactivité sensorielle au service de la création artistique contemporaine

263

Figure 12.12 : Architecture d’une Fiction Interactive.

12.3.5 ETAT DE L’ART

Une des premières approches est celle du projet Oz [Bates, 1992, Mateas, 1997] dirigé par Joseph Bates à L’Université de Carnegie-Mellon dans la première moitié des années quatre-vingt-dix. Dans ce cadre A.B. Loyall a développé le langage Hap [Loyall e.a., 1997] qui a ensuite été étendu par M. Mateas et A. Stern à travers le langage ABL [Mateas. e.a., 2002]. L’architecture du système Oz était composée d’un ensemble de personnages évoluant dans un monde virtuel, d’un interacteur permettant à un utilisateur d’agir sur les objets du monde et d’un gestionnaire de la fiction. L’histoire est structurée sous la forme d’un graphe acyclique orienté qui contient la trame principale de l’histoire : les éléments de l’intrigue. Il existe plusieurs ossatures possibles pour bâtir une fiction interactive. Par exemple, les modèles proposés par les structuralistes ont été utilisés afin de structurer des modèles de fiction interactive : Propp : Teatrix est un outil dédié aux enfants afin qu’ils puissent créer des fictions interactives fondées sur le modèle de V. Propp [I. Machado e.a., 2001]. Dans un premier temps, l’enfant prépare l’histoire en spécifiant les lieux, les décors. Chaque enfant a la capacité de choisir un personnage dans l’histoire, il peut explorer l’état émotionnel de ce personnage et voir la liste des réflexions passées et en cours. Dans le système GEIST, U. Spierling utilise aussi le modèle de Propp comme élément structurant de l’histoire [Spierling e.a., 2002] ; Greimas : M. Klesen [M. Klesen e.a., 2001] utilise le schéma actanciel de Greimas comme élément permettant de maintenir une balance dynamique des forces en présence dans l’histoire entre les adjuvants et les opposants. Il développe un scénario intitulé « Le mouton noir » composé de deux moutons (le mouton noir étant le héros et le second un adjuvant), d’un chien de berger, d’un fermier (l’opposant), de vaches et de cochons ; Bremond : Avec IDtension, N. Szilas [Szilas, 2003] effectue une interprétation de la logique du récit de Brémond. Il propose un moteur de fiction interactive fondé sur les règles de Bremond et de Todorov, ainsi que sur un modèle de l’utilisateur. L’ossature du modèle narratif est une structure de type but/tâches (nécessaires pour l’atteindre).

264

Le traité de la réalité virtuelle

Une autre approche consiste à réduire la narration à une séquence d’actions et à utiliser des techniques de planification de tâches issues de l’Intelligence Artificielle pour des histoires interactives [M. Cavazza e.a., 2001, Charles e.a., 2003a]. F. Charles et al. [Charles e.a., 2003b] discutent des avantages respectifs, pour la fiction interactive, de deux techniques de planification : HTN (Hierarchical Task Network) et HSP (Heuristic Search Planning). Pour eux, l’avantage principal d’HTN est d’assurer une cohérence forte de l’histoire dans un contexte d’interactivité, du fait de sa forte structuration, tandis qu’HSP offre plus de flexibilité, du fait de son caractère plus exploratoire et donc potentiellement plus de variabilité dans les histoires produites. Façade, développé par M. Mateas and A. Stern [Mateas e.a., 2002] intègre à la fois la gestion de la structure de l’histoire, le contrôle du comportement des personnages et le traitement de la langue naturelle pour l’interaction avec un utilisateur interprétant le rôle d’un des personnages de l’histoire. Grace et Trip, un couple marié d’une trentaine d’années, sont les deux protagonistes de l’histoire (cf figure 12.13). Ils ont invité le joueur à boire un verre, et un dialogue ouvert commence entre l’invité et ses hôtes. La description du comportement des protagonistes est effectuée à l’aide du langage ABL [Mateas. e.a., 2002]. Ce langage a pour objectif principal de pouvoir effectuer de la planification réactive et intègre aussi la spécification de comportements coordonnés. ABL intègre aussi un mécanisme de réservation de ressources, permettant ainsi à un comportement de demander au vol l’utilisation d’une ressource corporelle avec une certaine priorité.

Figure 12.13 : Les acteurs virtuels Grace et Trip, en rendu non photo-réaliste temps-réel, dans Façade[Mateas e.a., 2002].

12.3.6 LES OUTILS D’AIDE À L’ÉCRITURE DE FICTIONS INTERACTIVES

Qu’il s’agisse d’une fiction linéaire ou non linéaire, prédéterminée ou interactive, les éléments d’une histoire sont : • • • •

les acteurs avec leurs compétences, leurs valeurs morales et intellectuelles ; les rôles avec leurs objectifs dramatiques ; les relations entre acteurs et rôles ; la structure dramatique avec ses actions et ses unités dramatiques.

L’interactivité sensorielle au service de la création artistique contemporaine

265

Ecrire une fiction interactive consiste pour l’auteur à manipuler une représentation informatique des acteurs, des rôles et des éléments dramatiques de manière à décrire la structure granulaire d’une méta-histoire, ferment d’un ensemble d’histoires appréhendables par l’auteur et en accord avec ses désirs. Selon Andersen, le scénariste doit se retenir de vouloir contrôler complètement l’ensemble de la structure narrative directement, mais doit se concentrer sur la construction de l’ossature permettant au spectateur de créer lui-même sa propre fiction. La structure narrative est fondée non pas sur une séquence d’actions mais sur une distribution des rôles. Il y a cependant une nécessité de dépendance causale des unités dramatiques pour que l’histoire racontée soit compréhensible par le spectateur. L’écriture d’une fiction interactive s’appuie sur la structure narrative d’un texte, le langage cinématographique ainsi que la psychologie et la notion de couple relationnel, c’est à dire l’état d’une relation entre deux personnages. K.M. Brooks décrit dans sa thèse [Brooks, 1999] la notion de fiction cinématique métalinéaire. Il n’emploie pas le terme non linéaire car il objecte comme Aarseth [Aarseth, 1997] qu’une histoire ne peut être que linéaire du fait de la linéarité du processus de lecture. Il utilise le terme de métalinéarité pour décrire le fait que son modèle est en puissance générateur d’une multitude d’histoires linéaires. Pour K.M. Brooks, l’outil idéal d’aide à l’écriture de fictions métalinéaires est un outil qui doit être capable de maintenir la créativité humaine dans le processus d’écriture tout en permettant à l’ordinateur de construire la structure sous-jacente à une multitude de fictions linéaires. Il propose pour cela l’outil appelé AGENT STORIES composé de cinq parties : la structure : description de la structure de la fiction par assemblage de blocs génériques ; • la représentation : contient les informations sur les relations entre les éléments de l’histoire ; • le retour à l’auteur : retour de l’outil à l’auteur sur la construction de la méta-fiction. Ceci est réalisé grâce à l’utilisation d’agents fictionnels ; • la présentation : choix des agents fictionnels à activer ; • la scénarisation des agents fictionnels : création de nouveaux agents fictionnels. Le comportement d’un agent fictionnel est composé d’un ensemble de règles décrivant comment l’agent doit se comporter dans chaque situation particulière. Le lecteur intéressé peut aussi consulter le site web de C. Crawford sur le projet Erasmatron11 dans lequel l’auteur publie un certain nombre de points de vue intéressants sur la fiction interactive et son écriture. Un autre site intéressant est celui du projet Dramatica12 , dédié aux auteurs de fictions. On y trouve notamment un certain nombre de documents dont une théorie de l’histoire téléchargeable en PDF [Phillips e.a., 2001], un dictionnaire de la fiction, une table des éléments-clés d’une histoire. •

Les moyens informatiques dont le scénariste dispose aujourd’hui sont encore assez rudimentaires (essentiellement des outils de traitement de texte et de représentation graphique d’un scénario décomposé en une arborescence de scènes) au regard de l’évolution des techniques. L’outil d’aide à l’écriture de fictions interactives, intitulé DraMachina, développé en partenariat entre l’IRISA et la société Dæsign13 dans le cadre du projet RNTL éponyme, contribue à corriger cette situation [Donikian e.a., 2004]. La méthode d’écriture mise au point permet à l’auteur, en plus de l’écriture textuelle, 11 http

://www.erasmatazz.com ://www.dramatica.com 13 http ://www.daesign.com 12 http

266

Le traité de la réalité virtuelle

de manipuler des objets logiques (acteurs, rôles, unités dramatiques) ayant chacun une fonction bien précise dans le scénario. L’objectif n’est pas de produire un gestionnaire du drame ni de faire des choix au sein des différents modèles proposés dans les théories narratives mais d’aider l’auteur à écrire une fiction interactive. L’entrée principale reste la langue naturelle mais qui est directement connectée grâce à des hyperliens aux éléments-clés du récit. Pour ce faire, aucune contrainte n’est imposée à l’auteur dans la structuration de son récit, le logiciel étant chargé de l’accompagner dans son processus d’écriture. Il n’y a ainsi pas d’ordre préétabli dans la création des différents éléments constitutifs du récit : l’auteur peut aussi commencer par la conception de la structure narrative en manipulant directement les éléments-clés du récit (lieux, personnages, rôles, relations entre personnages, actions dramatiques, etc.), puis écrire l’histoire et bien sûr faire des allers-retours, l’outil assurant la cohérence de l’ensemble, chaque mise à jour étant répercutée immédiatement dans toute la structure narrative. Dans sa théorie sur l’analyse transactionnelle, Eric Berne [Berne, 1964] observe que tout le monde a besoin de transactions avec autrui. En reproduisant le mécanisme des strokes14 ou chocs émotionnels dans l’écriture des dialogues, un auteur peut indiquer l’impact d’une réplique sur le couple relationnel des deux protagonistes et sa durée. Dans DraMachina, chaque auteur utilise les fonctionnalités et les objets qui lui sont nécessaires dans l’ordre qu’il souhaite : l’outil ne doit pas brider la créativité mais l’assister. Ces objets sont bien évidemment étroitement liés les uns aux autres. Il est proposé à l’auteur de manipuler directement ces objets via l’interface, d’en visualiser les liens, de repérer visuellement les conséquences de l’ajout ou du retrait d’un objet. Jusqu’à présent, ce travail était effectué sur papier, via une série de documents à produire à l’aide d’outils différents (traitement de texte, tableur, éditeur de graphes) dont la forme avait été spécifiée (base de données, textes, carte des unités dramatiques, . . .). Cela implique une manipulation lourde et surtout ne permet pas une véritable vue d’ensemble de l’environnement, encore moins une simulation de son fonctionnement. L’outil réalisé (cf figure 12.14) devient pour son utilisateur le moyen de créer plus facilement et plus rapidement un environnement narratif, et d’en vérifier la cohérence au fur et à mesure de sa création. Si l’outil est avant tout utile à l’auteur, il est également un maillon essentiel dans la chaîne de production. En effet, le travail à effectuer à l’aide des outils classiques pour passer du scénario à une application narrative interactive est exclusivement manuel : lecture du scénario, analyse des données, puis codage du contenu. DraMachina est aussi un outil de production automatique d’un modèle équivalent à ce qui a été décrit dans le scénario. Le gain est double : productivité d’une part, respect de la cohérence entre scénario écrit et produit fini d’autre part. Un autre intérêt de cette approche concerne la transmission d’informations. L’équipe de développement de la fiction bénéficie d’un travail d’analyse effectué automatiquement sur l’univers narratif écrit par le scénariste, dans des formats compréhensibles par chaque acteur de l’équipe facilitant le transfert d’information. Un seul format est utilisé pour la sauvegarde interne et l’export : il s’agit du format XML, permettant à chacun d’extraire automatiquement les informations qu’il juge pertinentes. Le module d’extraction de données à partir du langage naturel permet de trouver automatiquement les actions, localisations et déplacements décrits dans un texte. Notamment, en ce qui concerne les actions, nous pouvons extraire différentes informations : qui fait l’action, de quelle manière, dans quel lieu et quels objets ou autres personnages sont concernés par cette action. Destiné aussi à l’équipe de production de la fiction, l’outil permet, grâce à la base de données que celui-ci génère, de réduire considérablement l’étape fastidieuse d’analyse et de synthèse des documents produits par le scénariste. Ainsi le traitement des actions dramatiques peut 14 Stroke

veut dire en anglais à la fois coups et caresses.

L’interactivité sensorielle au service de la création artistique contemporaine

267

Figure 12.14 : Structure hiérarchique de l’ensemble des objets manipulés dans DraMachina.

permettre d’alimenter une base de données contenant l’ensemble des actions effectuées par chaque acteur et les lieux dans lesquels elles sont effectuées.

12.4

DE LA NÉCESSITÉ D’UN MÉTA-LANGAGE ADAPTÉ À LA CRÉATION PLURI-ARTISTIQUE

L’art numérique comme les jeux vidéos est le résultat du travail d’artistes et de scientifiques. Etant donné le niveau de technicité requis pour développer des œuvres numériques interactives, il est absolument nécessaire de faire coopérer artistes et ingénieurs en créant une relation de travail qui malheureusement n’est pas simple à mettre en place. Il ne suffit pas pour l’artiste de prendre un certain nombre d’outils et de les utiliser, car cette utilisation conjointe d’outils n’est pas possible sans l’aide d’ingénieurs, sauf à passer par des standards réducteurs. Il est nécessaire d’établir des ponts entre personnes d’univers et de cultures complètement différents. La difficulté de ce travail résulte aujourd’hui dans l’absence de langage commun et nous pensons que l’outil informatique peut être un bon vecteur de communication. Nous pensons que la réalisation d’outils d’aide à la création pensés en commun par des artistes/chercheurs et des chercheurs scientifiques est un moyen de réduire cette fracture. Il nous semble intéressant de formaliser ces langages ensemble et de développer des outils correspondant dédiés à la création artistique d’œuvres numériques interactives pluridimensionnelles. Au-delà des environnements narratifs interactifs, il est nécessaire d’étudier les relations des nouvelles technologies de l’image avec d’autres champs d’expression artistique. Par exemple, un chorégraphe développant une œuvre chorégraphique interactive se retrouve confronté à la prise en compte du statut du specta(c)teur (Il s’agit d’un spectateur

268

Le traité de la réalité virtuelle

actant au travers des mécanismes d’interaction mis à sa disposition) dans son œuvre : quel espace de liberté lui laisse-t-il et quels sont les degrés de liberté admissibles de la chorégraphie ? En quoi, comment et selon quels critères la phrase chorégraphique virtuelle, résultat du travail du chorégraphe avec des danseurs réels, peut-elle être modifiée par les actes du specta(c)teur ? Comment la scénographie influe-t-elle sur la composition musicale ? Aujourd’hui, à l’issue d’une phase de discussion et d’échange dans laquelle chacun s’exprime avec son propre bagage culturel et son vocabulaire métier, il est nécessaire de faire intervenir un ingénieur ou technicien. A partir de protocoles souvent archaïques et pauvres en expressivité, ce dernier va définir, selon sa propre interprétation, le contenu de ce qui va transiter dans le tuyau de communication entre les logiciels ou bibliothèques spécialisées. Pour illustrer ce propos, prenons l’exemple d’une œuvre chorégraphique interactive Ulys développée par Nicole et Norbert Corsino (Compagnie Danse 34 productions) en partenariat avec l’IRCAM, l’IRISA et Ars Numerica.

Figure 12.15 : Complexité d’une œuvre chorégraphique interactive. Les relations existant dans ce type d’œuvre sont diverses et complexes (cf figure 12.15) : relation artiste/artiste au cours de la création, relation specta(c)teur/clone, relation entre les mondes visuel et sonore. On peut citer par exemple le cas du clone qui cache en fait un agent autonome devant reproduire fidèlement le travail du danseur, mais en même temps démontrer des capacités d’autonomie lui permettant d’entrer en relation individualisée avec chaque specta(c)teur. D’autre part, la relation sous forme de langage entre la composition musicale en temps réel et l’interprétation chorégraphique interactive reste à formaliser et à développer. 12.5 CONCLUSION Au cours de ce chapitre, nous avons essayé de faire un état de la relation entre les arts de la scène et les technologies matérielles et logicielles développées dans le domaine de la réalité virtuelle. Fournir des plateaux technologiques est une chose primordiale mais pas suffisante. Il est nécessaire, du fait de la différence de culture entre les artistes

L’interactivité sensorielle au service de la création artistique contemporaine

269

et les scientifiques, de disposer de médiateurs. L’exemple de l’IRCAM est intéressant à ce sujet : se trouvent dans le même lieu des artistes, des chercheurs et des assistants musicaux ayant la capacité de dialoguer avec les artistes et avec les chercheurs. Il est nécessaire de bâtir de tels lieux sur le thème de l’art numérique intégrant des chercheurs dans différentes disciplines des sciences de l’ingénieur et des sciences humaines et sociales, des artistes et des créateurs. Il est aussi nécessaire de décloisonner les enseignements afin d’avoir la capacité de former des personnes intéressées par acquérir une double compétence à la fois artistique et technologique. Le département ATI de l’Université de Paris 8 a été pionnier dans ce domaine mais n’a pas vraiment été reproduit aujourd’hui au sein des Universités françaises. Il est aussi nécessaire de travailler sur la formalisation de langages d’écriture de tels œuvres poly-artistiques interactives. Pour ce faire il est nécessaire de constituer des équipes de recherches pluridisciplinaires composées de théoriciens, de praticiens des différents champs disciplinaires. La difficulté est celle de l’ouverture du modèle. Par exemple, la notation de Laban dans le domaine de la danse n’est pas utilisée par beaucoup de chorégraphes, chacun ayant son propre langage graphique de notation, et certain n’utilisant même aucun langage codifié. Il faut donc plutôt se poser la question des méta-langages d’échanges transdisciplinaires, permettant à chaque artiste ensuite d’y implémenter son propre langage. 12.6

RÉFÉRENCES BIBLIOGRAPHIQUES

[Aarseth, 1997] [Aristote, 1990] [Bates, 1992]

[Bongiovanni, 1999]

[Bremond, 1973] [Brooks, 1999] [Campbell, 1978]

[Camurri e.a., 2000]

[Camurri e.a., 2004]

[Charles e.a., 2003a]

E. Aarseth. Cybertext : Perspectives on Ergodic Literature. Johns Hopkins University Press, Baltimore (1997). Aristote. La poétique (traduction Michel Magnien). Le livre de poche (1990). J. Bates (1992). The nature of character in interactive worlds and the oz project. Technical report, Technical Report CMU-CS-92-200, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA. P. Bongiovanni. Transitions. In Ma vache s’affole, mon mouton tremble et mon maïs mute - corps / machines / territoires (1999), pages 9– 15. Agence Régionale pour la Coordination des Activités Musicales et Chorégraphiques, Aix-en-Provence. C. Bremond. Logique du récit. collection Poétique. Editions du Seuil (1973). K. Brooks (1999). Metalinear Cinematic Narrative : Theory, Process and Tool. PhD thesis, MIT. J. Campbell. Les héros sont éternels. Seghers (1978). (titre original : the hero with a thousand faces, Bollingen Foundation Inc., New York, 1949). A. Camurri, S. Hashimoto, M. Ricchetti, R. Trocca, K. Suzuki, and G. Volpe. Eyesweb - toward gesture and affect recognition in interactive dance and music systems. Computer Music Journal, 24(1) (2000). A. Camurri, N. Mazzarino, and G. Volpe. Expressive gestural control of sound and visual output in multimodal interactive systems. In International Conference Sound and Music Computing (2004), Paris, France. F. Charles, M. Lozano, S. Mead, A. Bisquerra, and M. Cavazza. Planning formalisms and authoring in interactive storytelling. In TIDSE’03, Technologies for Interactive Digital Storytelling and Entertainment (2003a), pages 216–225, Darmstadt, Germany.

270 [Charles e.a., 2003b]

Le traité de la réalité virtuelle

F. Charles, M. Lozano, S. J. Mead, A. F. Bisquerra, and M. Cavazza. Planning formalisms and authoring in interactive storytelling. In First International Conference on Technologies for Interactive Digital Storytelling and Entertainment (2003b), Darmstadt, Germany. [Crawford, 2002] C. Crawford. Artists and engineers as cats and dogs : implications for interactive storytelling. Computers & Graphics, 26 :13–20 (2002). [Donikian, 2004] S. Donikian. Modélisation, contrôle et animation d’agents virtuels autonomes évoluant dans des environnements informés et structurés. Habilitation à diriger les recherches. IRISA+IFSIC, Université de Rennes 1, Rennes (2004). http ://www.irisa.fr/bibli/publi/habilitations/donikian/hdr.html. [Donikian e.a., 2004] S. Donikian and J. Portugal. Writing interactive fiction scenarii with draMachina. In TIDSE’04 (2004), Darmstadt, Allemagne. SpringerVerlag LNCS. [Glassner, 2001] A. Glassner. Interactive storytelling : People, stories, and games. In International Conference ICVS 2001 (2001), pages 51–60. LNCS 2197, Springer-Verlag. [Greimas, 1966] A. Greimas. Sémantique structurale : recherche de méthode. Collection Langue et langage. Larousse, Paris (1966). [Greimas, 1983] A. Greimas. Du sens II. Editions du Seuil (1983). [I. Machado e.a., 2001] A. P. I. Machado and R. Prada. Is the wolf angry or... just hungry ? In International Conference on Autonomous Agents (2001), pages 370– 376, Montreal, Canada. [Laban, 1966] R. Laban. Language of Movement. Macdonald and Evans Ltd. (1966). [Landis e.a., 1979] J. Landis, J. Chapman, and T. Calvert (1979). New Directions in Dance, chapter Notation of Dance with Computer Assistance, pages 169–178. Pergamon Press. [Lavandier, 1997] Y. Lavandier. La dramaturgie. Eds Le clown et l’enfant (1997). [Loyall e.a., 1997] A. Loyall and J. Bates. Personality-rich believable agents that use language. In Autonomous Agents’97 (1997), Marina del Rey, USA. ACM. [M. Cavazza e.a., 2001] F. C. M. Cavazza and S. Mead. Agents’ interaction in virtual storytelling. In R. A. A. de Antonio and D. Ballins, editors, IVA2001, LNAI 2190 (2001), pages 156–170. Springer-Verlag. [M. Klesen e.a., 2001] J. S. M. Klesen and N. Lehmann. A dramatised actant model for interactive improvisational plays. In R. A. A. de Antonio and D. Ballins, editors, IVA2001, LNAI 2190 (2001), pages 181–194. Springer-Verlag. [Mateas, 1997] M. Mateas (1997). An oz-centric review of interactive drama and believable agents. Technical Report CMU-CS-97-156, Carnegie Mellon University. [Mateas e.a., 2002] M. Mateas and A. Stern (2002). Architecture, authorial idioms and early observations of the interactive drama façade. Technical Report CMU-CS-02-198, Carnegie Mellon University. [Mateas. e.a., 2002] M. Mateas. and A. Stern. A behavior language for story-based believable agents. In K. Forbus and M. E.-N. Seif, editors, Working notes of Artificial Intelligence and Interactive Entertainment (2002). AAAI Press. [Phillips e.a., 2001] M. Phillips and C. Huntley. DRAMATICA : a new theory of story. Screenplay Systems Incorporated, http ://www.dramatica.com/downloads/dramatica_book.pdf (2001). [Propp, 1970] V. Propp. Morphologie du conte. Number 12 in collection Points. Editions du Seuil (1970). (titre original : Morfologija skazki, Leningrad, Nauka, 1969).

L’interactivité sensorielle au service de la création artistique contemporaine [Schiphorst, 1992] [Spierling e.a., 2002]

[Szilas, 2003]

[Todorov, 1969] [van Dijk, 1973]

271

T. Schiphorst (1992). Dance and Technology I : Moving Toward the Future, chapter LifeForms : Design Tools for Choreography. U. Spierling, D. Grasbon, N. Braun, and I. Iurgel. Setting the scene : playing digital director in interactive storytelling and creation. Computer & Graphics, 26(1) :31–44 (2002). N. Szilas. Idtension : a narrative engine for interactive drama. In TIDSE’03, Technologies for Interactive Digital Storytelling and Entertainment (2003), pages 187–203, Darmstadt, Germany. T. Todorov. Grammaire du décaméron. Mouton, La Haie (1969). T. van Dijk (1973). Sémiotique narrative et textuelle, chapter Grammaires textuelles et structures narratives. Larrousse, Paris.

13 APPLICATIONS DES TECHNIQUES DE RÉALITÉ VIRTUELLE EN MILIEU MILITAIRE

Pascal Hue et Jean-Paul Papin

13.1

INTRODUCTION

Les applications des techniques de réalité virtuelle en milieu militaire peuvent être abordées en fonction de leur finalité (conception, évaluation, apprentissage et enseignement, préparation d’actions, actions directe in situ ou à distance) et en fonction de l’arme (armée de terre, aviation, marine, service de santé, unité de commandement). Nous allons donner quelques exemples, selon ces axes, à partir de quelques réalisations en cours dans les pays de l’OTAN. Mais avant, il semble intéressant de replacer les techniques de réalité virtuelle parmi l’ensemble des simulations (définies comme moyens de représenter artificiellement une situation réelle) utilisées en milieu militaire. En même temps un rappel succinct de leur évolution historique sera présenté.

13.2

LES SIMULATIONS

13.2.1 LA MANŒUVRE

La plus ancienne des simulations est la manœuvre où le terrain, les hommes et une partie du matériel sont réels, seule la situation (combat fictif) et une partie des armes sont artificielles (balles à blanc, grenade à plâtre, épées en bois). La finalité première de la manœuvre reste la formation et l’entraînement des hommes. Cependant, et ceci surtout depuis les dernières décennies, la manœuvre peut être utilisée à des fins de recherches sur les stratégies à utiliser ou sur les répercussions possibles des situations de combat sur le matériel et les hommes. Dans ce dernier cas, par exemple, des expérimentations ont été réalisées aux Etats-Unis pour mettre en évidence la perte de performance liée à des privations de sommeil pendant des exercices durant trois semaines. De plus les terrains de manœuvre sont maintenant très souvent instrumentés. Ainsi grâce à des capteurs installés sur le terrain on détermine l’efficacité d’un tir fictif et sur une zone sensée être détruite, les combattants reçoivent un ordre de neutralisation. Enfin, parfois il y a un mélange de réalité et d’informations virtuelles. Par exemple, les radars donnent des informations virtuelles d’attaque aérienne. Ce type d’action est appelé «entraînement embarqué», car il a commencé au cours des manœuvres maritimes mais il est maintenant généralisé à l’armée de terre et à l’aviation.

13.2.2 LES PISTES SPÉCIALES

Chronologiquement, et essentiellement pour les systèmes terrestres, viennent ensuite les pistes spéciales où les hommes et les matériels sont réels mais où le terrain est une reproduction calibrée de diverses sollicitations naturelles, (piste nids de poules comme le montre la figure 13.1, sinusoïdes, pavés belges, parcours d’évaluation du système combattant). Elles sont essentiellement destinées à l’étude et aux essais des matériels

274

Le traité de la réalité virtuelle

en phase de développement.

Figure 13.1 : Piste sinus à l’Etablissement Technique d’Angers.

13.2.3 LES PLATES-FORMES

Dans la continuité des pistes nous trouvons les plates-formes d’essais ou d’entraînement. Dans le cas d’essais ou de mises au point, les sollicitations du terrain transmises à un véhicule sont simulées physiquement et stimulent par exemple une pièce d’un véhicule comme la suspension (figure 13.2). D’autres plates-formes reproduisent des environnements physiques (soufflerie, caissons climatiques, caissons d’altitude ou de plongée, centrifugeuses).

Figure 13.2 : Plate-forme de suspension à l’Etablissement Technique d’Angers. Les plates-formes de mouvement sont la base de nombreux simulateurs d’entraînement du personnel. La plate-forme transmet dans un poste de travail identique à un réel les sollicitations liées aux interactions de la conduite avec l’environnement physique. Les

Applications des techniques de réalité virtuelle en milieu militaire

275

premiers simulateurs d’entraînement avaient une visualisation du terrain peu élaborée mais des réactions mécaniques assez représentatives. Il s’agissait de simulateurs d’aéronefs et le plus souvent pour entraîner les équipages au vol instrumental et donc sans visibilité extérieure. Très tôt, vers les années 70, des simulations informatiques de l’environnement visuel ont été réalisées. Il s’agissait de simuler l’éclairage de nuit d’une piste pour entraîner les pilotes à l’atterrissage. Il faut cependant attendre la fin des années 80 pour voir les premières réalisations de simulations visuelles informatisées en 3D. En même temps se développent les premières simulations embarquées au cours de vols réels en tête haute pour superposer au paysage réel vu à travers le pare-brise une piste synthétique ou la projection du vecteur vitesse. Dans ces applications existent les prémices de ce qui va s’appeler la réalité virtuelle. Cependant le milieu aéronautique, tout au moins en France, s’il continue actuellement à développer des environnements visuels et auditifs synthétiques en 3D de plus en plus représentatifs du réel, ne s’est pas investi pendant quelques années dans les manifestations scientifiques où le thème affiche clairement réalité virtuelle. Cela est en train de changer et les techniques de réalité virtuelle font désormais partie intégrante de nombreuses applications intéressant l’ensemble du monde militaire. La figure 13.3 montre un exemple de simulateur d’entraînement.

Figure 13.3 : Simulateur de F111 (Photo [Wallace e.a., 1998]) Sur cette figure, on remarque la présence d’informations projetées sur le pare-brise. Ce type de présentation correspond à de la réalité augmentée.

13.2.4 LES SIMULATIONS INFORMATIQUES

Dans ce cas tout est basé sur le calcul et éventuellement sur une représentation graphique. Dans le cadre militaire ce type de simulation existe aussi bien pour définir un matériel que pour pratiquer des essais (d’une pièce ou d’un matériel complet) ou pour simuler une action soit individuelle (poste de travail), soit collective (jeux de guerre). A titre d’exemple l’outil informatique MicroSaint permet de simuler l’activité d’un opérateur, d’un équipage ou d’une unité élémentaire de combat. Cet outil a été utilisé pour optimiser la répartition des tâches entre les membres d’un équipage et les automatismes à bord de chars et d’hélicoptères. Il a été possible d’analyser la décomposition des tâches effectuées par un équipage de gazelle hot au cours du passage d’une

276

Le traité de la réalité virtuelle

phase d’observation à une phase de vol tactique avec prévision d’un engagement. Les différentes actions possible pouvant se dérouler ont été représentées et la simulation a consisté à jouer cette séquence plusieurs fois en faisant des tirages de type Monte Carlo. Les résultats, comparés à ceux obtenus en réalité, ont une probabilité supérieure à .80. Ces simulations informatiques sont de plus en plus nombreuses depuis une décennie. En particulier dans le cadre des essais où elles permettent de diminuer les coûts mais aussi d’élargir le champ des essais à des situations dangereuses ou lointaines. Dans ce type de simulation, le terrain, l’environnement climatique, le matériel, son fonctionnement et les interactions véhicule, équipage, environnement sont simulés. La représentation visuelle sur écran ou dans un casque de réalité virtuelle n’a pour objectif, le plus souvent, que de faciliter la compréhension de ces simulations par les utilisateurs. En revanche, l’image fabriquée en 3D dans le cadre de la conception assistée par ordinateur (CAO) présente un intérêt certain. Elle remplace avantageusement les maquettes physiques. C’est ainsi qu’il est possible de définir les futurs habitacles en calculant les espaces minimaux d’activités, les zones d’accessibilité des commandes, la position des écrans de visualisation. Ces techniques ont été mises en œuvre au cours de la conception du porte-avions Charles de Gaulle ou, comme le montre la figure 13.4, pour définir un véhicule.

Figure 13.4 : Aménagement de véhicule en 3D. Cet exemple met en évidence l’intérêt de mixer la CAO du véhicule et des acteurs humanoïdes représentatifs statistiquement des populations concernées par la mise en œuvre de ces systèmes. Une étape tentée à l’ETAS consistait à permettre à un opérateur de prendre la place d’un des opérateurs représentés et de regarder ses possibilités d’interactions avec le système (figure 13.5).

13.3 AIDE À LA CONCEPTION La conception d’un nouvel objet comporte souvent l’essai avant la réalisation physique de l’objet. Le maquettage informatique permet un gain de temps et d’argent par rapport aux maquettes classiques, même si ces dernières présentent encore un intérêt. Ces

Applications des techniques de réalité virtuelle en milieu militaire

277

Figure 13.5 : Interactions en immersion. maquettes, parfois à l’échelle 1, demandaient plusieurs mois de travail et coûtaient très cher. Une maquette en bois d’un véhicule blindé dans les années 90 avait par exemple un coût de l’ordre du million de franc, et il était souvent nécessaire d’en faire plusieurs. Avec un maquettage informatique, toutes les modifications sont possible à coût réduit et de plus, il est possible de faire des simulations de fonctionnement dynamique. Il est ainsi largement fait appel à des représentations en 3D où les futurs utilisateurs sont mis en situation sous forme de mannequins anthropométriques en mouvement. Cette technique a été utilisée pour modifier l’architecture du poste de commandement de la piste d’envol du porte-avions Charles de Gaulle. La mise en situation de mannequins représentant les officiers de quart a mis en évidence que l’architecture première ne permettait pas de voir la sortie des avions par les ascenseurs. Une modification a donc été proposée et appliquée. L’exemple suivant exploite l’immersion d’un utilisateur. Il s’agit de la conception d’un poste de travail à bord d’un navire de la marine hollandaise où un opérateur peut rentrer dans le poste. Cependant, si un seul opérateur est réellement acteur, les équipes de développement du système peuvent aussi être partie prenante de l’expérience. En utilisant les moyens modernes de communication, il est possible de faire des modifications en communiquant entre différents sites. Les industriels de l’armement commencent à utiliser ce type d’outil et la DCN (Direction des Constructions Navales) fait de l’ingénierie collaborative en utilisant un système immersif de type Reality CenterTM pour ses futurs bâtiments. 13.4

AIDE À LA RÉALISATION D’ÉVALUATION ET D’ESSAIS

Dans la continuité de ce qui vient d’être écrit, il est possible d’évaluer ou d’essayer de manière opérationnelle avec un opérateur, un véhicule qui n’existe qu’au niveau des plans. Il est aussi possible d’évaluer un matériel déjà fabriqué mais dans des conditions difficilement reproductibles ou présentant une dangerosité certaine.

278

Le traité de la réalité virtuelle

Outre la possibilité de se mettre aux commandes du véhicule simulé déjà évoquée, il peut aussi être intéressant de cerner les essais qui seront les plus représentatifs pour répondre à une question particulière. Il est alors possible pour les essayeurs de s’immerger dans l’environnement de l’essai en vue de mettre en place les moyens d’enregistrement aux endroits les plus pertinents ou de voir quelles situations pourraient présenter des risques. Pour cela, l’ensemble de l’environnement réel a été numérisé et l’ensemble des pistes de L’ETAS existe sous forme informatique, y compris celles qui sont encore en cours de réalisation et qui seront réactualisées à partir des ouvrages réels par la suite. Il y a ainsi un gain important tant au niveau des prix de revient que du temps, puisque seuls les essais les plus pertinents seront réalisés. Le Centre Technique des Systèmes Navals (CTSN) de Toulon a développé un simulateur permettant d’étudier le comportement d’un hélicoptère sur le pont d’un navire soumis à la houle. Les différentes composantes à étudier y sont fidèlement représentées : données géométriques du bâtiment et de l’hélicoptère, déformations de la mer dues à la houle (figure 13.6). Mais surtout, les données physiques ont pu être représentées graphiquement et l’utilisation des techniques de «navigation» (walkthrough) permettait de choisir les angles sous lesquels les phénomènes pouvaient être observés.

Figure 13.6 : Bâtiment et hélicoptère virtuels (CTSN in [Hue, 2000]).

13.5 AIDE À LA FORMATION ET À L’ENTRAÎNEMENT L’utilisation de la réalité virtuelle dans ce domaine est la suite logique de celle déjà très répandue des simulateurs d’entraînement. Les avantages de ces techniques sont nombreux : •

possibilité de disposer de nombreux environnements différents,

•

possibilité d’utiliser les mêmes moyens informatiques quel que soit le système,

•

possibilité quasi infinie de faire varier les situations.

Cependant il faudra voir en terme de coût/efficacité ce qu’il faut conserver des techniques «classiques» des simulateurs et ce qui peut être remplacé par les techniques de réalité virtuelle. La tendance actuelle semble être de prendre des techniques dans les deux mondes et de les utiliser conjointement : par exemple utiliser une plate-forme mobile à six degrés de liberté issue du monde de la simulation d’entraînement et lui faire supporter un opérateur qui regardera son environnement dans un casque de réalité virtuelle, ou de garder un habitacle réel et de montrer à l’opérateur un environnement 3D présenté en stéréoscopie au moyen de lunettes actives.

Applications des techniques de réalité virtuelle en milieu militaire

279

Ces dernières années de nombreuses applications ont été réalisées dans les pays de l’OTAN. Les deux auteurs (dont l’un était le président) ont participé à un groupe de travail sur les applications militaires de la réalité virtuel de 1996 à 2000. Les applications présentées font largement appel aux documents élaborés par ce groupe de travail. Elles concernent l’armée de terre, la marine, les organismes interarmes de commandement et le service de santé. La participation des pays est résumée dans le tableau 13.1 : Allemagne oui

Terre Air Mer EM Santé

Canada oui oui oui oui

Danemark oui oui oui

EtatsUnis oui oui oui oui oui

France oui oui oui

Norvège

PaysBas oui

oui

Royaume-Uni oui oui

oui

Tableau 13.1: Participation des pays 13.5.1 L’ARMÉE DE TERRE

13.5.1.1

Les troupes à pieds avec armes légères

Pour l’armée de terre un simulateur de combat du fantassin a été projeté aux Etats-Unis (figure 13.7).

Figure 13.7 : Simulateur de combat d’infanterie américain (SARCOS). L’utilisation de tapis roulants omnidirectionnels, couplé à des systèmes de projection de type CAVETM permettent des entraînements au combat urbain en réseau (figure 13.8). Les Marines quant à eux ont développé un simulateur d’entraînement au combat de rue à partir de jeux interactifs avec projection des scènes sur écran et visualisation avec des lunettes comme dans le système CAVETM . Dans cet apport des jeux pour les applications militaires un institut de recherche est en place depuis août 1999 en Californie

280

Le traité de la réalité virtuelle

Figure 13.8 : Simulateur militaire de terrain (STRICOM).

pour généraliser la coopération entre les universités, les laboratoires militaires, l’industrie d’armement et celle des divertissements afin de développer les techniques avancées en créant par exemple des environnements virtuels toujours plus représentatifs du réel et fonctionnant en temps réel. De même, au Canada le DECIEM étudie la marche et a des projets d’application pour le fantassin débarqué concernant l’entraînement des armes de mêlée, des missions de répétition et de déplacement dans des environnements toxiques (figure 13.9).

Figure 13.9 : Simulateur de combat d’infanterie et projets canadiens pour le fantassin débarqué.

13.5.1.2

Les tireurs de lance missiles

L’Allemagne a réalisé plusieurs applications, la première est un simulateur de tir Stinger prenant en compte le chef et le tireur en interaction. Ce simulateur est aujourd’hui en service dans les unités (figure 13.10). L’institut ISTIA de l’Université d’Angers développe un simulateur de lance roquettes qui possède la particularité de diffuser l’odeur de poudre et les odeurs d’environnement.

Applications des techniques de réalité virtuelle en milieu militaire

281

Figure 13.10 : Simulateur d’entraînement Stinger ([Reichert, 2000]). 13.5.1.3

Les parachutistes

L’ETAS en liaison avec le laboratoire de robotique de Versailles a réalisé un simulateur de descente sous voilure (figure 13.11). La mise au point d’un tel simulateur a demandé d’effectuer des analyse du comportement des parachutes avec le CAP (Centre Aéroporté de Toulouse) car dans la littérature il n’existait aucune donnée sur la dynamique de vol des parachutes.

Figure 13.11 : Simulateur de descente sous voilure.

13.5.1.4

Les sapeurs démineurs

Un simulateur de déminage a été réalisée à L’Etablissement Technique d’Angers (figure 13.12). Un objectif de ce démonstrateur était de permettre l’apprentissage du geste du démineur en bénéficiant des apports potentiels de la réalité virtuelle : «transparence»

282

Le traité de la réalité virtuelle

du sol, mise en œuvre des techniques de reconnaissance indiquées par les sapeurs euxmêmes, répétabilité des exercices. Le visuel n’était pas, dans ce cas, l’élément majeur. Le bruit émis lors du contact entre la pointe et l’obstacle enfoui avait été perçu comme un élément important. Le retour de forces a aussi permis de représenter les différentes phases de la recherche de mines : la pénétration dans le sol, les changements de nature du sol et la «rencontre» avec l’obstacle.

Figure 13.12 : Simulateur de déminage.

13.5.1.5

Les cavaliers et les fantassins embarqués

Les simulateurs de char utilisent des environnements visuels virtuels permettant de simuler les différents théâtres d’opération potentiels (zone désertique, zone urbaine, campagne). Ils sont constitués par de vrais habitacles montés sur des plates-formes dynamiques. Il permettent l’entraînement de plusieurs équipages simultanément. Ceux des américains diffusent les odeurs. Au Royaume-Uni la DERA développe des simulateurs de conduite de véhicules blindés ainsi que des simulateurs permettant à un chef de groupe de mener le combat une fois débarqué.

13.5.2 LA MARINE

13.5.2.1

La passerelle

L’ Ecole Navale de Brest est dotée de quatre simulateurs de passerelle (figure 13.13) qui permettent de simuler les différents bâtiments de la marine et d’effectuer des exercices a plusieurs (porte-avion, frégates) en interaction.

13.5.2.2

Le transbordement

De même, la marine développe des simulateurs en réalité virtuelle pour entraîner les officiers à faire les manœuvres de transbordement entre un navire ravitailleur et un navire de combat.

Applications des techniques de réalité virtuelle en milieu militaire

283

Figure 13.13 : Simulateur de passerelle de l’Ecole Navale 13.5.2.3

L’appontage

Pour répondre à un besoin des équipages d’hélicoptères Sea King des Forces Navales, une équipe canadienne a développé un simulateur bas-coût (figure 13.14), basé sur les techniques de réalité virtuelle immersives en vue d’entraîner les pilotes et les équipages de ce type d’hélicoptères à apponter sur le pont de frégates, un entraînement traditionnellement acquis en mer, avec les risques que cela comporte.

Figure 13.14 : Apprentissage de l’apppontage d’hélicoptère (Defence R&D Canada).

13.5.2.4

Les sous-marins

Des simulateurs «classiques» et très représentatifs sont utilisés pour apprendre à gérer et piloter un sous-marin en exercice. Il n’existait cependant rien pour apprendre à les piloter en kiosque pour l’arrivée dans les ports. Rien jusqu’au développement, aux Etats-Unis, de VESUB (Virtual Environment for SUBmarine ship handling and piloting training) (voir figure 13.15). Basé sur du matériel et des logiciels du commerce, et adaptés aux besoins, le simulateur offre aux apprentis-pilotes une vision à 360◦ sur une représentation 3D d’un port intégrant tous les éléments remarquables permettant au pilote de se repérer. VESUB offre aussi un rendu sonore de l’environnement, depuis le bruit du vent et des vagues jusqu’aux sons liés à l’activité du port. Il est possible de basculer en vue «jumelle», facilité permise par l’utilisation d’un casque stéréoscopique. L’apprenti peut émettre des ordres vocaux compris par un système de reconnaissance vocale et auxquels le simulateur peut répondre juste comme un opérateur humain le ferait, à l’aide d’un autre système, de synthèse vocale, celui-là.

284

Le traité de la réalité virtuelle

Figure 13.15 : Simulateur de pilotage d’un sous-marin. 13.5.2.5

La maintenance

Un simulateur, permettant de vérifier les installations autorise le déplacement à l’intérieur des coursives d’un bateau, a été développé aux Pays-Bas. Celui-ci allie une plate-forme mobile à 6 degrés de liberté, un tapis roulant et un environnement visuel virtuel. Il permet de prendre des virages à 85◦ . Aux Etats-Unis des simulateurs de réparations ont été développés. Ils permettent à des mécaniciens aidés par des avatars de détecter les pannes et de mettre en place les procédures de réparations. 13.5.3 L’ARMÉE DE L’AIR

L’armée de l’Air exploite depuis des années les simulateurs de vol, bien avant le développement des techniques spécifiques de réalité virtuelle. En exemple, depuis 1996, l’armée de l’Air exploite le simulateur d’entraînement du Mirage 2000. 13.5.4 LE COMMANDEMENT

L’établissement Danois pour la Recherche de Défense (Danish Defence Research Establishment) travaille depuis 1998 sur un simulateur d’entraînement pour chefs de groupe. Ce simulateur rassemble un système d’information géographique et un système de réalité virtuelle. Il devrait également être muni d’une interface de restitution vocale. Le premier prototype correspond à l’entraînement pour l’attaque d’une unité mécanisée. La figure 13.16 montre l’écran vu par l’opérateur : la carte 2D montre la zone d’exercice, la position du soldat et celle du véhicule. La fenêtre 3D montre ce que voit l’opérateur de son environnement. Ce dernier peut choisir de rester immobile, de marcher ou de courir. Ces mouvements peuvent se faire en position verticale, accroupi ou en rampant. Sa position est constamment rafraîchie dans la vue cartographique et une petite fenêtre indique le temps écoulé depuis le début de la simulation. 13.5.5 LE SERVICE DE SANTÉ

L’application concerne la formation des médecins de l’avant aux gestes élémentaires de réanimation. Cette activité doit être réalisée dans un véhicule de l’avant blindé en tenue de combat. Le simulateur développé comprend une imagerie virtuelle du cou d’un patient et une seringue que le médecin peut utiliser pour effectuer une perfusion

Applications des techniques de réalité virtuelle en milieu militaire

285

Figure 13.16 : Simulateur de commandement ([Rasmussen, 1999]).

d’une veine profonde. Le dispositif permet de visualiser la profondeur de l’anatomie et grâce à des couleurs d’apprendre la trajectoire à suivre. Les images anatomiques du cou du patient virtuel, qui sont présentées à l’élève, correspondent aux représentations mentales que le médecin se fait de cette région avec un renforcement par des couleurs pour faire ressortir les éléments anatomiques à prendre en considération pour effectuer les gestes de réanimation. De même le renforcement est prévu au niveau du retour de sensation manuel (l’aiguille virtuelle renseigne sur sa position dans la lumière d’un vaisseau). La phase finale de l’apprentissage se fait dans le GEPAT (générateur d’environnement agressif pour le travail) où l’élève est dans des conditions simulant celle d’un véhicule (confinement, chaleur, bruit et mouvements). Dans la continuité de cette approche une étude porte actuellement sur la simulation de sondage à travers des couches hétérogènes qu’il s’agisse du médecin ponctionnant une veine à travers les couches anatomiques ou du démineur recherchant une mine à travers des couches géologiques. Le Canada développe un simulateur de radiothérapie.

13.6

AIDE À LA PRÉPARATION DE MISSIONS

On peut tout d’abord rappeler que pour certaines missions durant la deuxième guerre mondiale des sites ont été reconstitués en dur, maquettes des environnements qu’il était envisagé d’attaquer. Plus récemment le GIGN, lors d’une prise d’un Airbus par des pirates de l’air à Marseille, a répété le scénario de l’assaut sur un autre Airbus aménagé comme celui qui avait été détourné. Si la constitution de maquettes 3D est envisageable, il faut envisager de les peupler d’avatars expressifs et réactifs. Les Etats-Unis ont utilisé des logiciels du commerce pour la mise en place de scénarios de tenue de check-point (figure 13.17) avec des avatars "intelligents" pour préparer les équipes qui tiendront ce point. Ils envisagent aussi d’utiliser ce type de personnages pour améliorer les systèmes d’entraînement des cosmonautes déjà mis en œuvre au cours de la réparation d’un télescope.

286

Le traité de la réalité virtuelle

Figure 13.17 : Préparation des officiers à des situations délicates (Institute for Creative Technologies).

En France au niveau militaire un dispositif de réalité virtuelle a été développé pour préparer les missions spéciales comme l’évacuation par exemple d’une ambassade. Il s’agit de l’outil utilisé par le 1◦ RPIMA sous le nom de PONAMTS c’est à dire Produit Opérationnel Nomade Adaptable et Modulable pour tout Type de Situation. Il est destiné à remplacer les anciens bacs à sables. L’environnement 3D de l’opération est recréé à partir de cartes, de plan de ville, de photographies, et de documents issus du renseignement. Il est alors possible de jouer les différentes stratégies d’action envisagées et de les comparer entre elles avant de partir pour réaliser l’opération proprement dite. Lors de ces actions, l’utilisation des modes de «navigation» dans la maquette 3D ainsi reconstituée et «animée», sur écran ou en réalité virtuelle immersive, permet de mieux appréhender le contexte de l’action en se plaçant à n’importe quel endroit ou de se mettre à la place de n’importe quel acteur. En Grande Bretagne un dispositif permet aux sapeurs de répéter une mission de déminage à l’aide d’un robot démineur. Le dispositif permet d’apprendre à conduire ce robot comme si le sapeur était sur le robot (ce que l’on peut appeler «vision d’escargot»), par exemple pour se déplacer dans une maison, ou en pilotage à distance (téléopération) comme lorsque l’on regarde un modèle réduit (ce que l’on peut appeler «vision œil de Dieu»).

13.7 AIDE À LA RÉALISATION D’UNE MISSION RÉELLE Après avoir préparé la mission virtuellement, pourquoi ne pas envisager d’utiliser les données rassemblées pour faciliter la réalisation de la mission dans l’environnement réel ? Ainsi, l’ ETAS a développé un dispositif de conduite en réalité augmentée, en temps réel et en étant à bord du véhicule. Basé sur l’utilisation d’une représentation du terrain en 3D et d’un GPS précis à moins de 10 cm, il a été possible de superposer le paysage réel vu au moyen de caméras et des informations supplémentaires comme un balisage ou la mise en évidence de zones dangereuses (figure 13.18).

Applications des techniques de réalité virtuelle en milieu militaire

287

Figure 13.18 : Conduite de véhicule avec réalité augmentée. Aux Etats-Unis sont en cours de développement des systèmes de réalité virtuelle pour faire de la prise de décision. Il faut pour cela que ces systèmes puissent fusionner un grand nombre de données et les représenter de manière explicite. Pour la simulation, de tels outils existent déjà : figure 13.19.

c Figure 13.19 : Présentation d’informations opérationnelles en simulation ( Mäk Technologies). Les Pays-Bas développent, sur la base des techniques de réalité augmentée, un système de télépilotage de drones. L’Institut de recherche en communication, traitement de l’information et ergonomie (Research Institute for Communication, Information Processing, and Ergonomics [FKIE]) en Allemagne mène des recherches pour améliorer la gestion des informations opérationnelles. Dans le projet ELSA (ELectronic SAndtable), un démonstrateur utilisant la réalité virtuelle a été réalisé pour permettre la visualisation en 3D et l’interaction avec des données géographiques et tactiques (figure 13.20). Le LRV et l’Ecole Navale ont envisagé d’utiliser un système du même type pour présenter des cartes marines en 3D avec variation du niveau de l’eau en fonction de l’heure de la marée. La coloration de l’eau est fonction du tirant d’eau du bateau. Il serait possible de colorer l’eau à un endroit donné en fonction du niveau de l’eau au moment où le bateau y sera en prenant en compte sa vitesse et son cap. Il s’agirait dès lors de disposer de cartes véritablement spatiotemporelles.

288

Le traité de la réalité virtuelle

Figure 13.20 : Représentation des situations tactiques avec ELSA ([Alexander, 2000]). Enfin, plusieurs projets existent pour utiliser le son 3D comme aide au pilotage des avions, par exemple chaque direction de provenance d’un son indique l’origine du locuteur (tour de contrôle, autre avion ami, équipage). 13.8 REJEU APRÈS ACTION (DÉBRIEFING) EADS-M, en Allemagne, utilise la réalité virtuelle comme outil de debriefing. Cet outil, appelé VRD (Virtual reality Debriefer) (figure 13.21), sert à plusieurs choses : • l’investigation, • l’entraînement. Les utilisateurs du système peuvent se mettre à la place de n’importe quel membre d’équipage d’avions mis en cause dans un accident aérien et rechercher les éléments pouvant expliquer ce qui est arrivé. Les outils utilisés permettent, à moindre coût par rapport à un dôme, d’avoir un champ de vision à 360◦ . En couplant cet outil à un modèle de vol et des interfaces de pilotage, le même environnement peut devenir un simulateur d’études ergonomiques pour les cockpits d’avion.

c Figure 13.21 : Virtual Reality Debriefer ( EADS-M).

Applications des techniques de réalité virtuelle en milieu militaire

13.9

289

CONCLUSION

En conclusion, il apparaît que les techniques de réalité virtuelle sont en plein développement et qu’il y a un grand potentiel dans le domaine des applications militaires. Il reste cependant nécessaire de progresser au niveau des interfaces afin que celles-ci ne soient pas sources de restriction du champ d’application. Il semble encore aujourd’hui difficile de rester plus de vingt minutes avec un casque. La nécessité du repérage spatial limite aussi les possibilité de mobilité des sujets immergés. Et même si de nouvelles interfaces (la cyber-carpet, par exemple) permettent de représenter la marche, nous sommes encore loin de pouvoir permettre à nos fantassins de marcher, courir ou ramper, tout cela dans un seul et même exercice. Enfin il n’est pas encore possible de simuler correctement tout l’environnement et ses interactions avec l’opérateur immergé. Quoi qu’il en soit, ces techniques peuvent aider les opérationnels tant pour la conception de leurs futurs systèmes, en permettant de les impliquer au plus tôt dans les choix à réaliser, que pour leur formation à l’utilisation de ces mêmes systèmes. Et au cours de la réalisation de leurs missions, les concepts liés à la réalité augmentée peuvent leur être d’un grand secours. 13.10

RÉFÉRENCES BIBLIOGRAPHIQUES

[Alexander, 2000]

T. Alexander (Avril 2000). Report on virtual reality in germany. Technical report. [graphotec Studio Palomba, 1997] graphotec Studio Palomba. Simulateur de mirage 2000d. Interactions Sogitec, (15) (juin 1997). [Hue, 2000] P. Hue (novembre 2000). Report on virtual reality in france. Technical report. [Rasmussen, 1999] L. Rasmussen (décembre 1999). Report on virtual reality in danemark. Technical report. [Reichert, 2000] M. Reichert (avril 2000). Training system stinger simulator. Technical report. [Taylor, 1997] B. Taylor (décembre 1997). Application of virtual environment (ve) technology for explosive ordnance disposal (eod) training. Technical report. [Wallace e.a., 1998] P. Wallace and G. Northam. A training task analysis. MS&T, (4/1) (1998).

290

Le traité de la réalité virtuelle