Glossaire

haptique : relatif au sens du toucher

à retour d'effort : qui simule mécaniquement la réaction d'un objet à une force qu'on lui applique

gant de données : système qui permet de repérer la position de la main et de suivre les gestes qu'elle effectue

réalité virtuelle : système informatisé plongeant l'utilisateur dans un environnement artificiel au moyen d'interfaces (écrans, haut-parleurs, dispositif à retour d'effort, gant de données...) qui sollicitent ses sens et avec lesquelles il peut agir sur cet environnement

Rééducation dans une cuisine virtuelle

Paul Richard, Maître de conférences à l'Istia et chercheur au Lisa, Université d'Angers. www.istia.univ-angers.fr/LISA
©Paul Richard

Le projet Evacog participe à une réflexion de fond sur l'application des techniques de réalité virtuelle dans l'évaluation et dans la rééducation des troubles cognitifs ou comportementaux de sujets atteints de lésions cérébrales. Il fait l'objet d'une collaboration entre le Laboratoire d'ingénierie des systèmes automatisés (Lisa) de l'Université d'Angers et l'Unité de neuropsychologie du CHU d'Angers. Des scénarios, pour la plupart très réalistes, impliquant la planification de l'action, la résolution de problèmes, la mémorisation d'informations et la réalisation de tâches routinières, ont été implémentés et testés sur la plate-forme de réalité virtuelle basée à l'Institut des sciences et techniques de l'ingénieur (Istia) à Angers. Ils visent à améliorer l'évaluation des patients et leur acquisition d'autonomie dans des activités de la vie quotidienne, comme faire la cuisine ou les courses. Deux environnements virtuels multisensoriels (images 3D, sons et odeurs) permettent à un patient de s'immerger dans une cuisine virtuelle, dans laquelle il peut, par exemple, faire du café ou chercher un ingrédient dans le réfrigérateur, ou encore se déplacer en marchant dans un magasin et y acheter des produits inscrits sur une liste. La mise au point de ces environnements a nécessité le développement d'une interface de locomotion : le Walking Pad. Installé sous les pieds de l'utilisateur, celui-ci détecte l'orientation des pieds et la fréquence de piétinement qui indiquent au logiciel, en temps réel, la direction et la vitesse de déplacement du patient

Fraiser sans compter

Jean-Louis Dautin, directeur du CLARTE (Centre lavallois de ressources technologiques) et directeur délégué du pôle de recherche RV de l'école supérieure d’Informatique électronique Automatique (Esiea)

Les systèmes de réalité virtuelle sont appelés à révolutionner de nombreuses formations professionnelles, en particulier quand il est trop risqué ou trop coûteux de mettre d'emblée un apprenant en situation réelle. L'évolution technologique et les exigences de productivité dans le domaine de l'usinage ont fait disparaître les outils " manuels " au profit de machines à commandes numériques. En conséquence, les opérateurs ne sont presque plus en contact direct avec les matériaux qu'ils formatent. Or il leur est indispensable de comprendre les contraintes mécaniques exercées par les machines afin de les régler convenablement, selon les tâches à effectuer. Le centre CLARTE a récemment travaillé avec l'Esiea et l'Afpa sur la formation au métier de fraiseur, en développant le Virtual Technical Trainer (VTT). Ce dispositif donne à un apprenant une perception physique des forces mises en jeu dans le fraisage. Un logiciel permet de visualiser un poste de travail virtuel incluant une maquette de fraiseuse. Il est couplé à un bras à retour d'effort qui simule les mouvements du mandrin de la fraiseuse en restituant les résistances mécaniques que celleci rencontre sur la pièce de métal lorsqu'elle la sculpte. Le logiciel propose différents scénarios d'apprentissage, où tous les paramètres (température du métal, profondeur et vitesse de déplacement de la fraiseuse...) sont calculés et affichés, ainsi que des scénarios d'entraînement ou d'évaluation dans lesquels certains de ces paramètres n'apparaissent plus. Le VTT, actuellement en cours d'expérimentation, permet d'apprendre à piloter des machines en limitant la casse d'outils. Un système comparable pour former au soudage est déjà utilisé depuis deux ans par l'Afpa, notamment au Mans et à Saint-Nazaire. Il permet d'économiser sensiblement des matériaux très coûteux. De telles formations requièrent une nouvelle organisation et l'adhésion des instructeurs qui n'ont pas eux-mêmes été formés ainsi. Elles ont cependant comme avantages supplémentaires de pouvoir réitérer les gestes jusqu'à les maîtriser, de varier à loisir les situations et, grâce à l'intégration de nouvelles technologies, de raviver l'intérêt pour des métiers dits manuels dont les besoins en experts demeurent importants.

Apprenant sur un VTT de fraisage ©CLARTE

Le cargo et la souris

Laurent Galy et Bertrand de la Bourdonnaye, professeurs à l'école nationale de la marine marchande de Nantes

Les formations maritimes par la simulation, de plus en plus utilisées, apportent de nombreux avantages. Dans l'apprentissage de la conduite de navires, elles permettent de choisir les conditions extérieures (vent, courant, marée, visibilité, densité de circulation…), de s'arrêter sur une situation pour donner à l'élève le temps d'une réflexion approfondie, de répéter un scénario jusqu'à ce que l'élève le maîtrise parfaitement. S'il fait une erreur, il peut en découvrir ainsi toutes les conséquences. La simulation permet aussi de placer l'élève dans une situation adaptée à son niveau. L'instructeur peut rapidement alléger ou augmenter les difficultés. Des outils de débriefing, incluant l'enregistrement des éléments de navigation et la possibilité de rejouer un scénario, l'aident à faire prendre conscience à l'élève de ses acquis et de ses lacunes. Il reste que la compétence reconnue ne s'acquiert finalement qu'à bord de véritables navires : réussir à coup sûr un exercice de simulation est une chose ; appréhender l'environnement social maritime, bien réagir à la fatigue et à la pression psychologique d'une situation réelle en sont d'autres. L'école nationale de la marine marchande de Nantes n'utilise pas seulement les nouveaux outils de formation, elle participe aussi à leur conception dans l'optique d'améliorer la sécurité de la navigation. Avec cinq autres établissements européens de formation et de diffusion de connaissances (2), elle contribue par exemple au projet Martins (pour Maritime Training in Safety). Ce projet, soutenu notamment par la Communauté européenne (programme Interreg IIIB) et par la Région des Pays de la Loire, a pour objectif la réalisation d'un DVD d'auto-apprentissage des règles de barre, le " code de la route de la mer ", dont la méconnaissance est à l'origine de la plupart des collisions maritimes. Il s'agit de rendre ces règles facilement compréhensibles pour tout navigateur, quel qu'il soit, grâce à des animations en 3D, ou d'en maîtriser les moindres détails par un niveau d'utilisation " expert ". Ce DVD, en cours de réalisation, inclut un outil d'évaluation des connaissances. Il sera gratuit et accessible sur Internet.

(2) De Ruyter Maritime Institute (Pays-Bas), National Maritime College of Ireland (Irlande), South Tyneside College (Royaume-Uni), VDAB (Belgique), Centre Nausicaa (Boulogne, France)


Outre des simulateurs de communications maritimes, de chargement de navires-citernes ou de gestion de salle des machines, l'école nationale de la marine marchande de Nantes dispose d'un simulateur avec une passerelle ceinte d'écrans et de tous les instruments de bord d'un navire de gros tonnage. Pendant leur cursus, les élèves y passent au moins 5 semaines en équipe. Ce simulateur est dit full-mission car il permet de prendre en compte la quasi-totalité des paramètres d'une navigation réelle.

Simulateur de conduite de navires ©ENMMN / Laurent Galy

DOSSIER
Des machines à apprendre

Apprendre avec la réalité virtuelle

Mimer la réalité

Comme les jeux vidéo, les simulateurs se développent avec la puissance croissante des ordinateurs mais le réalisme de leurs effets ne coïncide pas nécessairement avec les objectifs de la simulation.
Guillaume Moreau, Maître de conférences à l'école centrale de Nantes et chercheur au Cerma, Centre de recherche méthodologique d'architecture de Nantes
Simulateur de vol de la Nasa photo Nasa

L'impulsion de l'aéronautique

La difficulté et les risques inhérents au pilotage d'un avion ont tôt suscité le recours à des simulateurs de vol. Dès 1910, le " tonneau Antoinette " permet aux apprentis-pilotes de se familiariser avec le roulis, le lacet et le tangage. En 1946, aux états-Unis, le Massachusetts Institute of Technology conçoit le projet Whirlwind de premier calculateur simulant le comportement d'un avion militaire. C'est alors le début d'une course au réalisme : les modèles de vol intègrent des paramètres toujours plus nombreux, tels que les conditions atmosphériques ou la forme de l'avion ; la restitution au pilote d'informations sensorielles progresse avec la synthèse d'images 3D en temps réel, les plates-formes mobiles, la spatialisation des sons etc. ; d'autres aéronefs (ennemis) sont introduits dans les scénarios de simulation.

L'influence des jeux

Le succès des jeux vidéo contribue largement à l'essor des simulateurs dans de nombreux domaines, en provoquant une course à la puissance des ordinateurs et des cartes graphiques et en exploitant de nouvelles techniques d'animation ou d'intelligence artificielle. Les images de synthèse animées et les effets spéciaux renforcent chez le joueur l'impression de présence, par la perception et par l'action, dans l'environnement artificiel. L'animation par ordinateur se focalise ainsi essentiellement sur la perception de certains effets. Par ailleurs, l'aspect ludique et sensationnel que présentent certains simulateurs peut constituer une source de motivation pour les apprenants. Or, il importe de ne pas confondre les objectifs de l'animation (les effets) et ceux de la simulation (l'étude des causes des phénomènes et leur prédiction, qui est essentielle aux simulateurs pour l'apprentissage ou pour l'entraînement) et de se poser la question de la pertinence ou de la validité de la formation par la réalité virtuelle. Par exemple, si la quasi-totalité de la formation d'un spationaute se fait, pour des raisons évidentes, sur simulateur, pourquoi celle d'un conducteur automobile se fait-elle sur route ? Parce que l'espace dans lequel il évolue est peuplé d'humains aux réactions peu prévisibles et très difficiles à restituer dans les simulations. Cette restitution fait néanmoins l'objet de recherches très actives aujourd'hui.

Un réalisme encore balbutiant

Les développements des systèmes de réalité virtuelle ont beaucoup porté sur la perception visuelle. Les sons demeurent peu ou mal pris en compte ; le recours aux odeurs fait l'objet de toutes premières recherches et les techniques haptiques ou à retour d'effort restent très limitées : les systèmes actuels restituent généralement une force en un seul point du corps avec une puissance faible comparée à celle des muscles humains. Pour simuler un contact avec un objet déformable tel qu'un organe, il faut résoudre les problèmes suivants : détecter la collision entre l'utilisateur et l'objet virtuel (problème de géométrie), calculer sa déformation et sa réaction (problème de physique) puis transmettre cette réaction à l'utilisateur (problème de commande). De plus, dans l'idéal, il convient de réitérer chaque calcul mille fois par seconde afin de les adapter à nos capacités sensorielles. On comprend alors aisément l'ampleur des défis qui restent à relever.

En complément...

• Le Traité de la Réalité Virtuelle (P. Fuchs & G. Moreau éditeurs), Les Presses de l'école des mines, 2006. (version électronique gratuite pour les étudiants)

Association française de réalité virtuelle, augmentée, Mixte et d'Interaction 3D

Les sens à l'appui

Simon Richir, Professeur, directeur du Laboratoire Présence et innovation, Arts & Métiers ParisTech Angers-Laval (Ensam (1)). www.pi-lab.net
©CLARTE- SAS3

Le travail des sens

Le renforcement de l'impression de réalité par la sollicitation de plusieurs sens permet d'augmenter l'efficacité d'un scénario d'apprentissage ou d'entraînement dans un environnement virtuel. Il facilite en effet la compréhension et la mémorisation : " Dis-moi quelque chose, je l'oublie rapidement ; montrele moi, je le retiens mieux ; fais-moi interagir avec lui, je le comprends mieux. " C'est pourquoi nos travaux visent en bonne partie à améliorer la qualité de la stimulation des sens, ceux-ci incluant la perception de forces exercées sur notre corps : le poids d'un objet, les accélérations subies dans un virage... Des simulateurs particulièrement performants sont ainsi utilisés pour former les pilotes d'avions. Montés sur des platesformes hydrauliques, ils reproduisent avec précision les forces subies en cabine. Tous les sens des apprentis-pilotes sont sollicités : vue, ouie, odorat (pour simuler un incendie à bord), toucher et efforts (à travers les manettes de commande), accélérations... Cette immersion sensorielle est si poussée que les pilotes doivent se reposer plusieurs heures après chaque entraînement.

Apprivoiser les dangers

Les systèmes de réalité virtuelle font encore peu l'objet de productions en série. Ils demeurent en majorité employés par des industriels afin d'améliorer l'entraînement de leurs personnels et de réduire les risques ou les coûts des exercices pratiqués avec des machines réelles. A Laval, notre laboratoire Présence et innovation, l'Esiea (2), l'ESCIN (3) ainsi que les sociétés Nautilus et CLARTE, élaborent divers systèmes qui concernent de plus en plus des situations de vie quotidienne. Par exemple, nous avons récemment développé des simulateurs de déplacement en scooter ou en fauteuil roulant afin d'aider leurs usagers à mieux appréhender la circulation sur la voie publique. Les problèmes à résoudre ne sont pas uniquement d'ordre technique : ils concernent aussi des méthodes qui visent en particulier à améliorer le confort de l'utilisateur lorsqu'il est placé dans une situation potentiellement déroutante, où l'immersion sensorielle a lieu dans un environnement clos, exigu, avec des machines parfois imposantes. C'est en partie pourquoi les systèmes de réalité augmentée (voir article "Plus que réel") tendent à se développer. Parfois stressante, la réalité virtuelle peut pourtant permettre d'apprendre à maîtriser ses émotions. L'Esiea, en partenariat avec des équipes situées en Grèce, au Royaume-Uni, en Italie et en Belgique, développe actuellement le système Intrepid, un simulateur destiné au traitement de phobies : peur du vide, de petits animaux, de monter en voiture... Il comporte un casque de visualisation d'images de synthèse et des capteurs biométriques (de la fréquence cardiaque, par exemple) et sera bientôt utilisé par des médecins pour aider les patients à apprendre à contrôler leurs émotions

(1) École nationale supérieure des arts et métiers

(2) École supérieure d'Informatique électronique Automatique

(3) École supérieure de création interactive numérique

Association nationale pour la formation professionnelle des adultes

Un robot esclave et maître

Amine Chellali et Cédric Dumas, doctorant et chercheur à l'Irccyn, Institut de recherche en communication et cybernétique (CNRS, école des mines, école centrale et Université de Nantes)

L'auxiliaire…

Les progrès de la robotique permettent de fournir aux chirurgiens des auxiliaires précieux pour effectuer des gestes particulièrement délicats. L'un de nos projets de recherche concerne le développement d'un robot chirurgical téléguidé destiné à faciliter et à sécuriser l'insertion précise, chez un patient, d'une aiguille servant à effectuer une ponction dans une tumeur. Ce projet est mené en collaboration avec le service de radiologie du CHU de Nantes, où de telles opérations sont guidées à l'aide d'un scanner.

l'intermédiaire…

Nous cherchons, dans un premier temps, à mettre au point un simulateur dédié à l'apprentissage de la manipulation du robot et du geste idéal. Le système envisagé est basé sur un partage d'informations entre un chirurgien expert et un novice à travers trois canaux sensoriels : une visualisation en 3D du parcours de l'aiguille ; un canal haptique (des manettes de guidage) pour sentir les forces exercées via le robot ; un canal auditif pour écouter des instructions ou des commentaires. Cette triple sollicitation permet de transmettre au novice les connaissances de l'expert plus efficacement que par la vue et l'ouïe uniquement.

l'entraîneur…

La formation peut s'appuyer sur deux scénarios complémentaires. Dans le premier scénario (voir le schéma ci-dessous), l'expert prend la main et le novice suit, à travers le système, la façon dont l'expert exécute son geste. Dans le second scénario, le novice montre à l'expert ce qu'il a appris, ce dernier ayant alors un rôle de superviseur. L'environnement virtuel permet aussi de minimiser les risques liés à la faible expérience du novice : celui-ci peut s'exercer autant de fois qu'il le veut sur des patients virtuels.

et les préliminaires

Avant de développer le logiciel requis, nous devons tester le principe de ce système sur un cas d'apprentissage plus simple, tel que la réalisation d'un dessin suivant une procédure donnée. Il faut également analyser le geste chirurgical concerné grâce à des observations en salle d'opération et des interviewes des experts médicaux. Ce long travail préliminaire peut accessoirement servir à répertorier des connaissances relatives à cette opération, dont certaines ne se transmettaient auparavant que par oral.

Environnement virtuel partagé du robot médical © © RC2C, d’après Amine Chellali

Têtes chercheuses ©2007 | mentions légales | contactez nous | page d'accueil | Réalisation : Intelliance 2007