CVrS3, qui signifie Collaborative Virtual Reality Spine Surgery Simulator, est le logiciel que je développe dans le cadre de mon projet de maîtrise à l'École Polytechnique de Montréal. Sous la supervision de mes directeurs de maîtrise, Benoît Ozell et Carl-Éric Aubin, mon objectif est d'étudier l'ajout de fonctionnalités collaboratives à l'intérieur d'un simulateur de chirurgie du rachis scoliotique en réalité virtuelle. CVrS3 est le successeur de VRS3, qui a été développé dans le cadre de la maîtrise d'Alexandre Plouznikoff, et a comme mandat de permettre une collaboration à distance, lors d'une chirurgie virtuelle exécutée par plusieurs chirurgiens, à l'aide de communication vocale, de transmission vidéo et de l'affichage d'une scène commune. Étant donné le coût et la rareté des environnements de réalité virtuelle immersifs, tels la CAVE et l'Immersadesk, il doit également pouvoir être utilisé à partir d'ordinateurs conventionnels (avec souris et écrans 2D).
Qu'entend t-on par réalité virtuelle? La réalité virtuelle est une simulation informatique d'environnements qui utilisent des images 3D et des équipements externes comme des gants de données et des casques pour permettre à l'utilisateur d'interagir avec la simulation. Les utilisateurs se déplacent au travers des environnements de réalité virtuelle comme s'ils se déplaçaient dans le vrai monde, marchent à l'intérieur de structures et interagissent avec des objets de cet environnement en temps réel. La CAVE, l'Immersadesk et les visiocasques (en anglais: HMD pour Head Mounted Display) sont des exemples concrets de dispositifs de réalité virtuelle. Tels que vu par les puristes du domaine de cette discipline, les logiciels infographiques fonctionnant sur des ordinateurs conventionnels, tels que les jeux vidéos, ne sont pas réellement des environnements de réalité virtuelle puisqu'il ne permettre pas à l'utilisateur de se comporter d'une façon semblable à celle qu'il adopterait dans le "vrai monde". Pour plus d'informations à propos de cette discipline ou pour suivre son évolution, vous pouvez visiter VRoot.org un site collaboratif de nouvelles/ressources concernant la réalité virtuelle.
La scoliose est une maladie qui provoque une déformation partielle ou totale de la colonne vertébrale se produisant généralement pendant la période de croissance. Malgré le fait que son incidence soit relativement faible au sein de la population mondiale et que les cas qui requièrent un traitement chirurgical sont encore plus rares, elle peut être mortelle et elle doit être traitée avant que de graves complications ne surviennent. Dans une telle situation, une chirurgie est nécessaire. À l'aide d'outils, de vis, d'implants et de tiges métalliques spécialisés, le chirurgien instrumente la colonne et effectue les manœuvres qu'il juge appropriées afin de redonner à la colonne une courbure plus près de la normalité. Cette intervention, invasive à l'extrême, est relativement risquée puisque l'insertion des vis se fait dans les pédicules des vertèbres qui sont très près de la moelle épinière: une légère erreur d'orientation lors de l'insertion peut provoquer la paralysie complète du bas du corps! Pour plus d'informations concernant la scoliose, vous pouvez consulter la section In Depth Review of Scoliosis du site de la Scoliosis Research Society qui traite très bien du sujet.
Pourquoi utiliser la réalité virtuelle pour l'entraînement des chirurgiens à l'instrumentation du rachis scoliotique? Alexandre Plouznikoff a très bien répondu à cette question: « La réalité virtuelle, en comparaison aux ordinateurs traditionnels, permet d'obtenir un environnement plus réaliste du point de vue du chirurgien pour planifier une opération. Même si le coût de l'équipement est de loin bien supérieur à celui d'un PC normal, l'utilisateur n'est plus obligé de s'asseoir en face d'un écran et de recourir à une souris et différents menus pour accomplir les tâches désirées. Au contraire, le chirurgien est complètement immergé au centre d'une salle d'opération virtuelle, au sein de laquelle il peut se servir d'outils chirurgicaux familiers, les manipulant de ses propres mains, ressentant la force qu'il applique sur la colonne vertébrale du patient pour la redresser. Le réalisme n'émane pas seulement des graphiques 3D mais aussi des interactions et du retour d'informations qu'il est possible d'obtenir en réalité virtuelle, créant de ce fait une expérience quasi-réelle, ne requérant presque aucune formation particulière pour utiliser le logiciel. »
S3 est un puissant logiciel 3D développé par l'équipe de Carl-Éric Aubin, un chercheur de l'École Polytechnique de Montréal qui dirige le LMBCAO (Laboratoire de Modélisation Biomécanique et de Chirurgie Assistée par Ordinateur) et qui est responsable de l'axe scientifique du LIS 3D (Laboratoire Informatique de Scoliose 3D), situés à l'Hôpital Sainte-Justine de Montréal. S3, qui signifie Spine Surgery Simulator, a comme ambition de révolutionner la démarche de planification d'une chirurgie scoliotique en proposant un outil avec lequel le chirurgien peut tester différentes stratégies d'intervention pour un patient donné. Ainsi, il est possible d'insérer virtuellement des implants sur une reproduction 3D de la colonne d'un patient et d'effectuer différentes manœuvres pour finalement observer l'impact de l'intervention sur sa posture. La colonne vertébrale d'un patient donné est modélisée, géométriquement, à partir d'un traitement qu'on effectue sur trois radiographies et, physiquement, à partir d'informations concernant sa flexibilité. Afin d'orchestrer les requêtes du chirurgien et les données concernant la colonne d'un patient, S3 utilise un moteur biomécanique qui est une représentation mathématique dictant le déplacement de la colonne et de ses vertèbres en fonctions des forces lui étant appliquées. S3 fonctionne à partir d'un ordinateur qui possède un écran conventionnel et pour l'utiliser nous devons, comme pour la plupart des logiciels, cliquer sur des boutons, ouvrir des menus et taper sur le clavier. Nous pouvons ainsi tester rapidement plusieurs scénarios d'opération, mais l'expérience qu'il procure est encore très loin de ressembler à une vraie chirurgie…
VRS3 (pour Virtual Reality S3), qui utilise plusieurs des fonctionnalités de S3, dont son moteur biomécanique, a justement été conçu dans cette optique: procurer au chirurgien un outil d'entraînement qui recrée le plus fidèlement possible l'expérience réelle d'une telle intervention. À l'intérieur de la CAVE (Cave Automatic Virtual Environment), un système de réalité virtuelle composé de quatre écrans (trois murs et un plancher), à l'aide de lunettes 3D et d'un wand (une souris 3D), l'utilisateur est immergé dans une salle de chirurgie virtuelleoù il peut tranquillement s'entraîner à opérer. Il peut ainsi insérer des implants et effectuer des manœuvres à l'aide du wand tout en voyant la colonne du patient réagir immédiatement aux forces qu'il exerce. Comme le tout est un système hautement interactif avec affichage stéréoscopique (en 3D) et que des capteurs connaissent en tout temps la position de la main de l'usager, il est possible de manipuler les instruments comme de vrais objets. La photo en haut à gauche nous montre un utilisateur de VRS3 en plein entraînement. Évidemment, du point de vue de l'utilisateur, qui porte des lunettes stéréoscopiques, les objets ne semblent pas simplement affichés sur les écrans de la CAVE : ils sont réellement en trois dimensions et flottent littéralement devant lui. L'image du dessous a été capturée lors de l'exécution de VRS3 sur un ordinateur conventionnel en mode simulation.
CVrS3, qui signifie Collaborative VRS3, est le successeur de VRS3 et a pour finalité de permettre une collaboration entre plusieurs utilisateurs lors d'une chirurgie virtuelle. D'un point de vue technique, VRS3 a dû être réimplanter à partir de zéro puisqu'il utilisait une vieille version, peu performante, du moteur biomécanique de S3 et qu'il avait été initialement conçu pour fonctionner avec un super ordinateur SGI. La récente amélioration des capacités infographiques des ordinateurs conventionnels, via l'utilisation de cartes graphiques spécialisées, nous a permis de nous libérer de cette contrainte très coûteuse. Du point de vue de ses fonctionnalités, VRS3 possède une lacune majeure: il ne peut être utilisé que par une seule personne à la fois. Lorsqu'on sait qu'une chirurgie scoliotique nécessite généralement le travail simultané de deux chirurgiens, cet aspect nous paraît encore plus important. De plus, seulement quelques observateurs peuvent assister à la chirurgie virtuelle et ils sont contraints à être physiquement présents dans la CAVE. Le défi de CVrS3 est de remédier à ces lacunes en permettant la participation à distance de plusieurs personnes utilisant un ordinateur conventionnel avec écran 2D ou un système immersif stéréoscopique, tel que la CAVE. À l'aide d'un affichage commun de la scène, de caméras vidéos et de casques d'écoute dotés de micros, les utilisateurs pourront mutuellement se voir et se déplacer dans le monde virtuel, interagir entre eux et communiquer vocalement afin de s'entraider à réaliser leur tâche. Son principe de fonctionnement est très semblable aux jeux vidéos multijoueurs, sauf qu'ici le but est d'apprendre plutôt que de s'amuser. Comme dans les jeux vidéos, chaque utilisateur sera représenté par un avatar: un modèle 3D représentant le corps de l'usager. Pour que les utilisateurs puissent obtenir une vision commune de la scène virtuelle, toutes les instances de CVrS3 devront communiquer ensemble via des connexions réseaux. Ainsi, grâce à ces connexions, la scène perçue par les usagers sera toujours la plus récente possible car les moindres actions d'un individu seront immédiatement transmises. En plus de permettre le travail simultané de deux chirurgiens, CVrS3 aspire à de nombreux objectifs éducatifs. Premier objectif: permettre aux chirurgiens résidents d'apprendre comment exécuter une opération spécifique en observant et en posant des questions, à partir de leurs ordinateurs personnels, à un chirurgien en pleine intervention virtuelle. Deuxième objectif: permettre aux chirurgiens résidents d'avoir du support à distance de la part d'autres collègues ou d'un chirurgien expérimenté lors d'un entraînement. En résumé: favoriser un apprentissage social.
Les images présentées ci-après ont été capturées lors de l'exécution du logiciel en mode simulation. Elles ne montrent pas réellement ce que vois l'utilisateur de CVrS3. Le mode simulation de VR Juggler (outil avec lequel est développé CVrS3) permet de développer et de tester un logiciel de réalité virtuelle à partir d'un ordinateur conventionnel sans avoir perpétuellement à utiliser un dispositif spécialisé. Le cylindre vert présent dans les images représente le wand, une souris 3d avec laquelle l'utilisateur manipule les objets de la scène, dans la position et l'orientation qu'il aurait avec un environnement immersif. De la même façon, la sphère bleue représente la position et l'orientation de la tête de l'usager telle qu'elle le serait normalement dans un tel environnement. En mode simulation, le développeur utilise et contrôle ces artéfacts de façon à tester le comportement du logiciel. Des images montrant un usager utilisant CVrS3 à partir d'un environnement immersif et démontrant certaines des fonctionnalités collaboratives seront disponibles d'ici peu.
|
|
|
|
|
|
|
|
|
Images mises à jour le 16 août 2005.