Début de la thèse : 4 octobre 2021
Encadrements : Alexis Bozorg Grayeli, Sarah Leclerc, Alain Lalande
École doctorale : SPIM

Date limite de candidature : 30 mai 2021

Description

La chirurgie de l’oreille moyenne se fait sous microscope ou par un endoscope. L’oreille moyenne est souvent abordée par le conduit auditif externe après incision du conduit et décollement du tympan. Nous avons développé un système de réalité augmentée pour superposer une reconstruction de la caisse du tympan à partir des données du scanner sur une image vidéo (2D) du microscope ou de l’endoscope. En effet, l’endoscopie virtuelle de l’oreille moyenne basée sur les données scanographiques donne une image précise proche de la scène opératoire. Nous utilisons un recalage manuel des images en utilisant des repères anatomiques. Des algorithmes de traitement de l’image ont été développés pour maintenir la correspondance entre les deux images lors des mouvements du microscope. Ce système permet également de visualiser les structures cibles dans l’oreille interne et invisible par le microscope ou l’endoscope. Nous avons déjà testé le système en temps réel au laboratoire (3) et au bloc opératoire (Hussain et al, soumis pour publication). Son fonctionnement et son niveau de précision inframillimétrique semblent compatibles avec la chirurgie otologique. Des projets de réalité augmentée ont été développés dans la chirurgie de la tête du cou, mais à notre connaissance, aucun projet de ce type n’a été publié pour la chirurgie de l’oreille.

Travaux envisagés : Nous allons développer ce système de réalité augmentée selon plusieurs axes :

1.  Développement d’un système de recalage semi-automatique puis automatique
   Le recalage actuel nécessite la sélection de 6 paires de points sur les images vidéo et scanner-X (reconstruction de la caisse du tympan par une modélisation de la scène suivant une endoscopie virtuelle) par le chirurgien. Il s’agit d’une tâche difficile car les images ne sont pas similaires et l’erreur à ce stade se propage à tout le processus. Nous allons développer des algorithmes de recalage qui utilisent des contours de référence. Le chirurgien dessinera des contours des structures visibles sur les deux images et, par des algorithmes de type k proches voisins ou analyse fractale (distances de Hausdorff), les contours seront recalés. Actuellement une base de données de plus de 70 cas est disponible avec le scanner-X, l’imagerie vidéo et les annotations.
2. Développement d’un système automatique de recalage par réseau de neurones
   Un réseau neuronal sera développé pour reconnaître et extraire des contours puis les recaler grâce aux algorithmes précédemment cités. Une banque de vidéo-endoscopie et de scanner, avec annotations sera conçue partant de la base de données disponibles à l’étape précédente et des stratégies d’augmentation de données et d’apprentissage par transfert seront appliquées pour l’entraînement du réseau. Des réseaux convolutionnels à base de Spatial Transformers (6), entraînés par apprentissage supervisé ou non supervisé, seront étudiés, ainsi que la possibilité d’améliorer leur robustesse par le design de fonctions de coût innovantes dédiées à la problématique.
3. Développement d’un système de réalité augmentée en 3D
   Jusqu’ici le développement a été poursuivi sur des images 2D. Or, des informations 3D sont fournies par le microscope (2 axes optiques indépendants correspondant aux 2 yeux) et le scanner (fichier Dicom en 3D). Une reconstruction 3D serait très utile pour certaines procédures. L’extraction des informations scannographiques 3D sur les structures cibles seraient recalées en temps réel sur 2 flux vidéos acquis sur les 2 axes optiques. Ces étapes seront testées au laboratoire sur des modèles en résine, puis des pièces anatomiques et enfin au bloc opératoire.

Dans une étape ultérieure, ce système est destiné à être intégré à un robot de chirurgie otologique (Robotol, Collin SA, Bagneux France). Une collaboration dans ce sens a été initiée depuis un an.