Mots clés : assistance à handicap, système embarqué, implantation matérielle
Début de la thèse : à partir du 01/10/2020
Lieu : Bâtiment I3M, Université de Bourgogne, Dijon.
Encadrements : Julien Dubois, Cyrille Migniot (ImViA) et Maxime Ambard (LEAD).
Financement : Projet structurants d’envergure – Région
École doctorale : SPIM

VERSION PDF DE L’OFFRE

Contexte

Le projet 3D Sound Glasses consiste à développer des lunettes électroniques permettant d’aider les personnes non-voyantes à éviter les obstacles lorsqu’elles se déplacent à pied. Ce système est basé sur une technologie qui convertit l’information visuo-spatiale collectée en trois dimensions par une caméra temps-de-vol ou stéréoscopique en un flux sonore spatialisé grâce à une méthode dite de substitution sensorielle [1]. Les 3 dimensions visuo-spatiales (droite-gauche, bas-haut et éloigné-rapproché) sont traduites par les indices auditifs (oreille droite-oreille gauche, grave-aigüe, son plat-son percussif). Pour être opérationnel, le système matériel doit valider 4 critères : ne pas être trop encombrant, ne pas trop chauffer, avoir une bonne autonomie énergétique et avoir une bonne réactivité. Ces critères ne peuvent être remplis que si les algorithmes utilisés sont optimisés pour une implémentation sur support mobile.
Le traitement de l’information qui convertit le flux vidéo acquis par une caméra temps-de-vol ou caméra stéréoscopique en un flux sonore spatialisé se fait en deux temps [2]. Tout d’abord, le flux vidéo brut provenant de la caméra est filtré pour ne conserver que les éléments graphiques que l’on souhaite retenir. Une fois le flux vidéo simplifié, il doit être transformé lors d’une seconde étape en un flux sonore stéréophonique. Pour cela, nous associons chaque pixel graphique conservé lors de la première étape avec un pixel sonore.

Objectifs de la thèse

Le doctorant recruté travaillera sur les aspects d’optimisation algorithmique et d’implémentation sur support mobile de ces deux étapes de traitement algorithmique. Tout d’abord, la reconstruction en 3D de l’information suite à l’acquisition de la caméra n’est pas triviale. Nous pourrons tirer parti du fait que dans notre cas spécifique, nous ne souhaitons pas reconstruire toute l’image en 3D mais que seuls les contours mobiles nous intéressent.  La synthèse sonore est également exigeante en termes de calculs. Par exemple les pixels sonores activés doivent être ajoutés les uns aux autres en temps réel au sein du flux audio de la carte son avant d’être envoyés en sortie stéréophonique à l’utilisateur. Nous avons déjà une version de l’algorithme en 3D sur station de travail mais celui-ci doit être optimisé pour être moins exigeant en vue d’une implémentation mobile. Pour que le système mobile soit pleinement opérationnel (autonomie, encombrement, température, réactivité) il est nécessaire que les algorithmes soient implémentés sur des cibles matérielles permettant le temps réel (par exemple FPGA ou GPU).

Références

1. Software design for low-latency visuo-auditory sensory substitution on mobile devices. Ambard, M., Computer and Information Science (2017).
2. Mobile video-to-audio transducer and motion detection for sensory substitution. Ambard, M., Benezeth, Y., & Pfister, P., Frontiers in ICT, Virtual environements (2015)

Compétences :

Le candidat devra maîtriser le traitement d’images et l’implantation matérielle (FPGA, GPU).

Pour candidater, envoyer avant le 5 juin un CV, une lettre de motivation et, si possible, une attestation de réussite ou un relevé de notes de master ou equivalent à julien.dubois@u-bourgogne.fr, cyrille.migniot@u-bourgogne.fr et maxime.ambard@iut-dijon.u-bourgogne.fr.