Titre du séminaire : Vers une conception et exploitation des modèles profonds efficaces

Résumé : De nos jours, l’apprentissage profond intervient dans nombreux domaines de l’informatique et des domaines connexes tels que la vision par ordinateur, la reconnaissance des paroles, le traitement automatique du langage naturel, la robotique, etc. Généralement, les modèles profonds ont besoin énormément de données pour l’entrainement ainsi que leur empreinte mémoire est volumineuse, et de plus ils sont souvent lourds au niveau de complexité de calcul dans la phase d’inférence. Une démocratisation de l’apprentissage profond sur les équipements embarqués ayant des ressources limitées de calcul nécessite donc une conception des modèles légers qui sont énergétiquement et informatiquement efficace mais performants pour pouvoir les déployer sur ces dispositifs périphériques. Ce séminaire présente nos efforts récents pour concevoir un modèle profond léger ou bien pour compresser un modèle profond pré-entraîné sans impacter significativement sa performance. À titre information, notre méthode NORTON peut réduire 88% de la complexité du modèle VGG-16 en maintenant pratiquement sa performance sur la base CIFAR-10. Ainsi, une méthode statistique est également proposée pour redimensionner une large base de données telle que ImageNet pour avoir une petite base (i.e. ReIn30 de 39 000 images) mais plus stimulante facilitant des chercheurs dans la conception de nouveaux modèles profonds grâce à une vérification rapide sur cette base.