Suivi d'objet en 6 degrés de liberté avec caméra événementielle

Abstract

Actuellement, les méthodes de suivi d'objet utilisent majoritairement un capteur conventionnel doté d'une fréquence de capture limitée, par exemple : une caméra couleur RGB ou un capteur RGB-D qui fournit également la profondeur à chaque pixel. Ceux-ci ne sont pas idéaux lorsque l'objet se déplace à grande vitesse car des images floues sont produites. Augmenter la fréquence de capture est la solution naïve, mais cela a comme effet d'augmenter le nombre de données capturées et la complexité d'exécution des algorithmes. Ceci cause particulièrement problème dans un contexte de réalité augmentée qui utilise des systèmes embarqués ou mobiles qui ont des capacités de calcul limitées. D'un autre côté, la popularité des capteurs événementiels, qui mesurent les variations d'intensité dans la scène, est en augmentation dû à leur faible puissance d'utilisation, leur faible latence, leur capacité d'acquisition à grande vitesse et le fait qu'ils minimisent le nombre de données capturées. Ce mémoire présente donc une méthode d'apprentissage profond de suivi d'objet à grande vitesse en six degrés de liberté en combinant deux capteurs distincts, soit un capteur RGB-D et une caméra événementielle. Pour permettre l'utilisation des capteurs conjointement, une méthode de calibration temporelle et spatiale est détaillée afin de mettre en registre les images capturées par les deux caméras. Par la suite, une méthode d'apprentissage profond de suivi d'objet est présentée. Celle-ci utilise uniquement des données synthétiques à l'entrainement et utilise les deux capteurs pour améliorer les performances de suivi d'objet en 6DOF, surtout dans les scénarios à grande vitesse. Pour terminer, un jeu de données RGB-D-E est capturé et annoté à la position réelle pour chaque trame. Ce jeu de données est accessible publiquement et peut être utilisé pour quantifier les performances de méthodes futures