VISION PAR ORDINATEUR ET APPRENTISSAGE STATISTIQUE : VERS UN INSTRUMENT DE MUSIQUE IMMATERIEL

Abstract

International audienceLe présent article propose une méthodologie de vision par ordinateur pour la reconnaissance simultanée des gestes musicaux et complexes des doigts qui sont effectués dans l'espace sans instrument de musique matériel. Les techniques d'analyse d'images sont appliquées pour segmenter la main ainsi que pour détecter et identifier les doigts dans une vidéo. La reconnaissance et la prédiction des gestes des doigts se basent sur la modélisation stochastique des caractéristiques de haut niveau à l'aide des Modèles de Markov Cachés (MMC) et des Modèles de Mélanges Gaussiens (MMG). Des techniques d'invariance d'échelle et de rotation ont été appliquées. Cet article propose également une méthodologie de mise en correspondance des gestes des doigts avec des paramètres sonores pour le contrôle gestuel du son. Les applications concernent directement la composition de la musique contemporaine et en général les arts du spectacle