Multimodal Based Audio-Visual Speech Recognition for Hard-of-Hearing: State of the Art Techniques and Challenges

Multimodal Integration (MI) is the study of merging the knowledge acquired by the nervous system using sensory modalities such as speech, vision, touch, and gesture. The applications of MI expand over the areas of Audio-Visual Speech Recognition (AVSR), Sign Language Recognition (SLR), Emotion Recognition (ER), Bio Metrics Applications (BMA), Affect Recognition (AR), Multimedia Retrieval (MR), etc. The fusion of modalities such as hand gestures- facial, lip- hand position, etc., are mainly used sensory modalities for the development of hearing-impaired multimodal systems. This paper encapsulates an overview of multimodal systems available within literature towards hearing impaired studies. This paper also discusses some of the studies related to hearing-impaired acoustic analysis. It is observed that very less algorithms have been developed for hearing impaired AVSR as compared to normal hearing. Thus, the study of audio-visual based speech recognition systems for the hearing impaired is highly demanded for the people who are trying to communicate with natively speaking languages.  This paper also highlights the state-of-the-art techniques in AVSR and the challenges faced by the researchers for the development of AVSR systems

Modelo de referência para desenvolvimento de artefatos de apoio ao acesso dos surdos ao audiovisual

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Ptograma de Pós-graduação em Engenharia e Gestão do ConhecimentoAs tecnologias da informação e comunicação possibilitam a participação do sujeito na sociedade do conhecimento, entretanto o tema da acessibilidade dos surdos aos conteúdos audiovisuais em meios digitais ainda demanda estudos para viabilizar sua efetiva e ampla adoção. Objetiva-se identificar e analisar as alternativas para o desenvolvimento de um modelo de referência que oriente o reuso de processos, métodos e técnicas para a produção de artefatos que promovam a acessibilidade de surdos aos conteúdos audiovisuais em plataformas digitais. A partir de uma revisão sistemática da literatura são apontados recomendações para apresentação de conteúdo audiovisual acessível ao público surdo, os requisitos que devem ser atendidos para promover as estratégias de acesso utilizadas por diferentes perfis de surdos, e enumeradas alternativas que podem apoiar estas demandas, como o uso de legendas textuais e com janela de língua de sinais. O modelo de referência contempla a produção de conteúdos a partir da tradução do material audiovisual, sendo identificadas e elaboradas recomendações para a geração de legendas em vídeo de língua de sinais ou na forma escrita. Busca-se integrar a produção destes tipos de artefatos, por meio de processos manuais ou automáticos sendo identificadas as mídias que apoiam ou são resultantes dos processos de produção de artefatos de apoio a acessibilidade. O modelo de referência é validado diante a consulta a especialistas e aplicado em uma implementação de referência de um sistema para acessibilidade com cenários de entrega na televisão digital interativa e na web. Como resultados são apresentadas as recomendações e alternativas em relação aos processos e mídias necessárias para a acessibilidade dos surdos ao audiovisual digital

Image and Video for Hearing Impaired People

We present a global overview of image- and video-processing-based methods to help the communication of hearing impaired people. Two directions of communication have to be considered: from a hearing person to a hearing impaired person and vice versa. In this paper, firstly, we describe sign language (SL) and the cued speech (CS) language which are two different languages used by the deaf community. Secondly, we present existing tools which employ SL and CS video processing and recognition for the automatic communication between deaf people and hearing people. Thirdly, we present the existing tools for reverse communication, from hearing people to deaf people that involve SL and CS video synthesis

Image and Video for Hearing Impaired People

<p/> <p>We present a global overview of image- and video-processing-based methods to help the communication of hearing impaired people. Two directions of communication have to be considered: from a hearing person to a hearing impaired person and vice versa. In this paper, firstly, we describe sign language (SL) and the cued speech (CS) language which are two different languages used by the deaf community. Secondly, we present existing tools which employ SL and CS video processing and recognition for the automatic communication between deaf people and hearing people. Thirdly, we present the existing tools for reverse communication, from hearing people to deaf people that involve SL and CS video synthesis.</p