Multi-level acoustic modeling for automatic speech recognition

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2012.Cataloged from PDF version of thesis.Includes bibliographical references (p. 183-192).Context-dependent acoustic modeling is commonly used in large-vocabulary Automatic Speech Recognition (ASR) systems as a way to model coarticulatory variations that occur during speech production. Typically, the local phoneme context is used as a means to define context-dependent units. Because the number of possible context-dependent units can grow exponentially with the length of the contexts, many units will not have enough training examples to train a robust model, resulting in a data sparsity problem. For nearly two decades, this data sparsity problem has been dealt with by a clustering-based framework which systematically groups different context-dependent units into clusters such that each cluster can have enough data. Although dealing with the data sparsity issue, the clustering-based approach also makes all context-dependent units within a cluster have the same acoustic score, resulting in a quantization effect that can potentially limit the performance of the context-dependent model. In this work, a multi-level acoustic modeling framework is proposed to address both the data sparsity problem and the quantization effect. Under the multi-level framework, each context-dependent unit is associated with classifiers that target multiple levels of contextual resolution, and the outputs of the classifiers are linearly combined for scoring during recognition. By choosing the classifiers judiciously, both the data sparsity problem and the quantization effect can be dealt with. The proposed multi-level framework can also be integrated into existing large-vocabulary ASR systems, such as FST-based ASR systems, and is compatible with state-of-the-art error reduction techniques for ASR systems, such as discriminative training methods. Multiple sets of experiments have been conducted to compare the performance of the clustering-based acoustic model and the proposed multi-level model. In a phonetic recognition experiment on TIMIT, the multi-level model has about 8% relative improvement in terms of phone error rate, showing that the multi-level framework can help improve phonetic prediction accuracy. In a large-vocabulary transcription task, combining the proposed multi-level modeling framework with discriminative training can provide more than 20% relative improvement over a clustering baseline model in terms of Word Error Rate (WER), showing that the multi-level framework can be integrated into existing large-vocabulary decoding frameworks and that it combines well with discriminative training methods. In speaker adaptive transcription task, the multi-level model has about 14% relative WER improvement, showing that the proposed framework can adapt better to new speakers, and potentially to new environments than the conventional clustering-based approach.by Hung-An Chang.Ph.D

Smart ERP: How business processes in small- and medium-sized service enterprises are affected by artificial intelligence.

En los últimos años, la inteligencia artificial (IA) se ha integrado en más facetas de la vida. En el aspecto de los hogares inteligentes, la IA puede controlar el entorno en función de las preferencias aprendidas de los residentes o en los automóviles que apoya al conductor, mientras que los asistentes personales inteligentes (IPA) ayudan con tareas habituales, como concertar citas o proporcionar información. Esta silenciosa pero floreciente integración de la IA en otras áreas de la vida no se limita a las esferas privadas; las experiencias privadas con IA están aumentando las expectativas de los procesos inteligentes en las aplicaciones empresariales y, por lo tanto, la IA se abre paso cada vez más en los procesos empresariales. El uso de IPA en aplicaciones comerciales como el sistema de planificación de recursos empresariales (ERP) es un aspecto tan importante como la integración del aprendizaje automático (ML) en los procesos comerciales. Sin embargo, las pequeñas y medianas empresas (PYME) se enfrentan particularmente al desafío de integrar la IA en los procesos comerciales, ya que generalmente están luchando con desafíos existentes como la digitalización. La optimización de procesos a través de la IA es un desafío adicional porque, según la literatura, las pymes a menudo no tienen los conocimientos necesarios para integrar la IA por sí mismas. De acuerdo con la literatura, las PyMEs también a menudo carecen de casos de uso concretos en los que la IA pueda integrarse en los procesos comerciales de manera significativa y valiosa. Aquí es donde entra esta tesis y desarrolla casos de uso concretos adaptados a los procesos de las pymes alemanas en el sector de servicios con el fin de optimizarlos con IA. Sobre la base de estos casos de uso, se creó un marco que proporciona funciones IPA y ML y se puede integrar sin problemas en un sistema ERP. La disertación está guiada por la pregunta de investigación: ʺ¿Qué funciones específicas de IA e IPA se reconocen como útiles en el contexto empresarial de las PYME en el sector de servicios?ʺ La implementación fue realizada por Design Science Research como un marco para cumplir con los requisitos tanto desde una perspectiva científica como empresarial. Como parte de esta implementación, se desarrolló una IPA a través de la cual se puede recuperar información de un sistema ERP y también ingresar mediante comandos de voz. Además, se creó una función completamente nueva que permite a la IPA dar al usuario retroalimentación audiovisual sobre una descripción gráfica de modo que tenga lugar una explicación y preinterpretación de los valores mostrados. Esto introduce un nuevo elemento de investigación, hasta ahora inexplorado, que ha sido analizado en el marco de metodologías cuantitativas y cualitativas sobre su utilidad y los factores relevantes que influyen en su valor agregado. A través de la integración en casos de uso, tanto el marco IPA como el ML se exploran de manera práctica. En el primer paso, se realizó una encuesta cuantitativa en la que los usuarios pudieron evaluar sus experiencias con el prototipo de IPA y comunicar mejoras funcionales. Sobre la base de esta retroalimentación, el prototipo se expandió y se combinó con el marco ML. A partir del prototipo final, se aplicó la metodología cualitativa de la entrevista a expertos para identificar la aplicabilidad y los factores que influyen en la utilidad de casos de uso específicos. Para ello, se entrevistó a 10 expertos con conocimientos relevantes en el campo de la gestión empresarial en las PYME alemanas y el conocimiento del proceso correspondiente. A partir de la extracción inductiva de los factores de influencia de los protocolos de entrevista, se realizó otra encuesta cuantitativa entre los expertos para verificar y clasificar los factores de influencia identificados. La entrevista con el experto ha demostrado que el potencial de la IA en las pymes del sector servicios depende de varios factores, algunos de los cuales dependen del proceso individual, como los canales de comunicación, pero también hay factores como el volumen o la ʺgeneralizabilidadʺ que afectan a varias áreas del proceso. El volumen se identificó como el factor de influencia más importante en todos los procesos, mientras que el campo de aplicación se identificó como el factor individual más importante. A partir del prototipo final, se aplicó la metodología cualitativa de la entrevista a expertos para identificar la aplicabilidad y los factores que influyen en la utilidad de casos de uso específicos. Para ello, se entrevistó a 10 expertos con conocimientos relevantes en el campo de la gestión empresarial en las PYME alemanas y el conocimiento del proceso correspondiente. A partir de la extracción inductiva de los factores de influencia de los protocolos de entrevista, se realizó otra encuesta cuantitativa entre los expertos para verificar y clasificar los factores de influencia identificados. La entrevista con el experto ha demostrado que el potencial de la IA en las pymes del sector servicios depende de varios factores, algunos de los cuales dependen del proceso individual, como los canales de comunicación, pero también hay factores como el volumen o la ʺgeneralizabilidadʺ que afectan a varias áreas del proceso. El volumen se identificó como el factor de influencia más importante en todos los procesos, mientras que el campo de aplicación se identificó como el factor individual más importante. Además, se consultó el potencial de optimización para procesarlos en el marco de un análisis de costo‐beneficio. Dentro del análisis de costo‐beneficio, el potencial de ahorro de costos determinado se comparó con los costos de implementación esperados para determinar en qué escenarios una integración de IA tiene sentido económico. Para validar el potencial de ahorro estimado por los expertos, se realizó un experimento en el que se comparó la velocidad de ingresar notas de venta mediante teclado y ratón con ingresarlas mediante comandos de voz a través del IPA. Con base en el análisis de datos, se pudo demostrar que la introducción de la IA en los procesos comerciales tiene un potencial de ahorro de costos de más del 30%. Se debe enfatizar que el potencial de ahorro de costos de la API para la recuperación y entrada de información está significativamente por encima de este promedio en más del 37%. De acuerdo con la evaluación científica de los casos de uso en combinación con los factores de influencia identificados y el potencial de optimización, se desarrolló una guía sobre cómo se pueden mejorar los procesos en las PYMES a través de la IA. Esta directriz, en combinación con el prototipo, permite a las pymes operar mejor el uso de la IA. La implicación teórica más importante es que la implementación del modo de explicación para las API en el entorno empresarial ha creado un elemento de investigación completamente nuevo y se ha introducido en la comunidad académica. En el área de las implicaciones prácticas, se debe enfatizar que el análisis de 16 casos de uso relevantes para la práctica brindó una descripción general completa de las implementaciones de IA para las PYMES en la industria de servicios. Los responsables de la toma de decisiones pueden adaptar los procesos descritos para beneficiarse directamente del potencial de optimización. La directriz antes mencionada puede ayudar a los responsables de la toma de decisiones a seleccionar los procesos adecuados y proporcionar orientación para el proceso de implementación. Además, fue posible mostrar de una manera científicamente sólida el potencial de optimización de la IA en los procesos comerciales y qué factores influyentes son de particular relevancia para la realización de este potencial de optimización.Administración y Dirección de Empresa

Automatic Speech Recognition and Its Application to Information Extraction

This paper describes recent progress and the author's perspectives of speech recognition technology. Applications of speech recognition technology can be classified into two main areas, dictation and human-computer dialogue systems. In the dictation domain, the automatic broadcast news transcription is now actively investigated, especially under the DARPA project. The broadcast news dictation technology has recently been integrated with information extraction and retrieval technology and many application systems, such as automatic voice document indexing and retrieval systems, are under development. In the human-computer interaction domain, a variety of experimental systems for information retrieval through spoken dialogue are being investigated. In spite of the remarkable recent progress, we are still behind our ultimate goal of understanding free conversational speech uttered by any speaker under any environment. This paper also describes the most important research issues that we should attack in order to advance to our ultimate goal of fluent speech recognition