Regional versus global finite-state error repair

[Abstract] We focus on the domain of a regional least-cost strategy in order to illustrate the viability of non-global repair models over finitestate architectures. Our interest is justified by the difficulty, shared by all repair proposals, to determine how far to validate. A short validation may fail to gather sufficient information, and in a long one most of the effort can be wasted. The goal is to prove that our approach can provide, in practice, a performance and quality comparable to that attained by global criteria, with a significant saving in time and space. To the best of our knowledge, this is the first discussion of its kind.Ministerio de Educación y Ciencia; TIN2004-07246-C03-02Ministerio de Educación y Ciencia; HP2002-0081Xunta de Galcia; PGIDIT03SIN30501PRXunta de Galcia; PGIDIT02SIN01

Méthodes de diagnostic d'erreurs d'analyse syntaxique

RÉSUMÉ Dans les applications de reconnaissance vocale, l’ensemble des phrases qu’une grammaire reconnaît a un impact important sur l’expérience utilisateur. Pour une interaction donnée, le but est d’avoir une grammaire couvrant un grand nombre de cas de figure sans être trop générale au point d’inclure des formes qui devraient être rejetées. Dans cette optique, le développement d’outils automatiques pouvant améliorer une grammaire est d’une grande utilité. Mais pour y parvenir, il faut d’abord diagnostiquer les raisons pour lesquelles une phrase n’a pu être reconnue. Avec cet objectif en tête, nous nous sommes mis en quête d’algorithmes d’analyse syntaxique robuste. Actuellement, on peut distinguer trois grandes familles d’algorithmes, selon le contexte utilisé pour la correction : local, régional ou global. De par leur nature, les algorithmes de correction globale offrent de meilleurs diagnostics, car ils analysent toutes les hypothèses d’erreur possible. Cependant, ceci a un coût en termes de temps de calcul. Dans le cadre de ce projet, nous avons cherché à savoir si les algorithmes offrant une correction locale peuvent rivaliser avec les algorithmes qui effectuent une correction régionale ou globale au niveau de la qualité des corrections. Nous avons évalué trois algorithmes : l’algorithme de Lyon, qui effectue une correction globale, l’algorithme d’Anderson-Backhouse, qui effectue une correction locale, et finalement un algorithme que nous avons développé, qui pourrait être classé parmi la famille des algorithmes de correction régionale. Ce dernier est un hybride entre l’algorithme de Lyon et l’algorithme d’Earley. À l’aide d’une méthodologie bien précise, nous avons confirmé que l’algorithme de correction globale effectue les meilleures corrections, mais avec une différence moyenne de seulement 3.96 %. L’algorithme de correction locale est cependant environ 2 et 4 fois plus rapide respectivement que l’algorithme hybride et l’algorithme de correction globale. À la lumière de ces résultats, nous avons conclu que l’algorithme effectuant une correction locale peut avantageusement se comparer à l’algorithme de correction globale, mais en étant nettement plus rapide. Cette conclusion s’inscrit dans le contexte de notre l’application, elle y est donc peut-être limitée. Grâce à la bonne performance de l’algorithme de correction locale, nous envisageons de l’utiliser dans le cadre de travaux futurs. Nous prévoyons tirer profit de sa vitesse afin d’analyser un ensemble relativement grand de phrases et d’inférer les meilleures améliorations à apporter à la grammaire d’une manière totalement automatique.----------ABSTRACT In speech recognition applications, the set of sentences recognized by a grammar has a significant impact on the user experience. For a given interaction, the goal is to have a grammar covering a large number of scenarios without being general to the point of accepting forms that should be rejected. In this context, the development of automatic tools that can improve grammar coverage is utterly important. But to achieve this, we must first diagnose why a sentence hasn’t been recognized. With this goal in mind, we set out to find robust parsing algorithms. Currently, there are three main families of algorithms, depending on the context used for the correction: local, regional or global. By their nature, the global correction algorithms provide better diagnoses because they analyze all possible error hypotheses. However, this has a cost in terms of time elapsed for an analysis. In this project, we investigated whether the local correction algorithms can compete with algorithms that perform a regional or global correction on the quality of the corrections. We evaluated three algorithms: Lyon’s algorithm, which performs a global correction of errors, Anderson-Backhouse’s algorithm, which performs a local correction of errors and a hybrid algorithm. The third one is a mix between Lyon’s algorithm and a classic parsing algorithm that we have developed. It could be ranked among the family of regional correction algorithms. Using a strict methodology, we confirm that the global correction algorithm performs the best, but with a mean difference of only 3.96%. However, the local correction algorithm is respectively about 2 and 4 times faster than the hybrid algorithm and the global correction algorithm. In light of these results, we concluded that the algorithm performing local correction of errors may advantageously be compared to the algorithm doing global correction of errors but is much faster. This conclusion is in the context of our application, it could therefore be limited to it. Thanks to the good corrections offered by the local correction algorithm, we plan to use them in future work. We expect to use its speed to analyze a relatively large set of sentences and infer the best improvements that could be applied to the grammar in a full automatic manner

Análisis eficaz de gramáticas de cláusulas definidas

[Resumen] Dentro del análisis sintáctico, la utilización de formalismos gramaticales valuados es, hoy por hoy, punto inconturnable 'en el desarrollo de estrategias de análisis sintáctico en entornos de procesamiento del lenguaje natural y en programación lógica, este último como representante del paradigma declarativo. El presente trabajo se centra en el estudio y desarrollo de técnicas de análisis sintáctico dirigidas, en última instancia, al tratamiento de sistemas basados en el análisis de formalismos gramaticales valuados donde, típicamente, el concepto de categoría gramatical se extiende a un dominio posiblemente infinito. En estas circunstancias los métodos clásicos de análisis sintáctico basados en la consideración de dominios finitos no son aplicables, al no garantizar la correcta terminación del proceso de cálculo. Referido al campo de las gramáticas lógicas, esta situación fuerza la necesidad del desarrollo e implementación de técnicas de análisis capaces de asegurar la completud de la resolucibn en el caso de presencia de símbolos funcionales. Igualmente cobra especial relevancia la consideración de las técnicas de programación dinámica aplicadas al análisis sintáctico. Este hecho es debido a la compactación de las representaĉiones, que convierte este paradigma en una técnica eficiente para el tratamiento de cálculos con un alto grado de redundancia, relacionados con fenómenos tales como el no determinismo, habituales en formalismos gramaticales complejos. Hasta el momento, las técnicas aplicadas se han basado fundamentalmente en el concepto subyacente en la técnica de restricción. Esta permite de forma simple y eficaz limitar el proceso de evaluación a aquellos nodos del bosque de prueba en los que la ausencia d^e bucles a nivel de la unificación está garantizada. La técnica no permite, sin embargo, una detección automatizada de los nodos conflictivos ni su representación. Nuestro acercamiento prevé la consideración tanto del problema de la detección de ciclos a nivel de la unificación de argumentos, como su representación explícita en los casos en los que ello sea posiblel . Nuestro punto de partida será el estudio de las propiedades estáticas de evaluación de los formalismos gramaticales considerados y su adecuación a técnicas de evaluación dinámica, las mejor adaptadas al problema por garantizar una compartición óptima de cálculos y estructuras. Para ello estableceremos un marco descriptivo común sobre el cual desarrollar y comparar diversas estrategias de análisis sintáctico. Este marco también nos permitirá extender de manera intuitiva las técnicas incorporadas al análisis de lenguajes a otros formalismos gramaticales valuados

Regional Least-Cost Error Repair

We describe an algorithm to deal with automatic error repair over unrestricted context-free languages. The method relies on a regional least-cost repair strategy with validation, gathering all relevant information in the context of the error location. The system guarantees the asymptotic equivalence with global repair strategies

Regional Least-Cost Error Repair

We describe an algorithm to deal with automatic error repair over unrestricted context-free languages. The method relies on a regional least-cost repair strategy with validation, gathering all relevant information in the context of the error location. The system guarantees the asymptotic equivalence with global repair strategies