A Proposal for New Evaluation Metrics and Result Visualization Technique for Sentiment Analysis Tasks

Proceedings of: 4th International Conference of the CLEF Initiative (CLEF 2013). 4th International Conference of the CLEF Initiative (CLEF 2013). Valencia, Spain, September 23-26, 2013.In this paper we propound the use of a number of entropybased metrics and a visualization tool for the intrinsic evaluation of Sentiment and Reputation Analysis tasks. We provide a theoretical justification for their use and discuss how they complement other accuracybased metrics. We apply the proposed techniques to the analysis of TASS-SEPLN and RepLab 2012 results and show how the metric is effective for system comparison purposes, for system development and postmortem evaluation.FJVA and JCdA are supported by EU FP7 project LiMoSINe (contract 288024). CPM has been partially supported by the Spanish Government-Comisión Interministerial de Ciencia y Tecnología project TEC2011-26807 for this paper.Publicad

Similitud y confusión fonéticas: reconocimiento humano vs. reconocimiento automático mediante técnicas entrópicas y de análisis de conceptos formales

En el presente proyecto se analiza y compara el comportamiento en reconocimiento del habla de una persona frente a un reconocedor automático del habla híbrido. El objetivo de nuestro estudio es el de analizar las características acústico-articulatorias que marcan los factores de reconocimiento humano, de esta manera seremos capaces de mejorar los reconocedores de habla automática. Dicho estudio se ha llevado a cabo haciendo uso de herramientas novedosas para el análisis de los errores de un reconocedor. Estas herramientas son los triángulos entrópicos, con los que medimos la calidad de un reconocedor con otras figuras de mérito que el valor de la precisión, y el análisis formal de conceptos que nos permitirá representar, para su posterior análisis, las confusiones de las bases de datos usadas mediante retículos de confusión. Gracias a estas herramientas tendremos una visión más clara de las diferencias en la percepción de las características acústico-articulatorias entre el reconocedor de habla humano y el automático. De este modo podremos sugerir nuevas líneas de investigación para mejorar dichas características en los reconocedores.In this project we analyze and compare the performance in speech recognition of a person facing a hybrid automatic speech recognizer. The aim of our study is to analyze the acoustic-articulatory factors that marks the human recognition, so we will be able to improve automatic speech recognizers’ features. This study was carried out by using new tools for analyzing errors in automatic speech recognizers. These tools are entropic triangles, with which we measure the quality of a recognizer with other figures of merit that the value of accuracy, and formal analysis of concepts that allow us to represent, for further analysis, confusions bases data used by lattices of confusion. With these tools we will have a clearer view of the differences in the perception of acoustic-articulatory features between human and automatic speech recognizer. Thus we can suggest new lines of research to improve these characteristics recognizers.Ingeniería Técnica en Sistemas de Telecomunicació