Mejoras en el reconocimiento de música manuscrita mediante la re-interpretación de modelos de lenguaje para notación mensural

[ES] El Reconocimiento de Música Manuscrita es la rama del Reconocimiento Óptico de Símbolos dedicada al estudio de la capacidad en los ordenadores para leer notación musical escrita. Esta tecnología busca entender la notación musical para transcribir los trabajos manuscritos a un formato adaptado a ordenador, para que esta música esté disponible al público. Esta tarea ha sido de gran interés útimamente, conforme las tecnologías mejoran y pueden obtener mejores resulltados en este problema. Recientes acercamientos mediante machine learning (aprendizaje máquina) basados en Redes Neuronales Profundas y Recurrentes ya muestran como estos trabajan notablemente mejor en el campo que otros acercamientos tradicionales, especialmente cuando hablamos de Notación Mensural. Estas investigaciones basadas en machine learning han tratado la tarea de reconocer Notación Mensural como otra tarea más de reconocimiento de texto, pero no han explorado las características de los elementos musicales en profundidad. Otros trabajos han tratado de profundizar en el análisis de los elementos musicales y la extracción de sus características, pero a nivel de símbolos segmentados, sin reflejar esto en un entorno de reconocimiento completo o con un conjunto de datos establecido. En este trabajo vamos a tratar de hacer un sistema de reconocimiento completo directamente desde las partituras, utilizando técnicas que ensalzan la información obtenida de los símbolos. Exploramos las interpretaciones del lenguaje para mejorar los resultados en un conjunto de datos disponible públicamente. En nuestros experimentos hemos hecho una mejora del 32% en referencia al error a nivel de símbolo. Con esto, hemos ido de un 5.11% de ratio de error, con las tecnologías de los últimos acercamientos, a un 3.48% de ratio de error, calculado utilizando re-interpretaciones del lenguaje.[EN] Handwritten Music Recognition is the branch of Optical Symbol Recognition dedicated to the study of the capability of computers to read written musical notation. This technology aims to understand musical notation to transcribe the handwritten works into a computer-adapted format, to make this music available to the public. This task has been of great interest lately, as the technologies improve and can get better and better results on this problem. Recent machine learning approaches based on Recurrent and Deep Neural Networks have already shown how these work significantly better in the field than traditional approaches, especially when we are talking about Mensural Notation. These machine learning researches have taken on the task of recognizing Mensural Notation as another written text recognition task, but have not explored the characteristics of musical elements in depth. Other works have tried to dig deeper into analyzing musical elements and the extraction of their characteristics, but at a segmented symbol level, without reflecting this in a complete recognition environment or with an established dataset. In this paper, we will try to make a complete recognition system directly from the scores, using techniques that enhance information obtained from symbols. We explore language interpretations for improving results on a publicly available dataset. In our experiments, we have made a 32\% improvement in regards to error at the symbol level. With this, we have gone from a 5.11\% error rate, using the same technology as the latest approaches, to a 3.48\% error rate, as calculated using language reinterpretations.[CA] El reconeixement de música manuscrita estudia tècniques perquè els ordinadors siguen capaços de transcriure notació musical manuscrita que es troba registrada en imatges a format electrònic, i fer esta música disponible al públic. Recents acostaments d’intel·ligència de màquina basats en Xarxes Neuronals Recurrents i Profundes han mostrat que funcionen significativament millor en aquest problema que l’acostament tradicional basat en models ocults de Markov, especialment en el cas de Notació Mensural. Aquestes investigacions basades en Xarxes Neuronals han investigat la tasca de reconéixer Notació Mensural com una altra tasca de reconeixement de text , però no han explotat les característiques dels elements musicals en profunditat. Altres treballs han intentat aprofundir a analitzar elements musicals i en l’extracció de les característiques des de símbols segmentats, sense reflectir això de manera holística. En aquest treball tractarem de fer un sistema de reconeixement complet directament des dels pentagrames, utilitzant tècniques que enalteixen la informació obtinguda a partir dels símbols. Explorem altres interpretacions de model de llenguatge i provem la nostra proposta en un conjunt de dades disponible de manera pública. En el nostre experiments hem fet una millora del 31% en referència a l’error a nivell de símbol. Amb això, hem anat d’un 3,91% de ràtio d’error, usant tecnologies basades en Xarxes Neuronals, a un 2,7% de ràtio d’error, usant re-interpretacions del model de llenguatge.Villarreal Ruiz, M. (2020). Mejoras en el reconocimiento de música manuscrita mediante la re-interpretación de modelos de lenguaje para notación mensural. Universitat Politècnica de València. http://hdl.handle.net/10251/149020TFG

DISEÑO DE UN ALGORITMO PARA EVOLUCIONAR REDES NEURONALES ARTIFICIALES MEDIANTE ALGORITMOS GENÉTICOS

DISEÑO DE UN ALGORITMO PARA EVOLUCIONAR REDES NEURONALES ARTIFICIALES MEDIANTE ALGORITMOS GENÉTICOS REDES NEURONALES ARTIFICIALES PROPIEDADES TEÓRICAS ALGORITMOS GENÉTICOS NEUROEVOLUCIÓN ANTECEDENTES PROBLEMÁTICA METODOLOGÍA ALGORÍTMICA IMPLEMENTACIÓN EVALUACIÓN CONCLUSIONES RECOMENDACIONES BIBLIOGRAFÍA ANEXO

Composición musical mediante una red neuronal

En este trabajo se ha realizado el análisis y la comprobación de una red neuronal existente previamente, que compone música mediante técnicas de Aprendizaje Profundo (Deep Learning). El objetivo del trabajo ha sido realizar un proceso de composición musical automática de una Sonata. Para ello, tras la comprensión de la red, la iniciación en el lenguaje de programación Python 2 y la generación de una base de datos en formato MIDI mediante los programas Finale y Logic Pro X, se ha diseñado una red optima para la composición, entrenándola y evaluando sus resultados. Además, se exponen tres anexos con el fin de presentar las distintas formas de generar música algorítmica, de definir los conceptos Deep Learning y Big Data, así como de situar en un contexto histórico la Forma Sonata y repasar conceptos fundamentales del lenguaje musical necesarios para comprender tanto la entrada, como la salida de la red. Se muestra la partitura de la obra resultante del entrenamiento de la red en el cuarto y último anexo

Composición musical mediante una red neuronal

En este trabajo se ha realizado el análisis y la comprobación de una red neuronal existente previamente, que compone música mediante técnicas de Aprendizaje Profundo (Deep Learning). El objetivo del trabajo ha sido realizar un proceso de composición musical automática de una Sonata. Para ello, tras la comprensión de la red, la iniciación en el lenguaje de programación Python 2 y la generación de una base de datos en formato MIDI mediante los programas Finale y Logic Pro X, se ha diseñado una red optima para la composición, entrenándola y evaluando sus resultados. Además, se exponen tres anexos con el fin de presentar las distintas formas de generar música algorítmica, de definir los conceptos Deep Learning y Big Data, así como de situar en un contexto histórico la Forma Sonata y repasar conceptos fundamentales del lenguaje musical necesarios para comprender tanto la entrada, como la salida de la red. En el cuarto y último anexo se muestra la partitura de la obra resultante del entrenamiento de la red

Aprendizaje semi-supervisado e interactivo para la anotación de un corpus de música histórica manuscrita

[ES] El reconocimiento de música manuscrita es la tarea en la que se emplean tecnologías de la computación para, a partir de una imagen de un pentagrama musical, obtener una transcripción. Si combinamos esto con técnicas de aprendizaje semi supervisado, que permiten etiquetar grandes conjuntos de información a partir de una pequeña parte de los mismos, y aprendizaje interactivo, que permite a un supervisor humano colaborar con la máquina en el proceso de transcripción, lo que obtenemos es un sistema que a partir de unas pocas transcripciones de música puede conseguir una gran base de datos de mucha calidad. Esto es importante debido a que las bases de datos de música manuscrita etiquetadas escasean, aunque la cantidad de obras que es de interés preservar se cuentan en el orden de los millones, tarea inabordable para las personas, por lo que se hace necesario un método que nos permita hacer que todas estas obras sin etiquetar sean etiquetadas con el menor esfuerzo posible. En este trabajo utilizamos tecnologías punteras del reconocimiento de texto manuscrito aplicadas a la música, como son las redes neuronales, tanto convolucionales como recurrentes, y modelos de lenguaje para explorar distintos métodos que faciliten el etiquetado de estos conjuntos de datos. Utilizamos medidas como la probabilidad a posteriori y la entropía de las muestras para determinar como debe distribuirse el esfuerzo humano a la hora de etiquetar muestras manualmente, y mostramos diferentes métodos que determinan si una muestra etiquetada es o no apta para incluirse en el conjunto de datos logrando finalmente un método eficaz para anotar grandes cantidades de muestras con un esfuerzo considerablemente menor.[EN] Handwritten music recognition is the task where computation technologies are used for, from an image of a musical score, obtaining a transcription. If we combine this with semi supervised learning techniques, that allow labeling big information sets from a small fragment of them, and interactive learning, that allow a human supervisor collaborating with the machine in the transcription process, we obtain a system that from a few music transcriptions can accomplish a big data set of great quality. This is important given that labeled handwritten music data sets are scarce, even though the amount of pieces that is of interest to preserve are counted in the order of millions, an unapproachable task for people. This makes necessary a method that allows us to label this pieces with the least effort possible. In this work we use the latest technologies for handwritten text recognition applied to music, such as neural networks, both convolutional and recurrent, and language models to explore different methods that make labeling easier for this data sets. We use measures such as posterior probability and sample entropy to determine how should human effort be used when labeling samples manually, and we show different methods to determine if a sample is or isn't good enough to be included in the data set, accomplishing in the end an effective method to label big amounts of samples with a considerably lesser effort.Villarreal Ruiz, M. (2021). Aprendizaje semi-supervisado e interactivo para la anotación de un corpus de música histórica manuscrita. Universitat Politècnica de València. http://hdl.handle.net/10251/172794TFG

Generación de historias de vida usando técnicas de Deep Learning

La memoria es un baúl donde almacenamos nuestros recuerdos más preciados dando sentido a nuestra propia identidad. No obstante, debido a ciertas enfermedades neurodegenerativas como es el Alzheimer, estos recuerdos pueden perderse. En este contexto, para paliar el deterioro de la memoria existen actualmente una serie de tratamientos no farmacológicos como son las terapias de reminiscencia que ayudan a no perder los recuerdos aun mantenidos. Dentro de este tipo de terapia destacan las historias de vida que están compuestas por los hechos más importantes acontecidos a una persona y son utilizadas tanto por el paciente como por el personal terapéutico para trabajar sus recuerdos y así retrasar al máximo su olvido. La redacción de las historias de vida es un proceso complejo, ya que se suele realizar manualmente a partir de datos proporcionados por familiares o el propio paciente. Sin embargo, pese a los avances tecnológicos de los últimos tiempos en la Inteligencia Artificial, actualmente no existen apenas herramientas para tratar la redacción automática de la historia de vida a partir de los datos heterogéneos recogidos de la persona, hecho que facilitaría su elaboración. Por todo ello este trabajo se centra en la investigación y desarrollo de un sistema de generación de historias de vida a partir de unos datos estructurados que representan las vivencias del paciente. El núcleo de este sistema reside en el componente modelador del lenguaje para el cual se considerarán aproximaciones de Deep Learning empleadas en sistemas similares de generación de lenguaje natural. Tras un estudio exhaustivo de distintos modelos de lenguaje y conjuntos de datos a utilizar, se ha seleccionado para este trabajo el actual modelo pre-entrenado T5 que será ajustado bajo el conjunto de datos WebNLG. Además, se han empleado algoritmos de clustering, entre otras técnicas, con la finalidad de inferir una estructura, orden y personalización al texto finalmente generado, mediante la manipulación de una serie de componentes en una interfaz desarrollada para la prueba del sistema. Por último, se ha realizado un estudio sobre la justificación de los resultados obtenidos al generar una historia de vida

Metodología para la caracterización de imágenes en el reconocimiento de lenguaje de señas colombiano y su traducción al español

El lenguaje de señas según la OMS es utilizado por 360 millones de personas en el mundo que presentan pérdida parcial o total de la audición. Por medio de este tipo de lenguaje logran expresar sus ideas y sentimientos. Este tipo de personas cuentan con un obstáculo a la hora de estudiar o realizar alguna labor ya que el mundo actual está diseñado para personas que se comunican por medio de lenguaje hablado. Debido a esto y a los avances tecnológicos, varios centros de investigación y universidades han desarrollado metodologías para traducir de lengua de señas a lenguajes hablados y viceversa, para esto se han utilizado sensores de electromiografía, masa inercial y cámaras. Con estos sensores se captura la información de movimiento y se extraen características mecánicas, como ángulos, velocidad, energía, aceleración, entre otros. Con la información obtenida por medio de estos sensores se utilizan técnicas de aprendizaje de máquina como redes neuronales artificiales, máquinas de vectores de soporte, árboles de decisiones, entre otros. En este documento se muestra la implementación de una metodología para el reconocimiento de lengua de señas y su traducción al español. Para esto se creó una base de datos con seis personas, cuatro hombres y dos mujeres que presentan diferentes medidas antropométricas. Dentro de los actores que realizaron las señas, cinco son hablantes nativos y uno es intérprete

Implicancias del receptor ionotrópico NMDA subunidad 3A en la esquizofrenia

El rápido avance de la bioinformática nos da nuevas formas de analizar enfermedades y trastornos para los que aún no se han podido dilucidar tanto sus causales, como nuevas estrategias de tratamiento más efectivas. Las herramientas bioinformáticas permiten un análisis profundo de las proteínas a nivel secuencial y estructural. Con esta metodología se ha analizado la subunidad proteica 3A del receptor ionotrópico NMDA para encontrar posible información sustancial acerca de su funcionamiento, y variabilidad genética que pueda estar implicada en el desarrollo de enfermedades y trastornos neurodegenerativos, particularmente en la esquizofrenia. Este informe analiza de forma exhaustiva la secuencia de la proteína, su estructura, su desarrollo evolutivo, y sus posibles funciones biológicas, encontrándose una estructura altamente conservada, con un segmento C-terminal con un alto grado de desorden convirtiéndose en una fuente de variabilidad genética importante, propensa a aumentar la frecuencia de desarrollo de enfermedades neurodegenerativas, y posiblemente implicada en la evolución del cerebro social humano por su papel en el refinamiento sináptico. En cuanto a su función molecular se predice que es un componente intrínseco de la membrana, por ser un receptor de NMDA de canales iónicos activados por glutamato. La proteína consta de al menos cuatro dominios: la familia Lig_chan (receptor ionotrópico de glutamato), la familia Lig_chan-Glu_bd (región con canal iónico ligado L-glutamato, y el sitio de unión a glicina), la familia ANF_receptor (región de unión del ligando de la familia de receptores), y el dominio de proteínas de unión periplásmica tipo 1 y 2. Además se incluye junto al análisis estructural, un modelado de la proteína Q8TCU5 utilizando como template la proteína 7KS0.Facultad de Ciencias Exacta

SABACO: Extensiones a los Algoritmos de Optimización basados en Colonias de Hormigas para la Toma de Decisiones Influenciada por Emociones y el Aprendizaje de Secuencias Contextuales en Ambientes Inteligentes

En el trabajo que presentamos en esta tesis hacemos inicialmente una revisión de cómo ha ido evolucionando la interacción hombre máquina en el contexto de la computación, desde los primeros y escasos computadores hasta el momento actual, en el que los avances tecnológicos han permitido que, en muchos de los escenarios en los que se desarrolla nuestra vida diaria, estemos rodeados de diversos dispositivos electrónicos con los que interactuamos para hacer uso de alguno de los servicios que ofrecen. Veremos cómo esta difusión tecnológica ha introducido los sistemas de información en ámbitos más allá del contexto del trabajo, como la educación o el hogar, haciendo necesario que se tenga en cuenta en el diseño de los sistemas no sólo la funcionalidad o facilidad de uso sino también otros factores como la experiencia de uso o las emociones que siente una persona al interactuar con el sistema. Además, ha dado lugar a la aparición de los conocidos como ambientes inteligentes, en los que son los sistemas presentes en el entorno los que deben adaptarse al usuario y al contexto en el que se encuentra, adaptación que, dados los nuevos contextos en los tiene lugar la interacción con el usuario, plantea algunos retos. En particular, en el presente trabajo identificamos dos factores clave que los ambientes inteligentes deben tener en cuenta para tomar las decisiones y llevar a cabo las acciones adecuadas para conseguir una mejor adaptación al usuario y al contexto. Estos factores son la influencia de las emociones en la interacción y la utilización de la información contextual histórica. Por ello hacemos una revisión tanto de las propuestas de sistemas de decisión influenciados por emociones existentes en el área de la computación afectiva, como de las propuestas de sistemas sensibles al contexto, mostrando propuestas basadas en sistemas multiagente, redes neuronales, modelos ocultos de Markov, e introduciendo las técnicas metaheurísticas. Recientemente parece haber un sentimiento en la comunidad investigadora sobre la necesidad de aproximaciones híbridas para resolver problemas reales, no existe por desgracia una base sistemática que describa de forma rigurosa como proceder para combinar las distintas aproximaciones existentes.Mocholí Agües, JA. (2011). SABACO: Extensiones a los Algoritmos de Optimización basados en Colonias de Hormigas para la Toma de Decisiones Influenciada por Emociones y el Aprendizaje de Secuencias Contextuales en Ambientes Inteligentes [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/11225Palanci

BotMentor: Bot de ayuda al estudiante en la plataforma Telegram

Este documento detalla el proceso de análisis, diseño e implementación del proyecto de fin de grado BotMentor, así como otras etapas necesarias para su realización. Este proyecto consiste en una plataforma pensada inicialmente para alumnos, que, haciendo uso de los sistemas de información de la universidad y más en concreto de la facultad de informática de la complutense, provea a éstos de la información relevante que puede interesar a un alumno y la provee de manera rápida y eficaz. Dicho sistema se basa en una plataforma de bots. Para su desarrollo se ha optado por la elaboración de un servicio que mediante scraping recolecta información de la web de la facultad, almacenándola en una base de datos, un servicio web que consulta esa base de datos devolviendo la información útil solicitada y un bot en la plataforma Telegram que permite el acceso seguro y rápido a dicha información