A Differentiable Generative Adversarial Network for Open Domain Dialogue

Paper presented at the IWSDS 2019: International Workshop on Spoken Dialogue Systems Technology, Siracusa, Italy, April 24-26, 2019This work presents a novel methodology to train open domain neural dialogue systems within the framework of Generative Adversarial Networks with gradient-based optimization methods. We avoid the non-differentiability related to text-generating networks approximating the word vector corresponding to each generated token via a top-k softmax. We show that a weighted average of the word vectors of the most probable tokens computed from the probabilities resulting of the top-k softmax leads to a good approximation of the word vector of the generated token. Finally we demonstrate through a human evaluation process that training a neural dialogue system via adversarial learning with this method successfully discourages it from producing generic responses. Instead it tends to produce more informative and variate ones.This work has been partially funded by the Basque Government under grant PRE_2017_1_0357, by the University of the Basque Country UPV/EHU under grant PIF17/310, and by the H2020 RIA EMPATHIC (Grant N: 769872)

A multilingual neural coaching model with enhanced long-term dialogue structure

In this work we develop a fully data-driven conversational agent capable of carrying out motivational coach- ing sessions in Spanish, French, Norwegian, and English. Unlike the majority of coaching, and in general well-being related conversational agents that can be found in the literature, ours is not designed by hand- crafted rules. Instead, we directly model the coaching strategy of professionals with end users. To this end, we gather a set of virtual coaching sessions through a Wizard of Oz platform, and apply state of the art Natural Language Processing techniques. We employ a transfer learning approach, pretraining GPT2 neural language models and fine-tuning them on our corpus. However, since these only take as input a local dialogue history, a simple fine-tuning procedure is not capable of modeling the long-term dialogue strategies that appear in coaching sessions. To alleviate this issue, we first propose to learn dialogue phase and scenario embeddings in the fine-tuning stage. These indicate to the model at which part of the dialogue it is and which kind of coaching session it is carrying out. Second, we develop a global deep learning system which controls the long-term structure of the dialogue. We also show that this global module can be used to visualize and interpret the decisions taken by the the conversational agent, and that the learnt representations are comparable to dialogue acts. Automatic and human evaluation show that our proposals serve to improve the baseline models. Finally, interaction experiments with coaching experts indicate that the system is usable and gives rise to positive emotions in Spanish, French and English, while the results in Norwegian point out that there is still work to be done in fully data driven approaches with very low resource languages.This work has been partially funded by the Basque Government under grant PRE_2017_1_0357 and by the European Union’s Horizon 2020 research and innovation programme under grant agreement No. 769872

Estructura y dinámica de proteínas en condiciones de aglomeración macromolecular : desarrollo de métodos avanzados de espectroscopía láser de fluorescencia con resolución temporal de picosegundos

Tesis de la Universidad Complutense de Madrid, Facultad de Ciencias Químicas, Departamento de Bioquímia y Biología Molecular I, leída el 11-12-2002Una característica común a todos los sistemas biológicos es su elevada concentración total de macromoléculas (50-400 mg/mL). Esta alta concentración de macromoléculas, tiene importantes efectos sobre la termodinámica y la cinética de las reacciones que tienen lugar en los medios fisiológicos. El estudio cuantitativo de las propiedades estructurales y de las interacciones en sistemas aglomerados, presenta dificultades experimentales y de interpretación para la mayoría de las técnicas biofísicas. El objetivo general de este trabajo es el desarrollo de métodos avanzados de anisotropía de fluorescencia con resolución temporal de picosengudos y de FCS, adecuados para la obtención de información cuatitativa en medios aglomerados que simulan las condiciones de aglomeración macromolecular existente "in vivo". En este trabajo, se ha estudiado el efecto de la aglomeración macromolecular debida a altas concentraciones de Rnasa A o de HSA sobre el equilibrio de homodimerización de la apoMb así como sobre la difusión rotacional y translacional tanto del dímero como del monómero de apoMB. Las técnicas de anisotropía de fluorescencia con resolución temporal han permitido detectar la formación de dímeros flexibles de apoMb en presencia de RNasa A como proteína aglomerante, en una proporción que aumenta al aumentar la concentración de RNasa A (0-250 mg/mL) y con constantes de asociación aparentes superiores a 10(5) -10(6) M, dependiendo de la concentración de RNasa A. En las soluciones de HSA como proteína aglomerante, la apoMb se mantiene monomérica en todo el intervalo de concentraciones de HSA estudiado (0-200 mg/mL). En diferente efecto observado sobre el equilibrio de dimerización de la apoMb es compatible con la menor exculsión de volumen en las soluciones de HSA que en las de Rnasa A para una misma concentración en mg/mL. En las soluciones de alta concentración de RNasa A o de HSA la microviscosidad que actúa sobre la difusión del monómero y el dímero de apoMb, es diferente de la viscosidad macroscópica y es distinta también para la difusión rotacional y translacional. Para los estudios de difusión translacional se utilizó la técnica de FCS. En ambos casos, existe una ley empírica potencial que relaciona la viscosidad microscópica en la macroscópica. La microviscosidad que actúa sobre la rotación es menor que la macroviscosidad y ésta a su vez es menor que la microsviscosidad translacionalDepto. de Bioquímica y Biología MolecularFac. de Ciencias QuímicasTRUEpu

Estructura y dinámica de proteínas en condiciones de aglomeración macromolecular : desarrollo de métodos avanzados de espectroscopía láser de fluorescencia con resolución temporal de picosegundos

Una característica común a todos los sistemas biológicos es su elevada concentración total de macromoléculas (50-400 mg/mL). Esta alta concentración de macromoléculas, tiene importantes efectos sobre la termodinámica y la cinética de las reacciones que tienen lugar en los medios fisiológicos. El estudio cuantitativo de las propiedades estructurales y de las interacciones en sistemas aglomerados, presenta dificultades experimentales y de interpretación para la mayoría de las técnicas biofísicas. El objetivo general de este trabajo es el desarrollo de métodos avanzados de anisotropía de fluorescencia con resolución temporal de picosengudos y de FCS, adecuados para la obtención de información cuatitativa en medios aglomerados que simulan las condiciones de aglomeración macromolecular existente "in vivo". En este trabajo, se ha estudiado el efecto de la aglomeración macromolecular debida a altas concentraciones de Rnasa A o de HSA sobre el equilibrio de homodimerización de la apoMb así como sobre la difusión rotacional y translacional tanto del dímero como del monómero de apoMB. Las técnicas de anisotropía de fluorescencia con resolución temporal han permitido detectar la formación de dímeros flexibles de apoMb en presencia de RNasa A como proteína aglomerante, en una proporción que aumenta al aumentar la concentración de RNasa A (0-250 mg/mL) y con constantes de asociación aparentes superiores a 10(5) -10(6) M, dependiendo de la concentración de RNasa A. En las soluciones de HSA como proteína aglomerante, la apoMb se mantiene monomérica en todo el intervalo de concentraciones de HSA estudiado (0-200 mg/mL). En diferente efecto observado sobre el equilibrio de dimerización de la apoMb es compatible con la menor exculsión de volumen en las soluciones de HSA que en las de Rnasa A para una misma concentración en mg/mL. En las soluciones de alta concentración de RNasa A o de HSA la microviscosidad que actúa sobre la difusión del monómero y el dímero de apoMb, es diferente de la viscosidad macroscópica y es distinta también para la difusión rotacional y translacional. Para los estudios de difusión translacional se utilizó la técnica de FCS. En ambos casos, existe una ley empírica potencial que relaciona la viscosidad microscópica en la macroscópica. La microviscosidad que actúa sobre la rotación es menor que la macroviscosidad y ésta a su vez es menor que la microsviscosidad translaciona

Introducción al procesamiento del habla mediante técnicas de deep learning

A lo largo de este trabajo se estudiarán de forma teórica la arquitectura de los reconocedores de voz basados en modelos generativos. En concreto se analizarán dos sistemas distintos: los sistemas basados en modelos ocultos de Markov y mezclas de gaussianas, y los modelos híbridos entre modelos ocultos de Markov y redes neuronales. Para ello se comenzará realizando una introducción al problema del recono- cimiento de voz. Después se analizarán de forma general modelos de mezclas de gaussianas, los modelos ocultos de Markov y las redes neuronales. Finalmente se presentará la herramienta Kaldi, con la cuál se realizarán diversos experimentos para comparar y analizar las características de los distintos sistemas de reconocimiento de voz. En particular, nos centraremos en estudiar el comportamiento de las redes neuronales

Towards vitamin biofortification in maize through multigene engineering

El component principal del meu programa de investigació ha estat un anàlisi detallat, a nivell molecular i bioquímic de plantes de blat de moro que provenien de creuaments amb parentals de fons genètics diferents. Els parentals van ser millorats genèticament amb transgens que codificaven per a las rutes metabòliques dels carotenoids, cetocarotenoids i vitamina E. Vaig iniciar la meva recerca introduint una mini-ruta metabòlica carotenogènica en línies pures de blat de moro de color groc que contenien perfiles variats de carotenoids. El resultat va ser l’obtenció d’una col•lecció de blats de moro híbrids amb unes concentracions de carotenoids més elevades que els parentals originaris. Les anàlisis transcriptòmiques i metabòliques dels nous híbrids van mostrar limitacions en passos específics de les ramificacions ε i β de la ruta dels carotenoids. La conclusió més important va esser que aquestes plantes podrien contribuir cap una ràpida i efectiva producció d’híbrids amb un contingut divers i elevat de carotenoids. En un altre assaig de transformació vaig co-introduir els gens PDS1, HPT1, VTE3 i VTE4 d’Arabidopsis thaliana amb la intenció de recrear la ruta metabòlica de la vitamina E. Per a aprofundir en l’impacte específic de l’acumulació i interacció de la vitamina E amb la ruta metabòlica dels carotenoids, vaig introduir la mini-ruta metabòlica de la vitamina E en una línia de blat de moro transgènica que ja expressava Zmpsy1 i PacrtI. També vaig generar una nova línia de blat de moro (línia ZWB) co-expressant dos β-carotè cetolases (sBcrtW i sCbkt) i una β-carotè hidroxilasa (sBcrtZ). Aquesta línia només va acumular astaxantina, demostrant una conversió total dels carotenoids de la línia salvatge (utilitzada per a la transformació en aquest experiment) a cetocarotenoids. La introgressió de la ruta metabòlica dels cetocarotenoids de ZWB a una línia salvatge amb elevat contingut de β-carotè, va produir híbrids que, a més d’acumular astaxantina, també acumulessin altres carotenoids i cetocarotenoids intermediaris. Amb aquest treballs he demostrat que l’elecció d’un fons genètic que contingui una ruta metabòlica parcial influencia significativament la conversió dels carotenoids a molècules de passos posteriors en la ruta metabòlica, incloent l’astaxantina. Finalment vaig regenerar i analitzar línies de blat de moro que acumulaven pABA i pterina, precursors involucrats en la biosíntesis de folat. Els nivells d’aquest precursors en les línies obtingudes no van ser suficients per incrementar el contingut de folat en blat de moro. Vaig concloure que calia un pas addicional o alternatiu en la ruta metabòlica i/o en el metabolisme per assolir una acumulació significativa de folat en blat de moro.El componente principal de mi programa de investigación ha sido un análisis detallado, a nivel molécular y bioquímico de plantas de maíz provenientes de cruces con parentales con fondos genéticos diferentes. Los parentales estaban mejorados genéticamente con transgenes que codificaban para las rutas metabólicas de los carotenoides, cetocarotenoides y vitamina E. Inicié mi investigación introduciendo una mini-ruta metabólica carotenogénica en diferentes líneas puras de maíz amarillo que contenían diferentes perfiles de carotenoides. El resultado de este experimento fue la obtención de una colección de maíces híbridos con elevadas cantidades de carotenoides, al compararlos con sus parentales correspondientes. Los análisis transcriptómicos y metabólicos de los nuevos maíces híbridos nos mostraron limitaciones en pasos específicos de las ramificaciones ε y β de la ruta de los carotenoides. La conclusión más importante fue que las plantas que generadas pueden contribuir hacia una rápida y efectiva producción de híbridos con elevado y diverso contenido de carotenoides. Hice un segundo experimento de transformación de maíz donde co-introduje los genes PDS1, HPT1, VTE3 y VTE4 provenientes de Arabidopsis thaliana con la intención de recrear la ruta metabólica de la vitamina E. Para profundizar en el impacto específico de la acumulación e interacción de vitamina E con la ruta metabólica de los carotenoides, introduje la mini-ruta metabólica de la vitamina E en una línea de maíz transgénica que ya expresaba Zmpsy1 y PacrtI. También generé una nueva línea de maíz (línea ZWB) co-expresando dos β-caroteno cetolasas (sBcrtW and sCbkt) y una β-caroteno hidroxilasa (sBcrtZ). Esta línea acumuló astaxantina como único carotenoide, demostrando una total conversión de los carotenoides de la línea salvaje utilizada para la transformación en este experimento a este cetocarotenoide. La introgresión a una línea salvaje con alto contenidos de β-caroteno de la ruta metabólica de los cetocarotenoides proveniente de ZWB, resultó en híbridos que además de acumular astaxantina, también acumulaban otros carotenoides y cetocarotenoides intermediarios. Mi trabajo demuestra que la elección de un fondo genético que contenga una ruta metabólica parcial influye significativamente en la conversión de los carotenoides a moléculas de pasos posteriores en la ruta metabolica, incluyendo astaxantina, en los híbridos. Finalmente regenere y analice líneas de maíz que acumulaban pABA y pterina, precursores involucrados en la biosíntesis de folato. Los niveles de estos precursores en las líneas transgénicas que regeneré no fueron suficientes para el incremento de folato en maíz. Mi conclusión fue que se requiere de un paso adicional o alternativo en la ruta metabólica y/o en el metabolismo para alcanzar una acumulación significativa de folato en maíz.The major component of my research program focused on an in depth molecular and biochemical analysis of maize plants from different genetic backgrounds containing metabolic pathways introgressed from parents engineered with different transgenes representing the carotenoid, ketocarotenoid and vitamin E pathways. In the first instance I introgressed a carotenogenic mini-pathway into different yellow maize inbred lines having diverse carotenoid profiles. These experiments resulted in hybrids with higher amounts of carotenoids compared to their corresponding parents. Targeted transcriptomic and metabolite analysis revealed bottlenecks in sequential steps in the ε- and β-branches of the carotenoid pathway in the newly created hybrids. I discuss my results in terms of how plants I have generated might contribute towards a rapid and effective production of maize hybrids with high and diverse carotenoid content. I generated transgenic maize plants co-expressing Arabidopsis thaliana PDS1, HPT1, VTE3 and VTE4 genes in order to recreate the vitamin E biosynthetic pathway in maize. I then used a stacking strategy to introgress the vitamin E mini-pathway into a second transgenic maize line expressing Zmpsy1 and PacrtI in an attempt to determine the specific impact on metabolite accumulation and interaction of the vitamin E and the carotenoid biosynthetic pathways. I also generated a novel maize line (ZWB line) co-expressing two β-carotene ketolases (sBcrtW and sCbkt) and a β-carotene hydroxylase (sBcrtZ). This line accumulated astaxanthin as the only carotenoid, demonstrating total conversion of the carotenoid precursor pool in the wild type line used for the transformation experiment to this ketocarotenoid. Introgression of the ketocarotenoid biosynthetic pathway from ZWB into transgenic maize lines engineered previously with different carotenogenic genes and a wild type line accumulating high levels of β-carotene, resulted in hybrids which not only accumulated astaxanthin, but also other intermediate carotenoids and ketocarotenoids. My work demonstrates that choice of an appropriate genetic background containing a partial carotenoid pathway influences significantly carotenoid conversion to downstream molecules, including astaxanthin, in hybrids. I have also recovered and analyzed maize lines accumulating pABA and pterin, precursors involved in folate biosynthesis. The levels of these precursors in the transgenic lines I generated were not sufficient to enhance folate content in maize. I concluded that additional or alternative steps in the pathway and/or metabolism need to be engineered to achieve substantial folate accumulation in maize

Audio Embeddings help to learn better dialogue policies

Presentado en ASRU 2021, Cartagena (Colombia), 13-17 diciembre 2021Neural transformer architectures have gained a lot of interest for text-based dialogue management in the last few years. They have shown high learning capabilities for open domain dialogue with huge amounts of data and also for domain adaptation in task-oriented setups. But the potential benefits of exploiting the users’ audio signal have rarely been ex- plored in such frameworks. In this work, we combine text dialogue history representations generated by a GPT-2 model with audio embeddings obtained by the recently released Wav2Vec2 transformer model. We jointly fine-tune these models to learn dialogue policies via supervised learning and two policy gradient-based reinforcement learning algorithms. Our experimental results, using the DSTC2 dataset and a sim- ulated user model capable of sampling audio turns, reveal that audio embeddings lead to overall higher task success (than without using audio embeddings) with statistically significant results across evaluation metrics and training algorithms

Implementación de TLS para mejorar la productividad en la planta de procesos de la Corporación Miyasato S.A.C.

Busca resolver los problemas de baja productividad en la división de vidrios templados de la Corporación Miyasato S.A.C. Se resalta importantes modelos en gestión de procesos, que, a través de la integración de Teoría de Restricciones, Lean Manufacturing y Six Sigma, en el modelo iTLS™; se aplica 7 pasos enfocados en la restricción de la cadena de valor, en la eliminación de desperdicios, y en la reducción de la variabilidad de los mismos logrando optimizar la producción, mejorando todos los niveles de la organización. Concluye que la implementación de iTLS™ mejora la productividad en la Corporación Miyasato S.A.C, resolviendo los problemas abordados en reducción de merma, incremento del cumplimiento de entrega y reducción de Lead time productivo.Tesi

Evaluating Ecosystem Services in Transhumance Cultural Landscapes: An Interdisciplinary and Participatory Framework

Following the concept of ecosystem services, we propose in this article an interdisciplinary and participatory methodological framework for ecosystem services assessment and participatory decision-making in Mediterranean cultural landscapes linked with transhumant pastoralism. It is based on four sequential phases: 1. characterisation of the social-ecological network associated with transhumance, 2. preliminary identification and characterisation of ecosystem services, 3. evaluation of ecosystem services (in biophysical, socio-cultural, and economic terms), and 4. future scenario planning for the analysis of social conflicts related to ecosystem services use and trade-offs as well as the proposal of management strategies. Applying the framework to a case study on one of the major transhumance landscapes in Spain, we could identify and evaluate more than 30 ecosystem services. The framework facilitated the design of robust policy measures that aim to maintain this livestock raising model and its associated flow of ecosystem services. It also contributes to provide the basis for the implementation of adaptive co-management strategiesThis research has been financed by the Spanish Ministry for the Environment and Rural and Marine Affairs (Project 079/RN08/02.1