Resumen de la tarea de ClinAIS en IberLEF 2023: Identificación Automática de Secciones en Documentos Clínicos en Castellano

The ClinAIS shared task organized by IOMED and the HiTZ center aims to tackle the identification of seven section types within unstructured clinical records in the Spanish language. These records, known as Electronic Clinical Narratives (ECNs), store crucial individual health information. However, their lack of standardized formats poses challenges in the development and evaluation of automated systems for clinical document analysis. Twenty-seven participants registered for the task, with five submitting results. This paper presents the outcomes and methodologies used in ClinAIS, contributing to the advancement of clinical text analysis and its application in improving healthcare decision-making and patient care.La tarea ClinAIS organizada por IOMED y el centro HiTZ tiene como objetivo abordar la identificación de siete tipos de secciones dentro de registros clínicos no-estructurados en español. Estos registros, conocidos como Narrativas Clínicas Electrónicas (ECNs), almacenan información crucial acerca de la salud personal. Sin embargo, la falta de estandarización en los formatos plantea desafíos en el desarrollo y evaluación de sistemas automatizados para el análisis de documentos clínicos. Veintisiete participantes se registraron para la tarea, de los cuales cinco presentaron resultados. Este artículo presenta los resultados y metodologías utilizadas en la tarea ClinAIS, contribuyendo al avance del análisis de notas clínicas y su aplicación en la mejora de la toma de decisiones en la atención médica y el cuidado al paciente.This work was partially funded by the Spanish Ministry of Science and Innovation (MCI/AEI/FEDER, UE, DOTTHEALTH/PAT-MED PID2019-106942RB-C31), the Basque Government (IXA IT1570-22), MCIN/AEI/ 10.13039/501100011033, European Union NextGeneration EU/PRTR (DeepR3 TED2021-130295B-C31, ANTIDOTE PCI2020-120717-2 EU ERA-Net CHIST-ERA), and the Government of the United States IARPA BETTER program (INT NOCORE 19/08 project, via Contract No. 2019-19051600006)

A pragmatic approach to translation: vocabulary alignment through multiagent interaction and observation

Uno de los objetivos de los sistemas multiagente es permitir la colaboración entre agentes heterogéneos. Esto puede resultar en la interacción entre participantes con distintos tipos de conocimiento, habilidades, y recursos, creando un ambiente abierto y diverso. Para que esta colaboración funcione, es necesario tener en cuenta los diferentes tipos de heterogeneidad que pueden existir entre los agentes; por ejemplo, la heterogeneidad lingüística. Para poder coordinar sus acciones, es necesario que los agentes puedan comunicarse entre ellos; y esta comunicación sólo puede ser exitosa si todos usan el mismo vocabulario, y lo entienden de la misma manera. El problema del entendimiento mutuo entre agentes con diferentes vocabularios ha sido, mayoritariamente, analizado con técnicas que asumen la existencia de elementos externos comunes, como un meta-lenguaje, un ambiente físico, o recursos semánticos. Sin embargo, estos elementos no siempre están disponibles. Incluso cuando lo están, es posible que generen alineamientos que no sean útiles, en particular, para las interacciones que los agentes quieren completar, dado que no están contextualizados. Esta tesis propone una visión diferente del alineamiento entre vocabularios, considerando agentes que solamente comparten el conocimiento sobre como llevar a cabo una tarea. Esta información está especificada en un protocolo de interacción. Específicamente, proponemos la idea de alineamiento basado en la interacción, en la cual los agentes aprenden un alineamiento a base de interactuar entre ellos, observando lo que funciona y lo que no en una conversación. La situación en la cual un turista intenta pedir un café en un idioma que no domina es una analogía útil. Aún cuando no hay un lenguaje común, es probable que esta interacción termine exitosamente, dado que está compuesta de pasos simples en los cuales todos coinciden. Más aún, si la interacción se repite varias veces, es posible que el turista aprenda como se pide café en el idioma extranjero. A pesar de que este tipo de adaptación resulta natural para humanos, esta idea aún no ha sido explorada en detalle para agentes artificial. A lo largo de esta tesis estudiamos como agentes que tienen especificaciones formalizadas de diferentes maneras pueden aprender un vocabulario nuevo. Concretamente, proponemos técnicas de alineamiento basadas en la interacción para protocolos especificados con autómatas, con restricciones lógicas, y con semánticas sociales. Para cada uno de estos casos, proveemos técnicas que permiten inferir información semántica a partir de interacciones, o de la observación de interacciones entre otros. También analizamos como combinar estas técnicas con alineamientos externos, mostrando como pueden repararlos cuando contienen errores. Los métodos que proponemos para cada tipo de especificación son evaluados mediante simulaciones, usando protocolos artificiales generados aleatoriamente. De esta manera obtenemos una evaluación general, que no está sesgada por particularidades de los datos. Además, estudiamos como aplicar nuestros métodos a datos empíricos creados por humanos, extraídos de la página web WikiHow. En esta evaluación discutimos los desafíos enfrentados al aplicar nuestros métodos al lenguaje natural, y mostramos que mejoramos los resultados obtenidos al usar un reconocido diccionario. En resumen, en esta tesis proponemos un método de alineamiento de vocabulario que depende del contexto y no requiere recursos externos, ni de la colaboración de otros agentes. Nuestro método, por si solo, permite encontrar alineamientos útiles, pero puede ser lento. Sin embargo, cuando son combinadas con otros recursos, nuestras técnicas permiten agilizar el aprendizaje y reparar alineamientos externos, a la vez que proveen información sobre el uso de palabras en contexto, la cual puede ser difícil de obtener de otra manera.Enabling collaboration between agents with different backgrounds is one of the objectives of open and heterogeneous multiagent systems. This can bring together participants with different knowledge, abilities, and access to resources. For this collaboration to succeed, it needs to deal with different kinds of heterogeneity that can exist between agents. An important aspect of this heterogeneity is the linguistic one. To coordinate their collaborative actions, agents need to communicate with each other; and to ensure meaningful communication it is essential that they use the same vocabulary (and understand it in the same way). The problem of achieving common understanding between agents that use different vocabularies has been mainly addressed by techniques that assume the existence of shared external elements, such as a meta-language, a physical environment, or semantic resources. These elements are not always available and, even when they are, they may yield alignments that are not useful for the particular type of interactions agents need to perform, as they are not contextualized. In this dissertation we investigate a different approach to vocabulary alignment. We consider agents that only share knowledge of how to perform a task, given by the specification of an interaction protocol. We study the idea of interaction-based vocabulary alignment, a framework that lets agents learn a vocabulary alignment from the experience of interacting; by observing what works and what does not in a conversation. To give an intuition, consider someone trying to order a coffee in a foreign country. Even if there is no common language, the interaction is likely to succeed, since it consists of simple, well-understood steps that interlocutors agree on. Moreover, it is likely that, if our subject repeats the ordering coffee interaction many times, she will end up learning how it is performed in the foreign language. While humans are very good at adapting in this way, this idea has not been explored in depth for the case of artificial agents. Throughout this dissertation we study how agents can learn a new vocabulary when they follow specifications that use different formalizations. Concretely, we consider interaction-based vocabulary alignment for protocols specified with finite state machines, with logical constraints, and with a social semantics based on commitments. For each case, we provide techniques to infer semantic information from interacting, or observing interactions between other agents. We also analyze how these techniques can be used in combination with external alignments obtained in a different way. When these alignments are not necessarily correct, our techniques provide ways of repairing them. For each type of specification we evaluate the proposed methods by simulating their use in a set of artificial, randomly generated protocols. This provides a general evaluation that does not suffer the biases of particular datasets. Later, we apply our methods to an empirical dataset of human-crafted instructional protocols, obtained from the WikiHow webpage. We discuss the challenges of using our methods in protocols with natural language labels, and we show how the resulting method improves on the performance of using a well-known dictionary. Summarizing, we present a vocabulary alignment method that is context-specific, lightweight, cheap and independent of external resources. This method can be used by agents as a low profile method of learning the vocabulary used in particular situations. Our method allows agents to find a useful alignment, although slowly. In combination with other resources, our technique provides not only a way of learning alignments faster, but also a way of obtaining different information (about the use of words in context) that may be difficult to find otherwise, and to repair external alignments

ContextMEL: un Clasificador de Modificadores Contextuales en Texto Clínico

Taking advantage of electronic health records in clinical research requires the development of natural language processing tools to extract data from unstructured text in different languages. A key task is the detection of contextual modifiers, such as understanding whether a concept is negated or if it belongs to the past. We present ContextMEL, a method to build classifiers for contextual modifiers that is independent of the specific task and the language, allowing for a fast model development cycle. ContextMEL uses annotation by experts to build a curated dataset, and state-of-the-art deep learning architectures to train models with it. We discuss the application of ContextMEL for three modifiers, namely Negation, Temporality and Certainty, on Spanish and Catalan medical text. The metrics we obtain show our models are suitable for industrial use, outperforming commonly used rule-based approaches such as the NegEx algorithm.Las historias clínicas electrónicas pueden traer grandes avances en la investigación médica, pero requieren el desarrollo de herramientas para procesar texto no estructurado en diferentes idiomas. Una tarea clave es la detección de distintos modificadores contextuales, como el aspecto temporal de un concepto, o si está negado. En este trabajo presentamos ContextMEL, un método para construir clasificadores para modificadores contextuales que es independiente tanto de la tarea específica como del lenguaje, permitiendo un ciclo de desarrollo dinámico. ContextMEL usa anotaciones de expertos para crear un dataset curado, y las últimas tecnologías en aprendizaje profundo. En este artículo discutimos la aplicación de ContextMEL para tres modificadores contextuales (temporalidad, negación, y certeza) en texto médico en castellano y catalán. Los resultados obtenidos muestran que nuestros modelos pueden utilizarse en un entorno industrial, y que son más precisos que conocidos métodos basados en reglas, como el algoritmo NegEx

A pragmatic approach to translation : vocabulary alignment through multiagent interaction and observation /

Bibliografia.Uno de los objetivos de los sistemas multiagente es permitir la colaboración entre agentes heterogéneos. Esto puede resultar en la interacción entre participantes con distintos tipos de conocimiento, habilidades, y recursos, creando un ambiente abierto y diverso. Para que esta colaboración funcione, es necesario tener en cuenta los diferentes tipos de heterogeneidad que pueden existir entre los agentes; por ejemplo, la heterogeneidad lingüística. Para poder coordinar sus acciones, es necesario que los agentes puedan comunicarse entre ellos; y esta comunicación sólo puede ser exitosa si todos usan el mismo vocabulario, y lo entienden de la misma manera. El problema del entendimiento mutuo entre agentes con diferentes vocabularios ha sido, mayoritariamente, analizado con técnicas que asumen la existencia de elementos externos comunes, como un meta-lenguaje, un ambiente físico, o recursos semánticos. Sin embargo, estos elementos no siempre están disponibles. Incluso cuando lo están, es posible que generen alineamientos que no sean útiles, en particular, para las interacciones que los agentes quieren completar, dado que no están contextualizados. Esta tesis propone una visión diferente del alineamiento entre vocabularios, considerando agentes que solamente comparten el conocimiento sobre como llevar a cabo una tarea. Esta información está especificada en un protocolo de interacción. Específicamente, proponemos la idea de alineamiento basado en la interacción, en la cual los agentes aprenden un alineamiento a base de interactuar entre ellos, observando lo que funciona y lo que no en una conversación. La situación en la cual un turista intenta pedir un café en un idioma que no domina es una analogía útil. Aún cuando no hay un lenguaje común, es probable que esta interacción termine exitosamente, dado que está compuesta de pasos simples en los cuales todos coinciden. Más aún, si la interacción se repite varias veces, es posible que el turista aprenda como se pide café en el idioma extranjero. A pesar de que este tipo de adaptación resulta natural para humanos, esta idea aún no ha sido explorada en detalle para agentes artificial. A lo largo de esta tesis estudiamos como agentes que tienen especificaciones formalizadas de diferentes maneras pueden aprender un vocabulario nuevo. Concretamente, proponemos técnicas de alineamiento basadas en la interacción para protocolos especificados con autómatas, con restricciones lógicas, y con semánticas sociales. Para cada uno de estos casos, proveemos técnicas que permiten inferir información semántica a partir de interacciones, o de la observación de interacciones entre otros. También analizamos como combinar estas técnicas con alineamientos externos, mostrando como pueden repararlos cuando contienen errores. Los métodos que proponemos para cada tipo de especificación son evaluados mediante simulaciones, usando protocolos artificiales generados aleatoriamente. De esta manera obtenemos una evaluación general, que no está sesgada por particularidades de los datos. Además, estudiamos como aplicar nuestros métodos a datos empíricos creados por humanos, extraídos de la página web WikiHow. En esta evaluación discutimos los desafíos enfrentados al aplicar nuestros métodos al lenguaje natural, y mostramos que mejoramos los resultados obtenidos al usar un reconocido diccionario. En resumen, en esta tesis proponemos un método de alineamiento de vocabulario que depende del contexto y no requiere recursos externos, ni de la colaboración de otros agentes. Nuestro método, por si solo, permite encontrar alineamientos útiles, pero puede ser lento. Sin embargo, cuando son combinadas con otros recursos, nuestras técnicas permiten agilizar el aprendizaje y reparar alineamientos externos, a la vez que proveen información sobre el uso de palabras en contexto, la cual puede ser difícil de obtener de otra manera.Enabling collaboration between agents with different backgrounds is one of the objectives of open and heterogeneous multiagent systems. This can bring together participants with different knowledge, abilities, and access to resources. For this collaboration to succeed, it needs to deal with different kinds of heterogeneity that can exist between agents. An important aspect of this heterogeneity is the linguistic one. To coordinate their collaborative actions, agents need to communicate with each other; and to ensure meaningful communication it is essential that they use the same vocabulary (and understand it in the same way). The problem of achieving common understanding between agents that use different vocabularies has been mainly addressed by techniques that assume the existence of shared external elements, such as a meta-language, a physical environment, or semantic resources. These elements are not always available and, even when they are, they may yield alignments that are not useful for the particular type of interactions agents need to perform, as they are not contextualized. In this dissertation we investigate a different approach to vocabulary alignment. We consider agents that only share knowledge of how to perform a task, given by the specification of an interaction protocol. We study the idea of interaction-based vocabulary alignment, a framework that lets agents learn a vocabulary alignment from the experience of interacting; by observing what works and what does not in a conversation. To give an intuition, consider someone trying to order a coffee in a foreign country. Even if there is no common language, the interaction is likely to succeed, since it consists of simple, well-understood steps that interlocutors agree on. Moreover, it is likely that, if our subject repeats the ordering coffee interaction many times, she will end up learning how it is performed in the foreign language. While humans are very good at adapting in this way, this idea has not been explored in depth for the case of artificial agents. Throughout this dissertation we study how agents can learn a new vocabulary when they follow specifications that use different formalizations. Concretely, we consider interaction-based vocabulary alignment for protocols specified with finite state machines, with logical constraints, and with a social semantics based on commitments. For each case, we provide techniques to infer semantic information from interacting, or observing interactions between other agents. We also analyze how these techniques can be used in combination with external alignments obtained in a different way. When these alignments are not necessarily correct, our techniques provide ways of repairing them. For each type of specification we evaluate the proposed methods by simulating their use in a set of artificial, randomly generated protocols. This provides a general evaluation that does not suffer the biases of particular datasets. Later, we apply our methods to an empirical dataset of human-crafted instructional protocols, obtained from the WikiHow webpage. We discuss the challenges of using our methods in protocols with natural language labels, and we show how the resulting method improves on the performance of using a well-known dictionary. Summarizing, we present a vocabulary alignment method that is context-specific, lightweight, cheap and independent of external resources. This method can be used by agents as a low profile method of learning the vocabulary used in particular situations. Our method allows agents to find a useful alignment, although slowly. In combination with other resources, our technique provides not only a way of learning alignments faster, but also a way of obtaining different information (about the use of words in context) that may be difficult to find otherwise, and to repair external alignments