Neural models for information retrieval: towards asymmetry sensitive approaches based on attention models

Ce travail se situe dans le contexte de la recherche d'information (RI) utilisant des techniques d'intelligence artificielle (IA) telles que l'apprentissage profond (DL). Il s'intéresse à des tâches nécessitant l'appariement de textes, telles que la recherche ad-hoc, le domaine du questions-réponses et l'identification des paraphrases. L'objectif de cette thèse est de proposer de nouveaux modèles, utilisant les méthodes de DL, pour construire des modèles d'appariement basés sur la sémantique de textes, et permettant de pallier les problèmes de l'inadéquation du vocabulaire relatifs aux représentations par sac de mots, ou bag of words (BoW), utilisées dans les modèles classiques de RI. En effet, les méthodes classiques de comparaison de textes sont basées sur la représentation BoW qui considère un texte donné comme un ensemble de mots indépendants. Le processus d'appariement de deux séquences de texte repose sur l'appariement exact entre les mots. La principale limite de cette approche est l'inadéquation du vocabulaire. Ce problème apparaît lorsque les séquences de texte à apparier n'utilisent pas le même vocabulaire, même si leurs sujets sont liés. Par exemple, la requête peut contenir plusieurs mots qui ne sont pas nécessairement utilisés dans les documents de la collection, notamment dans les documents pertinents. Les représentations BoW ignorent plusieurs aspects, tels que la structure du texte et le contexte des mots. Ces caractéristiques sont très importantes et permettent de différencier deux textes utilisant les mêmes mots et dont les informations exprimées sont différentes. Un autre problème dans l'appariement de texte est lié à la longueur des documents. Les parties pertinentes peuvent être réparties de manières différentes dans les documents d'une collection. Ceci est d'autant vrai dans les documents volumineux qui ont tendance à couvrir un grand nombre de sujets et à inclure un vocabulaire variable. Un document long pourrait ainsi comporter plusieurs passages pertinents qu'un modèle d'appariement doit capturer. Contrairement aux documents longs, les documents courts sont susceptibles de concerner un sujet spécifique et ont tendance à contenir un vocabulaire plus restreint. L'évaluation de leur pertinence est en principe plus simple que celle des documents plus longs. Dans cette thèse, nous avons proposé différentes contributions répondant chacune à l'un des problèmes susmentionnés. Tout d'abord, afin de résoudre le problème d'inadéquation du vocabulaire, nous avons utilisé des représentations distribuées des mots (plongement lexical) pour permettre un appariement basé sur la sémantique entre les différents mots. Ces représentations ont été utilisées dans des applications de RI où la similarité document-requête est calculée en comparant tous les vecteurs de termes de la requête avec tous les vecteurs de termes du document, indifféremment. Contrairement aux modèles proposés dans l'état-de-l'art, nous avons étudié l'impact des termes de la requête concernant leur présence/absence dans un document. Nous avons adopté différentes stratégies d'appariement document/requête. L'intuition est que l'absence des termes de la requête dans les documents pertinents est en soi un aspect utile à prendre en compte dans le processus de comparaison. En effet, ces termes n'apparaissent pas dans les documents de la collection pour deux raisons possibles : soit leurs synonymes ont été utilisés ; soit ils ne font pas partie du contexte des documents en questions. Les méthodes que nous avons proposé permettent, d'une part d'effectuer un appariement inexact entre le document et la requête, et d'une autre part évaluer l'impact des différents termes d'une requête dans le processus d'appariement. Bien que l'utilisation du plongement lexical des mots permet d'effectuer un appariement basé sur la sémantique entre différentes séquences de texte, ces représentations combinées avec les modèles classiques considèrent toujours le texte comme une liste d'éléments indépendants (sac de vecteurs au lieux de sac de mots). Or, la structure du texte aussi bien que l'ordre des mots est très importante. Tout changement dans la structure du texte et/ou l'ordre des mots altère l'information exprimée. Afin de résoudre ce problème, les modèles neuronaux ont été utilisés dans l'appariement de texte. Dans notre cas, nous avons d'abord étudié différents modèles neuronaux de l'état-de-l'art pour la comparaison de textes, ensuite nous avons proposé deux approches principales. Dans un premier temps, nous avons construit un modèle qui tient compte de la structure d'un texte et de l'importance de ses mots. Plus précisément, nous avons combiné un modèle basé sur la position avec un modèle basé sur l'attention pour construire une approche d'appariement de texte exploitant des représentations basées sur la position en combinaison avec une pondération basée sur l'attention des mots. Nous croyons que lorsque le modèle est conscient de la position et de l'importance des mots, les représentations apprises fourniront des caractéristiques plus pertinentes pour le processus de comparaison. Nous avons conclu que la position combinée, dans une configuration asymétrique, à l'attention portée à un mot d'une séquence, permet d'améliorer de façon significative les résultats. Dans un deuxième temps, nous avons analysé différentes applications d'appariement neuronal de texte et les avons regroupé en deux grandes catégories. (1) les problèmes d'appariement symétrique qui consiste à identifier si deux textes, de même nature, sont sémantiquement similaires ; (2) les problèmes d'appariement asymétrique qui consiste à évaluer si un texte d'entrée fournit les informations recherchées dans un autre texte de nature différente. En étudiant les différents modèles neuronaux existants, nous avons constaté que tous les modèles proposés se basent sur une architecture Siamoise globale où les différentes entrées du modèle subissent le même traitement quelque soit la nature de la tâche, (1) ou (2). Afin de prendre en considération la nature de la tâche, nous avons proposé une architecture sensible à l'asymétrie pour l'appariement neuronal de textes. Particulièrement, nous avons utilisé un modèle d'attention pour construire une architecture générale qui étend différents modèles neuronaux de l'état de l'art. Enfin, pour faire face aux problèmes liés à la taille des documents dans la recherche ad-hoc en utilisant les réseaux de neurones, nous avons proposé une approche pour extraire des signaux de pertinence à différents niveaux dans un document long. Notamment, au niveau des mots, des passages et du document complet. Plus précisément, nous avons proposé une architecture globale multi-couche permettant de mesurer la pertinence à différent niveaux, en utilisant les modèles d'attention. Cette architecture est ensuite utilisée pour étendre plusieurs modèles de l'état de l'art et d'examiner l'apport de la pertinence mesurée à différents niveaux. Par ailleurs, nous avons proposé un modèle basé sur l'architecture générale proposée. Il utilise un réseau récurrent afin d'effectuer une sorte d'interaction compétitive entre les passages susceptible d'être pertinent dans un document, et qui sont préalablement sélectionnés.This work is situated in the context of information retrieval (IR) using machine learning (ML) and deep learning (DL) techniques. It concerns different tasks requiring text matching, such as ad-hoc research, question answering and paraphrase identification. The objective of this thesis is to propose new approaches, using DL methods, to construct semantic-based models for text matching, and to overcome the problems of vocabulary mismatch related to the classical bag of word (BoW) representations used in traditional IR models. Indeed, traditional text matching methods are based on the BoW representation, which considers a given text as a set of independent words. The process of matching two sequences of text is based on the exact matching between words. The main limitation of this approach is related to the vocabulary mismatch. This problem occurs when the text sequences to be matched do not use the same vocabulary, even if their subjects are related. For example, the query may contain several words that are not necessarily used in the documents of the collection, including relevant documents. BoW representations ignore several aspects about a text sequence, such as the structure the context of words. These characteristics are important and make it possible to differentiate between two texts that use the same words but expressing different information. Another problem in text matching is related to the length of documents. The relevant parts can be distributed in different ways in the documents of a collection. This is especially true in large documents that tend to cover a large number of topics and include variable vocabulary. A long document could thus contain several relevant passages that a matching model must capture. Unlike long documents, short documents are likely to be relevant to a specific subject and tend to contain a more restricted vocabulary. Assessing their relevance is in principle simpler than assessing the one of longer documents. In this thesis, we have proposed different contributions, each addressing one of the above-mentioned issues. First, in order to solve the problem of vocabulary mismatch, we used distributed representations of words (word embedding) to allow a semantic matching between the different words. These representations have been used in IR applications where document/query similarity is computed by comparing all the term vectors of the query with all the term vectors of the document, regardless. Unlike the models proposed in the state-of-the-art, we studied the impact of query terms regarding their presence/absence in a document. We have adopted different document/query matching strategies. The intuition is that the absence of the query terms in the relevant documents is in itself a useful aspect to be taken into account in the matching process. Indeed, these terms do not appear in documents of the collection for two possible reasons: either their synonyms have been used or they are not part of the context of the considered documents. The methods we have proposed make it possible, on the one hand, to perform an inaccurate matching between the document and the query, and on the other hand, to evaluate the impact of the different terms of a query in the matching process. Although the use of word embedding allows semantic-based matching between different text sequences, these representations combined with classical matching models still consider the text as a list of independent elements (bag of vectors instead of bag of words). However, the structure of the text as well as the order of the words is important. Any change in the structure of the text and/or the order of words alters the information expressed. In order to solve this problem, neural models were used in text matching. In our case, we first studied different neural models from the state-of-the-art of text matching, then we proposed two main approaches. First, we built a model that takes into account the structure of a text and the importance of its words. Specifically, we combined a position-based model with an attention-based model to build a text matching approach using position-based representations combined with attention-based weights of words. We believe that when the model is aware of the position and importance of words, the representations learned will provide more relevant characteristics for the comparison process. We concluded that the combined position, in an asymmetric configuration, with the attention given to a word in a sequence, significantly improves the results. In a second step, we analyzed different neural text matching applications and grouped them into two main categories. (1) symmetric matching problems which consists in identifying if two texts, of the same nature, are semantically similar; (2) asymmetric matching problems which consists in evaluating if an input text provides the information sought in another text of a different nature. By studying the various existing neural models, we have found that all the models proposed are based on a global Siamese architecture where the different inputs of the model undergo the same processing, whatever the nature of the task (1) or (2). In order to take into consideration the nature of the matching task, we proposed an asymmetry sensitive architecture for neural text matching. In particular, we used an attention model to build a general architecture that extends different neural models of the state-of-the-art. Finally, to address problems related to document size in ad-hoc search using neural networks, we proposed an approach to extract relevance signals at different levels in a long document. In particular, at the level of words, passages and the complete document. More precisely, we proposed a global multi-layer architecture to measure relevance at different levels, using attention models. This architecture is then used to extend several state of the art models and to examine the contribution of relevance measured at different levels. Based on this general architecture, we proposed a model that uses a recurrent layer to perform a kind of competitive interactions between the passages that are likely to be relevant in a document, and which are previously selected

Etude comportementale et électrophysiologique chez des volontaires sains et des patients atteints de la maladie de Parkinson

Si langage et motricité étaient jusque récemment considérés comme deux systèmes indépendants, de plus en plus d'arguments suggèrent à présent que des liens fonctionnels très étroits les unissent. Le présent travail de thèse a été réalisé avec pour objectif majeur de fournir des indices comportementaux et électrophysiologiques d'un éventuel partage de substrats neuronaux entre langage et action. A travers deux études basées sur des paradigmes subtils d'amorçage, nous avons exploré les répercussions de l'atteinte de la boucle frontale motrice dans la maladie de Parkinson sur l'accès aux représentations lexico-sémantiques spécifiquement associées aux mots d'action, chez des patients bénéficiant ou non de traitement médicamenteux par L-DOPA ou d'électrodes de stimulation cérébrale profonde. Si nos résultats indiquent que le système moteur, déficitaire dans la maladie de Parkinson, ne serait pas nécessaire pour permettre l'accès au sens des mots d'action, ils fournissent néanmoins des preuves tangibles en faveur d'une contribution des aires motrices au traitement sémantique de ces mots. Ce travail souligne deux principes importants qui gouvernent l'organisation des connaissances au sein des réseaux cérébraux : les représentations sémantiques associées à des concepts abstraits d'un côté et concrets de l'autre seraient stockées et accédées de manières partiellement distinctes ; d'autre part, l'accès au sens des mots d'action serait facilité par le recrutement des régions à l'origine de la réalisation de l'acte moteur.Despite motor and linguistic systems were for a long time considered as being independent, current cognitive theories postulate that action and language are functionally linked in the brain. The present work aimed to provide new arguments about a hotly debated question: do perception and comprehension of action words depend on motor circuits? Using two types of priming paradigms, we assessed the question of whether the deficit reaching the frontal motor loop in Parkinson's Disease (PD) does affect semantic access for actions words specifically, by comparing behavioral performance and electrophysiological data in patients with PD, once deprived of L-DOPA or deep brain stimulation of subthalamic nucleus and after those treatments were re-established. Our results primary showed that motor system would not be necessary to access semantic knowledge about action words, but they provide strong arguments supporting that cortical motor regions contribute to action words processing facilitation. Overall, this work thus highlights two important principles governing the neural instantiation of semantic knowledge: first, neural support and access for semantic representations for abstract on the one hand and concrete concepts on the other hand are partly distinct; second, action and language processing share a neural integration system, at least partially, action words processing being facilitated by the recruitment of motor regions

El tratamiento personalizado de la insuficiencia velofaríngea mediante injerto adiposo autólogo de la faringe

La incompetencia velofaríngea (IVP), definida por Lermoyez como un “desajuste anatómico y funcional entre el paladar blando y la faringe durante el habla”, es un problema funcional que requiere una gestión multidisciplinar con un estudio dinámico de las dos estructuras implicadas en el emisión de las palabras mediante la visión directa de los movimientos musculares durante la producción de fonemas. Varios estudios radiológicos han trabajado en la visualización dinámica del cierre velofaríngeo. Pigott fue el primero en introducir la nasofibroscopia en el estudio de la IVP. Ahora, el uso de la resonancia magnética funcional para el estudio del habla está en pleno desarrollo. Éste es un trabajo muy prometedor, pero todavía está en el campo de la investigación. El historial de tratamiento de la IVP depende estrictamente de la cirugía secundaria de fisura palatina. Se han descrito varios procedimientos, que se pueden clasificar en faringoplastias activas y pasivas. Las faringoplastias activas son un conjunto de procedimientos que tienen el objetivo de avanzar la pared faríngea posterior o reducir el espacio entre las paredes faríngeas laterales con una sutura del paladar a la faringe, a través de uno o dos colgajos faríngeos. Estas técnicas tienen muchas complicaciones importantes: obstrucción de vías respiratorias, sangrado intraoperatorio y aletracion de la ventilación nasal. En los pacientes que padecen una apnea obstructiva conocida, la intervención está contraindicada. Para dar una solución a los pacientes con contraindicaciones y a los pacientes con insuficiencia velofaríngea moderada, se han propuesto alternativas menos invasivas: el objetivo de las faringoplastias pasivas es facilitar el rol oclusivo del paladar mediante la reducción de la distancia de la pared faríngea posterior , a través de un complemento a la obturación natural que ofrece el anillo de Passavant. Clasicamente se han utilizado diversos materiales, pero últimamente la técnica más utilizada es el autoinjerto del retrofaringe con células adiposas, por la facilidad de muestreo y manejo del tejido adiposo. La cirugía del habla es una cirugía funcional que requiere un enfoque multidisciplinar cuyo resultado está estrictamente relacionado con la indicación adecuada. El cirujano debe integrar la información de los diferentes profesionales, adaptarla al patrón clínico ya la historia del paciente, valorar los riesgos en relación con los beneficios esperados y, finalmente, decidir la técnica más adecuada en la clínica y en la anatomía funcional específica del paciente. Se trata, pues, de una decisión con muchas variables, aunque en pacientes pediátricos debe considerarse también la cuarta dimensión del tiempo: la intervención debe realizarse en el momento màs adecuado a la etapa evolutiva del paciente. La presencia de todas estas variables dificulta mucho el momento de la toma de decisiones del médico, complicada además por la falta de consenso en la literatura. OBJECTIVO DE LA TESIS El objetivo de esta tesis es estudiar la toma de decisiones entre las opciones quirúrgicas existentes y adaptarlo a cada sujeto que presenta IVP, con el objetivo de construir planes quirúrgicos personalizados. Históricamente, este proceso de toma de decisiones se llevó a cabo, por un lado, a partir de la experiencia personal del cirujano y, por otro, teniendo en cuenta el estudio de la bibliografía. El resultado esperado de este trabajo es sumar a la experiencia personal del cirujano y a la incertidumbre por una literatura muy controvertida, un componente científico a través del análisis matemático de las variables que pueden ayudar a la decisión quirúrgica. Para ello, mediante un modelo reproducible de las variables, hemos construido un diagrama de decisión, que permite la mejor interpretación de los resultados quirúrgicos, para ayudar a escoger la técnica más adecuada para el paciente según su situación anatómica, clínica y evolutiva. METODOLOGIA Esta tesis se basa en un estudio observacional retrospectivo sobre 244 pacientes consecutivos sometidos a cirugía velofaríngea para el tratamiento de la IVP en un único centro hospitalario de tercer nivel entre 1982 y 2019. 130 pacientes fueron excluidos del estudio porque su historia clínica y/o su seguimiento postoperatorio (12 meses) estaban incompletos. Hemos incluido todas las etiologías (fisura palaciega, fisura labial y palaciega, fisura palaciega submucosa, IVP aislada). Todos los pacientes son francófonos. La revisión preoperatoria incluye logopedia con aerofonoscopio, nasofibroscopia y evaluación ORL. Los grados de gravedad de la IVP se clasificaron según la clasificación de Borrel Maisonny (BM). El análisis de los resultados utiliza, en primer lugar, métodos estadísticos tradicionales como la regresión logística y lineal, el índice de propensión y el análisis marginal. Estos métodos requieren datos clínicos a gran escala para garantizar una reproducibilidad y especificidad significativas. Por otro lado, un análisis estadístico sobre muestras grandes corre el riesgo de dar un punto de vista despersonalizado que no tenga en cuenta la especificidad única del sujeto. Para resolver este problema, exploramos las fronteras de la inteligencia artificial con técnicas de aprendizaje automático con dos beneficios esperados. En primer lugar, el análisis algorítmico del aprendizaje automático mediante modelos matemáticos mucho más complejos puede ser más adecuado a la realidad, dando explicaciones específicas de cada caso también en el ámbito local. En segundo lugar, el análisis algorítmico permite estudiar a su vez diferentes modalidades de variables y ordenarlas en importancia en función de la expresión probabilística en la realidad. Este punto es muy importante para la priorización de la toma de decisiones. Se han utilizado dos métodos de aprendizaje automático: el árbol de decisión y el algoritmo "interpreto-ML Explainable Boosting Machine". De acuerdo a los resultados obtenidos, hemos construido un árbol de decisión que describe las variables preoperatorias, con la selección de parámetros que estadísticamente estaban asociados a una gran probabilidad de éxito o fracaso. RESULTADOS Se han estudiado las historias clínicas de 114 pacientes de edades comprendidas entre los 4 y los 48 años, de los cuales 63 (55,26%) fueron sometidos a faringoplastia y 51 (44,74%) a injerto, técnica introducida en el servicio en 2006. En el grupo de faringoplastia, el 42,86% fueron hombres y el 57,14% mujeres. La media de edad era de 6 años (IQR: 5-7). 18 (28,57%) de ellos tenían trastornos genéticos o sindrómicos. El diagnóstico más frecuente fue la fisura labiopalatina (30 pacientes, 47,62%), seguido de la fisura palatina con 22 pacientes (34,92%) y la IVP aislada con 11 pacientes (17,46%). Un BMpre de 3 fue el valor inicial más representado (28 pacientes, 44,44%), mientras que BMpre = 2m y BMpre = 2b y BMpre = 1-2 se encontraron en 11 (17,46%), 22 ( 34,92%) y 2 (3,17%) pacientes respectivamente. Por lo que se refiere al grupo de pacientes sometidos a injerto de tejido adiposo, mujeres y hombres fueron, respectivamente, el 50,98% (26 pacientes) y el 49,02% (25 pacientes). La media de edad era de 7 años (IQR: 6-11). 17 pacientes (33,33%) sufrían trastornos genéticos y el diagnóstico más frecuente fue la fisura palatina (26 pacientes, 50,98%), seguido de la fisura labiopalatina (21 pacientes, 41,18%) e IVP aislada (4 pacientes, 7,84%). El valor inicial de BM fue significativamente superior en el del grupo de faringoplastia (p<0,001). Por el contrario, la edad de los pacientes sometidos a injerto de grasa fue significativamente superior a la de los pacientes tratados con faringoplastia, tanto cuando la edad se considera continua (p<0,001) como categórica (p<0,001). El seguimiento medio es de 19,5 años. Mediante el análisis de las fichas de los pacientes operados por injerto graso pudimos demostrar que los pacientes menores de 7 años obtienen resultados postoperatorios más favorables (p=0,03) en comparación con los niños mayores. Si comparamos a los pacientes operados por injerto de grasa con los pacientes operados por faringoplastia, encontramos que los pacientes que se sometieron a una faringoplastia tenían puntuaciones de BM significativamente peores en comparación con los pacientes operados por injerto de tejido adiposo, pero la edad de los pacientes sometidos a injerto de tejido adiposo era significativamente más alta. No hemos encontrado ninguna superioridad significativa de una técnica sobre otra. No tenemos complicaciones en el grupo del injerto de grasa, pero la tasa de fracaso ha sido del 7,84%, resuelta con una nueva faringoplastia. Por otra parte, la faringoplastia de primera línea no registró ningún fracaso, pero un paciente presentó un síndrome de apnea obstructiva del sueño postoperatorio. El análisis marginal demostró que la edad por debajo de los 7 años, la fisura de labiopalatina, la ausencia de síndrome y el IVP intermitente son un importante predictor de buen resultado independientemente de la técnica quirúrgica. El análisis con aprendizaje automático, por un lado, confirmó los resultados de las estadísticas tradicionales y, por otro, nos permitió introducir las variables relativas a los datos fibroscópicos en el modelo de la elección quirúrgica. Por tanto, podemos concluir que el factor más importante que discrimina la elección quirúrgica es la fibroscopia. Entre las diferentes observaciones que ofrece la exploración fibroscópica, la característica más importante para realizar una elección está representada por las dimensiones del gap velofaríngeo, seguida del tono y la movilidad del paladar blando. El otro elemento clave a la hora de elegir una técnica sobre la otra es el BM preoperatorio. Las variables edad, etiología y alteraciones genéticas son también de gran interés para predecir el éxito postoperatorio. CONCLUSIONES La bibliografía de cirugía del habla está dominada por estudios caracterizados por diagramas de decisión basados en la experiencia de las diferentes escuelas quirúrgicas. Cada escuela prioriza de manera distinta la importancia de las variables en la toma de decisión. En este contexto, presentamos los resultados a largo plazo de una técnica mínimamente invasiva para el tratamiento de la IPV mediante injerto de grasa, demostrando que si se realiza pronto (antes de los 7 años), a pesar de la posibilidad conocida de reabsorción del tejido adiposo, los resultados obtenidos en el primer año de seguimiento se mantienen estables en el tiempo. Hemos comparado esta técnica con las faringoplastias clásicas, sin encontrar diferencias significativas. Para conseguir una personalización perfecta del tratamiento, hemos construido a partir del análisis marginal un perfil de paciente con un resultado postoperatorio perfecto para ofrecer una herramienta de toma de decisiones al cirujano para una previsión postoperatoria del resultado quirúrgico. El análisis por aprendizaje automático, incluyendo los datos de los informes de fibroscopias, completa el estudio priorizando las variables. Todos estos datos se han recogido en un árbol de decisión que tiene en cuenta toda la trayectoria asistencial del paciente. El injerto ha demostrado ser una técnica quirurgica segura y reproducible que no altera la anatomía de la faringe y que permite, si cabe, una revisión quirúrgica más fácil. Pretendemos ampliar sus indicaciones en los casos de IPV más graves y en pacientes con un pronóstico menos favorable o con mayor riesgo de recurrencia (pacientes mayores de 7 años, pacientes con síndrome velocardiofacial o pacientes con IVP aislada). Esta elección puede evitar o, en cualquier caso, puede preceder sin riesgos añadidos la realización de una faringoplastia, una intervención técnicamente más agresiva que requiere una estancia hospitalaria más larga y sujeta a un mayor riesgo de complicaciones.Velopharyngeal insufficiency (VPI), defined by Lermoyez as an "anatomical and functional mismatch between the soft palate and the pharynx during speech", is a functional problem that requires multidisciplinary management with a dynamic study of the two structures involved in speech emission through direct vision of muscle movements during the production of phonemes. Several radiological studies study the dynamic visualization of velopharyngeal closure. Pigott was the first to introduce nasofibroscopy in the study of VPI. Now, the use of functional magnetic resonance imaging for the study of speech is in full development. This is very promising work, but it is still in the field of research. The treatment history of VPI strictly depends on the secondary cleft palate surgery. Various procedures have been described, which can be classified into active and passive pharyngoplasties. Active pharyngoplasties are a set of procedures that aim to advance the posterior pharyngeal wall or reduce the space between the lateral pharyngeal walls with a suture from the palate to the pharynx, through one or two pharyngeal flaps. These techniques have many important complications: airway obstruction, intraoperative bleeding, and impaired nasal ventilation. In patients with known obstructive sleep apnoea, intervention is contraindicated. To provide a solution to patients with contraindications and to patients with moderate velopharyngeal insufficiency, less invasive alternatives have been proposed: the objective of passive pharyngoplasties is to facilitate the occlusive role of the palate by reducing the distance from the posterior pharyngeal wall, through a complement to the natural seal offered by the Passavant ring. Classically, various materials have been used, but lately the most widely used technique is autografting of the retropharynx with adipose cells, for ease of sampling and handling of adipose tissue. Speech surgery is a functional surgery that requires a multidisciplinary approach whose result is strictly related to the appropriate indication. The surgeon must integrate the information from the different professionals, adapt it to the clinical pattern and the patient's history, assess the risks in relation to the expected benefits and, finally, decide the most appropriate technique in the clinic and in the specific functional anatomy of the patient. . It is, therefore, a decision with many variables, although in paediatric patients the fourth dimension of time must also be considered: the intervention must be performed at the most appropriate moment for the evolutionary stage of the patient. The presence of all these variables makes it very difficult for the physician to make decisions, further complicated by the lack of consensus in the literature. OBJECTIVE OF THE THESIS The objective of this thesis is to study decision-making among the existing surgical options and adapt it to each subject that presents VPI, with the aim of building personalized surgical plans. Historically, this decision-making process was carried out, on the one hand, based on the personal experience of the surgeon and, on the other hand, taking into account the study of the bibliography. The expected result of this work is to add to the personal experience of the surgeon and the uncertainty caused by highly controversial literature, a scientific component through the mathematical analysis of the variables that can help surgical decision. To do this, through a reproducible model of the variables, we have built a decision diagram, which allows the best interpretation of the surgical results, to help choose the most appropriate technique for the patient according to their anatomical, clinical and evolutionary situation. METHODOLOGY This thesis is based on a retrospective observational study on 244 consecutive patients who underwent velopharyngeal surgery for the treatment of VPI in a single tertiary hospital between 1982 and 2019. 130 patients were excluded from the study because their medical history and/or their Postoperative follow-up (12 months) were incomplete. We have included all etiologies (cleft palate, cleft lip and palate, submucous cleft palate, isolated VPI). All patients are French-speaking. The preoperative review includes speech therapy with an aerofonoscope, nasofibroscopy, and ENT evaluation. The degrees of severity of VPI were classified according to the Borrel Maisonny (BM) classification. The analysis of the results uses, first of all, traditional statistical methods such as logistic and linear regression, the propensity index and marginal analysis. These methods require large-scale clinical data to ensure significant reproducibility and specificity. On the other hand, a statistical analysis on large samples runs the risk of giving a depersonalized point of view that does not take into account the unique specificity of the subject. To solve this problem, we explore the frontiers of artificial intelligence with machine learning techniques with two expected benefits. In the first place, the algorithmic analysis of machine learning using much more complex mathematical models may be more adherent to reality, giving specific explanations for each case at the local level to. Secondly, the algorithmic analysis makes it possible to study different modalities of variables and order them in importance based on the probabilistic expression in reality. This point is very important for the prioritization of decision-making. Two machine-learning methods have been used: the decision tree and the "interpret-ML Explainable Boosting Machine" algorithm. Based on the results obtained, we have built a decision tree that describes the preoperative variables, with the selection of parameters that were statistically associated with a high probability of success or failure. RESULTS The medical records of 114 patients between the ages of 4 and 48 years have been studied, of whom 63 (55.26%) underwent pharyngoplasty and 51 (44.74%) graft, a technique introduced in the service in 2006. In the pharyngoplasty group, 42.86% were men and 57.14% women. The mean age was 6 years (IQR: 5-7). 18 (28.57%) of them had genetic or syndromic disorders. The most frequent diagnosis was cleft lip and palate (30 patients, 47.62%), followed by cleft palate with 22 patients (34.92%) and isolated VPI with 11 patients (17.46%). A BMpre of 3 was the most represented initial value (28 patients, 44.44%), while BMpre = 2m and BMpre = 2b and BMpre = 1-2 were found in 11 (17.46%), 22 (34, 92%) and 2 (3.17%) patients respectively. Regarding the group of patients who underwent adipose tissue graft, women and men were, respectively, 50.98% (26 patients) and 49.02% (25 patients). The mean age was 7 years (IQR: 6-11). 17 patients (33.33%) suffered from genetic disorders and the most frequent diagnosis was cleft palate (26 patients, 50.98%), followed by cleft lip and palate (21 patients, 41.18%) and isolated VPI (4 patients , 7.84%). The initial value of BM was significantly higher in the pharyngoplasty group (p<0.001). In contrast, the age of the patients who underwent fat grafting was significantly higher than that of the patients treated with pharyngoplasty, both when age is considered continuous (p<0.001) and categorical (p<0.001). The mean follow-up is 19.5 years. By analyzing the records of patients operated on for fat grafting, we were able to demonstrate that patients under 7 years of age obtain more favourable postoperative results (p=0.03) compared to older children. If we compare the patients who underwent fat grafting with the patients who underwent pharyngoplasty, we found that the patients who underwent pharyngoplasty had significantly worse BM scores compared with the patients who underwent fat grafting, but the age of the patients undergoing adipose tissue grafting was significantly higher. We have not found any significant superiority of one technique over another. We did not have complications in the fat graft group, but the failure rate was 7.84%, resolved with a new pharyngoplasty. On the other hand, first-line pharyngoplasty did not register any failure, but one patient presented postoperative obstructive sleep apnoea syndrome. The marginal analysis showed that age under 7 years; cleft lip and palate, absence of syndrome, and intermittent VPI are an important predictor of good outcome regardless of the surgical technique. The analysis with machine learning, on the one hand, confirmed the results of the traditional statistics and, on the other, allowed us to introduce the variables related to the fibroscopic data in the model of surgical choice. Therefore, we can conclude that the most important factor that discriminates the surgical choice is fibroscopy. Among the different observations offered by fibroscopic exploration, the most important characteristic for making a choice is represented by the dimensions of the velopharyngeal gap, followed by the tone and mobility of the soft palate. The other key element when choosing one technique over the other is the preoperative BM. The variables age, etiology and genetic alterations are also of great interest to predict postoperative success. CONCLUSIONS The speech surgery literature is dominated by studies characterized by decision diagrams based on the experience of different surgical schools. Each school prioritizes the importance of variables in decision making in a different way. In this context, we present the long-term results of a minimally invasive technique for the treatment of VPI by fat grafting, demonstrating that if performed early (before 7 years), despite the known possibility of tissue resorption adipose, the results obtained in the first year of follow-up remain stable over time. We have compared this technique with classic pharyngoplasties, without finding significant differences. In order to achieve a perfect personalization of

Architecture Asymétrique pour les Modèles Neuronaux d'Appariement de Textes

International audienceDans les modèles neuronaux d’appariement de textes, les entrées subissent les mêmes transformations pour construire les représentations correspondantes. La nature de la tâche d’appariement est défini à partir du type des entrées du modèle et de la relation entre elles. Nous distinguons deux types d’appariement :(1) l’appariement symétrique fait référence aux tâches d’appariement à des entrées de même nature, telles que l’identification des paraphrases et la classification de documents.(2) l’appariement asymétrique concerne des tâches à des entrées de natures différentes, telle que l’appariement document-requête ou question-réponse.Généralement, les représentations des entrées sont construites indépendamment de leurs nature à partir des vecteurs de leurs mots. Nous proposons une approche permettant de prendre en compte la nature de la tâche, (1) ou (2), et de mieux traiter les entrées. Nous utilisons un modèle d’attention pour étendre des modèles de l’état de l’art. Les résultats expérimentaux montrent que l’adaptation de l’architecture du modèle au type de la tâche permet d’améliorer les performances de plusieurs modèles neuronaux bien connus