509 research outputs found

    Evaluation of blood glucose level control in Type 1 diabetic patients using online and offline reinforcement learning

    Get PDF
    [SPA] Los pacientes con diabetes tipo 1 deben monitorear de cerca sus niveles de glucemia y administrar insulina para controlarlos. Se han propuesto métodos de control automatizado de la glucemia que eliminan la necesidad de intervención humana, y recientemente, el aprendizaje por refuerzo, un tipo de algoritmo de aprendizaje automático, se ha utilizado como un método efectivo de control en entornos simulados. Actualmente, los métodos utilizados para los pacientes con diabetes, como el régimen basal- bolus y los monitores continuos de glucemia, tienen limitaciones y todavía requieren intervención manual. Los controladores PID se utilizan ampliamente por su simplicidad y robustez, pero son sensibles a factores externos que afectan su efectividad. Las obras existentes en la literatura de investigación se han enfocado principalmente en mejorar la precisión de estos algoritmos de control. Sin embargo, todavía hay margen para mejorar la adaptabilidad a los pacientes individuales. La siguiente fase de investigación tiene como objetivo optimizar aún más los métodos actuales y adaptar los algoritmos para controlar mejor los niveles de glucemia. Una solución potencial es usar el aprendizaje por refuerzo (RL) para entrenar los algoritmos en base a datos individuales del paciente. En esta tesis, proponemos un control en lazo cerrado para los niveles de glucemia basado en el aprendizaje profundo por refuerzo. Describimos la evaluación inicial de varias alternativas llevadas a cabo en un simulador realista del sistema glucorregulador y proponemos una estrategia de implementación particular basada en reducir la frecuencia de las observaciones y recompensas pasadas al agente, y usar una función de recompensa simple. Entrenamos agentes con esa estrategia para tres grupos de clases de pacientes, los evaluamos y los comparamos con otras alternativas. Nuestros resultados muestran que nuestro método con Proximal Policy Optimization es capaz de superar a los métodos tradicionales, así como a propuestas similares recientes, al lograr períodos más prolongados de estado glicémico seguro y de bajo riesgo. Como extensión del aporte anterior, constatamos que la aplicación práctica de los algoritmos de control de glucemia requeriría interacciones de prueba y error con los pacientes, lo que es una limitación para entrenar el sistema de manera efectiva. Como alternativa, el aprendizaje reforzado sin conexión no requiere interacción con humanos y la investigación previa sugiere que se pueden lograr resultados prometedores con conjuntos de datos obtenidos sin interacción, similar a los algoritmos de aprendizaje automático clásicos. Sin embargo, aún no se ha evaluado la aplicación del aprendizaje reforzado sin conexión al control de la glucemia. Por lo tanto, en esta tesis, evaluamos exhaustivamente dos algoritmos de aprendizaje reforzado sin conexión para el control de glucemia y examinamos su potencial y limitaciones. Evaluamos el impacto del método utilizado para generar los conjuntos de datos de entrenamiento, el tipo de trayectorias (secuencias de estados, acciones y recompensas experimentadas por un agente en un entorno,) empleadas (método único o mixto), la calidad de las trayectorias y el tamaño de los conjuntos de datos en el entrenamiento y el rendimiento, y los comparamos con las alternativas como PID y Proximal Policy Optimization. Nuestros resultados demuestran que uno de los algoritmos de aprendizaje reforzado sin conexión evaluados, Trajectory Transformer, es capaz de rendir al mismo nivel que alternativas, pero sin necesidad de interacción con pacientes reales durante el entrenamiento.[ENG] Patients with Type 1 diabetes are required to closely monitor their blood glucose levels and administer insulin to manage them. Automated glucose control methods that eliminate the need for human intervention have been proposed, and recently, reinforcement learning, a type of machine learning algorithm, has been used as an effective control method in simulated environments. Currently, the methods used for diabetes patients, such as the basal-bolus regime and continuous glucose monitors, have limitations and still require manual intervention. The PID controllers are widely used for their simplicity and robustness, but they are sensitive to external factors affecting their effectiveness. The existing works in the research literature have mainly focused on improving the accuracy of these control algorithms. However, there is still room for improvement regarding adaptability to individual patients. The next phase of research aims to further optimize the current methods and adapt the algorithms to better control blood glucose levels. Machine learning proposals have paved the way partially, but they can generate generic models with limited adaptability. One potential solution is to use reinforcement learning (RL) to train the algorithms based on individual patient data. In this thesis, we propose a closed-loop control for blood glucose levels based on Deep reinforcement learning. We describe the initial evaluation of several alternatives conducted on a realistic simulator of the glucoregulatory system and propose a particular implementation strategy based on reducing the frequency of the observations and rewards passed to the agent, and using a simple reward function. We train agents with that strategy for three groups of patient classes, evaluate and compare it with alternative control baselines. Our results show that our method with Proximal Policy Optimization is able to outperform baselines as well as similar recent proposals, by achieving longer periods of safe glycemic state and low risk. As an extension of the previous contribution, we have noticed that, practical application of blood glucose control algorithms would necessitate trial-and-error interaction with patients, which could be a limitation for effectively training the system. As an alternative, offline reinforcement learning does not require interaction with subjects and preliminary research suggests that promising results can be achieved with datasets obtained offline, similar to classical machine learning algorithms. However, application of offline reinforcement learning to glucose control has to be evaluated yet. Thus, in this thesis, we comprehensively evaluate two offline reinforcement learning algorithms for blood glucose control and examine their potential and limitations. We assess the impact of the method used to generate training datasets, the type of trajectories employed (sequences of states, actions, and rewards experienced by an agent in an environment over time), the quality of the trajectories, and the size of the datasets on training and performance, and compare them to commonly used baselines such as PID and Proximal Policy Optimization. Our results demonstrate that one of the offline reinforcement learning algorithms evaluated, Trajectory Transformer, is able to perform at the same level as the baselines, but without the need for interaction with real patients during training.Escuela Internacional de Doctorado de la Universidad Politécnica de CartagenaUniversidad Politécnica de CartagenaPrograma Doctorado en Tecnologías de la Información y las Comunicacione

    Optimal control of diabetes

    Get PDF
    This thesis considers optimal control problems related to one of the major global health problems, Diabetes. We adopt a comprehensive dynamic model of the blood glucose regulatory system and show how it can be readily fitted to individuals. Based on this, we develop a composite dynamic model for simulating the effects of exercise and subcutaneous insulin injections on the blood glucose regulatory system. We then determine that optimal treatment regimens on the basis of the composite model

    STOCHASTIC SEASONAL MODELS FOR GLUCOSE PREDICTION IN TYPE 1 DIABETES

    Full text link
    [ES] La diabetes es un importante problema de salud mundial, siendo una de las enfermedades no transmisibles más graves después de las enfermedades cardiovasculares, el cáncer y las enfermedades respiratorias crónicas. La prevalencia de la diabetes ha aumentado constantemente en las últimas décadas, especialmente en países de ingresos bajos y medios. Se estima que 425 millones de personas en todo el mundo tenían diabetes en 2017, y para 2045 este número puede aumentar a 629 millones. Alrededor del 10% de las personas con diabetes padecen diabetes tipo 1, caracterizada por una destrucción autoinmune de las células beta en el páncreas, responsables de la secreción de la hormona insulina. Sin insulina, la glucosa plasmática aumenta a niveles nocivos, provocando complicaciones vasculares a largo plazo. Hasta que se encuentre una cura, el manejo de la diabetes depende de los avances tecnológicos para terapias de reemplazo de insulina. Con la llegada de los monitores continuos de glucosa, la tecnología ha evolucionado hacia sistemas automatizados. Acuñados como "páncreas artificial", los dispositivos de control de glucosa en lazo cerrado suponen hoy en día un cambio de juego en el manejo de la diabetes. La investigación en las últimas décadas ha sido intensa, dando lugar al primer sistema comercial a fines de 2017, y muchos más están siendo desarrollados por las principales industrias de dispositivos médicos. Sin embargo, como dispositivo de primera generación, muchos problemas aún permanecen abiertos y nuevos avances tecnológicos conducirán a mejoras del sistema para obtener mejores resultados de control glucémico y reducir la carga del paciente, mejorando significativamente la calidad de vida de las personas con diabetes tipo 1. En el centro de cualquier sistema de páncreas artificial se encuentra la predicción de glucosa, tema abordado en esta tesis. La capacidad de predecir la glucosa a lo largo de un horizonte de predicción dado, y la estimación de las tendencias futuras de glucosa, es la característica más importante de cualquier sistema de páncreas artificial, para poder tomar medidas preventivas que eviten por completo el riesgo para el paciente. La predicción de glucosa puede aparecer como parte del algoritmo de control en sí, como en sistemas basados en técnicas de control predictivo basado en modelo (MPC), o como parte de un sistema de supervisión para evitar episodios de hipoglucemia. Sin embargo, predecir la glucosa es un problema muy desafiante debido a la gran variabilidad inter e intra-sujeto que sufren los pacientes, cuyas fuentes solo se entienden parcialmente. Esto limita las prestaciones predictivas de los modelos, imponiendo horizontes de predicción relativamente cortos, independientemente de la técnica de modelado utilizada (modelos fisiológicos, basados en datos o híbridos). La hipótesis de partida de esta tesis es que la complejidad de la dinámica de la glucosa requiere la capacidad de caracterizar grupos de comportamientos en los datos históricos del paciente que llevan naturalmente al concepto de modelado local. Además, la similitud de las respuestas en un grupo puede aprovecharse aún más para introducir el concepto clásico de estacionalidad en la predicción de glucosa. Como resultado, los modelos locales estacionales están en el centro de esta tesis. Se utilizan varias bases de datos clínicas que incluyen comidas mixtas y ejercicio para demostrar la viabilidad y superioridad de las prestaciones de este enfoque.[CA] La diabetisés un important problema de salut mundial, sent una de les malalties no transmissibles més greus després de les malalties cardiovasculars, el càncer i les malalties respiratòries cròniques. La prevalença de la diabetis ha augmentat constantment en les últimes dècades, especialment en països d'ingressos baixos i mitjans. S'estima que 425 milions de persones a tot el món tenien diabetis en 2017, i per 2045 aquest nombre pot augmentar a 629 milions. Al voltant del 10% de les persones amb diabetis pateixen diabetis tipus 1, caracteritzada per una destrucció autoimmune de les cèl·lules beta en el pàncrees, responsables de la secreció de l'hormona insulina. Sense insulina, la glucosa plasmàtica augmenta a nivells nocius, provocant complicacions vasculars a llarg termini. Fins que es trobi una cura, el maneig de la diabetis depén dels avenços tecnològics per a teràpies de reemplaçament d'insulina. Amb l'arribada dels monitors continus de glucosa, la tecnologia ha evolucionat cap a sistemes automatitzats. Encunyats com "pàncrees artificial", els dispositius de control de glucosa en llaç tancat suposen avui dia un canvi de joc en el maneig de la diabetis. La investigació en les últimes dècades ha estat intensa, donant lloc al primer sistema comercial a finals de 2017, i molts més estan sent desenvolupats per les principals indústries de dispositius mèdics. No obstant això, com a dispositiu de primera generació, molts problemes encara romanen oberts i nous avenços tecnològics conduiran a millores del sistema per obtenir millors resultats de control glucèmic i reduir la càrrega del pacient, millorant significativament la qualitat de vida de les persones amb diabetis tipus 1. Al centre de qualsevol sistema de pàncrees artificial es troba la predicció de glucosa, tema abordat en aquesta tesi. La capacitat de predir la glucosa al llarg d'un horitzó de predicció donat, i l'estimació de les tendències futures de glucosa, és la característica més important de qualsevol sistema de pàncrees artificial, per poder prendre mesures preventives que evitin completament el risc per el pacient. La predicció de glucosa pot aparèixer com a part de l'algoritme de control en si, com en sistemes basats en técniques de control predictiu basat en model (MPC), o com a part d'un sistema de supervisió per evitar episodis d'hipoglucèmia. No obstant això, predir la glucosa és un problema molt desafiant degut a la gran variabilitat inter i intra-subjecte que pateixen els pacients, les fonts només s'entenen parcialment. Això limita les prestacions predictives dels models, imposant horitzons de predicció relativament curts, independentment de la tècnica de modelatge utilitzada (models fisiològics, basats en dades o híbrids). La hipòtesi de partida d'aquesta tesi és que la complexitat de la dinàmica de la glucosa requereix la capacitat de caracteritzar grups de comportaments en les dades històriques del pacient que porten naturalment al concepte de modelatge local. A més, la similitud de les respostes en un grup pot aprofitar-se encara més per introduir el concepte clàssic d'estacionalitat en la predicció de glucosa. Com a resultat, els models locals estacionals estan al centre d'aquesta tesi. S'utilitzen diverses bases de dades clíniques que inclouen menjars mixtes i exercici per demostrar la viabilitat i superioritat de les prestacions d'aquest enfocament.[EN] Diabetes is a significant global health problem, one of the most serious noncommunicable diseases after cardiovascular diseases, cancer and chronic respiratory diseases. Diabetes prevalence has been steadily increasing over the past decades, especially in low- and middle-income countries. It is estimated that 425 million people worldwide had diabetes in 2017, and by 2045 this number may rise to 629 million. About 10% of people with diabetes suffer from type 1 diabetes, characterized by autoimmune destruction of the beta-cells in the pancreas, responsible for the secretion of the hormone insulin. Without insulin, plasma glucose rises to deleterious levels, provoking long-term vascular complications. Until a cure is found, the management of diabetes relies on technological developments for insulin replacement therapies. With the advent of continuous glucose monitors, technology has been evolving towards automated systems. Coined as "artificial pancreas", closed-loop glucose control devices are nowadays a game-changer in diabetes management. Research in the last decades has been intense, yielding a first commercial system in late 2017 and many more are in the pipeline of the main medical devices industry. However, as a first-generation device, many issues still remain open and new technological advancements will lead to system improvements for better glycemic control outputs and reduced patient's burden, improving significantly the quality of life of people with type 1 diabetes. At the core of any artificial pancreas system is glucose prediction, the topic addressed in this thesis. The ability to predict glucose along a given prediction horizon, and estimation of future glucose trends, is the most important feature of any artificial pancreas system, in order to be able to take preventive actions to entirely avoid risk to the patient. Glucose prediction can appear as part of the control algorithm itself, such as in systems based on model predictive control (MPC) techniques, or as part of a monitoring system to avoid hypoglycemic episodes. However, predicting glucose is a very challenging problem due to the large inter- and intra-subject variability that patients suffer, whose sources are only partially understood. These limits models forecasting performance, imposing relatively short prediction horizons, despite the modeling technique used (physiological, data-driven or hybrid approaches). The starting hypothesis of this thesis is that the complexity of glucose dynamics requires the ability to characterize clusters of behaviors in the patient's historical data naturally yielding to the concept of local modeling. Besides, the similarity of responses in a cluster can be further exploited to introduce the classical concept of seasonality into glucose prediction. As a result, seasonal local models are at the core of this thesis. Several clinical databases including mixed meals and exercise are used to demonstrate the feasibility and superiority of the performance of this approach.This work has been supported by the Spanish Ministry of Economy and Competitiveness (MINECO) under the FPI grant BES-2014-069253 and projects DPI2013-46982-C2-1-R and DPI2016-78831-C2-1-R. Moreover, with relation to this grant, a short stay was done at the end of 2017 at the Illinois Institute of Technology, Chicago, United States of America, under the supervision of Prof. Ali Cinar, for four months from 01/09/2017 to 29/12/2017.Montaser Roushdi Ali, E. (2020). STOCHASTIC SEASONAL MODELS FOR GLUCOSE PREDICTION IN TYPE 1 DIABETES [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/136574TESI

    Artificial Intelligence based multi-agent control system

    Get PDF
    Le metodologie di Intelligenza Artificiale (AI) si occupano della possibilità di rendere le macchine in grado di compiere azioni intelligenti con lo scopo di aiutare l’essere umano; quindi è possibile affermare che l’Intelligenza Artificiale consente di portare all’interno delle macchine, caratteristiche tipiche considerate come caratteristiche umane. Nello spazio dell’Intelligenza Artificiale ci sono molti compiti che potrebbero essere richiesti alla macchina come la percezione dell’ambiente, la percezione visiva, decisioni complesse. La recente evoluzione in questo campo ha prodotto notevoli scoperte, princi- palmente in sistemi ingegneristici come sistemi multi-agente, sistemi in rete, impianti, sistemi veicolari, sistemi sanitari; infatti una parte dei suddetti sistemi di ingegneria è presente in questa tesi di dottorato. Lo scopo principale di questo lavoro è presentare le mie recenti attività di ricerca nel campo di sistemi complessi che portano le metodologie di intelligenza artifi- ciale ad essere applicati in diversi ambienti, come nelle reti di telecomunicazione, nei sistemi di trasporto e nei sistemi sanitari per la Medicina Personalizzata. Gli approcci progettati e sviluppati nel campo delle reti di telecomunicazione sono presentati nel Capitolo 2, dove un algoritmo di Multi Agent Reinforcement Learning è stato progettato per implementare un approccio model-free al fine di controllare e aumentare il livello di soddisfazione degli utenti; le attività di ricerca nel campo dei sistemi di trasporto sono presentate alla fine del capitolo 2 e nel capitolo 3, in cui i due approcci riguardanti un algoritmo di Reinforcement Learning e un algoritmo di Deep Learning sono stati progettati e sviluppati per far fronte a soluzioni di viaggio personalizzate e all’identificazione automatica dei mezzi trasporto; le ricerche svolte nel campo della Medicina Personalizzata sono state presentate nel Capitolo 4 dove è stato presentato un approccio basato sul controllo Deep Learning e Model Predictive Control per affrontare il problema del controllo dei fattori biologici nei pazienti diabetici.Artificial Intelligence (AI) is a science that deals with the problem of having machines perform intelligent, complex, actions with the aim of helping the human being. It is then possible to assert that Artificial Intelligence permits to bring into machines, typical characteristics and abilities that were once limited to human intervention. In the field of AI there are several tasks that ideally could be delegated to machines, such as environment aware perception, visual perception and complex decisions in the various field. The recent research trends in this field have produced remarkable upgrades mainly on complex engineering systems such as multi-agent systems, networked systems, manufacturing, vehicular and transportation systems, health care; in fact, a portion of the mentioned engineering system is discussed in this PhD thesis, as most of them are typical field of application for traditional control systems. The main purpose if this work is to present my recent research activities in the field of complex systems, bringing artificial intelligent methodologies in different environments such as in telecommunication networks, transportation systems and health care for Personalized Medicine. The designed and developed approaches in the field of telecommunication net- works is presented in Chapter 2, where a multi-agent reinforcement learning algorithm was designed to implement a model-free control approach in order to regulate and improve the level of satisfaction of the users, while the research activities in the field of transportation systems are presented at the end of Chapter 2 and in Chapter 3, where two approaches regarding a Reinforcement Learning algorithm and a Deep Learning algorithm were designed and developed to cope with tailored travels and automatic identification of transportation moralities. Finally, the research activities performed in the field of Personalized Medicine have been presented in Chapter 4 where a Deep Learning and Model Predictive control based approach are presented to address the problem of controlling biological factors in diabetic patients

    Stochastic Differential Equations in Artificial Pancreas Modelling

    Get PDF

    Model Identification from Ambulatory Data for Post-Prandial Glucose Control in type 1 Diabetes

    Full text link
    Several glucoregulatory models are studies and a new model is proposed. Experiments are developed following an optimal design methodology. The designed experiments are applied in home monitoring of diabetic patients.Laguna Sanz, AJ. (2010). Model Identification from Ambulatory Data for Post-Prandial Glucose Control in type 1 Diabetes. http://hdl.handle.net/10251/14052Archivo delegad

    Design methods for networked control systems with unreliable channels focusing on packet dropouts

    Get PDF
    Texto completo descargado en TeseoLos sistemas de control a través de redes se han convertido en un área importante dentro de la comunidad de control, lo cual es debido a su bajo coste y a la flexibilidad de sus aplicaciones. Los sistemas de control a través de redes (NCSs) se componen de sensores, actuadores y controladores; las operaciones entre ellos se coordinan a través de una red de comunicación. Típicamente, estos sistemas están espacialmente distribuidos, y pueden funcionar de manera asíncrona, pero sus operaciones han de estar coordinadas para conseguir los objetivos deseados. En este resumen se presenta una perspectiva general de los NCSs, y en particular, los casos específicos en los que se ha basado esta tesis, abordando los temas principales relacionados con NCS, con todos los problemas y ventajas asociados, se describen en este resumen. Por último, se presenta un índice de la tesis con sus contribuciones más relevantes. - Introducción a los Sistemas de Control a través de Red Los Sistemas de Control a través de Red (NCSs) son sistemas espacialmente distribuidos donde la comunicación entre plantas, sensores, actuadores y controladores se realiza a través de una red de comunicación. La complejidad en el diseño y la realización, el coste del cableado, la instalación y el mantenimiento pueden ser reducidos drásticamente incluyendo una red de comunicación. Sin embargo, las redes de comunicación en los sistemas también traen algunos incovenientes como los retrasos y la pérdida de datos, los errores de codificación, etc. Estos incovenientes pueden ser la causa de la de la degradación del comportamiento del sistema e incluso causar su desestabilización. Hoy en día, hay un gran número de situaciones prácticas en las que el uso de redes de comunicación para el control son necesarias para aplicaciones o procesos de control en ingeniería. Algunos ejemplos son: Situaciones en las que el espacio y el peso están limitados. Situaciones en las que las distancias a considerar son grandes. Aplicaciones de control donde el cableado no es posible. El uso de redes de comunicación digitales proporciona también algunas ventajas: La complejidad en el cableado en conexiones punto a punto se reduce mucho, así como el coste. Además, los costes de instalación pueden reducirse también drásticamente. La reducción en la complejidad del cableado hace mucho más fácil el diagnóstico y el mantenimiento del sistema, dando lugar a un ahorro en el coste debido a que la instalación y el funcionamiento tienen una eficiencia mayor. Los NCSs son flexibles y reconfigurables. Fiabilidad, redundancia y robustez ante los fallos. Los NCSs proporcionan modularidad, control descentralizado y diagnósticos integrados. Todas estas ventajas sugieren que los NCSs jugarán un papel principal en un futuro cercano, siendo un área de investigación muy prometedora. - Objetivos de la tesis La idea general de esta tesis es proponer algunas soluciones novedosas a diferentes problemas relacionados con NCSs. Todos los problemas considerados son típicos dentro del marco del control a través de redes, considerándose principalmente el de las pérdidas de paquetes en la transmisión de datos. Dentro del contexto de sistemas con pérdida de paquetes, se han estudiado diferentes problemas. Para obtener soluciones diferentes para este tipo de sistemas, se han considerado los siguientes objetivos: Diseño de controladores. Controladores Hinf, que consigan la robustificación de sistemas con incertidumbres. Controladores MPC, combinados con estrategias de buffer. Diseño de filtros. Filtros Hinf para sistemas con incertidumbres, usando técnicas frecuenciales y cadenas de Markov. Diseño de algoritmos. Localización dinámica de un control distribuido en una red formada por una estructura matricial de nodos. Localización dinámica del estimador de la salida del sistema, en una red formada por una estructura lineal de nodos. Estimación distribuida cooperativa. Basada en observadores locales de Luenberger. - Conclusiones Uno de los objetivos de esta tesis ha sido el análisis de la estabilidad y comportamiento de sistemas bajo control. En algunos casos, el diseño se ha realizado imponiendo restricciones en cuanto a la estabilidad. La robustificación de sistemas, en particular la de aquellos con incertidumbres, ha sido también tenida en cuenta. Las técnicas de control Hinf se han usado en los casos de análisis y diseño de sistemas de control. Otro objetivo importante de esta tesis ha sido el diseño de algoritmos para una red dinámica, la cual está compuesta por cierta estructura de nodos. El algoritmo es capaz de decidir qué nodo será el controlador o el estimador de la salida del sistema en la red. La estabilidad y el comportamiento del sistema de control ha sido analizado. También se ha abordado el diseño de estimación y esquemas distribuidos. Se han considerado redes que introducen retrasos temporales, junto con pérdidas aleatorias. La reducción en el consumo de energía ha sido un objetivo importante en esta parte de la tesis. En este caso, se ha examinado una política de comunicación entre agentes basada en eventos, la cual da lugar a un compromiso entre el comportamiento del sistema y los ahorros en la comunicación
    corecore