Modelling early transitions toward autonomous protocells.

252 p.La transición entre materia inerte y viviente sigue constituyendo un problema abierto en ciencia. Las líneas de investigación actuales en el campo del origen de la vida, ya sean basadas en moléculas replicativas individuales o en la nueva visión protocelular del problema, están típicamente orientadas hacia una concepción evolutiva de lo vivo. De acuerdo a esta concepción, el interés fundamental se centra en descubrir cómo moléculas o ensamblados químicos prebióticamente plausibles comenzaron a replicarse, a engarzarse en dinámicas selectivas y a aumentar en complejidad -- en último término, hacia la complejidad bioquímica de las células vivas. Esta tesis doctoral se enfrenta al problema del origen de vida celular desde una plataforma conceptual alternativa, la perspectiva de los sistemas autónomos, la cual pivota sobre la teoría de la Autonomía Biológica. Desde dicha perspectiva sistémica de la organización celular, las transiciones clave en el origen de la vida deben ser reformuladas en términos de cómo determinados sistemas químicos compartimentados (es decir, protocélulas) comenzaron a desarrollar infraestructuras químicas integradas para poder mantenerse en condiciones alejadas del equilibrio; y, a continuación, cómo estas infraestructuras integradas pasaron a constituir la organización autopoiética que despliegan las células propiamente biológicas. La autonomía define un marco global cualitativamente distinto --y también más amplio y apropiado, se argumenta-- para conducir y dar sentido a la investigación científica sobre protocélulas.El trabajo presentado en esta tesis resulta de un bucle en el que se entrelazan la reflexión filosófica sobre el problema del origen de la vida y la modelización científica en torno a los sistemas proto-celulares. Podríamos decir que constituye una demostración práctica de cómo la interacción directa entre ciencia y filosofía es capaz de dar lugar a intuiciones nuevas y fructíferos resultados en torno a un problema complejo, como lo es la transición desde la física y la química hacia la biología. A nivel conceptual, este trabajo de tesis doctoral se adentra en la concepción de vida como autonomía y analiza las implicaciones (radicales) que esta visión organizativa y sistémica de lo vivo tiene en el planteamiento sobre las transiciones principales de la evolución proto-celular. A nivel científico, la tesis se ha construido en torno a la elaboración de modelos proto-celulares realistas, ¿semi-empíricos¿, mediante los cuales se ha pretendido iluminar los primeros pasos que deben darse, desde un escenario físico-químico generalista, hacia los sistemas autónomos más primitivos o mínimos. A lo largo de todo el trabajo, ambos niveles de análisis, conceptual y científico, se retroalimentan, quedando profundamente imbricados y mutuamentereforzados: los aspectos conceptuales resultan esenciales para definir y destacar el valor de las cuestiones científicas abordadas, mientras que la labor de carácter propiamente científico hace posible una mayor especificación de algunas problemáticas que tienden a ser desdeñadas en el campo de investigación de la química prebiótica, incluyendo los enfoques proto-celulares.Objetivos principalesLos objetivos principales de esta tesis doctoral son los siguientes:1. Explicar de qué manera(s) la perspectiva de la autonomía biológica condiciona el programa de investigación sobre el origen de la vida, detallando el conjunto de cuestiones científicas que dicha perspectiva lleva a tratar, así como las transiciones prebióticas que plantea como fundamentales -- en contraste con el paradigma evolutivo establecido en el campo.2. Explorar las raíces físico-químicas de la autonomía biológica, identificando y poniendo en relieve un área ciega en la investigación actual sobre proto-células: a saber, la modelización teórica rigurosa de sistemas químicos elementales en interacción con compartimentos lipídicos dinámicos. Argumentar en qué sentido este escenario prebiótico constituye una transición necesaria hacia formas de autonomía protocelular básica o mínima.3. Desarrollar modelos protocelulares semi-empíricos que aporten nuevas claves sobre la cuestión del acoplamiento temprano entre reacciones químicas y compartimentos lipídicos dinámicos, previo a la aparición de células metabólicas -- es decir, propiamente auto-productivas.4. Examinar pormenorizadamente las implicaciones de dicho trabajo de modelización sobre el marco conceptual general de la autonomía y, más específicamente, en lo que se refiere a su aplicación al contexto del origen de la vida.5. Identificar y explicar los retos futuros a los que se enfrenta la modelización semi-empírica de sistemas proto-celulares, proponiendo estrategias para avanzar en la comprensión sobre cómo dichos sistemas fueron desarrollando comportamiento autónomo.A continuación se ofrece un compendio de los contenidos de este trabajo de tesis doctoral, destacando las ideas principales y la línea conceptual básica que se ha seguido. Los capítulos 1-3 consisten en una introducción extendida al trabajo, incluyendo una revisión detallada de la bibliografía previa relevante. Esta parte inicial establece el marcoteórico general desde el cual se enfoca el problema del origen de la vida en la tesis, examinando cuidadosamente las implicaciones que la perspectiva de la autonomía tiene sobre el programa de investigación en sistemas proto-celulares, antes de acometer la identificación y especificación de los problemas concretos que se someterán a modelización en la misma, como contribución de naturaleza más estrictamente científica.Sumario de contenidosEsta tesis comienza en el Capítulo 1 con un repaso general introductorio sobre la investigación en sistemas proto-celulares. Dentro del campo del origen de la vida, las proto-células (sistemas físico-químicos compartimentados que se asemejan de un modo más o menos distante a las células vivas) se perciben cada día más como un puente fundamental hacia los sistemas biológicos. Pueden citarse muchas razones por las que la presencia de compartimentos auto-ensamblados desde fases muy tempranas en el origen de la vida es beneficiosa, al tiempo que altamente plausible. Los argumentos a favor de su relevancia prebiótica abarcan desde el papel que pudieron jugar como `localizadores¿ o `segregadores¿ de poblaciones moleculares (permitiendo su evolución) hasta el de establecer el andamiaje y las condiciones químicas adecuadas para acoger y potenciar complejas secuencias de reacciones químicas interconectadas.No obstante, aunque constituyan un vehículo útil para explicar el proceso de abiogénesis, las protocélulas son más bien neutrales desde un punto de vista conceptual y, tomadas en un sentido amplio, no definen un programa de investigación específico sobre el origen de vida -- sobre todo bajo la asunción de que ésta debe convertirse en celular en algún momento. De hecho, en la práctica, las proto-células son empleadas en programas de investigación científica que se adhieren a visiones generales notablemente divergentes sobre lo que el fenómeno `vida¿ lleva consigo. Distintos autores mantienen (implícita o explícitamente) concepciones muy diferentes sobre lo que es la vida y estas concepciones se filtran y sesgan el tipo de experimentos y de modelos protocelulares que impulsan, así como la manera en que interpretan los resultados de dichos experimentos.Por tanto, una labor de reflexión teórica y filosófica más profunda sobre lo que constituye `vida¿ es de central importancia para la investigación proto-celular y, más en general, para el estudio del origen de los sistemas biológicos. A pesar de que persisten las dificultades a la hora de establecer una clara ¿línea divisoria¿, universalmente aceptada, entre el mundo inerte y el viviente, los investigadores de campos como el origen de la vida, la vida artificial o la biología sintética se siguen demarcando según dos amplias corrientes conceptuales. El objetivo del Capítulo 2 es explicar, en detalle, los principios básicos sobre los que se articulan dichas corrientes conceptuales. La corriente dominante en la actualidad, que mantiene una visión evolutiva de la vida, pivota sobre una perspectivadiacrónica de los sistemas biológicos, analizados a través de sucesivas generaciones o linajes, de acuerdo a la cual lo vivo se manifestaría por primera vez en sistemas químicos capaces de reproducción, proliferación, e incremento de complejidad por procesos de competición y selección. Esta perspectiva se apoya en la extensión de los principios evolutivos (como por ejemplo, el mecanismo de la selección natural) a unidades mucho más simples que los organismos vivos, y subyace a hipótesis de trabajo como la del `mundo ARN¿ o al proyecto de la `ribo-célula¿. La corriente alternativa, menos extendida en el campo de los orígenes hasta la fecha, se apoya sobre una visión de la vida como autonomía (o `autopoiesis¿), interpretando los sistemas biológicos desde una perspectiva sincrónica, que se centra en el estudio del tipo de organización de componentes y procesos que los caracteriza, aquí y ahora, como sistemas alejados del equilibrio pero de gran robustez dinámica. Esta concepción defiende enfoques como los de la `química de sistemas¿ (acoplamiento de redes auto-catalíticas) o el `mundo de los lípidos¿.A pesar de que las líneas de investigación prebiótica más importantes en la actualidad se encuadran dentro la concepción evolutiva de la vida, en esta tesis doctoral se argumenta que la perspectiva de la autonomía, si bien aún minoritaria, es de hecho el marco conceptual más adecuado y abarcador a la hora de encarar el problema del origen de la vida -- en particular, la emergencia de la celularidad. Un punto ciego muy importante de los enfoques evolutivos es que, al percibir que la vida se manifiesta, por encima de todo, `a través del tiempo¿, adolecen de una falta de rigurosidad en cuanto a la descripción de la organización material, físico-química, que subyace a un sistema celular con metabolismo propio. Los planteamientos evolutivos asumen implícitamente que las células vivas son redes químicas instruidas genéticamente e individualizadas en `bolsas lipídicas¿. Esta noción tan débil de celularidad se traduce en programas de investigación principalmente enfocados al estudio de conjuntos o poblaciones de especies químicas de relevancia biológica que tengan potencial de incrementar por sí mismas en complejidad a lo largo del tiempo (típicamente aplicando técnicas de evolución artificial, in vitro o in silico). Así, se lleva a cabo un uso meramente instrumental de los compartimentos protocelulares, incluyéndolos como `contenedores químicos¿ del sistema tan sólo en la medida en que se compruebe o se intuya que puedan facilitar la consecución de dicho objetivo evolutivo primario.La perspectiva de la autonomía, en cambio, inculca un profundo reconocimiento del complejo entramado organizativo en el que se disponen las moléculas biológicas, coordinadas tanto espacialmente como temporalmente, para lograr constituir una célula funcional que mantenga su dinámica alejada del equilibrio. Esta visión sistémica y organizativa de la celularidad se refleja en un empeño mucho más pronunciado por comprender, en el contexto del origen de la vida, cómo es posible que surjan y se establezcan sistemas químicos acoplados con los compartimentos en los que son espontáneamente encapsulados, de manera que progresen hacia formas de integracióncada vez más similares a la complementariedad autopoiética, auto-productiva, que caracteriza a las células vivas. Por tanto, la clave que distingue a la perspectiva de la autonomía es su pretensión de hacer tan explícito y preciso como sea posible el problema del acoplamiento y la integración funcional de componentes y procesos químicos diversos, como un requisito necesario para constituir --en condiciones alejadas del equilibrio termodinámico-- entidades con identidad y frontera propias. Esto conduce de manera natural, como se muestra en esta tesis, al tratamiento de aspectos específicos relacionados con el auto-ensamblaje de compartimentos supramoleculares, su permeabilidad selectiva a distintos componentes moleculares, posibles desequilibrios osmóticos (y trasvases acuosos compensatorios a través de la membrana), canalización y distribución de recursos energéticos¿ aspectos todos ellos en los que la perspectiva evolutiva no suele mostrar mayor interés.El Capítulo 3 explica el modo en que puede implementarse un programa de investigación sobre autonomía protocelular, construyendo un puente entre los enfoques científicos y conceptuales descritos los dos primeros capítulos. El capítulo comienza analizando las razones por las cuales la teoría de la autonomía biológica, a pesar de su relevancia y centralidad, conduce a retos o problemáticas que no son fáciles de traducir en modelos simplificados, cuantitativos y precisos. A continuación se revisan las aproximaciones, experimentales y computacionales, que se han venido realizando en el pasado para implementar sistemas autopoiéticos mínimos, in vitro e in silico, descritos como intentos preliminares para la modelización de sistemas autónomos, mostrando asimismo sus correspondientes limitaciones. Una vez completada la revisión, se introduce el planteamiento ¿semi-empírico¿ híbrido que será defendido en la tesis como vía teórica, bien apoyada en resultados experimentales realistas, que permite enfrentarse de un modo más sólido y coherente al origen de la autonomía protocelular.En la última parte del Capítulo 3 se identifica y delimita de manera más precisa el área concreta en el que este trabajo de tesis doctoral ha llevado a cabo sus contribuciones científicas: la modelización realista de químicas alejadas del equilibrio que tienen lugar en compartimentos lipídicos dinámicos. Esta área implica la elaboración de modelos de reactores proto-celulares tempranos, los cuales precedieron a las primeras proto-células estrictamente auto-productivas. Este tipo de reactor compartimentado inicial no tendría aún la capacidad de fabricar componentes orgánicos relativamente complejos (como lípidos o péptidos), pero habrían comenzado a desplegar comportamientos no-lineares y emergentes de relevancia biológica.El Capítulo 4 proporciona una síntesis, sin entrar en mucho detalle técnico, de las aportaciones científicas llevadas a cabo. Cuatro modelos diferentes, elaborados durante la realización de esta tesis, son revisados en secuencia. Entre ellos destaca el trabajo de modelización de la cinética de intercambio de lípidos de membrana (con su entornoacuoso), validado de manera rigurosa frente a resultados experimentales, como parte fundamental del modelo semi-empírico proto-celular introducido en el Capítulo 3. También se pone de especial relieve otro modelo, planteado a un nivel de complejidad protocelular superior, en el cual ya hay presencia de una cierta química interna. Con este modelo queda demostrado que el flujo acuoso a través de la membrana de vesículas relativamente simples (aunque, eso sí, de volumen variable) puede contribuir a crear una mayor riqueza de comportamientos dinámicos reactivos, asociados a dicha química interna. Este tipo de acoplamiento entre reactor y frontera encapsuladora se daría en un amplio espectro de condiciones, siempre y cuando el flujo de agua ocurra en respuesta a efectos osmóticos generados por la propia química interna. Así pues, en ese punto se introduce y explica pormenorizadamente la idea del `acoplamiento osmótico¿, como un principio sistémico general que sería de aplicación a toda clase de metabolismo compartimentado, independientemente de su complejidad, siempre que el compartimento sea dinámico, de volumen variable.Finalmente, en el Capítulo 5 se aborda una recapitulación general del trabajo y un debate acerca de las limitaciones del planteamiento semi-empírico defendido, así como una serie de indicaciones sobre líneas de trabajo de posible interés para el futuro. Se vuelve a poner en valor la perspectiva organizativa-sistémica que propugna la teoría de la autonomía, argumentando a favor de la necesidad de una caracterización adecuada, bien articulada, de las entidades individuales básicas que en definitiva son capaces de evolución biológica: las células vivas. Desde ese punto de vista, alternativo al establecido mayoritariamente en el campo del origen de la vida, se sugiere un conjunto de transiciones prebióticas fundamentales que reflejan, en esencia, el hipotético desarrollo de poblaciones de sistemas proto-celulares de complejidad creciente.ConclusionesEn definitiva, como resultado de este trabajo de tesis doctoral, podemos extraer las siguientes conclusiones generales:1. La investigación científica sobre el origen de la vida requiere un importante trabajo de análisis y clarificación conceptual. El campo de la química prebiótica es un área de investigación que se beneficia claramente de la combinación de planteamientos científicos y filosófico-conceptuales. Cualquier intento de sintetizar sistemas biológicos a partir de sus ingredientes o precursores físico-químicos elementales se lleva a cabo desde una determinada concepción sobre lo que es `vida¿. Y según la interpretación que se haga de este término, incluso las agendas o programas de investigación enfocados sobre sistemas proto-celulares pueden llegar a ser divergentes, o sorprendentemente diferentes. Portanto, es muy aconsejable que los investigadores reconozcan y hagan lo más explícita posible su postura sobre esta cuestión en sus contribuciones científicas.2. La perspectiva de la autonomía, aplicada al problema del origen de la vida, promueve retos de carácter sistémico, de gran calado para la química, asociados a la emergencia de la organización celular. La aceptación y el despliegue de este tipo de planteamiento lleva emparejado una reformulación radical de las transiciones prebióticas y la investigación en sistemas proto-celulares. En particular, preguntarse por la cuestión de la autonomía mínima conduce a programas de investigación que buscan con ahínco descubrir los principios y mecanismos moleculares que subyacen a los distintos tipos/grados de acoplamiento funcional (entre componentes y procesos de transformación de dichos componentes) que debieron darse a lo largo del desarrollo de la protocelularidad. Los enfoques sobre proto-células puramente evolutivos pasan por alto este requerimiento del acoplamiento y la integración funcional, que no obstante es clave para desentrañar el modo en que diversas estructuras materiales consiguen constituirse como organizaciones celulares. El desarrollo riguroso de una teoría sobre la organización celular y su emergencia en condiciones prebióticas pasa por comprender mejor de qué manera distintos compartimentos proto-celulares y químicas proto-metabólicas pueden engarzarse funcionalmente e iniciar un proceso de co-evolución que lleve hacia un comportamiento autónomo básico lo suficientemente robusto.3. La autonomía es un concepto multidimensional y heurístico que puede transformarse en un conjunto de cuestiones concretas a investigar científicamente mediante la modelización semi-empírica de sistemas proto-celulares. Más específicamente, este tipo de labor de modelización teórica se puede aplicar con éxito al estudio de la co-evolución entre membrana y red proto-metabólica en un contexto protocelular. Los resultados obtenidos, si el modelo está bien construido y justificado empíricamente, pueden efectivamente abrir nuevas vías de exploración experimental y proporcionar argumentos explicativos complementarios a los enfoques proto-celulares in vitro.4. La síntesis de la membrana por parte del metabolismo, como defiende clásicamente la teoría de la autopoiesis, no es estrictamente necesaria para que los sistemas protocelulares comiencen a exhibir comportamientos emergentes, no lineales, de profundo interés biológico. Redes compartimentadas de reacciones químicas con capacidad de fabricar internamente sus propios componentes (como lípidos, catalizadores o péptidos) pueden considerarse como una etapa intermedia, o relativamente tardía, en la evolución de la organización proto-celular. Previamente deben desarrollarse, con alta probabilidad, otro tipo de proto-células que presenten acoplamientos más débiles o indirectos entre sus componentes y los procesos transformativos en los que estos están involucrados. La especificación rigurosa de este tipo de acoplamientos entre química ycompartimentos debería pasar a ser uno de los objetivos fundamentales a abordar por la investigación sobre proto-células que se realice en el futuro5. El acoplamiento osmótico constituye un nuevo principio o constricción general, de carácter sistémico, que debe aplicarse sobre proto-células metabólicas de distinto tipo. Aunque se trata de un aspecto que ha recibido muy poca atención hasta la fecha en el campo del origen de la vida, tiene importantes implicaciones ya que prácticamente todos los modelos proto-celulares empíricos en la actualidad están basados en vesículas que son muy susceptibles a desequilibrios osmóticos pero, al mismo tiempo, incapaces de regular de manera efectiva su volumen acuoso interno. Así, las variaciones en volumen que se produjeran en las protocélulas tempranas tendrían efectos muy significativos en las dinámicas internas de reacción, como se demuestra en este trabajo de tesis doctoral. En particular, una de las publicaciones científicas asociadas a esta tesis explica detalladamente los efectos que el volumen variable de una proto-célula puede tener sobre reacciones que, siendo en principio independientes químicamente, por el mero hecho de compartir un mismo espacio reactivo (el definido por el micro-compartimento lipídico), se acoplarían de manera indirecta pero efectiva, dando lugar a procesos intera

Mathematical Modeling of Electrical Activity and Exocytosis in Intestinal L-cells and Pancreatic Beta-cells

In healthy subjects, glucose concentration is tightly kept in a limited range around its basal value thanks to complex regulatory mechanisms. Impairment of this regulatory system is the cause of several metabolic disorders, such as diabetes, characterized by chronic hyperglycemia, which leads to severe micro- and macrovascular complications. Different hormones are involved in this regulation, with insulin being one of the most important and well studied. It is physiologically secreted at every meal by pancreatic beta-cells in response to increased blood glucose levels, in order to lower glucose concentration. Other substances can stimulate insulin secretion, for example glucagon-like peptide-1 (GLP-1) is an insulinotropic hormone released from intestinal L-cells in response to food ingestion. It is, together with other hormones, responsible for the so-called incretin effect, i.e., the fact that glucose ingested orally elicits a greater insulin response than glucose administered intravenously, even when glucose concentrations in plasma are matched. In type-2 diabetes, both insulin and GLP-1 secretion is impaired. In this context, a combination of experimental data and mathematical modeling could help in getting a deeper insight into the cellular mechanisms leading to the secretion of both hormones. In most of the excitable cells, the steps leading to secretion are quite similar: a trigger initiates the electrical activity in the cell, which leads to the opening of voltage gated calcium channels and a subsequent calcium influx inside the cell; the increase in calcium levels allows the vesicles to fuse with the plasma membrane and to release their content outside the cell. In this work, the different steps leading to secretion will be analyzed by means of a combination of both experimental data and mathematical modeling, with reference to the intestinal L-cells and the pancreatic beta-cells. Regarding the intestinal L-cells, a mathematical model of electrical activity was built to investigate the stimulus-secretion pathway, which is still poorly understood. However, two glucose-sensing mechanisms are known to contribute in the sensing of luminal glucose: the sodium-glucose cotransporters (SGLT) and ATP-sensitive K+-channels (K(ATP)-channels). The results showed how the two glucose-sensing mechanisms interact, and suggested that the depolarizing effect of SGLT currents is modulated by K(ATP)-channels activity. On the other hand, the stimulus-secretion pathway in pancreatic beta-cells is well established. SK-channels and calcium dynamics were included in a previous mathematical model of electrical activity in human beta-cells to investigate the heterogeneous and non-intuitive electrophysiological responses to ion channel antagonists. By using our model we also studied paracrine signals, and simulated slow oscillations by adding a glycolytic oscillatory component to the electrophysiological model. The model was further developed by including Kir channels, which play a critical role in the cardiac cells, by determining the shape of cardiac action potential. The inclusion of the Kir2.1 current in the model resulted in a clear improvement of the model behavior, by slowing down the spiking dynamics, thanks to the small outward Kir2.1 current, which tends to stabilize the inter-spike membrane potential. As a result of the beta-cell electrical depolarization, calcium channels open, leading to an influx and a subsequent diffusion of calcium inside the cell, which in turn triggers exocytosis. Hence, from the electrical activity analysis, we moved to the investigation of the relationship between insulin granule exocytosis, calcium levels, distance from calcium channels and channel clustering in beta-cells. This subproject is based on Total Internal Reflection Fluorescence (TIRF) microscopy, consisting in simultaneous visualization of two different fluorophores. The first fluorophore is used to label insulin-containing vesicles, and to differentiate them into two groups: the ones that undergo exocytosis in response to depolarization, and the ones that do not. The second fluorophore, a genetically encoded calcium indicator (R-GECO), is attached to the plasma membrane and permits visualizing calcium levels during the stimulus. Simulations were performed using the modeling program CalC, which implements calcium diffusion and buffering. Simulated calcium levels and the corresponding R-GECO signal were evaluated at different distances from the channel. The comparison of the simulations to the TIRF microscopy data allowed estimating the average distance from the channel of the granules that undergo exocytosis. Calcium diffusion simulations were coupled to a simple model for insulin granule exocytosis to investigate different pools of granules, in terms of vicinity to the calcium channel and calcium affinity. Furthermore, the fusion probability was evaluated both in a single channel, and in a cluster-of-channels context. Simulations confirmed that the hypothesis of a cluster significantly increases the fusion probability and a certain dependence between the channels in the cluster is functional advantageous. So far we analyzed cellular mechanisms, which translate in insulin secretion. Hence, the natural step was to move from a cellular point of view to a bigger scale considering the whole pancreas. In this context, the so called minimal model approach might become useful, by allowing the determination of indexes to assess beta-cell function in different experimental groups. A minimal model specific for the perfused pancreas experimental setting was built adapting the C-peptide minimal model previously applied to the intravenous glucose tolerance test. The model was initially applied to untreated pancreata and afterward used for the assessment of pharmacologically relevant agents (GLP-1, the GLP-1 receptor agonist lixisenatide, and a GPR40/FFAR1 agonist, SAR1) to quantify and differentiate their effect on insulin secretion. Model application showed that lixisenatide reaches improvement of beta-cell function similarly to GLP-1 and demonstrated that SAR1 leads to an additional improvement of beta-cell function in the presence of postprandial GLP-1 levels. In conclusion, in this work different aspects of GLP-1 and insulin secretion were investigated by means of a combination of experimental data and mathematical models. Starting from the modeling of electrical activity in both L-cells and beta-cells, we moved to the calcium diffusion and exocytosis of insulin vesicles, concluding with a minimal model of insulin secretion

Advances in Reinforcement Learning

Reinforcement Learning (RL) is a very dynamic area in terms of theory and application. This book brings together many different aspects of the current research on several fields associated to RL which has been growing rapidly, producing a wide variety of learning algorithms for different applications. Based on 24 Chapters, it covers a very broad variety of topics in RL and their application in autonomous systems. A set of chapters in this book provide a general overview of RL while other chapters focus mostly on the applications of RL paradigms: Game Theory, Multi-Agent Theory, Robotic, Networking Technologies, Vehicular Navigation, Medicine and Industrial Logistic

Handbook of Marine Model Organisms in Experimental Biology

"The importance of molecular approaches for comparative biology and the rapid development of new molecular tools is unprecedented. The extraordinary molecular progress belies the need for understanding the development and basic biology of whole organisms. Vigorous international efforts to train the next-generation of experimental biologists must combine both levels – next generation molecular approaches and traditional organismal biology. This book provides cutting-edge chapters regarding the growing list of marine model organisms. Access to and practical advice on these model organisms have become aconditio sine qua non for a modern education of advanced undergraduate students, graduate students and postdocs working on marine model systems. Model organisms are not only tools they are also bridges between fields – from behavior, development and physiology to functional genomics. Key Features Offers deep insights into cutting-edge model system science Provides in-depth overviews of all prominent marine model organisms Illustrates challenging experimental approaches to model system research Serves as a reference book also for next-generation functional genomics applications Fills an urgent need for students Related Titles Jarret, R. L. & K. McCluskey, eds. The Biological Resources of Model Organisms (ISBN 978-1-1382-9461-5) Kim, S.-K. Healthcare Using Marine Organisms (ISBN 978-1-1382-9538-4) Mudher, A. & T. Newman, eds. Drosophila: A Toolbox for the Study of Neurodegenerative Disease (ISBN 978-0-4154-1185-1) Green, S. L. The Laboratory Xenopus sp. (ISBN 978-1-4200-9109-0)