Q-Learning applied to games: a reward focused study

Dissertação de mestrado integrado em Informatics EngineeringQ-Learning is one of the most popular reinforcement learning algorithms. It can solve different complex problems with interesting tasks where decisions have to be made, all the while using the same algorithm with no interfer ence from the developer about specific strategies. This is achieved by processing a reward received after each decision is made. In order to evaluate the performance of Q-Learning on different problems, video games prove to be a great asset for testing purposes, as each game has its own unique mechanics and some kind of objective that needs to be learned. Furthermore, the results from testing different algorithms on the same conditions can be easily compared. This thesis presents a study on Q-Learning, from its origins and how it operates, showcasing various state of the art techniques used to improve the algorithm and detailing the procedures that have become standard when training Q-Learning agents to play video games for the Atari 2600. Our implementation of the algorithm following the same techniques and procedures is ran on different video games. The training performance is compared to the one obtained in articles that trained on the same games and attained state of the art performance. Additionally, we explored crafting new reward schemes modifying game default rewards. Various custom rewards were created and combined to evaluate how they affect performance. During these tests, we found that the use of rewards that inform about both good and bad behaviour led to better performance, as opposed to rewards that only inform about good behaviour, which is done by default in some games. It was also found that the use of more game specific rewards could attain better results, but these also required a more careful analysis of each game, not being easily transferable into other games. As a more general approach, we tested reward changes that could incentivize exploration for games that were harder to navigate, and thus harder to learn from. We found that not only did these changes improve exploration, but they also improved the performance obtained after some parameter tuning. These algorithms are designed to teach the agent to accumulate rewards. But how does this relate to game score? To assess this question, we present some preliminary experiments showing the relationship between the evolution of reward accumulation and game score.Q-Learning é um dos algoritmos mais populares de aprendizagem por reforço. Este consegue resolver vários problemas complexos que tenham tarefas interessantes e decisões que devem ser tomadas. Para todos os problemas, o mesmo algoritmo é utilizado sem haver interferência por parte do desenvolvedor sobre estratégias específicas que existam. Isto tudo é alcançado processando uma recompensa que é recebida após tomar cada decisão. Para avaliar o desempenho de Q-Learning em problemas diferentes, os jogos eletrónicos trazem grandes vantagens para fins de teste, pois cada jogo tem as suas próprias regras e algum tipo de objetivo que precisa de ser compreendido. Além disso, os resultados dos testes usando diferentes algoritmos nas mesmas condições podem ser facilmente comparados. Esta tese apresenta um estudo sobre Q-Learning, explicando as suas origens e como funciona, apresentando várias técnicas de estado da arte usadas para melhorar o algoritmo e detalhando os procedimentos padrão usados para treinar agentes de Q-Learning a jogar jogos eletrónicos da Atari 2600. A nossa implementação do algoritmo seguindo as mesmas técnicas e procedimentos é executada em diferentes jogos eletrónicos. O desempenho durante o treino é comparado ao desempenho obtido em artigos que treinaram nos mesmos jogos e atingiram resultados de estado da arte. Além disso, exploramos a criação de novos esquemas de recompensas, modificando as recompensas usadas nos jogos por defeito. Várias recompensas novas foram criadas e combinadas para avaliar como afetam o desempenho do agente. Durante estes testes, observamos que o uso de recompensas que informam tanto sobre o bom como o mau comportamento levaram a um melhor desempenho, ao contrário de recompensas que apenas informam sobre o bom comportamento, que acontece em alguns jogos usando as recompensas por defeito. Também se observou que o uso de recompensas mais específicas para um jogo pode levar a melhores resultados, mas essas recompensas também exigem uma análise mais cuidadosa de cada jogo e não são facilmente transferíveis para outros jogos. Numa abordagem mais geral, testamos mudanças de recompensas que poderiam incentivar a exploração em jogos mais difíceis de navegar e, portanto, mais difíceis de aprender. Observamos que estas mudanças não só melhoraram a exploração, como também o desempenho obtido após alguns ajustes de parâmetros. Estes algoritmos têm como objetivo ensinar o agente a acumular recompensas. Como é que isto está relacionado com a pontuação obtida no jogo? Para abordar esta questão, apresentamos alguns testes preliminares que mostram a relação entre a evolução da acumulação de recompensas e da pontuação no jogo

Centro de inovação em araranguá: análise estratégica e perspectivas para o setor de energia

TCC (graduação) - Universidade Federal de Santa Catarina. Campus Araranguá. Engenharia de Energia.A renovação e o desenvolvimento de uma economia dependem da inovação, que muito se relaciona com novos empreendimentos e Startups. A partir do modelo da Tríplice Hélice, que é baseado nas ações conjuntas de seus atores (governo, empresas e universidades), pode-se criar um ambiente fértil para o desenvolvimento de Centros de Inovação Regionais que têm sido implementados no Estado de Santa Catarina. No município de Araranguá um desses Centros está em fase inicial de implantação. Um dos setores que apresenta potencial para soluções e novos modelos de negócios é o de energia. Nesse contexto, o objetivo deste trabalho foi realizar uma análise estratégica e discutir perspectivas para o setor de energia, considerando a implantação do centro de inovação em Araranguá. O método utilizado foi a pesquisa descritiva. Os dados para análise foram coletados em plataformas abertas e documentos públicos. Entre os principais resultados destaca-se que o município de Araranguá possui um número crescente de estudantes no nível superior e que atualmente existe uma densidade superior de capital intelectual nas Universidades em relação ao número das média e grande empresas, quando comparado com Florianópolis que é uma referência em Ecossistema de Inovação. Além disso, o Centro de Inovação no município já possui os agentes do Modelo Tríplice Hélice engajados e ativos. Conclui-se que o município de Araranguá demonstra ter capacidades para desenvolver Startups de Energia, e o Centro de Inovação pode contribuir nesse sentido.The renewal and development of an economy depends on innovation, which is closely related to new ventures and startups. From the Triple Helix model, which is based on the joint actions of its actors (government, companies and universities), it is possible to create a fertile environment for the development of Regional Innovation Centers that have been implemented in the State of Santa Catarina. In the municipality of Araranguá one of these centers is in the initial phase of implementation. One of the sectors that presents potential for solutions and new business models is the energy sector. In this context, the objective of this work was to carry out a strategic analysis and discuss perspectives for the energy sector, considering the implementation of the innovation center in Araranguá. The method used was descriptive research. Data for analysis were collected from open platforms and public documents. Among the main results, it is highlighted that the municipality of Araranguá has a growing number of students in higher education and that currently there is a higher density of intellectual capital in universities compared to the number of medium and large companies, when compared to Florianópolis, which is a reference in Innovation Ecosystem. In addition, the Innovation Center in the municipality already has the agents of the Triple Helix Model engaged and active. It is concluded that the municipality of Araranguá demonstrates that it has the capacity to develop Energy Startups, and the Innovation Center can contribute in this regard

Lesões hepáticas em primatas não-humanos naturalmente infectados no surto de FA no Brasil, 2014 - 2018

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Agronomia e Medicina Veterinária, 2020.A febre amarela (FA) é uma doença viral infecciosa, causada por um vírus do gênero Flavivírus, transmitido por vetores e que acomete humanos e primatas não humanos (PNH). Os primatas atuam como importantes hospedeiros do vírus, cuja mortes sugerem a possível ocorrência do vírus amarílico. Foi realizado um estudo retrospectivo a partir dos registros de amostras de PNH coletados pela rede de vigilância de epizootias do Ministério da Saúde (MS), durante o surto registrado no Brasil, entre os anos de 2014 a 2018. Foram selecionadas para o estudo, amostras de tecido hepático de primatas dos gêneros Callithrix (n=31), Alouatta (n=30) e Sapajus (n=14), todas com diagnóstico imuno-histoquímico positivo para FA e consideradas confirmadas pelo sistema nacional de vigilância epidemiológica da FA. A partir da leitura das lâminas histopatológicas foram avaliadas a localização anatômica e a intensidade de cada lesão hepática. As lesões hepáticas mais frequentes foram apoptose dos hepatócitos, necrose, dissociação dos cordões de hepatócitos, esteatose microvacuolar, hemorragia, congestão e infiltrado inflamatório de neutrófilos e células mononucleares. Nos três gêneros a região mediozonal apresentou com maior frequência e intensidade nas lesões mais relevantes para diagnóstico da FA.Yellow fever (YF) is an infectious disease caused by a virus of the genus Flavivirus, transmitted by mosquitoes and which affects humans and non-human primates (NHP). Primates act as important hosts, whose deaths suggest a possible circulation of the virus. Nome completo do autor da dissertação: Pedro Henrique de Oliveira Passos Título da dissertação: Lesões hepáticas em primatas não-humanos naturalmente infectados no surto de FA no Brasil, 2014 - 2018. A retrospective study was carried out, based on the records of NHP deaths by the Ministry of Health within the reemergence period registered in Brazil, between 2014 and 2018. Samples of liver tissue from NHP of the genera Callithrix (n = 31), Alouatta (n = 30) and Sapajus (n = 14) were selected for the study, all of them with positive immunohistochemical diagnosis and confirmed for YF by the national epidemiological surveillance system. From the reading of the histopathological slides, the anatomical location and the intensity of each liver injury were evaluated. The most frequent liver injuries were apoptosis of hepatocytes, necrosis, dissociation of hepatocyte cords, microvacuolar steatosis, hemorrhage, congestion, and inflammatory infiltrate of neutrophils and mononuclear cells. In all genera, the mediozonal region showed greater frequency and intensity in the most relevant lesions for the diagnosis of YF

Overview of DNA Repair in Trypanosoma cruzi, Trypanosoma brucei, and Leishmania major

A wide variety of DNA lesions arise due to environmental agents, normal cellular metabolism, or intrinsic weaknesses in the chemical bonds of DNA. Diverse cellular mechanisms have evolved to maintain genome stability, including mechanisms to repair damaged DNA, to avoid the incorporation of modified nucleotides, and to tolerate lesions (translesion synthesis). Studies of the mechanisms related to DNA metabolism in trypanosomatids have been very limited. Together with recent experimental studies, the genome sequencing of Trypanosoma brucei, Trypanosoma cruzi, and Leishmania major, three related pathogens with different life cycles and disease pathology, has revealed interesting features of the DNA repair mechanism in these protozoan parasites, which will be reviewed here

Predicting criminal and violent outcomes in psychiatry : a meta-analysis of diagnostic accuracy

Although reducing criminal outcomes in individuals with mental illness have long been a priority for governments worldwide, there is still a lack of objective and highly accurate tools that can predict these events at an individual level. Predictive machine learning models may provide a unique opportunity to identify those at the highest risk of criminal activity and facilitate personalized rehabilitation strategies. Therefore, this systematic review and meta-analysis aims to describe the diagnostic accuracy of studies using machine learning techniques to predict criminal and violent outcomes in psychiatry. We performed meta-analyses using the mada, meta, and dmetatools packages in R to predict criminal and violent outcomes in psychiatric patients (n = 2428) (Registration Number: CRD42019127169) by searching PubMed, Scopus, and Web of Science for articles published in any language up to April 2022. Twenty studies were included in the systematic review. Overall, studies used single-nucleotide polymorphisms, text analysis, psychometric scales, hospital records, and resting-state regional cerebral blood flow to build predictive models. Of the studies described in the systematic review, nine were included in the present meta-analysis. The area under the curve (AUC) for predicting violent and criminal outcomes in psychiatry was 0.816 (95% Confidence Interval (CI): 70.57–88.15), with a partial AUC of 0.773, and average sensitivity of 73.33% (95% CI: 64.09–79.63), and average specificity of 72.90% (95% CI: 63.98–79.66), respectively. Furthermore, the pooled accuracy across models was 71.45% (95% CI: 60.88–83.86), with a tau squared (τ 2 ) of 0.0424 (95% CI: 0.0184–0.1553). Based on available evidence, we suggest that prospective models include evidence-based risk factors identified in prior actuarial models. Moreover, there is a need for a greater emphasis on identifying biological features and incorporating novel variables which have not been explored in prior literature. Furthermore, available models remain preliminary, and prospective validation with independent datasets, and across cultures, will be required prior to clinical implementation. Nonetheless, predictive machine learning models hold promise in providing clinicians and researchers with actionable tools to improve how we prevent, detect, or intervene in relevant crime and violent-related outcomes in psychiatry

Phenotypic profiling of CD8+ T cells during Plasmodium vivax blood-stage infection

Submitted by Repositório Arca ([email protected]) on 2019-04-24T17:38:50Z No. of bitstreams: 1 license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)Approved for entry into archive by Janaína Nascimento ([email protected]) on 2019-08-13T14:21:37Z (GMT) No. of bitstreams: 2 ve_ Hojo-Souza_Natália_etal_INI_2015.pdf: 1172050 bytes, checksum: b1948378bfee8669ad90694b3aa2cb60 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)Made available in DSpace on 2019-08-13T14:21:37Z (GMT). No. of bitstreams: 2 ve_ Hojo-Souza_Natália_etal_INI_2015.pdf: 1172050 bytes, checksum: b1948378bfee8669ad90694b3aa2cb60 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2015Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Centro de Pesquisa em Medicina Tropical. Porto Velho, RO, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Centro de Pesquisa em Medicina Tropical. Porto Velho, RO, Brasil.Fundação Oswaldo Cruz. Instituto de Pesquisa Clínica Evandro Chagas. Rio de Janeiro. RJ, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Universidade Federal de Minas Gerais. Instituto de Ciências Biológicas. Departamento de Parasitologia. Belo Horizonte, MG, Brasil.Background: For a long time, the role of CD8+ T cells in blood-stage malaria was not considered important because erythrocytes do not express major histocompatibility complex (MHC) class I proteins. While recent evidences suggest that CD8+ T cells may play an important role during the erythrocytic phase of infection by eliminating parasites, CD8+ T cells might also contribute to modulate the host response through production of regulatory cytokines. Thus, the role of CD8+ T cells during blood-stage malaria is unclear. Here, we report the phenotypic profiling of CD8+ T cells subsets from patients with uncomplicated symptomatic P. vivax malaria. Methods: Blood samples were collected from 20 Plasmodium vivax-infected individuals and 12 healthy individuals. Immunophenotyping was conducted by flow cytometry. Plasma levels of IFN-γ, TNF-α and IL-10 were determined by ELISA/CBA. Unpaired t-test or Mann–Whitney test was used depending on the data distribution. Results: P. vivax-infected subjects had lower percentages and absolute numbers of CD8+ CD45RA+ and CD8+ CD45RO+ T cells when compared to uninfected individuals (p ≤ 0.0002). A significantly lower absolute number of circulating CD8+ CD45+ CCR7+ cells (p = 0.002) was observed in P. vivax-infected individuals indicating that infection reduces the number of central memory T cells. Cytokine expression was significantly reduced in the naïve T cells from infected individuals compared with negative controls, as shown by lower numbers of IFN-γ + (p = 0.001), TNF-α+ (p < 0.0001) and IL-10+ (p < 0.0001) CD8+ T cells. Despite the reduction in the number of CD8+ memory T cells producing IFN-γ (p < 0.0001), P. vivax-infected individuals demonstrated a significant increase in memory CD8+ TNF-α+ (p = 0.016) and CD8+ IL-10+ (p = 0.004) cells. Positive correlations were observed between absolute numbers of CD8+ IL-10+ and numbers of CD8+ IFN-γ + (p < 0.001) and CD8+ TNF-α+ T cells (p ≤ 0.0001). Finally, an increase in the plasma levels of TNF-α (p = 0.017) and IL-10 (p = 0.006) and a decrease in the IFN-γ plasma level (p <0.0001) were observed in the P. vivax-infected individuals. Conclusions: P. vivax infection reduces the numbers of different subsets of CD8+ T cells, particularly the memory cells, during blood-stage of infection and enhances the number of CD8+ memory T cells expressing IL-10, which positively correlates with the number of cells expressing TNF-α and IFN-γ

A abordagem inicial do Trauma Cranioencefálico em crianças e idosos para o cirurgião geral no cenário do trauma: uma revisão de literatura: The initial approach to Head Trauma in children and the elderly for the general surgeon in the trauma setting: a literature review

O Traumatismo Cranioencefálico (TCE) é uma lesão cerebral estrutural resultante de uma força física externa transmitida à cabeça, o objetivo principal do tratamento dos doentes com suspeita de TCE grave é prevenir a lesão cerebral secundária. Como foco do estudo da revisão proposta, objetiva-se compreender o TCE como uma das principais causas de incapacidade a longo prazo entre crianças e pacientes geriátricos. A idade do paciente e o estado geral de saúde influenciam no prognóstico, com maior risco de morbidade e mortalidade associado ao trauma cranioencefálico em pacientes idosos. A presença de TCE em pacientes pediátricos merece grande atenção e importância, principalmente por suas peculiaridades, desafios e dificuldades no manejo

A reposição volêmica e a transfusão maciça para o cirurgião geral no cenário do trauma: uma revisão de literatura: Volume replacement and massive transfusion for the general surgeon in the trauma setting: a literature review

O choque, uma anormalidade do sistema circulatório, evidenciado pelo colapso hemodinâmico, é uma causa importante de admissão no cenário do trauma. A partir da definição da perda sanguínea estimada, propõem-se a reposição de fluídos, que deve ser orientada conforme a reposição de fluídos inicial. Como foco do estudo da revisão proposta, para determinar as soluções cristalóide/colóide, objetiva-se conhecer seus benefícios e malefícios, que serão discutidos em tópico posterior. Além disso, de acordo com a resposta do paciente, pelo grau do choque e seus sinais clínicos, pode suceder a necessidade de uma reposição de sangue (concentrado de hemácias, plasma e plaquetas), e a demanda de um protocolo de transfusão maciça

Qualidade da silagem de milho submetida a atraso na vedação e uso de inoculantes microbianos

The objective of this work was to determine the effects of sealing delay for 12 hours and of the use of microbial inoculant with heterofermentative bacteria on whole-plant corn (Zea mays) silage. The experimental design was completely randomized in a 2×2 factorial arrangement (with or without inoculant × with or without sealing delay). Silage was evaluated for: chemical composition, in vitro dry matter digestibility (IVDMD), fermentative parameters, losses, aerobic stability, and microbiological profile. The heating of the silage caused by respiration increased the contents of neutral detergent insoluble protein and of acid detergent insoluble protein by 77 and 27.3%, respectively. Soluble carbohydrate losses increased the contents of neutral detergent fiber corrected for ash and protein by 9.1% and of acid detergent fiber by 5.1%, but decreased the content of nonfibrous carbohydrates by 11.2%. IVDMD did not differ between treatments. Silages with delayed sealing and the inoculant showed higher pH and contents of acetic acid, propionic acid, and ammoniacal nitrogen, but a lower content of lactic acid. Delayed sealing reduces the nutritional value, increases the fibrous fractions, and decreases the soluble carbohydrates, whereas the use of inoculant does not improve the nutritional value and aerobic stability of the silages.O objetivo deste trabalho foi determinar os efeitos do atraso de vedação por 12 horas e do uso de inoculante com bactérias heterofermentativas na silagem de plantas inteiras de milho (Zea mays). O delineamento experimental foi inteiramente casualizado, em arranjo fatorial 2×2 (com ou sem inoculante × com ou sem atraso de vedação). Avaliou-se a silagem quanto a: composição química, digestibilidade in vitro de matéria seca (DIVMS), parâmetros fermentativos, perdas, estabilidade aeróbica e perfil microbiológico. O aquecimento da silagem causado pela respiração aumentou o teor de proteína insolúvel em detergente neutro e o de proteína insolúvel em detergente ácido em 77 e 27,3%, respectivamente. As perdas de carboidratos solúveis aumentaram o teor de fibras em detergente neutro corrigidas para cinzas e proteínas em 9,1% e de fibras em detergente ácido em 5,1%, mas diminuíram o teor de carboidratos não fibrosos em 11,2%. A DIVMS não diferiu entre os tratamentos. As silagens com vedação atrasada e inoculadas apresentaram maiores pH e teores de ácido acético, ácido propiônico e nitrogênio amoniacal, mas menor teor de ácido láctico. A vedação atrasada reduz o valor nutricional, aumenta as frações fibrosas e diminui os carboidratos solúveis, enquanto o uso de inoculante não melhora o valor nutricional e a estabilidade aeróbica das silagens