Experience Sharing Between Cooperative Reinforcement Learning Agents

The idea of experience sharing between cooperative agents naturally emerges from our understanding of how humans learn. Our evolution as a species is tightly linked to the ability to exchange learned knowledge with one another. It follows that experience sharing (ES) between autonomous and independent agents could become the key to accelerate learning in cooperative multiagent settings. We investigate if randomly selecting experiences to share can increase the performance of deep reinforcement learning agents, and propose three new methods for selecting experiences to accelerate the learning process. Firstly, we introduce Focused ES, which prioritizes unexplored regions of the state space. Secondly, we present Prioritized ES, in which temporal-difference error is used as a measure of priority. Finally, we devise Focused Prioritized ES, which combines both previous approaches. The methods are empirically validated in a control problem. While sharing randomly selected experiences between two Deep Q-Network agents shows no improvement over a single agent baseline, we show that the proposed ES methods can successfully outperform the baseline. In particular, the Focused ES accelerates learning by a factor of 2, reducing by 51% the number of episodes required to complete the task.Comment: Published at the Proceedings of the 31st IEEE International Conference on Tools with Artificial Intelligenc

Vestibular schwannoma presenting as sudden hearing loss

The sudden Hearing Loss (SHL) is a symptom caused by more than 60 different diseases, including Vestibular Schwannoma (VS). Shaia & Sheehy (1976) presented a study with 1,220 cases of SHL reporting 1% incidence of VS. There is no specific characteristic for the diagnosis of VS and Magnetic Resonance Imaging (MRI) is the gold standard exam to diagnose such disease. AIM: To determine the real incidence of VS presenting as SHL performing MRI in all patients with SHL. STUDY DESIGN: Transversal cohort. MATERIL AND METHOD: Prospective study in which MRI with gadolinium was performed in all patients with SHL in the Emergency Service of São Paulo Hospital from April 2001 through May 2003. RESULTS: MRI was performed in 49 patients with symptoms of SHL, with three cases (6.1%) of VS found. CONCLUSION: The real incidence of VS presenting as SHL may be greater than that mentioned in conventional reports probably because MRI had not been performed in all patients with SHL.A Surdez Súbita (SS) é um sintoma causado por mais de 60 doenças diferentes, dentre elas, o Schwanoma Vestibular (SV). Shaia & Sheehy (1976) apresentaram uma incidência de 1% de SV em 1220 casos de SS. Não há características específicas para o diagnóstico do SV, sendo a ressonância magnética (RM) o exame de escolha. OBJETIVO: Verificar a real incidência de SV em casuísticas de SS com a realização de RM. FORMA DE ESTUDO: Coorte transversal. MATERIAL E MÉTODO: Estudo prospectivo com a realização de RM com contraste de gadolínio em todos os pacientes com SS do serviço de urgência em Otorrinolaringologia do Hospital São Paulo no período de abril de 2001 a maio de 2003. RESULTADOS: Foram realizados exames de RM em 49 pacientes que apresentaram SS, sendo diagnosticados 3 (6,1%) casos de SV. CONCLUSÃO: A incidência real de SV em casuísticas de SS pode ser maior do que o classicamente descrito na literatura, devido ao subdiagnóstico pela não-utilização da RM de rotina nestes casos.Universidade Federal de São Paulo (UNIFESP) Escola Paulista de Medicina Departamento de Otorrinolaringologia e Cirurgia de Cabeça e PescoçoUNIFESP, EPM, Depto. de Otorrinolaringologia e Cirurgia de Cabeça e PescoçoSciEL

Tabagismo: um desafio a se perfazer

Objective: elucidate the toxicological effects of tobacco derivatives on the human body, the difficulties and justifications in quitting smoking, the impact on society, including the financial parts of health and quality of life. Methodology: The document was built after a theoretical review of tobacco and its toxic effects on humans. The bibliographic survey was carried out using the PubMed, Lilacs, Scielo and Google Scholar Databases Result: tobacco is a mixture of approximately 4,700 toxic substances that are distributed in two phases of compounds of high degree of toxicity; we address nicotine and its high capacity to generate dependence; we seek to inform the difficulty that an individual has in abolishing the habit, by which nicotine produces effects that reinforce its use. The severity of nicotine dependence can be illustrated with the fact that only 33% of people who quit smoking alone remain abstinent for more than 2 days, and less than 5% remain abstinent for more than 1 year. Conclusion: advances in tobacco control depend on a vision of the future based on goals, strategies and rigidity in anti-smoking policiesObjetivo: dilucidar los efectos toxicológicos de los derivados del tabaco en el cuerpo humano, las dificultades y justificaciones para dejar de fumar, el impacto en la sociedad, incluidos los aspectos económicos de la salud y la calidad de vida. Metodología: El documento se elaboró ​​tras una revisión teórica del tabaco y sus efectos tóxicos en los seres humanos. La encuesta bibliográfica se realizó utilizando las bases de datos PubMed, Lilacs, Scielo y Google Scholar. Resultado: el tabaco es una mezcla de aproximadamente 4.700 sustancias tóxicas que se distribuyen en dos fases de compuestos altamente tóxicos; Abordamos la Nicotina y su alta capacidad para generar adicción; Buscamos informar sobre la dificultad que tiene un individuo para abolir el hábito, a través del cual la nicotina produce efectos que refuerzan su uso. La gravedad de la adicción a la nicotina se puede ilustrar por el hecho de que solo el 33% de las personas que dejan de fumar solas permanecen en abstinencia durante más de 2 días, y menos del 5% permanecen en abstinencia durante más de 1 año. Conclusión: los avances en el control del tabaco dependen de una visión de futuro basada en objetivos, estrategias y rigidez en las políticas antitabáquicas.Objetivo: elucidar os efeitos toxicológicos dos derivados de tabaco ao organismo humano, as dificuldades e justificativas em cessar o hábito de fumar, o impacto na sociedade, incluindo as partes financeiras da saúde e qualidade de vida. Metodologia O documento foi construído após uma revisão teórica sobre o tabaco e seus efeitos tóxicos aos seres humanos. O levantamento bibliográfico foi realizado utilizando-se as bases de dados PubMed, Lilacs, Scielo e Google Acadêmico. Resultado: o tabaco é uma mistura de aproximadamente 4.700 substâncias tóxicas que se distribuem em duas fases de compostos de elevado grau de toxicidade; abordamos a Nicotina e sua alta capacidade de gerar dependência; buscamos informar a dificuldade que um indivíduo tem de a abolir o hábito, pelo qual a nicotina produz efeitos que reforçam o seu uso. A severidade da dependência a nicotina pode ser ilustrada com o fato de que apenas 33% das pessoas que deixam de fumar sozinhas permanecem abstinentes por um período superior a 2 dias, e menos de 5% mantém-se abstinentes por mais de 1 ano. Conclusão: os avanços no controle do tabagismo dependem de uma visão de futuro baseada em metas, estratégias e rigidez nas políticas antitabagistas.Objetivo: elucidar os efeitos toxicológicos dos derivados de tabaco ao organismo humano, as dificuldades e justificativas em cessar o hábito de fumar, o impacto na sociedade, incluindo as partes financeiras da saúde e qualidade de vida. Metodologia O documento foi construído após uma revisão teórica sobre o tabaco e seus efeitos tóxicos aos seres humanos. O levantamento bibliográfico foi realizado utilizando-se as bases de dados PubMed, Lilacs, Scielo e Google Acadêmico. Resultado: o tabaco é uma mistura de aproximadamente 4.700 substâncias tóxicas que se distribuem em duas fases de compostos de elevado grau de toxicidade; abordamos a Nicotina e sua alta capacidade de gerar dependência; buscamos informar a dificuldade que um indivíduo tem de a abolir o hábito, pelo qual a nicotina produz efeitos que reforçam o seu uso. A severidade da dependência a nicotina pode ser ilustrada com o fato de que apenas 33% das pessoas que deixam de fumar sozinhas permanecem abstinentes por um período superior a 2 dias, e menos de 5% mantém-se abstinentes por mais de 1 ano. Conclusão: os avanços no controle do tabagismo dependem de uma visão de futuro baseada em metas, estratégias e rigidez nas políticas antitabagista

Indoor environmental quality in households of families with infant twins under 1 year of age living in Porto

Exposure to air pollution in early years can exacerbate the risk of noncommunicable diseases throughout childhood and the entire life course. This study aimed to assess temperature, relative humidity (RH), carbon dioxide (CO2) and monoxide (CO), particulate matter (PM2.5, PM10), ultrafine particles, nitrogen dioxide (NO2), ozone (O3), formaldehyde, acetaldehyde and volatile organic compounds (VOC) levels in the two rooms where infant twins spend more time at home (30 dwellings, Northern Portugal). Findings showed that, in general, the worst indoor environmental quality (IEQ) settings were found in bedrooms. In fact, although most of the bedrooms surveyed presented adequate comfort conditions in terms of temperature and RH, several children are sleeping in a bedroom with improper ventilation and/or with a significant degree of air pollution. In particular, mean concentrations higher than recommended limits were found for CO2, PM2.5, PM10 and total VOC. Additionally, terpenes and decamethylcyclopentasiloxane were identified as main components of emissions from indoor sources. Overall, findings revealed that factors related to behaviors of the occupants, namely related to a conscientious use of cleaning products, tobacco and other consumer products (air-fresheners, incenses/candles and insecticides) and promotion of ventilation are essential for the improvement of air quality in households and for the promotion of children's health.The authors gratefully acknowledge the funding of Project HEALS – ‘Health and Environment-wide Associations based on Large Population Surveys’, through the European Union's Seventh Program for research, technological development and demonstration under grant agreement No info:eu-repo/grantAgreement/EC/FP7/603946/EU. MFG, FF and ZM also gratefully acknowledge the funding of Project NORTE-01-0145-FEDER-000010, Health, Comfort and Energy in the Built Environment (HEBE), cofinanced by Programa Operacional Regional do Norte (NORTE2020), through Fundo Europeu de Desenvolvimento Regional (FEDER). The co-author CR was supported by a PhD Grant PD/BD/135925/2018 funded by the Foundation for Science and Technology (FCT) - Portuguese Ministry of Science, Technology and Higher Education

RECURSO DIDÁTICO PARA ENSINAR GEOMETRIA: O USO DE DOBRAS DE PAPEL PARA OBTER REGIÕES POLIGONAIS/POLÍGONOS

Neste artigo apresenta-se alguns resultados de uma pesquisa qualitativa, realizada por um grupo de estudos e pesquisas em Geometria-GEPGEO, que buscou explorar o recurso didático papel, por meio de dobraduras específicas para dinamizar atividades exploratórias em representações de regiões poligonais/polígonos, visualmente regulares, de 3 a 11 lados. Como metodologia de pesquisa foram empregadas atividades investigativas, no sentido de obter dimensões das faixas de papel de modo a obter regiões poligonais com aproximadamente a mesma área, ou seja, polígonos inscritos em circunferências de mesmo raio. Por meio de exploração intuitiva, investigou-se o tipo de material que mais se adequou às construções e à manipulação de modo a obter as figuras geométricas visualmente e esteticamente adequadas. Concluiu-se que os objetos construídos com o material, denominado papel pardo, além de ser de baixo custo, oferece boa visualização e facilidade na identificação dos elementos dessas figuras. Além disso, obteve-se também, por meio de experimentação e por cálculos matemáticos as melhores medidas em cada caso. A partir de levantamento de bibliografia a respeito, o grupo considerou que recursos didáticos ou manipuláveis são todos os recursos materiais que podem ser utilizados pelo professor, de forma intencional, explorados pelos estudantes e que propiciem a construção do conhecimento, por exemplo, softwares dinâmicos, jogos, os de uso comum como sólidos geométricos, geoplanos, blocos multibásicos e outros, como os utilizados na pesquisa

Sarcoma retroperitoneal: relato de caso

Introduction: Retroperitoneal sarcoma is a rare malignant tumor, originating in the mesenchymal cell that undergoes changes in its genetic code, thus producing atypical tissue. It is usually an asymptomatic pathology until it reaches a considerable size of mass, in which, its growth is the main factor causing symptoms. Diagnostic confirmation takes place through imaging tests in addition to biopsy and anatomopathological studies. The treatment of choice is surgery, increasing the survival of the affected patient. Objective: disclose a case of retroperitoneal sarcoma in a patient of the Hospital Escola de Valença, with its consequent outcome, through the analysis of medical records and studies in literature. Case report: 65-years-old man treated at the Hospital Escola de Valença presenting low back pain and hematuria, a retroperitoneal mass was identified with consequent resection and histological studies, showing high degree spindle cell sarcoma. Conclusion: Retroperitoneal lesions are rare findings and represent a therapeutic challenge because, in most cases, patients are asymptomatic or with non specific symptoms. Keywords: Mesenchymal tumor, malignancy, retroperitoneum, surgeryIntrodução: O sarcoma retroperitoneal é um tumor maligno, raro, com origem na célula mesenquimal que sofre alteração em seu código genético, produzindo assim um tecido atípico. Normalmente é uma patologia assintomática até atingir um tamanho considerável de massa, na qual, seu crescimento é o principal fator causador de sintomas. A confirmação diagnóstica se dá através de exames de imagem somadas à biopsia e estudos anatomopatológicos. O tratamento de escolha é a cirurgia, aumentando a sobrevida do paciente acometido. Objetivo: divulgar um caso de sarcoma retroperitoneal em um paciente do Hospital Escola de Valença, com seu consequente desfecho, através da análise de prontuário e estudos em literatura. Relato de caso: Homem de 65 anos atendido no Hospital Escola de Valença apresentando dor lombar e hematúria, sendo identificada massa retroperitoneal com consequente ressecção da mesma e realização de estudos histológicos, evidenciando sarcoma de células fusiformes de alto grau. Conclusão: As lesões retroperitoneais são achados raros e representam um desafio terapêutico pois na maioria das vezes os pacientes se apresentam assintomáticos ou com sintomas inespecíficos

Osmocondicionamento e sua relação com a qualidade de sementes de Urochloa decumbens sob déficit hídrico

The use of high-quality Urochloa decumbens seeds is an essential factor for the establishment of pastures, and osmopriming under stress conditions may improve seed performance. This study was conducted at the Universidade Federal de Viçosa in a completely randomized design and aimed to evaluate the effects of osmopriming and its relationship with physical and physiological attributes of U. decumbens seeds subjected to water deficit. Seeds from ten lots were primed in H2O (0 MPa) and PEG (−0.8 MPa), KNO3 (0.2%), and SNP (0.10 mmol L−1) solutions for 24 hours. Unprimed seeds were used as control. The seeds were evaluated in two trials after osmopriming. Trial I consisted of the X-ray test to evaluate physical attributes and germination and vigor tests. In Trial II, the seeds were placed to germinate under favorable (0 MPa) and water deficit conditions (−0.2 MPa) to evaluate physiological attributes. In general, osmopriming of U. decumbens seeds assisted in increasing physical attributes such as area, gray scale, perimeter, and tissue density. Osmopriming does not contribute to the best physiological performance of U. decumbens seeds under ideal germination conditions (0 MPa). However, osmopriming with SNP (0.10 mmol L−1) and PEG (−0.8 MPa) for 24 hours contributes to the better physiological performance of seeds under water deficit.O uso de sementes de Urochloa decumbens de alta qualidade é um fator essencial para o estabelecimento das pastagens e o condicionamento osmótico, sob condições de estresse pode auxiliar no melhor desempenho das sementes. O trabalho foi conduzido na Universidade Federal de Viçosa, em delineamento inteiramente casualizado e teve como objetivo avaliar os efeitos do condicionamento osmótico e sua relação com os atributos físicos e fisiológicos das sementes de U. decumbens submetidas ao déficit hídrico. Sementes de 10 lotes foram condicionadas em H2O (0 MPa) e em soluções de PEG (−0,8 MPa), KNO3 (0,2%) e SNP (0,10 mmol L−1) por 24 h. Sementes não condicionadas foram utilizadas como controle. Após o condicionamento, as sementes foram avaliadas em dois ensaios. No Ensaio I, foi realizado o teste de raios X para avaliação de atributos físicos, testes de germinação e vigor. No Ensaio II, as sementes foram colocadas para germinar em condições favoráveis (0 MPa) e em situação de déficit hídrico (−0,2 MPa), avaliando-se atributos fisiológicos. Em geral, o condicionamento osmótico de sementes U. decumbens auxiliou para o aumento de atributos físicos como área, escala de cinza, perímetro e densidade tecidual. Em condições ideais de germinação (0 MPa), o condicionamento osmótico não contribui para o melhor desempenho fisiológico de sementes de U. decumbens. No entanto, o condicionamento osmótico com SNP (0,10 mmol L−1) e PEG (−0,8 MPa) por 24 h contribui para o melhor desempenho fisiológico das sementes sob déficit hídrico