Navegação multi-objetivo de um robô móvel usando aprendizagem por reforço hierárquica

Currently, there is a growing interest in the development of autonomous navigation technologies for applications in domestic, urban and industrial environments. Machine Learning tools such as neural networks, reinforcement learning and deep learning have been the main choice to solve many problems associated with autonomous mobile robot navigation. This dissertation mainly focus on solving the problem of mobile robot navigation in maze-like environments with multiple goals. The center point here is to apply a hierarchical structure of reinforcement learning algorithms (QLearning and R-Learning) to a robot in a continuous environment so that it can navigate in a maze. Both the state-space and the action-space are obtained by discretizing the data collected by the robot in order to prevent them from being too large. The implementation is done with a hierarchical approach, which is a structure that allows to split the complexity of the problem into many easier sub-problems, ending up with a set of lower-level tasks followed by a higher-level one. The robot performance is evaluated in two maze-like environments, showing that the hierarchical approach is a very feasible solution to reduce the complexity of the problem. Besides that, two more scenarios are presented: a multi-goal situation where the robot navigates across multiple goals relying on the topological representation of the environment and the experience memorized during learning and a dynamic behaviour situation where the robot must adapt its policies according to the changes that happen in the environment (such as blocked paths). In the end, both scenarios were successfully accomplished and it has been concluded that a hierarchical approach has many advantages when compared to a classic reinforcement learning approach.Atualmente, há um crescente interesse no desenvolvimento de tecnologias de navegação autónoma para aplicações em ambientes domésticos, urbanos e industriais. Ferramentas de Aprendizagem Automática, como redes neurais, aprendizagem por reforço e aprendizagem profunda têm sido a escolha principal para resolver muitos problemas associados à navegação autónoma de robôs móveis. Esta dissertação tem como foco principal a solução do problema de navegação de robôs móveis em ambientes tipo labirínto com múltiplos objetivos. O ponto central aqui é aplicar uma estrutura hierárquica de algoritmos de aprendizagem por reforço (Q-Learning e R-Learning) a um robô num ambiente contínuo para que ele possa navegar num labirinto. Tanto o espaço de estados quanto o espaço de ações são obtidos através da discretização dos dados recolhidos pelo robô para evitar que estes sejam demasiado extensos. A implementação é feita com uma abordagem hierárquica, que é uma estrutura que permite dividir a complexidade do problema em vários subproblemas mais fáceis, ficando com um conjunto de tarefas de baixo-nível seguido por um de alto-nível. O desempenho do robô é avaliado em dois ambientes tipo labirinto, mostrando que a abordagem hierárquica é uma solução bastante viável para reduzir a complexidade do problema. Além disso, dois cenários diferentes são apresentados: uma situação de multi-objetivo onde o robô navega por múltiplos objetivos usando a representação topológica do ambiente e a experiência memorizada durante a aprendizagem e uma situação de comportamento dinâmico onde o robô deve adaptar suas políticas de acordo com os mudanças que acontecem no ambiente (como caminhos bloqueados). No final, ambos os cenários foram realizados com sucesso e concluiu-se que uma abordagem hierárquica tem muitas vantagens quando comparada a uma abordagem de aprendizagem por reforço clássica.Mestrado em Engenharia de Computadores e Telemátic

The use of Headspace Solid Phase Microextraction for Characterization of Volatile Compounds in Olive Oil Matrices

Aplicação da técnica de SPME na análise de compostos voláteis em azeite

Error rate analysis of M-PSK with magnitude modulation envelope control

Magnitude modulation (MM) envelope control is an efficient way of reducing the peak-to-average power ratio (PAPR) of single-carrier (SC) signals and improves an SC system's overall power efficiency. However, MM techniques reduce the PAPR at the cost of introducing distortion, highlighting a need to characterise the symbol error rate (SER) performance loss due to MM. This reported work focuses on the M-PSK case. An exact probability density function (PDF) based on the generalised extreme value distribution is proposed to model the statistical distribution of MM factors generated by MM techniques applied to SC constant amplitude constellations. By considering MM distortion as a form of fading, it is shown that this PDF may be used to derive an accurate union bound of the SER of M-PSK transmission on the additive white Gaussian channel channel when using MM envelope control

Ring-Type Magnitude Modulation for LINC: A Pragmatic Approach to the Efficiency Challenge

This paper considers the use of the linear amplification with nonlinear components (LINC) technique for the power amplification of spectrally compact offset quadrature phase shift keying (OQPSK) signals allowing the use of highly efficient, low cost, and strongly nonlinear high power amplifiers (HPAs). However, the performance of the LINC signal separation and power combining procedures decreases with the rise of the signal’s peak-to-average power ratio (PAPR). A new ringtype magnitude modulation (RMM) method is proposed for OQPSK signals that limits both its maximum and minimum complex envelope excursions avoiding zero crossings, without spreading the transmitted signal’s spectrum. The performance results show that bandlimited OQPSK signals whose envelope have low fluctuations produce LINC components with a narrower spectrum, with a considerable impact on the LINC transmitter regardless of the type of combiner chosen: when using a passive/matched combiner, the transmitter’s power efficiency is significantly increased without spreading the combined signal’s spectrum; for the highly efficient non-linear Chireix combiner there is a reduction of the amount of spectral leakage produced by nonlinearly combining the LINC signal components. Finally, an iterative decoding scheme is also proposed, which employs estimates of the received symbols’ RMM coefficients to compensate the RMM distortion

Developing an ambient intelligent-based decision support system for production and control planning

Scheduling production instructions in a manufacturing facility is key to assure a efficient process that assures the desired product quantities are produced in time, with quality and with the right resources. An efficient production avoids the creation of downstream delays, and early completion which both can be detrimental if storage space is limited and contracted quantities are important. Therefore, the production, planning and control of manufacturing is increasingly more difficult as family products increases. This paper presents an ongoing Ambient Intelligent decision support system development that aims to provide assistance on the creation on standard work procedures that assure production quantity and efficiency by means of ambient intelligence, optimization heuristics and machine learning in the context of a large organization.This work has been supported by COMPETE: POCI-01-0145-FEDER-007043 and FCT - Fundac¸ ˜ao para a Ciˆencia e a Tecnologia (Portuguese Foundation for Science and Technology) within the Project Scope UID/CEC/00319/2013. This research is also sponsored by the Portugal Incentive System for Research and Technological Development. Project in co-promotion no 002814/2015 (iFACTORY 2015-2018).info:eu-repo/semantics/publishedVersio

Processos de inteligência competitiva em organizações empresariais

A Inteligência Competitiva é o processo de monitorar e/ou analisar o ambiente externo para apresentar as ameaças, as oportunidades e identificar o que mudar para que a organização se mantenha competitiva. As organizações têm buscado implantar esse processo como resposta à necessidade de auxiliar os tomadores de decisão a acompanhar e avaliar com maior rapidez e precisão o que ocorre no ambiente externo, de maneira a que sejam mais ágeis diante da crescente globalização e concorrência. A presente monografia visa identificar como ocorrem os processos de inteligência competitiva em organizações empresariais para apoiar outros processos organizacionais. Para tal, foi utilizada pesquisa exploratória e qualitativa do tipo bibliográfica e entrevistas. Os resultados mostraram que a Inteligência Competitiva pode apoiar os processos de administração estratégica, planejamento, tomada de decisão e negociação, além de como devem ser o processo de Inteligência Competitiva segundo autores teóricos e casos empresariais. Finalmente, foi proposto um conjunto de processos de Inteligência Competitiva, com a descrição de suas fases, etapas e responsáveis, que se considera que sejam adequados para apoiar os outros processos empresariais indicados anteriormente

Determination of stresses around a cylindrical single pile caused by horizontal movements of soils with the finitive element method

This study was carried out with the aim of modeling in 2D, in plain strain, the movement of a soft cohesive soil around a pile, in order to enable the determination of stresses resulting along the pile, per unit length. The problem in study fits into the large deformations problem and can be due to landslide, be close of depth excavations, to be near of zones where big loads are applied in the soil, etc. In this study is used an constitutive Elasto-Plastic model with the failure criterion of Mohr-Coulomb to model the soil behavior. The analysis is developed considering the soil in undrained conditions. To the modeling is used the finite element program PLAXIS, which use the Updated Lagrangian - Finite Element Method (UL-FEM). In this work, special attention is given to the soil-pile interaction, where is presented with some detail the formulation of the interface elements and some studies for a better understand of his behavior. It is developed a 2-D model that simulates the effect of depth allowing the study of his influence in the stress distribution around the pile. The results obtained give an important base about how behaves the movement of the soil around a pile, about how work the finite element program PLAXIS and how is the stress distribution around the pile. The analysis demonstrate that the soil-structure interaction modeled with the UL-FEM and interface elements is more appropriate to small deformations problems.Este trabalho final de mestrado tem como objectivo efectuar a modelação bidimensional (2D), do movimento de um solo argiloso à volta de uma estaca de forma a possibilitar a determinação das tensões resultantes ao longo da estaca por unidade de comprimento. O problema em estudo enquadra-se no problema de grandes deformações e pode dever-se: a um deslizamento de terras; a encontrar-se junto a escavações profundas; a encontrar-se junto a uma zona onde grandes cargas sejam transmitidas ao solo; etc. Neste estudo é utilizado um modelo constitutivo elásto-plástico com o critério de rotura de Mohr-Coulomb para modelar o comportamento do solo. A análise é efectuada considerando o solo em condições não drenadas. Será utilizado o programa de elementos finitos PLAXIS que usa o Update Lagrangian - Finite Element Method (UL-FEM). Neste trabalho é dada uma especial atenção à interação solo-estaca, onde é apresentado com algum pormenor a formulação dos elementos de interface e alguns estudos paramétricos que permitem um melhor entendimento do seu comportamento. É desenvolvido um modelo bidimensional que simula o efeito da profundidade, permitindo assim o estudo da sua influência na distribuição das tensões à volta da estaca. Os resultados obtidos neste trabalho fornecem uma importante base acerca de como funciona o movimento do solo à volta de uma estaca, o programa de elementos finitos PLAXIS e a distribuição das tensões na estaca. A análise efectuada mostra que a modelação da interação solo-estaca com o UL-FEM e com os elementos de interface é mais adequada para problemas de pequenas deformações

Volatile compounds from oak, cherry, chestnut and acacia chips: influence of toasting level

In the present study, the volatile composition of wood chips from several botanical species potentially relevant for oenological purposes, namely acacia (unknown specie), chestnut (Castanea sativa), cherry (Prunus cerasus) and oak (Quercus robur) was studied by GC/MS. In order to evaluate the effect of the toasting process on volatile compounds contents we have extended our study to wood chips from the botanical species described above, subjected to different toasting levels, such as untoasted and medium toast. To achieve this goal, a preliminary step comprising the extraction of the volatile compounds by pressurized liquid extraction (PLE) has been performed followed by the analysis and identifi cation of those compounds by GC/MS. The identifi cation was tentatively achieved attending to the characteristic fragmentation patterns of these compounds and by comparison with those reported in the literature. The determination of linear retention indexes has allowed the confi rmation of those attributions. Within this study, we were able to identify 45 compounds, arising from polysaccharides, lipids, lignin and polyphenols degradation. Additionally, 16 other compounds were identifi ed in the different wood species under study although their origin is not fully known. In general, our results showed differences among the volatile composition of the different botanical species studied in this work and the infl uence of toasting degree was also observed in this study

Risk factors for the increasing trend in low birth weight among live births born by vaginal delivery, Brazil

OBJECTIVE: To identify risk factors for low birth weight (LBW) among live births by vaginal delivery and to determine if the disappearance of the association between LBW and socioeconomic factors was due to confounding by cesarean section. METHODS: Data were obtained from two population-based cohorts of singleton live births in Ribeirão Preto, Southeastern Brazil. The first one comprised 4,698 newborns from June 1978 to May 1979 and the second included 1,399 infants born from May to August 1994. The risks for LBW were tested in a logistic model, including the interaction of the year of survey and all independent variables under analysis. RESULTS: The incidence of LBW among vaginal deliveries increased from 7.8% in 1978--79 to 10% in 1994. The risk was higher for: female or preterm infants; newborns of non-cohabiting mothers; newborns whose mothers had fewer prenatal visits or few years of education; first-born infants; and those who had smoking mothers. The interaction of the year of survey with gestational age indicated that the risk of LBW among preterm infants fell from 17.75 to 8.71 in 15 years. The mean birth weight decreased more significantly among newborns from qualified families, who also had the highest increase in preterm birth and non-cohabitation. CONCLUSIONS: LBW among vaginal deliveries increased mainly due to a rise in the proportion of preterm births and non-cohabiting mothers. The association between cesarean section and LBW tended to cover up socioeconomic differences in the likelihood of LBW. When vaginal deliveries were analyzed independently, these socioeconomic differences come up again.OBJETIVO: Identificar fatores de risco para o baixo peso ao nascer (BPN) entre nascidos vivos de parto vaginal e verificar se o desaparecimento da associação entre BPN e fatores socioeconômicos foi devido ao confundimento pela cesariana. MÉTODOS: Foram estudadas duas coortes de base populacional de recém-nascidos únicos de parto vaginal em Ribeirão Preto, Sudeste do Brasil. A primeira incluiu 4.698 crianças nascidas entre junho de 1978 e maio de 1979 e a segunda 1.399 crianças nascidas entre maio e agosto de 1994. Os riscos de BPN foram testados num modelo de regressão logística, incluindo interações entre ano da pesquisa e todas as variáveis independentes em análise. RESULTADOS: A incidência de BPN entre partos vaginais aumentou de 7,8% em 1978/79 para 10% em 1994 para crianças do sexo feminino, para os primogênitos, para nascidos de mães sem companheiro, para nascidos de mães que fizeram menor número de consultas pré-natais ou com menos anos de estudo e para nascidos de mães fumantes. A interação entre ano do parto e idade gestacional indicou que o risco de BPN entre os nascidos prematuros caiu de 17,8 para 8,7 em 15 anos. A média do peso ao nascer reduziu-se mais entre os filhos de famílias mais qualificadas, que tiveram o maior aumento nos nascimentos pré-termo e nas mães sem companheiro. CONCLUSÕES: O BPN entre partos vaginais aumentou principalmente devido ao incremento nos nascimentos pré-termo e nas mães sem companheiro. A associação entre cesariana e BPN tendeu a encobrir as diferenças socioeconômicas na probabilidade do BPN. Na análise dos partos vaginais isoladamente, as diferenças socioeconômicas reapareceram

Different multidimensional chromatographic approaches applied to the study of Wine Malolactic Fermentation

Different multidimensional analyical techniques applied to the study of malolactic fermentation impact on wine final qualit