Quantum-enhanced reinforcement learning

Dissertação de mestrado em Engenharia FísicaThe field of Artificial Intelligence has lately witnessed extraordinary results. The ability to design a system capable of beating the world champion of Go, an ancient Chinese game known as the holy grail of AI, caused a spark worldwide, making people believe that some thing revolutionary is about to happen. A different flavor of learning called Reinforcement Learning is at the core of this revolution. In parallel, we are witnessing the emergence of a new field, that of Quantum Machine Learning which has already shown promising results in supervised/unsupervised learning. In this dissertation, we reach for the interplay between Quantum Computing and Reinforcement Learning. This learning by interaction was made possible in the quantum setting using the con cept of oraculization of task environments suggested by Dunjko in 2015. In this dissertation, we extended the oracular instances previously suggested to work in more general stochastic environments. On top of this quantum agent-environment paradigm we developed a novel quantum algorithm for near-optimal decision-making based on the Reinforcement Learn ing paradigm known as Sparse Sampling, obtaining a quantum speedup compared to the classical counterpart. The achievement was a quantum algorithm that exhibits a complexity independent on the number of states of the environment. This independence guarantees its suitability for dealing with large state spaces where planning may be inapplicable. The most important open questions remain whether it is possible to improve the orac ular instances of task environments to deal with even more general environments, especially the ability to represent negative rewards as a natural mechanism for negative feedback instead of some normalization of the reward and the extension of the algorithm to perform an informed tree-based search instead of the uninformed search proposed. Improvements on this result would allow the comparison between the algorithm and more recent classical Reinforcement Learning algorithms.O campo da Inteligência Artificial tem tido resultados extraordinários ultimamente, a capacidade de projetar um sistema capaz de vencer o campeão mundial de Go, um antigo jogo de origem Chinesa, conhecido como o santo graal da IA, causou uma faísca em todo o mundo, fazendo as pessoas acreditarem em que algo revolucionário estar a para acontecer. Um tipo diferente de aprendizagem, chamada Aprendizagem por Reforço está no cerne dessa revolução. Em paralelo surge também um novo campo, o da Aprendizagem Máquina Quântica, que já vem apresentando resultados promissores na aprendizagem supervisionada/não, supervisionada. Nesta dissertação, procuramos invés a interação entre Computação Quântica e a Aprendizagem por Reforço. Esta interação entre agente e Ambiente foi possível no cenário quântico usando o conceito de oraculização de ambientes sugerido por Dunjko em 2015. Neste trabalho, estendemos as instâncias oraculares sugeridas anteriormente para trabalhar em ambientes estocásticos generalizados. Tendo em conta este paradigma quântico agente-ambiente, desenvolvemos um novo algoritmo quântico para tomada de decisão aproximadamente ótima com base no paradigma da Aprendizagem por Reforço conhecido como Amostragem Esparsa, obtendo uma aceleração quântica em comparação com o caso clássico que possibilitou a obtenção de um algoritmo quântico que exibe uma complexidade independente do número de estados do ambiente. Esta independência garante a sua adaptação para ambientes com um grande espaço de estados em que o planeamento pode ser intratável. As questões mais pertinentes que se colocam é se é possível melhorar as instâncias oraculares de ambientes para lidar com ambientes ainda mais gerais, especialmente a capacidade de exprimir recompensas negativas como um mecanismo natural para feedback negativo em vez de alguma normalização da recompensa. Além disso, a extensão do algoritmo para realizar uma procura em árvore informada ao invés da procura não informada proposta. Melhorias neste resultado permitiriam a comparação entre o algoritmo quântico e os algoritmos clássicos mais recentes da Aprendizagem por Reforço

Analysis and coding of visual objects: new concepts and new tools

Video coding has been under intense scrutiny during the last years. The published international standards rely on low-level vision concepts, thus being first-generation. Recently standardization started in second-generation video coding, supported on mid-level vision concepts such as objects. This thesis presents new architectures for second-generation video codecs and some of the required analysis and coding tools. The graph theoretic foundations of image analysis are presented and algorithms for generalized shortest spanning tree problems are proposed. In this light, it is shown that basic versions of several region-oriented segmentation algorithms address the same problem. Globalization of information is studied and shown to confer different properties to these algorithms, and to transform region merging in recursive shortest spanning tree segmentation (RSST). RSST algorithms attempting to minimize global approximation error and using affine region models are shown to be very effective. A knowledge-based segmentation algorithm for mobile videotelephony is proposed. A new camera movement estimation algorithm is developed which is effective for image stabilization and scene cut detection. A camera movement compensation technique for first-generation codecs is also proposed. A systematization of partition types and representations is performed with which partition coding tools are overviewed. A fast approximate closed cubic spline algorithm is developed with applications in partition coding.A codificação de vídeo tem sido intensamente estudada nos últimos anos. As normas internacionais já publicadas baseiam-se em conceitos da visão de baixo nível, sendo portanto de primeira geração. Começou recentemente a normalização de técnicas de codificação de segunda geração, suportada em conceitos da visão de médio nível tais como objectos. Esta tese apresenta novas arquitecturas para codificadores de vídeo de segunda geração e algumas das correspondentes ferramentas de análise e codificação. Apresentam-se fundamentos de teoria dos grafos aplicada à análise de imagem e propõem-se algoritmos para generalizações do problema da árvore abrangente mínima. Mostra-se que versões básicas de vários algoritmos de segmentação orientados para a região resolvem o mesmo problema. Estuda-se a globalização de informação e mostra-se que confere propriedades diferentes a esses algoritmos, transformando o algoritmo de fusão de regiões no algoritmo de árvores abrangentes mínimas recursivas (RSST). Mostra-se a eficácia de algoritmos RSST que tentam minimizar o erro global de aproximação e que usam modelos de região afins. Propõe-se um algoritmo baseado em conhecimento prévio para segmentação em vídeo-telefonia móvel. Desenvolve-se um algoritmo de estimação de movimentos de câmara eficaz na estabilização de imagem e na detecção de mudanças de cena. Propõe-se também uma técnica de compensação de movimentos de câmara para codificadores de primeira-geração. Sistematizam-se os tipos e as representações de regiões, revendo-se depois técnicas de codificação de partições. Desenvolve-se um algoritmo rápido e aproximado para cálculo de splines cúbicas fechadas.Programas Ciência e Praxis - JNICT Projecto RACE MAVT - CEC ISCT

Natureza da ciência nos currículos de Ciências Naturais/Biologia e Geologia do contexto educacional português

O presente estudo focaliza-se na identificação da imagem da natureza da Ciência preconizada para o ensino das Ciências Naturais e da Biologia e Geologia no contexto educacional português. Toma como objecto de análise documentos definidores da política educativa: “Ciências Físicas e Naturais – Orientações Curriculares do 3º ciclo do Ensino Básico” e “Programas de Biologia e Geologia dos 10º e 11º anos de escolaridade do Ensino Secundário”. Apesar de algumas fragilidades detectadas, assentes sobretudo em omissões, os documentos oficiais evidenciam pontos de contacto com as recomendações oriundas da investigação em Educação em Ciências. A leitura dos dados recolhidos aponta uma imagem da natureza da Ciência assente numa perspectiva de orientação pós-positivista.This study focus on the identification of the image of the nature of science recommended for the teaching of Natural Science, Biology and Geology in the portuguese educational system. It is based on the analysis of official documents on educational policy: “Physical and Natural Sciences – Curriculum Guidelines for the 3rd cycle of Basic Education” and “Biology-Geology Sillabus for the 10th and 11th grades in Upper-Secondary Education”. Although the official documents on educational policy show some weaknesses and omissions, they follow somehow the recommendations given by the research in science education. The interpretation of the collected data indicates that the programs have an image of the nature of science based on a post-positivist perspective

The transitional dynamics of an endogenous growth model: Generalizing production functions

The final publication is available at www.degruyter.comThis paper devises a class of endogenous growth models with physical capital, human capital and product varieties. Unlike previous literature, we introduce a general specification of production that allows for disentangling the gains from specialization from the monopolistic markup. The consequences of separating both parameters on the equilibrium dynamics of the model are analyzed. We find that the long-run growth rate ceases to depend on the markup when it is disentangled from the returns to specialization, and the same happens with the conditions for saddle-path stability. Numerical simulations show that the steady-state equilibria are more prone to be stable in the model that disentangles parameters. Furthermore, the model is able to generate a rich variety of development scenarios, accounting for a number of stylized facts related to the development process of industrialized countries.Ministerio de Ciencia e Innovación; ECO2011-25490.Portugal. Fundacão para a Ciência e Tecnologia; PTDC/EGE-ECO 102238/200

Phases of Economic Development: Do Initial Endowments Matter?

The final publication is available at www.degruyter.com[Abstract] Different industrializing experiences beginning on innovation or education could be explained not only by different structural parameters or policies but also by differences in factor endowments. In this paper, we consider an endogenous growth model with physical capital, human capital and R&D. We show that the initial endowments can determine the sequence of the phases of development that the economy follows; in particular, whether innovation precedes education or viceversa.Manuel Gómez gratefully acknowledges financial support from the Spanish Ministry of Science and Innovation through Grant ECO2011-25490. Tiago Sequeira gratefully acknowledges financial support from the Portuguese Ministry of Science, Technology and Higher Education, through FCT project PTDC/EGE-ECO/102238/2008Portugal. Fundação para a Ciência ea Tecnologia; PTDC/EGE-ECO/102238/200

Should the US increase subsidies to R&D? Lessons from an endogenous growth theory

[Abstract]: In this article we devise an endogenous growth model with R&D, physical capital, and human capital with several externalities. The model is calibrated to the US economy and used to quantitatively evaluate the effect on growth and welfare of implementing different budget-neutral policies. The welfare effects of different policies are calculated by taking into account the transitional dynamics of the economy after the policy reform. Our main findings have policy implications; mainly, subsidies to research are the most welfare-increasing amongst the budget-neutral policies, and the optimal structure of subsidies entails substantially increasing the subsidy to R&D, maintaining a zero subsidy to production, and reducing the subsidy to education, so as to keep the intertemporal government budget balanced. A detailed sensitivity analysis shows the robustness of these results

Optimal R&D subsidies in a model with physical capital, human capital and varieties

Copyright © 2013 Elsevier. NOTICE: this is the author’s version of a work that was accepted for publication in Economic Modelling. Changes resulting from the publishing process, such as editing, corrections, structural formatting, and other quality control mechanisms may not be reflected in this document. A definitive version was subsequently published in Economic Modelling 30, 217-224, 2013. DOI: http://dx.doi.org/10.1016/j.econmod.2012.07.019.[Abstract] In this paper, we analyze the social planner solution of an endogenous growth model with physical capital, human capital and R&D. The model incorporates three sources of inefficiency: monopolistic competition in the intermediate-goods sector, duplication externalities and spillovers in R&D. A complete stability analysis for the optimal growth problem of this model is provided. We characterize the optimal policy that can decentralize the optimal solution and find that the path of the optimal R&D subsidy can be non-monotonic.Ministerio de Economía y Competitividad; ECO2011-25490Portugal. Fundação para a Ciência e a Tecnologia; PTDC/EGE-ECO 102238/200

In-service training on the development of participatory and action-oriented sexual education in schools

Participatory action-research constituted by teachers (N=86) from 16 schools was carried out. It was aimed at investigating how teachers’ conceptions and practices change during in- -service teacher training so as to create adequate conditions in the school and implement a sexu- al education project based on the Democratic Health Education Paradigm with the use of information and communication technology. The research techniques selected were aimed towards the triangulation of those techniques and conclusions between the researcher and teachers. Considering its participative dimen- sion, the results of this investigation have im- plications in terms of teacher training and the organisation and management of the curricula.Foi realizada uma investigação-ação partici- pativa envolvendo professores/as (N = 86) de 16 escolas. Esta investigação visou pesquisar como é que as concepções e práticas dos/as professores/as mudaram durante a formação contínua, de modo a criar as condições ade- quadas na escola para implementar um projeto de educação sexual baseado no paradigma de Educação para a Saúde Democrática, com o uso de tecnologias de informação e comunicação. As técnicas de pesquisa selecionadas visaram a triangulação dessas técnicas e das conclusões entre a pesquisadora e professores/as. Dada a sua dimensão participativa, os resultados desta investigação têm implicações em termos da formação de professores/as e da organização e gestão dos currículos