Aprendizagem profunda por reforço para tarefas de manipulação robótica

The recent advances in Artificial Intelligence (AI) present new opportunities for robotics on many fronts. Deep Reinforcement Learning (DRL) is a sub-field of AI which results from the combination of Deep Learning (DL) and Reinforcement Learning (RL). It categorizes machine learning algorithms which learn directly from experience and offers a comprehensive framework for studying the interplay among learning, representation and decision-making. It has already been successfully used to solve tasks in many domains. Most notably, DRL agents learned to play Atari 2600 video games directly from pixels and achieved human comparable performance in 49 of those games. Additionally, recent efforts using DRL in conjunction with other techniques produced agents capable of playing the board game of Go at a professional level, which has long been viewed as an intractable problem due to its enormous search space. In the context of robotics, DRL is often applied to planning, navigation, optimal control and others. Here, the powerful function approximation and representation learning properties of Deep Neural Networks enable RL to scale up to problems with highdimensional state and action spaces. Additionally, inherent properties of DRL make transfer learning useful when moving from simulation to the real world. This dissertation aims to investigate the applicability and effectiveness of DRL to learn successful policies on the domain of robot manipulator tasks. Initially, a set of three classic RL problems were solved using RL and DRL algorithms in order to explore their practical implementation and arrive at class of algorithms appropriate for these robotic tasks. Afterwards, a task in simulation is defined such that an agent is set to control a 6 DoF manipulator to reach a target with its end effector. This is used to evaluate the effects on performance of different state representations, hyperparameters and state-of-the-art DRL algorithms, resulting in agents with high success rates. The emphasis is then placed on the speed and time restrictions of the end effector's positioning. To this end, different reward systems were tested for an agent learning a modified version of the previous reaching task with faster joint speeds. In this setting, a number of improvements were verified in relation to the original reward system. Finally, an application of the best reaching agent obtained from the previous experiments is demonstrated on a simplified ball catching scenario.Os avanços recentes na Inteligência Artificial (IA) demonstram um conjunto de novas oportunidades para a robótica. A Aprendizagem Profunda por Reforço (DRL) é uma subárea da IA que resulta da combinação de Aprendizagem Profunda (DL) com Aprendizagem por Reforço (RL). Esta subárea define algoritmos de aprendizagem automática que aprendem diretamente por experiência e oferece uma abordagem compreensiva para o estudo da interação entre aprendizagem, representação e a decisão. Estes algoritmos já têm sido utilizados com sucesso em diferentes domínios. Nomeadamente, destaca-se a aplicação de agentes de DRL que aprenderam a jogar vídeo jogos da consola Atari 2600 diretamente a partir de pixels e atingiram um desempenho comparável a humanos em 49 desses jogos. Mais recentemente, a DRL em conjunto com outras técnicas originou agentes capazes de jogar o jogo de tabuleiro Go a um nível profissional, algo que até ao momento era visto como um problema demasiado complexo para ser resolvido devido ao seu enorme espaço de procura. No âmbito da robótica, a DRL tem vindo a ser utilizada em problemas de planeamento, navegação, controlo ótimo e outros. Nestas aplicações, as excelentes capacidades de aproximação de funções e aprendizagem de representação das Redes Neuronais Profundas permitem à RL escalar a problemas com espaços de estado e ação multidimensionais. Adicionalmente, propriedades inerentes à DRL fazem a transferência de aprendizagem útil ao passar da simulação para o mundo real. Esta dissertação visa investigar a aplicabilidade e eficácia de técnicas de DRL para aprender políticas de sucesso no domínio das tarefas de manipulação robótica. Inicialmente, um conjunto de três problemas clássicos de RL foram resolvidos utilizando algoritmos de RL e DRL de forma a explorar a sua implementação prática e chegar a uma classe de algoritmos apropriados para estas tarefas de robótica. Posteriormente, foi definida uma tarefa em simulação onde um agente tem como objetivo controlar um manipulador com 6 graus de liberdade de forma a atingir um alvo com o seu terminal. Esta é utilizada para avaliar o efeito no desempenho de diferentes representações do estado, hiperparâmetros e algoritmos do estado da arte de DRL, o que resultou em agentes com taxas de sucesso elevadas. O foco é depois colocado na velocidade e restrições de tempo do posicionamento do terminal. Para este fim, diferentes sistemas de recompensa foram testados para que um agente possa aprender uma versão modificada da tarefa anterior para velocidades de juntas superiores. Neste cenário, foram verificadas várias melhorias em relação ao sistema de recompensa original. Finalmente, uma aplicação do melhor agente obtido nas experiências anteriores é demonstrada num cenário implicado de captura de bola.Mestrado em Engenharia de Computadores e Telemátic

Escritas dissonantes

O artigo aborda a escrita, simultaneamente, como técnica e como prática social. Desse modo, a partir de pesquisas realizadas em escolas públicas de ensino médio da periferia de São Paulo, entre 2006 e 2010, e com práticas culturais juvenis, desde 2002, apresenta-se os múltiplos aspectos revelados sobre as diferentes formas de letramento e suas implicações políticas. Discute-se, portanto, da dimensão escolar, mais pautada por uma noção disciplinar de transmissão de uma técnica, às relações com as novas tecnologias que transformam profundamente os modos de ler, escrever e pensar, mas também os de se vivenciar a juventude e o período escolar. Realizam-se, ainda, comparações com um uso juvenil da escrita bastante particular, em São Paulo, a pixação. Ao expor esse panorama de práticas de escrita, tenta-se desvelar também os diferentes poderes e contrapoderes que por elas e em torno delas se afirmam.The paper discusses the writing both as art and as social practice in public high schools in the outskirts of São Paulo, between 2006 and 2010, and with youth cultural practices since 2002. The research thus presents the multiple aspects about the different forms of literacy and its political implications. The paper offers an investigation about the school view, more marked by a disciplinary notion of transmission of a technical, and the relations with the new technologies and the profound transformation of ways of reading, writing and thinking, but also describes the changes of modes of experiencing youth and the school term. The observation of these experiences allows takes place also comparisons with a special youthful use of writing, in São Paulo, the pixação (tag). By exposing this panorama of writing practices, your different powers and counter-powers are revealed

El gobierno de los niños: libertad tutelada y medidas socioeducativas, de Sara Regina Munhoz Reseña por Alexandre Barbosa Pereira

Reseña por Alexandre Barbosa Pereir

Cidade de riscos: notas etnográficas sobre pixação, adrenalina, morte e memória em São Paulo

This article presents the tag graffiti (pixação) in São Paulo and describes how the taggers change the urban landscape. They are re-inventing the city. From an ethnographic point of view, it also discusses how this activity provides reflections on the ideas of risk, memory and death. The history of life and death of a particular tagger, famous for his will of daring, is what links the facts presented in here. It is shown how these young people put themselves in dangerous situations to be recognized and, in some way, to be remembered. The possibility of death, or its actual occurrence, connects two elements: risk and memory.O artigo aborda a pixação em São Paulo. Descreve como os pixadores transformam a paisagem urbana e reinventam a cidade. A partir de um ponto de vista etnográfico, discute-se como esta atividade proporciona reflexões sobre as ideias de risco, memória e morte. O fio condutor do artigo é a história de vida e de morte de um pixador famoso por sua ousadia. Demonstra-se, assim, como, ao arriscarem-se pela cidade, esses jovens querem efetivamente visibilidade e, de alguma maneira, ser lembrados. Os riscos aos quais se expõem pela cidade são, portanto, também um dispositivo de memória. A possibilidade de morte ou sua ocorrência efetiva põe dois elementos em relação: o risco e a memória

As Imaginações da Cidade: práticas culturais juvenis e produção imagética

O artigo aborda a questão dos usos insurgentes do espaço urbano e da produção juvenil de imagens como forma de adquirir visbilidade e mesmo, em alguns casos, certa de ascensão social. A pesquisa etnográfica parte da observação de determinadas práticas culturais juvenis na cidade de São Paulo, como a pixação, o funk, os rolezinhos e as zoeiras nas escolas. O processo de produção ou articulação de imagens, por intregrantes dessas práticas, dialoga muitas vezes, em complementaridade e/ou oposição, às imagens estigmatizantes que a grande mídia produz sobre os jovens pobres. Atenta-se para como as novas tecnologias da informação e da comunicação e as novas mídias têm intensificado a capacidade e as possibilidades de imaginar-se em outros lugares ou mesmo em outras posições sociais. Mobilizadas em seu tempo livre, as práticas culturais juvenis e o processo de produção de imagens de si podem proporcionar tanto o reforço como a reversão do estigma.Palavras-chave: Cidade. Imagem. Imaginação. Práticas Culturais Juvenis. Mídia.The Imaginations of the City: youth cultural practices and imagery productionAbstractThis paper presents an analysis of how the youth insurgent ways of using the urban space and producting images allow visibility and even, in some cases, certain social ascension. Ethnographic research is based on the observation of some youth cultural practices in São Paulo city, such as pixação, funk, rolezinhos (litle strolls) and the mockery at schools. Process of producing or articulating images, conducted by members of these practices, often dialogues, in complementarity and/or opposition, with the stigmatizing images produced, by traditional midias, about the poor young people. New information and communication technologies and new medias have intensified  capacities and possibilities of young people imagine themselves in other places or even in other social positions. Thus, mobilized in their leisure time, youth cultural practices and the process of self-image production can provide both reinforcement and reversal of stigma.Key words: City. Image. Imagination. Youth Cultural Practices. Media

Breves reflexões sobre o asfalto: novas e velhas questões na periferia de São Paulo

No dia 26 de junho de 2010, estive no Grajaú em um evento organizado por jovens moradores da região sul da cidade, recém formados em jornalismo pela Universidade de Santo Amaro: Sueli, Tiago e Aline. Os dois primeiros, Sueli e Tiago, moram efetivamente no Grajaú, já Aline mora no Parque Arariba, nas imediações do distrito do Campo Limpo. Eles são colegas de curso de jornalismo e se formaram no final de 2009. Como trabalho de conclusão de curso resolveram produzir um vídeo-documentário sobre o..

Vozes Marginais na Literatura

Desde pelo menos os anos 1970, as periferias urbanas do Brasil estão em pauta nas discussões acadêmicas, particularmente nas Ciências Sociais. Entre os anos 1970 e 1980, estes estudos ressaltavam principalmente a precariedade de infraestrutura urbana e de serviços públicos e a situação de marginalização social da população que habitava estas áreas de expansão das grandes cidades brasileiras. Houve neste momento um grande interesse das Ciências Sociais pela realidade destes moradores da perife..

Muitas palavras: : a discussão recente sobre juventude nas Ciências Sociais

“A ‘juventude’ é apenas uma palavra”, afirmou Bourdieu (1983), em título provocador de um artigo entrevista sobre a noção de juventude, cujo objetivo era demonstrar como as divisões entre as idades seriam arbitrárias: “somos sempre o jovem ou o velho de alguém” (1983:113). Pois, para este autor, os cortes, em classes de idade ou em gerações, teriam uma variação interna e seriam objetos de manipulação. Portanto, juventude e velhice não seriam dados, mas construções sociais oriundas da luta ent..

Da periferia ao centro: trajetórias de pesquisa em Antropologia Urbana.

MAGNANI, José Guilherme Cantor. Da periferia ao centro: trajetórias de pesquisa em Antropologia Urbana. São Paulo: Editora Terceiro Nome, 2012, 349 pp