From components to compositions: (de-)construction of computer-controlled behaviour with the robot operating system

Robots and autonomous systems play an increasingly important role in modern societies. This role is expected to increase as the computational methods and capabilities advance. Robots and autonomous systems produce goal-directed and context-dependent behaviour with an aim to loosen the coupling between the machines and their operators. These systems are a domain of complex digital innovation that intertwines the physical and digital worlds with computer-controlled behaviour as robots and autonomous systems render their behaviour from the interaction with the surrounding environment. Complex product and system innovation literature maintains that designers are expected to have detailed knowledge of different components and their interactions. To the contrary, digital innovation literature holds that end-product agnostic components can be generatively combined from heterogeneous sources utilising standardised interfaces. An in-depth case study into the Robot Operating System (ROS) was conducted to explore the conceptual tension between the specificity of designs and distributedness of knowledge and control in the context of complex digital innovation. The thematic analysis of documentary evidence, field notes and interviews produced three contributions. First, the case description presents how ROS has evolved over the past ten years to a global open-source community that is widely used in the development of robots and autonomous systems. Second, a model that conceptualises robots and autonomous as contextually bound and embodied chains of transformation is proposed to describe the structural and functional dynamics of complex digital innovation. Third, the generative-integrative mode of development is proposed to characterise the process of innovation that begins from a generative combination of components and subsequently proceeds to the integration phase during which the system behaviour is experimented, observed and adjusted. As the initial combination builds upon underspecification and constructive ambiguity, the generative combination is gradually crafted into a more dependable composition through the iterative removal of semantic incongruences

Deep learning for object detection in robotic grasping contexts

Dans la dernière décennie, les approches basées sur les réseaux de neurones convolutionnels sont devenus les standards pour la plupart des tâches en vision numérique. Alors qu'une grande partie des méthodes classiques de vision étaient basées sur des règles et algorithmes, les réseaux de neurones sont optimisés directement à partir de données d'entraînement qui sont étiquetées pour la tâche voulue. En pratique, il peut être difficile d'obtenir une quantité su sante de données d'entraînement ou d'interpréter les prédictions faites par les réseaux. Également, le processus d'entraînement doit être recommencé pour chaque nouvelle tâche ou ensemble d'objets. Au final, bien que très performantes, les solutions basées sur des réseaux de neurones peuvent être difficiles à mettre en place. Dans cette thèse, nous proposons des stratégies visant à contourner ou solutionner en partie ces limitations en contexte de détection d'instances d'objets. Premièrement, nous proposons d'utiliser une approche en cascade consistant à utiliser un réseau de neurone comme pré-filtrage d'une méthode standard de "template matching". Cette façon de faire nous permet d'améliorer les performances de la méthode de "template matching" tout en gardant son interprétabilité. Deuxièmement, nous proposons une autre approche en cascade. Dans ce cas, nous proposons d'utiliser un réseau faiblement supervisé pour générer des images de probabilité afin d'inférer la position de chaque objet. Cela permet de simplifier le processus d'entraînement et diminuer le nombre d'images d'entraînement nécessaires pour obtenir de bonnes performances. Finalement, nous proposons une architecture de réseau de neurones ainsi qu'une procédure d'entraînement permettant de généraliser un détecteur d'objets à des objets qui ne sont pas vus par le réseau lors de l'entraînement. Notre approche supprime donc la nécessité de réentraîner le réseau de neurones pour chaque nouvel objet.In the last decade, deep convolutional neural networks became a standard for computer vision applications. As opposed to classical methods which are based on rules and hand-designed features, neural networks are optimized and learned directly from a set of labeled training data specific for a given task. In practice, both obtaining sufficient labeled training data and interpreting network outputs can be problematic. Additionnally, a neural network has to be retrained for new tasks or new sets of objects. Overall, while they perform really well, deployment of deep neural network approaches can be challenging. In this thesis, we propose strategies aiming at solving or getting around these limitations for object detection. First, we propose a cascade approach in which a neural network is used as a prefilter to a template matching approach, allowing an increased performance while keeping the interpretability of the matching method. Secondly, we propose another cascade approach in which a weakly-supervised network generates object-specific heatmaps that can be used to infer their position in an image. This approach simplifies the training process and decreases the number of required training images to get state-of-the-art performances. Finally, we propose a neural network architecture and a training procedure allowing detection of objects that were not seen during training, thus removing the need to retrain networks for new objects