Co-training for On-board Deep Object Detection

Providing ground truth supervision to train visual models has been a bottleneck over the years, exacerbated by domain shifts which degenerate the performance of such models. This was the case when visual tasks relied on handcrafted features and shallow machine learning and, despite its unprecedented performance gains, the problem remains open within the deep learning paradigm due to its data-hungry nature. Best performing deep vision-based object detectors are trained in a supervised manner by relying on human-labeled bounding boxes which localize class instances (i.e.objects) within the training images.Thus, object detection is one of such tasks for which human labeling is a major bottleneck. In this paper, we assess co-training as a semi-supervised learning method for self-labeling objects in unlabeled images, so reducing the human-labeling effort for developing deep object detectors. Our study pays special attention to a scenario involving domain shift; in particular, when we have automatically generated virtual-world images with object bounding boxes and we have real-world images which are unlabeled. Moreover, we are particularly interested in using co-training for deep object detection in the context of driver assistance systems and/or self-driving vehicles. Thus, using well-established datasets and protocols for object detection in these application contexts, we will show how co-training is a paradigm worth to pursue for alleviating object labeling, working both alone and together with task-agnostic domain adaptation

Co-Training for Unsupervised Domain Adaptation of Semantic Segmentation Models

Semantic image segmentation is a central and challenging task in autonomous driving, addressed by training deep models. Since this training draws to a curse of human-based image labeling, using synthetic images with automatically generated labels together with unlabeled real-world images is a promising alternative. This implies to address an unsupervised domain adaptation (UDA) problem. In this paper, we propose a new co-training procedure for synth-to-real UDA of semantic segmentation models. It consists of a self-training stage, which provides two domain-adapted models, and a model collaboration loop for the mutual improvement of these two models. These models are then used to provide the final semantic segmentation labels (pseudo-labels) for the real-world images. The overall procedure treats the deep models as black boxes and drives their collaboration at the level of pseudo-labeled target images, i.e., neither modifying loss functions is required, nor explicit feature alignment. We test our proposal on standard synthetic and real-world datasets for on-board semantic segmentation. Our procedure shows improvements ranging from ~13 to ~26 mIoU points over baselines, so establishing new state-of-the-art results

Recognizing New Classes with Synthetic Data in the Loop : Application to Traffic Sign Recognition

On-board vision systems may need to increase the number of classes that can be recognized in a relatively short period. For instance, a traffic sign recognition system may suddenly be required to recognize new signs. Since collecting and annotating samples of such new classes may need more time than we wish, especially for uncommon signs, we propose a method to generate these samples by combining synthetic images and Generative Adversarial Network (GAN) technology. In particular, the GAN is trained on synthetic and real-world samples from known classes to perform synthetic-to-real domain adaptation, but applied to synthetic samples of the new classes. Using the Tsinghua dataset with a synthetic counterpart, SYNTHIA-TS, we have run an extensive set of experiments. The results show that the proposed method is indeed effective, provided that we use a proper Convolutional Neural Network (CNN) to perform the traffic sign recognition (classification) task as well as a proper GAN to transform the synthetic images. Here, a ResNet101-based classifier and domain adaptation based on CycleGAN performed extremely well for a ratio for new/known classes; even for more challenging ratios such as , the results are also very positive

La innovación en el gobierno de las cajas rurales españolas: evaluación de su e-gobierno corporativo

The emergence of the economy of knowledge has resulted in, among other consequences, the triumph of globalization and market liberalization, the primacy of the individual as a competitive critical factor and the crisis of the relevance of financial information, its comparability and reliability. The financial scandals we have witnesses during the last decade have highlighted the need for greater transparency in our corporations. Thus, corporate governance emerges as a tool for the company to comply with its social responsibility by providing more reliable information to all its stakeholders. In addition, one of the main features is the knowledge society, which is the availability of information and communication technologies (ICT). Consequently, the reliability of the financial information that companies disseminate over the Internet is relevant, assuming a good example of transparency takes place. This paper analyses the information contained on the websites of Spanish rural saving banks, as a tool for evaluating their corporate e-government (one of the major innovations in corporate governance).Internet innovation, Rural Savings Banks, Corporate Governance, Corporate Social Responsibility.

Pertinencia de la Carrera de Turismo de la UTN, en el contexto de la Región 1 del Ecuador, 2016-2020

El desarrollo de la actividad turística en Ecuador continúa creciendo en la segunda década del siglo XXI. Sin embargo, persisten debilidades que desmerecen la oferta de excelencia a la que todo cliente aspira. Una de las más notables y con peores consecuencias, es el empirismo en la gestión del sistema turístico. Las pequeñas y medianas empresas del sector funcionan bajo iniciativas no profesionales en las que prevalecen la intuición y sentido común más que los criterios profesionales. La experiencia internacional demuestra que el éxito de la gestión turística depende en gran medida del recurso humano encargado, poseer atractivos turísticos, no garantiza la afluencia de turistas, ni la rentabilidad económica financiera. Proveer al entorno del recurso humano con la experticia necesaria para impulsar el desarrollo, es responsabilidad manifiesta de la academia a través de sus funciones sustantivas. Con este antecedente, la Universidad Técnica del Norte ha realizado una investigación cuyo objetivo es determinar la pertinencia de la Carrera de Turismo en su cartera de productos para el intervalo 2016- 2020, en el contexto de la Región Uno del Ecuador, fundamentada en la recopilación de información bibliográfica y de campo, a fin de concretar a través de los métodos teóricos y prácticos más generales de la investigación, el estado del arte sobre la temática abordada; así como los criterios y experiencias personales de empresarios turísticos, graduados de la carrera y estudiantes de bachillerato, como los segmentos de mercado, más representativos

La influencia de la cultura en operaciones híbridas y la problemática de la Inteligencia a nivel compañía

Hoy en día, la mayoría de las operaciones existentes del ET están dentro de la definición de conflictos híbridos en entornos operativos complejos (militar, geográfica, política y culturalmente hablando). Una de las características definitorias de este tipo de conflictos es la delimitación difusa entre la población nativa y la insurgencia, y entre los requisitos de seguridad a corto plazo y los objetivos sociopolíticos a largo plazo detrás de la intervención extranjera. Otra característica clave es la brecha cultural entre las fuerzas militares desplegadas y las poblaciones locales, cuya protección y cooperación son el fin y los medios para garantizar el éxito de tales misiones. La instrucción militar y política básica adecuada sobre la naturaleza de estas misiones es actualmente la norma en el ET. Sin embargo, este TFG ha detectado algunas lagunas en la fase previa al despliegue en dos áreas críticas para la misión general: el cultivo de conciencia cultural en nuestras tropas y el importante papel que la recolección de información podría jugar a nivel compañía o subgrupo táctico. Basándose en el análisis del entorno doctrinal y los resultados de un cuestionario realizado durante las PEXT, este TFG propone un conjunto de alternativas para mejorar en ambas áreas.<br /

Temporada de pesca

Treballs de l'alumnat del Grau de Comunicació Audiovisual, Facultat d'Informació i Mitjans Audiovisuals, Universitat de Barcelona, Projectes II. Curs: 2019-2020, Tutor: Francesc Llinares. // Director: Guillem Villalonga i Colomé; Aj. Direcció: Ivette Herrero Serrano i Claudia Turmo Margalef; Direcció dárt: Ivette Herrero Serrano; Productor: Bernat Morros González; Aj. Producció: Marta Millán Jiménez, Lorena Sanchiz Rodríguez i Aina Cruz Arcas; Script i claqueta: Marta Millán Jiménez, Lorena Sanchiz Rodríguez i Claudia Turmo Margalef; Guionista: Guillem Villalonga i Colomé; Dir. Fotografia: Gabriel Alonso Díez; Càmera: Walter Luis Altamirano Castillo; Aj. càmera: Guillem Villalonga i Colomé; Il·luminador: Gabriel Alonso Díez; Storyboard: Claudia Turmo Margalef; Direcció de so: Bernat Morros González; Muntatge: Walter Luis Altamirano Castillo; Música: Roger Albet; Postproducció: Gabriel Alonso Díez. Equip artístic: Irieix Freixas, Aina Cruz Arcas, Elies Villalonga, Pau Rumbo, Claudia Turmo Margalef, Lorena Sanchiz Rodríguez, Marta Millán Jiménez, Gabriel Alonso Díez, Ivette Herrero Serrano, Mariona Fortuny i Guillem Villalonga i Colomé.Sato, un jove turmentat psicològicament per l’educació del seu pare, segresta turistes que no es comporten com ell creu correcte. Una noia que acaba d’arribar al poble on viu es fixa amb ell i s’enamoren. El canvi que la relació estava generant en tots dos es veu aturat quan ella descobreix els segrestos

Leveraging Synthetic Data to Create Autonomous Driving Perception Systems

L’anotació manual d’imatges per desenvolupar sistemes basats en visió per computador ha estat un dels punts més problemàtics des que s’utilitza aprenentatge automàtic per a això. Aquesta tesi es centra en aprofitar les dades sintètiques per alleujar el cost de les anotacions manuals en tres tasques de percepció relacionades amb l’assistència a la conducció i la conducció autònoma. En tot moment assumim l’ús de xarxes neuronals convolucionals per al desenvolupament dels nostres models profunds de percepció. La primera tasca planteja el reconeixement de senyals de trànsit, un problema de classificació d’imatges. Assumim que el nombre de classes de senyals de trànsit a reconèixer s’ha d’incrementar sense haver pogut anotar noves imatges amb què realitzar el corresponent reentrenament. Demostrem que aprofitant les dades sintètiques de les noves classes i transformant-les amb una xarxa adversària-generativa (GAN, de les seves sigles en anglès) entrenada amb les classes conegudes (sense usar mostres de les noves classes), és possible reentrenar la xarxa neuronal per classificar tots els senyals en una proporció ~1/4 entre classes noves i conegudes. La segona tasca consisteix en la detecció de vehicles i vianants (objectes) en imatges. En aquest cas, assumim la recepció d’un conjunt d’imatges sense anotar. L’objectiu és anotar automàticament aquestes imatges perquè així es puguin utilitzar posteriorment en l’entrenament del detector d’objectes que desitgem. Per assolir aquest objectiu, vam partir de dades sintètiques anotades i proposem un mètode d’aprenentatge semi-supervisat basat en la idea del co-aprenentatge. A més, utilitzem una GAN per reduir la distància entre els dominis sintètic i real abans d’aplicar el co-aprenentatge. Els nostres resultats quantitatius mostren que el procediment desenvolupat permet anotar el conjunt d’imatges d’entrada amb la precisió suficient per entrenar detectors d’objectes de forma efectiva; és a dir, tan precisos com si les imatges s’haguessin anotat manualment. A la tercera tasca deixem enrere l’espai 2D de les imatges, i ens centrem en processar núvols de punts 3D provinents de sensors LiDAR. El nostre objectiu inicial era desenvolupar un detector d’objectes 3D (vehicles, vianants, ciclistes) entrenat en núvols de punts sintètics estil LiDAR. En el cas de les imatges es podia esperar el problema de canvi de domini degut a les diferències visuals entre les imatges sintètiques i reals. Però, a priori, no esperàvem el mateix en treballar amb núvols de punts LiDAR, ja que es tracta d’informació geomètrica provinent del mostreig actiu del món, sense que l’aparença visual influeixi. No obstant això, a la pràctica, hem vist que també apareixen els problemes d’adaptació de domini. Factors com els paràmetres de mostreig del LiDAR, la configuració dels sensors a bord del vehicle autònom, i l’anotació manual dels objectes 3D, indueixen diferències de domini. A la tesi demostrem aquesta observació mitjançant un exhaustiu conjunt d’experiments amb diferents bases de dades públiques i detectors 3D disponibles. Per tant, en relació amb la tercera tasca, el treball s’ha centrat finalment en el disseny d’una GAN capaç de transformar núvols de punts 3D per portar-los d’un domini a un altre, un tema relativament inexplorat.Finalment, cal esmentar que tots els conjunts de dades sintètiques usats en aquestes tres tasques han estat dissenyats i generats en el context d’aquesta tesi doctoral i es faran públics. En general, considerem que aquesta tesi presenta un avanç en el foment de la utilització de dades sintètiques per al desenvolupament de models profunds de percepció, essencials en el camp de la conducció autònoma.La anotación manual de imágenes para desarrollar sistemas basados en visión por computador ha sido uno de los puntos más problemáticos desde que se utiliza aprendizaje automático para ello. Esta tesis se centra en aprovechar los datos sintéticos para aliviar el coste de las anotaciones manuales en tres tareas de percepción relacionadas con la asistencia a la conducción y la conducción autónoma. En todo momento asumimos el uso de redes neuronales convolucionales para el desarrollo de nuestros modelos profundos de percepción. La primera tarea plantea el reconocimiento de señales de tráfico, un problema de clasificación de imágenes. Asumimos que el número de clases de señales de tráfico a reconocer se debe incrementar sin haber podido anotar nuevas imágenes con las que realizar el correspondiente reentrenamiento. Demostramos que aprovechando los datos sintéticos de las nuevas clases y transformándolas con una red adversaria-generativa (GAN, de sus siglas en inglés) entrenada con las clases conocidas (sin usar muestras de las nuevas clases), es posible reentrenar la red neuronal para clasificar todas las señales en una proporción de ~1/4 entre clases nuevas y conocidas. La segunda tarea consiste en la detección de vehículos y peatones (objetos) en imágenes. En este caso, asumimos la recepción de un conjunto de imágenes sin anotar. El objetivo es anotar automáticamente esas imágenes para que así se puedan utilizar posteriormente en el entrenamiento del detector de objetos que deseemos. Para alcanzar este objetivo, partimos de datos sintéticos anotados y proponemos un método de aprendizaje semi-supervisado basado en la idea del co-aprendizaje. Además, utilizamos una GAN para reducir la distancia entre los dominios sintético y real antes de aplicar el co-aprendizaje. Nuestros resultados cuantitativos muestran que el procedimiento desarrollado permite anotar el conjunto de imágenes de entrada con la precisión suficiente para entrenar detectores de objetos de forma efectiva; es decir, tan precisos como si las imágenes se hubiesen anotado manualmente. En la tercera tarea dejamos atrás el espacio 2D de las imágenes, y nos centramos en procesar nubes de puntos 3D provenientes de sensores LiDAR. Nuestro objetivo inicial era desarrollar un detector de objetos 3D (vehículos, peatones, ciclistas) entrenado en nubes de puntos sintéticos estilo LiDAR. En el caso de las imágenes cabía esperar el problema de cambio de dominio debido a las diferencias visuales entre las imágenes sintéticas y reales. Pero, a priori, no esperábamos lo mismo al trabajar con nubes de puntos LiDAR, ya que se trata de información geométrica proveniente del muestreo activo del mundo, sin que la apariencia visual influya. Sin embargo, en la práctica, hemos visto que también aparecen los problemas de adaptación de dominio. Factores como los parámetros de muestreo del LiDAR, la configuración de los sensores a bordo del vehículo autónomo, y la anotación manual de los objetos 3D, inducen diferencias de dominio. En la tesis demostramos esta observación mediante un exhaustivo conjunto de experimentos con diferentes bases de datos públicas y detectores 3D disponibles. Por tanto, en relación a la tercera tarea, el trabajo se ha centrado finalmente en el diseño de una GAN capaz de transformar nubes de puntos 3D para llevarlas de un dominio a otro, un tema relativamente inexplorado. Finalmente, cabe mencionar que todos los conjuntos de datos sintéticos usados en estas tres tareas han sido diseñados y generados en el contexto de esta tesis doctoral y se harán públicos. En general, consideramos que esta tesis presenta un avance en el fomento de la utilización de datos sintéticos para el desarrollo de modelos profundos de percepción, esenciales en el campo de la conducción autónoma.Manually annotating images to develop vision models has been a major bottleneck since computer vision and machine learning started to walk together. This thesis focuses on leveraging synthetic data to alleviate manual annotation for three perception tasks related to driving assistance and autonomous driving. In all cases, we assume the use of deep convolutional neural networks (CNNs) to develop our perception models. The first task addresses traffic sign recognition (TSR), a kind of multi-class classification problem. We assume that the number of sign classes to be recognized must be suddenly increased without having annotated samples to perform the corresponding TSR CNN re-training. We show that leveraging synthetic samples of such new classes and transforming them by a generative adversarial network (GAN) trained on the known classes (i.e., without using samples from the new classes), it is possible to re-train the TSR CNN to properly classify all the signs for a ~1/4 ratio of new/known sign classes. The second task addresses on-board 2D object detection, focusing on vehicles and pedestrians. In this case, we assume that we receive a set of images without the annotations required to train an object detector, i.e., without object bounding boxes. Therefore, our goal is to self-annotate these images so that they can later be used to train the desired object detector. In order to reach this goal, we leverage from synthetic data and propose a semi-supervised learning approach based on the co-training idea. In fact, we use a GAN to reduce the synth-to-real domain shift before applying co-training. Our quantitative results show that co-training and GAN-based image-to-image translation complement each other up to allow the training of object detectors without manual annotation, and still almost reaching the upper-bound performances of the detectors trained from human annotations. While in previous tasks we focus on vision-based perception, the third task we address focuses on LiDAR pointclouds. Our initial goal was to develop a 3D object detector trained on synthetic LiDAR-style pointclouds. While for images we may expect synth/real-to-real domain shift due to differences in their appearance (e.g. when source and target images come from different camera sensors), we did not expect so for LiDAR pointclouds since these active sensors factor out appearance and provide sampled shapes. However, in practice, we have seen that it can be domain shift even among real-world LiDAR pointclouds. Factors such as the sampling parameters of the LiDARs, the sensor suite configuration on-board the ego-vehicle, and the human annotation of 3D bounding boxes, do induce a domain shift. We show it through comprehensive experiments with different publicly available datasets and 3D detectors. This redirected our goal towards the design of a GAN for pointcloud-to-pointcloud translation, a relatively unexplored topic. Finally, it is worth to mention that all the synthetic datasets used for these three tasks, have been designed and generated in the context of this PhD work and will be publicly released. Overall, we think this PhD presents several steps forward to encourage leveraging synthetic data for developing deep perception models in the field of driving assistance and autonomous driving.Universitat Autònoma de Barcelona. Programa de Doctorat en Informàtic