Transfer learning by borrowing examples for multiclass object detection

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2012.Cataloged from PDF version of thesis.Includes bibliographical references (p. 31-33).Despite the recent trend of increasingly large datasets for object detection, there still exist many classes with few training examples. To overcome this lack of training data for certain classes, we propose a novel way of augmenting the training data for each class by borrowing and transforming examples from other classes. Our model learns which training instances from other classes to borrow and how to transform the borrowed examples so that they become more similar to instances from the target class. Our experimental results demonstrate that our new object detector, with borrowed and transformed examples, improves upon the current state-of-the-art detector on the challenging SUN09 object detection dataset.by Joseph J. Lim.S.M

Semantic Label Sharing for Semi-Supervised learning with large datasets

Projecte realitzat mitjançant programa de mobilitat. Massachusetts Institute of Technology. Computer Science and Artificial Intelligence Laboratory[ANGLÈS] In an object recognition scenario with tens of thousands of categories, even a small number of labels per category leads to a very large number of total labels required. The proposed methodology consists on label sharing between semantically similar categories. It leverages the WordNet hierarchy to define semantic distance between any two categories and use this semantic distance to propagate labels to categories lacking information. This approach is based on recent results on semi-supervised learning, which allow us to deal with images that present varying degrees of label information, from humanly annotated labels to "noisy" labels extracted automatically from surrounding text. Semantic Label Sharing can be used with any classifier. Experimental results on a range of datasets, up to 80 million images and 75,000 categories in size, show that despite the simplicity of the approach, it leads to significant improvements in performance.[CASTELLÀ] En un escenario de reconocimiento de objetos con decenas de miles de categorías, un pequeño número de etiquetas por categoría puede suponer una enorme cantidad de etiquetas necesarias. La metodología propuesta consiste en la compartición de etiquetas entre categorías semánticamente similares. Se aprovecha la jerarquía WordNet para definir una distancia semántica entre cualquier par de categorías y se utiliza esta distancia semántica para la propagación de etiquetas a las categorías con menos información. Este enfoque está basado en resultados recientes en el campo del aprendizaje semi-supervisado, lo que nos permite tratar imágenes que presentan distintos grados de información, desde anotaciones humanas hasta etiquetas "con ruido", extraídas automáticamente del texto circundante. La compartición semántica de etiquetas puede usarse con cualquier clasificador. Los resultados experimentales obtenidos en una variedad de datasets, de hasta 80 millones de imágenes y 75.000 categorías, muestran que a pesar de la sencillez del enfoque, se logran mejoras significativas en la detección y reconocimiento de objetos.[CATALÀ] En un escenari de reconeixement d'objectes amb desenes de milers de categories, fins I tot un petit nombre d'etiquetes per categoria pot implicar una quantitat enorme d'etiquetes necessàries. La metodologia proposada consisteix en la compartició d'etiquetes entre categories semànticament similars. S'aprofita la jerarquia WordNet per a definir una distància semàntica entre cada parell de categories i s'empra aquesta distància semàntica per a la propagació d'etiquetes a les categories amb menys informació. Aquest enfocament està basat en resultats recents en aprenentatge semisupervisat, que ens permet tractar amb imatges que presenten diferents graus d'informació, des d'anotacions humanes fins a etiquetes "sorolloses" extretes automàticament del text circumdant. La compartició semàntica d'etiquetes pot ser emprada amb qualsevol classificador. Els resultats experimentals obtinguts en una varietat de datasets, de fins a 80 milions d'imatges i 75.000 categories, mostren que tot i la senzillesa de l'enfocament, s'aconsegueixen millores significatives en la detecció i reconeixement d'objectes

Low-Shot Learning from Imaginary Data

Humans can quickly learn new visual concepts, perhaps because they can easily visualize or imagine what novel objects look like from different views. Incorporating this ability to hallucinate novel instances of new concepts might help machine vision systems perform better low-shot learning, i.e., learning concepts from few examples. We present a novel approach to low-shot learning that uses this idea. Our approach builds on recent progress in meta-learning ("learning to learn") by combining a meta-learner with a "hallucinator" that produces additional training examples, and optimizing both models jointly. Our hallucinator can be incorporated into a variety of meta-learners and provides significant gains: up to a 6 point boost in classification accuracy when only a single training example is available, yielding state-of-the-art performance on the challenging ImageNet low-shot classification benchmark.Comment: CVPR 2018 camera-ready versio