Modeling and Mapping Location-Dependent Human Appearance

Human appearance is highly variable and depends on individual preferences, such as fashion, facial expression, and makeup. These preferences depend on many factors including a person\u27s sense of style, what they are doing, and the weather. These factors, in turn, are dependent upon geographic location and time. In our work, we build computational models to learn the relationship between human appearance, geographic location, and time. The primary contributions are a framework for collecting and processing geotagged imagery of people, a large dataset collected by our framework, and several generative and discriminative models that use our dataset to learn the relationship between human appearance, location, and time. Additionally, we build interactive maps that allow for inspection and demonstration of what our models have learned

Exploring urban visitors' mobilities. A multi-method approach

Aquesta tesi doctoral sorgeix de la necessitat d’aprofundir en el coneixement de les mobilitats dels visitants, entendre les decisions que configuren el seu comportament espacio-temporal i identificar i explorar els efectes que les seves mobilitats tenen sobre les destinacions urbanes. La tesi es desenvolupa entorn a quatre objectius específics que s’emmarquen en l’àmbit de recerca relacionat amb el seguiment de l’activitat dels visitants en destinacions turístiques urbanes. Cadascun d’aquests objectius es desenvolupa en cadascun dels articles científics que conformen aquesta tesi doctoral, publicats tots ells en revistes de revisió per parells. El primer article es proposa com a objectiu identificar els factors, relacionats amb el perfil socioeconòmic dels turistes i amb les característiques de la seva estada, que determinen la selecció d’opcions de transport i mobilitat sostenible per moure’s per la destinació urbana. El segon article pretén analitzar i comprendre com afecta el comportament espacio-temporal dels turistes en els seus patrons de consum econòmic i, per tant, en la generació d’ingressos per a l’economia local. El tercer article es proposa analitzar la influència de l’espai urbà sobre la forma en què els visitants es desplacen per la destinació. I finalment, el quart article té per objectiu reconstruir trajectòries i/o fluxos espacio-temporals a partir de dades geolocalitzades de les xarxes socials per tal de detectar patrons de mobilitat dels visitants de destinacions urbanes. Les fonts de dades i els mètodes utilitzats per complir amb els objectius de partida són diverses. En aquest sentit, la tesi aporta també una àmplia radiografia dels pros i les contres de les diferents fonts de dades disponibles per a l’anàlisi de les mobilitats dels visitants en destinacions turístiques.Esta tesis doctoral surge de la necesidad de profundizar en el conocimiento de las movilidades de los visitantes,entender las decisiones que configuran su comportamiento espaciotemporal e identificar y explorar los efectos que sus movilidades tienen sobre los destinos urbanos. La tesis se desarrolla en torno a cuatro objetivos específicos que se enmarcan en el ámbito de investigación de seguimiento de visitantes, y que se desarrollan en cada uno de los artículos científicos, publicados todos ellos en revistas de revisión por pares, que conforman esta tesis. El primer artículo se propone como objetivo identificar los factores, relacionados con el perfil socioeconómicos de los turistas y con las características de su estancia, que determinan la selección de opciones de transporte y movilidad sostenible para moverse por el destino urbano. El segundo artículo pretende analizar y comprender cómo afecta el comportamiento espaciotemporal de los turistas en sus patrones de consumo económico y, por tanto, en la generación de ingresos para la economía local. El tercer artículo se propone analizar la influencia del espacio urbano sobre la forma en que los visitantes se desplazan por el destino. Y finalmente, el cuarto artículo tiene por objetivo reconstruir trayectorias y / o flujos espaciotemporales a partir de datos geolocalizados de las redes sociales para detectar patrones de movilidad de los visitantes de destinos urbanos. Las fuentes de datos y los métodos utilizados para cumplir con los objetivos de partida son diversos. En este sentido, la tesis aporta también una amplia radiografía de los pros y contras de las diferentes fuentes de datos disponibles para el análisis de las movilidades de los visitantes en destinos turísticos.This dissertation arises from the need to deepen the knowledge of the mobility of visitors, understand the decisions that shape their spatiotemporal behaviour and identify and explore the effects that their mobility has on urban destinations. The thesis is developed around four specific objectives that fall within the scope of visitor tracking research, and that are developed in each of the scientific articles, all of them published in peer-reviewed journals, that make up this thesis. The first article aims to identify the factors, related to the socioeconomic profile of tourists and the characteristics of their stay, that determine the selection of sustainable transport and mobility options to move within the urban destination. The second article aims to analyse and understand how the visitors’ spatiotemporal behaviour affects their patterns of economic consumption and, therefore, the generation of income for the local economy. The third article aims to analyse the influence of the built environment on the visitors’ mobilities at destination. And finally, the fourth article aims to reconstruct trajectories and / or spatiotemporal flows from geolocated data obtained from social networks in order to detect visitors’ mobility patterns at urban destinations. The data sources and methods used to meet the objectives are multiple. In this sense, the thesis also provides an extensive x-ray of the pros and cons of the different data sources available for the analysis of visitors’ mobilities in tourist destinations

From social tagging to polyrepresentation: a study of expert annotating behavior of moving images

Mención Internacional en el título de doctorThis thesis investigates “nichesourcing” (De Boer, Hildebrand, et al., 2012), an emergent initiative of cultural heritage crowdsoucing in which niches of experts are involved in the annotating tasks. This initiative is studied in relation to moving image annotation, and in the context of audiovisual heritage, more specifically, within the sector of film archives. The work presents a case study of film and media scholars to investigate the types of annotations and attribute descriptions that they could eventually contribute, as well as the information needs, and seeking and searching behaviors of this group, in order to determine what the role of the different types of annotations in supporting their expert tasks would be. The study is composed of three independent but interconnected studies using a mixed methodology and an interpretive approach. It uses concepts from the information behavior discipline, and the "Integrated Information Seeking and Retrieval Framework" (IS&R) (Ingwersen and Järvelin, 2005) as guidance for the investigation. The findings show that there are several types of annotations that moving image experts could contribute to a nichesourcing initiative, of which time-based tags are only one of the possibilities. The findings also indicate that for the different foci in film and media research, in-depth indexing at the content level is only needed for supporting a specific research focus, for supporting research in other domains, or for engaging broader audiences. The main implications at the level of information infrastructure are the requirement for more varied annotating support, more interoperability among existing metadata standards and frameworks, and the need for guidelines about crowdsoucing and nichesourcing implementation in the audiovisual heritage sector. This research presents contributions to the studies of social tagging applied to moving images, to the discipline of information behavior, by proposing new concepts related to the area of use behavior, and to the concept of “polyrepresentation” (Ingwersen, 1992, 1996) applied to the humanities domain.Esta tesis investiga la iniciativa del nichesourcing (De Boer, Hildebrand, et al., 2012), como una forma de crowdsoucing en sector del patrimonio cultural, en la cuál grupos de expertos participan en las tareas de anotación de las colecciones. El ámbito de aplicación es la anotación de las imágenes en movimiento en el contexto del patrimonio audiovisual, más específicamente, en el caso de los archivos fílmicos. El trabajo presenta un estudio de caso aplicado a un dominio específico de expertos en el ámbito audiovisual: los académicos de cine y medios. El análisis se centra en dos aspectos específicos del problema: los tipos de anotaciones y atributos en las descripciones que podrían obtenerse de este nicho de expertos; y en las necesidades de información y el comportamiento informacional de dicho grupo, con el fin de determinar cuál es el rol de los diferentes tipos de anotaciones en sus tareas de investigación. La tesis se compone de tres estudios independientes e interconectados; se usa una metodología mixta e interpretativa. El marco teórico se compone de conceptos del área de estudios de comportamiento informacional (“information behavior”) y del “Marco integrado de búsqueda y recuperación de la información” ("Integrated Information Seeking and Retrieval Framework" (IS&R)) propuesto por Ingwersen y Järvelin (2005), que sirven de guía para la investigación. Los hallazgos indican que existen diversas formas de anotación de la imagen en movimiento que podrían generarse a partir de las contribuciones de expertos, de las cuáles las etiquetas a nivel de plano son sólo una de las posibilidades. Igualmente, se identificaron diversos focos de investigación en el área académica de cine y medios. La indexación detallada de contenidos sólo es requerida por uno de esos grupos y por investigadores de otras disciplinas, o como forma de involucrar audiencias más amplias. Las implicaciones más relevantes, a nivel de la infraestructura informacional, se refieren a los requisitos de soporte a formas más variadas de anotación, el requisito de mayor interoperabilidad de los estándares y marcos de metadatos, y la necesidad de publicación de guías de buenas prácticas sobre de cómo implementar iniciativas de crowdsoucing o nichesourcing en el sector del patrimonio audiovisual. Este trabajo presenta aportes a la investigación sobre el etiquetado social aplicado a las imágenes en movimiento, a la disciplina de estudios del comportamiento informacional, a la que se proponen nuevos conceptos relacionados con el área de uso de la información, y al concepto de “poli-representación” (Ingwersen, 1992, 1996) en las disciplinas humanísticas.Programa Oficial de Doctorado en Documentación: Archivos y Bibliotecas en el Entorno DigitalPresidente: Peter Emil Rerup Ingwersen.- Secretario: Antonio Hernández Pérez.- Vocal: Nils Phar

Gaze-Based Human-Robot Interaction by the Brunswick Model

We present a new paradigm for human-robot interaction based on social signal processing, and in particular on the Brunswick model. Originally, the Brunswick model copes with face-to-face dyadic interaction, assuming that the interactants are communicating through a continuous exchange of non verbal social signals, in addition to the spoken messages. Social signals have to be interpreted, thanks to a proper recognition phase that considers visual and audio information. The Brunswick model allows to quantitatively evaluate the quality of the interaction using statistical tools which measure how effective is the recognition phase. In this paper we cast this theory when one of the interactants is a robot; in this case, the recognition phase performed by the robot and the human have to be revised w.r.t. the original model. The model is applied to Berrick, a recent open-source low-cost robotic head platform, where the gazing is the social signal to be considered