A Similarity Measure for Material Appearance

We present a model to measure the similarity in appearance between different materials, which correlates with human similarity judgments. We first create a database of 9,000 rendered images depicting objects with varying materials, shape and illumination. We then gather data on perceived similarity from crowdsourced experiments; our analysis of over 114,840 answers suggests that indeed a shared perception of appearance similarity exists. We feed this data to a deep learning architecture with a novel loss function, which learns a feature space for materials that correlates with such perceived appearance similarity. Our evaluation shows that our model outperforms existing metrics. Last, we demonstrate several applications enabled by our metric, including appearance-based search for material suggestions, database visualization, clustering and summarization, and gamut mapping.Comment: 12 pages, 17 figure

Auditory stimuli degrade visual performance in virtual reality

We report an auditory effect of visual performance degradation in a virtual reality (VR) setting, where the viewing conditions are significantly different from previous studies. With the presentation of temporally congruent but spatially incongruent sound, we can degrade visual performance significantly at detection and recognition levels. We further show that this effect is robust to different types and locations of both auditory and visual stimuli. We also analyze participants behavior with an eye tracker to study the underlying cause of the degradation effect. We find that the performance degradation occurs even in the absence of saccades towards the sound source, during normal gaze behavior. This suggests that this effect is not caused by oculomotor phenomena, but rather by neural interactions or attentional shifts

Multimodality in VR: A survey

Virtual reality (VR) is rapidly growing, with the potential to change the way we create and consume content. In VR, users integrate multimodal sensory information they receive, to create a unified perception of the virtual world. In this survey, we review the body of work addressing multimodality in VR, and its role and benefits in user experience, together with different applications that leverage multimodality in many disciplines. These works thus encompass several fields of research, and demonstrate that multimodality plays a fundamental role in VR; enhancing the experience, improving overall performance, and yielding unprecedented abilities in skill and knowledge transfer

Implementación y análisis de modelos de predicción de movimientos oculares (scanpaths) en 2D.

La atención visual engloba un conjunto de operaciones cognitivas que nos permiten obtener una representación mental del mundo que nos rodea. A su vez, los movimientos oculares son una manifestación cuantificable de los procesos de decisión que rigen dicha atención visual. En los últimos años han surgido diversos modelos para intentar predecir, modelar y analizar los movimientos oculares en una escena. Dos conceptos clave para intentar entender la atención visual son los mapas de saliencia y los scanpaths. Un mapa de saliencia resalta la región o regiones de una escena en la que es más probable que un observador se fije. Un scanpath es el camino concreto que los ojos de un individuo han seguido al observar una escena. Ambos conceptos están directamente relacionados, y es posible calcular un mapa de saliencia a partir de scanpaths o viceversa. En particular, la cuestión de qué características de la imagen son las que afectan a la distribución espacial de las fijaciones ha sido el foco principal de un gran número de investigaciones hasta ahora. Los mapas de saliencia están directamente relacionados con los scanpaths, ya que se pueden considerar su antesala. Sin embargo, los mapas de saliencia dan una visión estática o final de la saliencia de una imagen, mientras que los scanpaths permiten estudiar de forma dinámica el recorrido visual de un observador particular para una escena. En la actualidad existen multitud de modelos de generación de mapas de saliencia, que se pueden calcular agregando el comportamiento estático de multitud de usuarios. En cambio, no existen tantos modelos de predicción de scanpaths, debido a su mayor complejidad. Sin embargo, en este trabajo nos centramos en el estudio de modelos de predicción de scanpaths ya que dan una información más completa y son capaces de simular el comportamiento variable de cada individuo al visualizar una escena. Partiendo del estado del arte, se escogen los modelos con un mejor rendimiento en imágenes naturales, se implementan y se analizan en un banco de pruebas diseñado para estudiar la capacidad de generalización de los modelos utilizando un recopilatorio de bases de datos de un estudio hospitalario. Las métricas utilizadas nos permiten analizar de forma cuantitativa el comportamiento de los modelos, teniendo en cuenta las características espaciotemporales de los scanpaths generados, comprobando que no existe un único modelo que sea mejor en todas las categorías de imágenes analizadas. Debido a la falta de datos que no se basen en tareas visuales de exploración libre, no es posible entrenar un nuevo modelo que supere el rendimiento de los modelos actuales en estas nuevas categorías. Debido a ello, se propone un metamodelo que se compone de un categorizador de imágenes basado en Deep Learning que nos permite escoger siempre el modelo con mejor rendimiento en cada categoría.<br /

Diagnóstico ambiental de las cuencas hidrográficas de embalses en Colombia, análisis hidrológico para los embalses de Neusa y Sisga.

S/

Desarrollo de una herramienta de recogida y visualización de datos relativos a la exploración de contenido en realidad virtual.

El objetivo de este trabajo de fin de grado es la implementación de un entorno de pruebas en la plataforma Unity3D que permita el estudio del comportamiento de los usuarios al consumir contenidos audiovisuales en un contexto de realidad virtual. Esto permitirá la elaboración de diferentes análisis y el cómputo de métricas que sirvan para entender, clasificar o incluso predecir el comportamiento, la interacción y la exploración de los usuarios ante este tipo de contenido. En particular, se va a enfocar el trabajo en contenido dinámico (vídeos) en formato de 360 grados, acompañados de audio ambisónico (espacializado), en un entorno de realidad virtual.<br /

Centro de educación publica con recursos integrados para la comunidad de Cartavio, Distrito Santiago de Cao - Provincia de Ascope - La Libertad

La situación actual de la educación básica regular pública en el Perú ha sufrido un retraso significativo en el proceso de adaptación de los jóvenes que asisten a instituciones educativas con infraestructuras tradicionales que son acondicionados de acuerdo a la demanda estudiantil, sin embargo, la mayoría requieren reforzamiento estructural y funcional. En los últimos años el estado peruano ha invertido millones de soles bajo la modalidad de Adecuación, Mejoramiento y Sustitución en Instituciones Educativas Públicas que forman parte del sistema JEC (Jornada Escolar Completa), donde la construcción tradicional no cuenta con una arquitectura innovadora que cumpla con las expectativas que tienen los usuarios en la actualidad para los diferentes espacios donde desarrollan sus actividades. Por tanto, la presente investigación propone diseñar una nueva tipología de arquitectura educativa cuyo concepto es integrar la comunidad del Centro Poblado de Cartavio mediante espacios sociales, educativos, culturales y naturales donde el usuario pueda tener una experiencia única en el proceso enseñanza – aprendizaje durante sus años de estudio. La propuesta arquitectónica se constituye en paquetes funcionales que se desglosan en zonas y espacios educativos aplicando principios de escuela nueva, asimismo el equipo investigador plantea desarrollar un Centro Integrado de Recursos Educativos para la comunidad y los estudiantes, relacionando a este espacio una plaza de integración social que se extiende e invita al sector a poder realizar el uso de los espacios, así como también las distintas áreas que complementan como la zona de deporte, servicios generales, administración, comedor central, talleres y un desarrollo absoluto de un aula patio que conecta con un espacio natural y lúdico que refleja el cambio de transición entre escuela tradicional a escuela nueva.The current situation of regular public basic education in Peru has suffered a significant in the adaptation process of young people who attend educational institutions with traditional infrastructures that are conditions according to student demand, however, most require structural reinforcement. and functional. In recent years, the Peruvian state has invested millions of soles under the modality of Adaptation, Improvement and Substitution in Public Educational Institutions that are part of the JEC (Complete School Day) system, where the traditional construction does not have an innovative architecture that complies with the expectations that users currently have for the different spaces where they carry out their activities. Therefore, the present investigation proposes to design a new typology of educational architecture whose concept is to integrate the community of the Centro Poblado de Cartavio through social, educational, cultural and natural spaces where the user can have a unique experience in the teaching-learning process during his years of study. The architectural proposal is constituted in functional teams that are broken down into zones and spaces applying educational principles of a new school, highlighting the research team that proposes to develop an Integrated Center of Educational Resources for the community and students, relating to this space an integration square social that extends and invites the sector to be able to make use of the spaces, as well as the different areas that complement such as the sports area, general services, administration, central dining room, workshops and an absolute development of a patio classroom that connects with a natural and playful space that reflects the change of transition between traditional school to new school.Tesi

D-SAV360: A Dataset of Gaze Scanpaths on 360° Ambisonic Videos

Understanding human visual behavior within virtual reality environments is crucial to fully leverage their potential. While previous research has provided rich visual data from human observers, existing gaze datasets often suffer from the absence of multimodal stimuli. Moreover, no dataset has yet gathered eye gaze trajectories (i.e., scanpaths) for dynamic content with directional ambisonic sound, which is a critical aspect of sound perception by humans. To address this gap, we introduce D-SAV360, a dataset of 4,609 head and eye scanpaths for 360° videos with first-order ambisonics. This dataset enables a more comprehensive study of multimodal interaction on visual behavior in virtual reality environments. We analyze our collected scanpaths from a total of 87 participants viewing 85 different videos and show that various factors such as viewing mode, content type, and gender significantly impact eye movement statistics. We demonstrate the potential of D-SAV360 as a benchmarking resource for state-of-the-art attention prediction models and discuss its possible applications in further research. By providing a comprehensive dataset of eye movement data for dynamic, multimodal virtual environments, our work can facilitate future investigations of visual behavior and attention in virtual reality

Effective user studies in computer graphics

User studies are a useful tool for researchers, allowing them to collect data on how users perceive, interact with and process different types of sensory information. If planned in advance, user experiments can be leveraged in every stage of a research project, from early design, prototyping and feature exploration to applied proofs of concept, passing through validation and data collection for model training. User studies can provide the researcher with different types of information depending on the chosen methodology: user performance metrics, surveys and interviews, field studies, physiological data, etc. Considering human perception and other cognitive processes is particularly important in computer graphics, where most research produces outputs whose ultimate purpose is to be seen or perceived by a human. Being able to measure in an objective and systematic way how the information we generate is integrated into the representational space humans create to situate themselves in the world means that researchers will have more information to implement optimal algorithms, tools and techniques. In this tutorial we will give an overview of good practices for user studies in computer graphics with a particular focus on virtual reality use cases. We will cover the basics on how to design, carry out and analyze good user studies, as well as different particularities to be taken into account in immersive environments.Peer ReviewedPostprint (published version