Learning Visual Importance for Graphic Designs and Data Visualizations

Knowing where people look and click on visual designs can provide clues about how the designs are perceived, and where the most important or relevant content lies. The most important content of a visual design can be used for effective summarization or to facilitate retrieval from a database. We present automated models that predict the relative importance of different elements in data visualizations and graphic designs. Our models are neural networks trained on human clicks and importance annotations on hundreds of designs. We collected a new dataset of crowdsourced importance, and analyzed the predictions of our models with respect to ground truth importance and human eye movements. We demonstrate how such predictions of importance can be used for automatic design retargeting and thumbnailing. User studies with hundreds of MTurk participants validate that, with limited post-processing, our importance-driven applications are on par with, or outperform, current state-of-the-art methods, including natural image saliency. We also provide a demonstration of how our importance predictions can be built into interactive design tools to offer immediate feedback during the design process

Deep visual generation for automotive design upgrading and market optimising

The rising levels of homogeneity of modern cars in terms of price and functions has made exterior styling increasingly vital for market success. Recently, researchers have attempted to apply deep learning, especially deep generative models, to automotive exterior design, which has enabled machines to deliver diverse novel designs from large-scale data. In this thesis, we argue that recent advancements in deep learning techniques, particularly in deep generation, can be utilised to facilitate different aspects of automotive exterior design, including design generation, evaluation, and market profit predicting. We conducted three independent studies, each providing tailored solutions to specific automotive design scenarios. These include: a study focused on adapting the latest deep generative model to achieve regional modifications in existing designs, and evaluating these adjustments in terms of design aesthetic and prospective profit changes; another study dedicated to developing a predictive model to assess the modernity of existing designs regarding the future fashion trends; and a final study aiming to incorporate the distinctive shape characteristics of a cheetah into the side view designs of cars. This thesis has four main contributions. First, the developed DVM-CAR dataset is the first large-scale automotive dataset containing designs and marketing data over 10 years. It can be used for different types of research needs from multiple disciplines. Second, given the inherent constraints in automotive design, such as the need to maintain “family face”, and the fact that unconstrained design generation can be seen as a special form of regional modification, our research distinctively focuses on the regional modifications to existing designs, a departure from existing studies. Third, our studies are the first works that integrate the design modules with market profit optimisation. This reforms the traditional product design optimisation frameworks by replacing the abridged design profiles with graphical designs. Finally, the proposed data-driven measures offer effective approaches for automotive aesthetic evaluation and market forecasting, including approaches that can make assessments from a dynamic perspective by examining the evolving fashion trends

How do personality traits and art-related individual differences shape art viewing behavior in the museum? : explorations from a virtual gallery

Personality and other individual differences play a role in art-viewing experiences but have proven difficult to study in field environments. Thus, I aimed to explore how personality can be reflected in encounters with art in the context of museums, using a virtual art gallery tool that allows participants to visit researcher-designed art galleries. A sample of n = 264 adults recruited from the Prolific.co survey platform was asked to respond to individual difference and personality questionnaires before freely wandering around a virtual gallery. The gallery spanned three rooms and contained 24 artworks (half abstract and half representational) of various sizes and genres. Using structural equation modeling and multilevel models, I examined how the Big Five personality traits, aesthetic fluency, and aesthetic responsiveness predicted visit behavior—including visit time, distance traveled, artwork viewing ratio, artwork viewing time, and artwork viewing distance—in a virtual gallery space. Openness to experience was shown to have robust, positive effects on all five behavioral outcomes: visit time, distance traveled, artwork viewing ratio, artwork viewing time and viewing distance. Extraversion also accounted for many viewing behaviors, including negative associations with visit time, distance traveled, viewing time, and viewing distance. Within-person, artwork area predicted increased viewing time and distance. Representationalness was also associated with longer viewing times. Further, openness showed interactions with representationalness and artwork area that strengthened their effects on viewing time and distance; extraversion, meanwhile, tempered the relationships between representationalness and both viewing time and distance outcomes. Taken together, this project has demonstrated how the individual patterns in thought, behavior, and experience that we come to the museum with affect our visit experience in ways that are difficult to capture with traditional field methods

Uncovering the Dynamic, Cognitive, and Linguistic Strategies of Misinformation

Les mentides, la manipulació o la informació falsa no són res de nou. Totes han existit durant segles des que el flux i el contingut de la informació ha estat una font de poder. Tot i això, a l'era de les plataformes socials, el mecanisme ha canviat. Si bé encara hi ha emissors d'informació institucionals, competeixen amb altres fonts d'informació que depenen de la viralitat a través de la xarxa per a la difusió d'informació. En aquesta competència, els continguts tradicionals i els creats institucionalment pateixen un desavantatge: no juguen amb les mateixes regles. El contingut que es desvia dels codis deontològics i estilístics dels proveïdors d'informació fiable aprofita diverses heurístiques psicològiques per tornar-se més viral. Per exemple, es basen en l'evocació emocional (llenguatge sentimental i apel·lació als valors morals) i es basen en estils que requereixen menys esforç cognitiu per ser processats (en termes de complexitat gramatical i lèxica). En aquesta tesi doctoral, exploro com les fonts de desinformació aprofiten les heurístiques psicològiques per definir les seves eleccions estratègiques. Més específicament, la tesi es compon de tres estudis: (1) Ús del processament del llenguatge natural per a una exploració quantitativa sobre com les diferents categories d'informació falsa (clickbait, teories de conspiració, fake news, discurs d'odi, pseudociència i rumors) difereixen en termes de sentiment, apel·lació a la moralitat, llegibilitat i diversitat lèxica; (2) Mitjançant anàlisis de xarxes i processament de llenguatge natural, una demostració d'estratègies d'isomorfisme de fonts d'informació falsa cap a fonts confiables amb l'objectiu d'imitar actors d'alt estatus a l'ecosistema d'informació; i (3) una anàlisi dinàmica de notícies falses versus fonts fiables que informen sobre la pandèmia de Covid durant 2020 i 2021. En general, els resultats indiquen que hi ha diferències estructurals significatives entre diferents categories d'informació falsa i entre fonts d'informació fiables (per exemple, les notícies falses són, de mitjana, 18 vegades més negatives, 12 vegades menys diverses lèxicament, un 50% més apel·lants a la moralitat i un 13% més fàcils de processar que les notícies fàctiques). A més, presento evidència sobre com les fake news, el clickbait i els rumors fan servir una estratègia d'imitació cap a fonts fiables amb l'objectiu de ser percebuts com a proveïdors d'informació legítims i d'alt estatus. A més, mostro com es van comportar les fonts de notícies fiables i falses durant la pandèmia de Covid, revelant una reacció inicial convulsa seguida d'una estratègia de desinformació per crear caos i ambigüitat en canviar constantment entre temes. Finalment, discuteixo les implicacions dels resultats de la tesi per a les plataformes de xarxes socials, l'ecosistema mediàtic, les elits polítiques i els usuaris d'Internet.Las mentiras, la manipulación o la información falsa no son nada nuevo. Todas han existido durante siglos desde que el flujo y el contenido de la información ha sido una fuente de poder. Sin embargo, en la era de las plataformas sociales, el mecanismo ha cambiado. Si bien los emisores de información institucionales aún existen, compiten con otras fuentes de información que dependen de la viralidad a través de la red para la difusión de información. En esta competencia, los contenidos tradicionales y los creados institucionalmente sufren una desventaja: no juegan con las mismas reglas. El contenido que se desvía de los códigos deontológicos y estilísticos de los proveedores de información confiable aprovecha diversas heurísticas psicológicas para volverse más viral. Por ejemplo, se basan en la evocación emocional (lenguaje sentimental y apelación a los valores morales) y se basan en estilos que requieren menos esfuerzo cognitivo para ser procesados (en términos de complejidad gramatical y léxica). En esta tesis doctoral, exploro cómo las fuentes de desinformación aprovechan las heurísticas psicológicas para definir sus elecciones estratégicas. Más específicamente, la tesis se compone de tres estudios: (1) Uso del procesamiento del lenguaje natural para una exploración cuantitativa sobre cómo las diferentes categorías de información falsa (clickbait, teorías de conspiración, fake news, discurso de odio, pseudociencia y rumores) difieren en términos de sentimiento, apelación a la moralidad, legibilidad y diversidad léxica; (2) Por medio de análisis de redes y procesamiento de lenguaje natural, una demostración de estrategias de isomorfismo de fuentes de información falsa hacia fuentes confiables con el objetivo de imitar a actores de alto estatus en el ecosistema de información; y (3) un análisis dinámico de noticias falsas versus fuentes confiables que informan sobre la pandemia de Covid durante 2020 y 2021. En general, mis resultados indican que existen diferencias estructurales significativas entre distintas categorías de información falsa y entre fuentes de información confiables (por ejemplo, las noticias falsas son, en promedio, 18 veces más negativas, 12 veces menos diversas léxicamente, un 50 % más apelantes a la moralidad y un 13 % más fáciles de procesar que las noticias fácticas). Además, presento evidencia sobre cómo las fake news, el clickbait y los rumores emplean una estrategia de imitación hacia fuentes confiables con el objetivo de ser percibidos como proveedores de información legítimos y de alto estatus. Además, muestro cómo se comportaron las fuentes de noticias confiables y falsas durante la pandemia de Covid, revelando una reacción inicial convulsa seguida de una estrategia de desinformación para crear caos y ambigüedad al cambiar constantemente entre temas. Finalmente, discuto las implicaciones de los resultados de la tesis para las plataformas de redes sociales, el ecosistema mediático, las élites políticas y los usuarios de Internet.Las mentiras, la manipulación o la información falsa no son nada nuevo. Todas han existido durante siglos desde que el flujo y el contenido de la información ha sido una fuente de poder. Sin embargo, en la era de las plataformas sociales, el mecanismo ha cambiado. Si bien los emisores de información institucionales aún existen, compiten con otras fuentes de información que dependen de la viralidad a través de la red para la difusión de información. En esta competencia, los contenidos tradicionales y los creados institucionalmente sufren una desventaja: no juegan con las mismas reglas. El contenido que se desvía de los códigos deontológicos y estilísticos de los proveedores de información confiable aprovecha diversas heurísticas psicológicas para volverse más viral. Por ejemplo, se basan en la evocación emocional (lenguaje sentimental y apelación a los valores morales) y se basan en estilos que requieren menos esfuerzo cognitivo para ser procesados (en términos de complejidad gramatical y léxica). En esta tesis doctoral, exploro cómo las fuentes de desinformación aprovechan las heurísticas psicológicas para definir sus elecciones estratégicas. Más específicamente, la tesis se compone de tres estudios: (1) Uso del procesamiento del lenguaje natural para una exploración cuantitativa sobre cómo las diferentes categorías de información falsa (clickbait, teorías de conspiración, fake news, discurso de odio, pseudociencia y rumores) difieren en términos de sentimiento, apelación a la moralidad, legibilidad y diversidad léxica; (2) Por medio de análisis de redes y procesamiento de lenguaje natural, una demostración de estrategias de isomorfismo de fuentes de información falsa hacia fuentes confiables con el objetivo de imitar a actores de alto estatus en el ecosistema de información; y (3) un análisis dinámico de noticias falsas versus fuentes confiables que informan sobre la pandemia de Covid durante 2020 y 2021. En general, mis resultados indican que existen diferencias estructurales significativas entre distintas categorías de información falsa y entre fuentes de información confiables (por ejemplo, las noticias falsas son, en promedio, 18 veces más negativas, 12 veces menos diversas léxicamente, un 50 % más apelantes a la moralidad y un 13 % más fáciles de procesar que las noticias fácticas). Además, presento evidencia sobre cómo las fake news, el clickbait y los rumores emplean una estrategia de imitación hacia fuentes confiables con el objetivo de ser percibidos como proveedores de información legítimos y de alto estatus. Además, muestro cómo se comportaron las fuentes de noticias confiables y falsas durante la pandemia de Covid, revelando una reacción inicial convulsa seguida de una estrategia de desinformación para crear caos y ambigüedad al cambiar constantemente entre temas. Finalmente, discuto las implicaciones de los resultados de la tesis para las plataformas de redes sociales, el ecosistema mediático, las élites políticas y los usuarios de Internet

Attractive User Interface Elements : Measurement and prediction

The years 2020–2021 mark a time when the global population was encountered by a world-wide pandemic. The lockdown had devastating consequences on many industries and individuals, and the emergence of global economies into the postpandemic recovery has only just begun. However, as people adapted to the pandemic by embracing a mobile lifestyle, industries that employed graphical user interfaces as a means of human-computer interaction saw tremendous growth, exceeding everyone’s expectations despite predictions of a slowdown. One example is the mobile apps and games markets, touted as the fastest growing marketplaces worldwide. At the moment, the impact of the mobile economy is undeniably high, and it does not show signs of stalling. As we look ahead and start the 'return to physical', we can see new mobile habits take shape in our everyday life. Today, people conduct most daily functions via graphical user interfaces, due to the increasing technology-mediated nature of all human praxis, such as socializing, work, education, and entertainment. The interaction is realized on various different platforms, be they on desktop, mobile devices, VR or (smart) TVs. Although user interfaces themselves are not novel, their role is more significant now than anyone could have imagined only a few decades ago. Attractive visual designs in user interfaces have proven to enhance many aspects concerning usability, sense of pleasure and trust, but evaluating aesthetics is challenging due to the subjective nature of user perception. Although several theories and measurement instruments have been developed in order to assess and design pleasing user interfaces, the measures remain scattered. Therefore, the aim of this dissertation is to expand knowledge on how the visual aesthetics of graphical user interfaces can be modelled, evaluated, and assessed. Through four studies, this dissertation provides an overview of the state-of-theart in the literature of measurement instruments of visual aesthetics for graphical user interfaces. The dimensions of aesthetic perception that emerge in the context of user interface elements are also examined and introduced by developing a scale for measuring perceptions. As engaging and intuitive imagery has become one of the most valuable assets in today’s attention economy, the studies also observe individual user perceptions of different demographic groups and their relationships on aesthetic qualities to determine how they predict the success of graphical elements. The publications employ methodology ranging from a systematic literature review to sophisticated, quantitative statistical modelling methods to accurately identify and address each of the described phenomena by standardized means. The findings provided by this dissertation greatly contribute to existing literature on the measurement and prediction of visually pleasing graphical user interfaces both practically and theoretically. Advancing knowledge and guidelines in this fast-paced field requires assessment from a wide perspective, including the observation of prior work, and the adaptation of measures to the modern economy by highlighting user behavior and preferences. This is particularly important in the milieu of the increasingly growing prevalence of graphical user interfaces that will continue shaping our lives in ways unimaginable