ARCAA: a framework to analyse the artefact ecology in computer music performance

This paper presents ARCAA (Actors, Role, Context, Activity, Artefacts), a framework that supports designers in understanding the artefact ecology in the music performance scenario, in particular, allowing to frame the role of the different actors. The ARCAA framework is the result of the combination of two different areas of HCI: artefact ecology concept, and design framework for digital musical instruments. The model borrows three categories from MINUET an established design framework and rethinks them from an ecological perspective. In ARCAA, these three categories are used as three lenses to connect each human actor to her artefact ecology. Finally, the framework allows comparing how the various artefacts create connections among the different people involved. The second part of the paper describes a case study that shows a practical adoption of the framework

Mixing Modalities of 3D Sketching and Speech for Interactive Model Retrieval in Virtual Reality

Sketch and speech are intuitive interaction methods that convey complementary information and have been independently used for 3D model retrieval in virtual environments. While sketch has been shown to be an effective retrieval method, not all collections are easily navigable using this modality alone. We design a new challenging database for sketch comprised of 3D chairs where each of the components (arms, legs, seat, back) are independently colored. To overcome this, we implement a multimodal interface for querying 3D model databases within a virtual environment. We base the sketch on the state-of-the-art for 3D Sketch Retrieval, and use a Wizard-of-Oz style experiment to process the voice input. In this way, we avoid the complexities of natural language processing which frequently requires fine-tuning to be robust. We conduct two user studies and show that hybrid search strategies emerge from the combination of interactions, fostering the advantages provided by both modalities

Extended perspective system visualizer

Tese de mestrado, Engenharia Informática (Interacção e Conhecimento), Universidade de Lisboa, Faculdade de Ciências, 2014A projecção perspectiva linear tem sido o modo predominante de desenhar imagens de espaços tridimensionais há séculos, sejam estes desenhos manuais ou computacionais. Em particular, os arquitectos usam o sistema perspéctico linear no desenho formal como forma de representar o seu trabalho como este seria observado através da visão humana. Porém, este sistema perspéctico é limitado nesta capacidade. Quando se utilizam ângulos de visão mais alargados, os desenhos que utilizam projecção perspectiva linear manifestam uma distorção que dificulta a interpretação da imagem e limitam a capacidade desta perspectiva de verdadeiramente representar a visão humana. Aos 180º de ângulo de visão, o máximo possível neste sistema, a imagem passa a ser inteiramente irreconhecível. Formas de projecção perspectiva não lineares, ou curvilíneas, como a perspectiva cilíndrica ou panorâmica ou a perspectiva esférica, não apresentam a mesma limitação. Usando estas perspectivas, o ângulo de visão pode ser alargado até aos 360º sem que esta distorção apareça. Porém, estes sistemas também não são soluções perfeitas já que a rectilinearidade não é preservada. O Sistema Perspéctico Expandido (EPS) foi criado por membros da equipa NAADIR (New Approach on Architectural Drawings Integrating computeR descriptions) para responder às limitações dos sistemas individuais existentes. O seu trabalho, bem como esta dissertação, foram realizados no âmbito do projecto NAADIR (PTDC/AUR-AQI/098388/2008), financiado pela Fundação para a Ciência e Tecnologia. A equipa inclui membros da Faculdade de Ciências e da Faculdade de Arquitectura da Universidade de Lisboa. Este sistema une os sistemas perspécticos linear, esférico e cilíndrico num contínuo híbrido controlado por dois parâmetros. Variando estes dois parâmetros, o utilizador pode encontrar sistemas intermédios e obter deste modo uma melhor visualização do espaço tridimensional representado. O sistema tem também o objectivo de ajudar os arquitectos no seu processo de design, ajudando-os a ter uma melhor visualização do espaço em que trabalham. O sistema EPS realiza a projecção em dois passos e utiliza duas superfícies, uma superfície de projecção elipsoidal e uma superfície de representação plana. O primeiro passo consiste em projectar o espaço 3D sobre a superfície de projecção. O segundo consiste em mapear a superfície de projecção sobre a superfície de representação, de modo análogo à cartografia, em que a superfície da terra é mapeada sobre um plano, criando um mapa. A imagem criada sobre a superfície de representação é a imagem final. O elipsóide da superfície de projecção pode ser manipulado com dois parâmetros: raio e excentricidade. Esta manipulação afecta a perspectiva final. Um raio e excentricidade pequenos produzem uma perspectiva mais próxima da esférica, um raio pequeno e excentricidade elevada aproximam uma perspectiva cilíndrica, e um raio elevado aproxima a perspectiva linear. É possível também escolher um de três modos diferentes de mapeamento da superfície de projecção sobre a de representação, o modo esférico (projecção azimutal equidistante), o modo cilíndrico (projecção sinusoidal) e o modo híbrido. Devido à sua natureza dinâmica, o EPS é sobretudo útil implementado computacionalmente, com uma interface que permita a sua fácil manipulação. Em trabalho prévio, a equipa NAADIR iniciou a implementação do EPS Visualizer, um visualizador de modelos 3D que implementa o sistema EPS. Nesta fase, o visualizador foi desenvolvido ainda sem implementar a maior parte do sistema EPS e sem ser avaliado. Nesta versão inicial estava apenas implementada a projecção usando o mapeamento esférico até aos 180º de ângulo de visão. A interface do visualizador era composta por quatro viewports, um principal e três secundários, e por dois menus. Cada viewport permitia visualizar o espaço 3D a partir de cima, baixo, frente, trás, esquerda ou direita, usando projecção perspectiva linear ou projecção paralela, ou permitia visualizar o espaço a partir de uma câmara usando projecção perspectiva linear ou usando o sistema EPS. Os menus permitiam manipular a posição e orientação da câmara, o ângulo de visão, a rotação da câmara em relação ao seu eixo frente-trás e os parâmetros do sistema EPS, raio e excentricidade. O visualizador podia ainda renderizar os modelos em wireframe ou com faces opacas. A renderização em wireframe era relativamente rápida mas a renderização com faces sólidas era lenta,demorando cerca de um minuto a produzir uma única imagem. O projecto descrito por esta dissertação teve dois objectivos principais. O primeiro foi a conclusão do EPS Visualizer. Sub-objectivos desta tarefa foram a implementação do sistema EPS por inteiro, o melhoramento do seu desempenho e o melhoramento da sua interface com o utilizador. O segundo foi a realização de duas avaliações do visualizador. As avaliações tiveram como objectivo avaliar a qualidade da interface, ajudar a identificar formas de melhorar a interface e avaliar a utilidade do sistema EPS como ferramenta no processo de design de arquitectos. Durante o desenvolvimento do projecto, o EPS Visualizer foi concluído e foram realizadas as avaliações previstas, atingindo-se os objectivos. O desenvolvimento do visualizador pode ser dividido em quatro áreas. A implementação do sistema EPS, o melhoramento do desempenho, a restruturação interna do software e o melhoramento da interface. Foram implementadas as projecções usando o mapeamento esférico até aos 360º, usando o mapeamento cilíndrico e usando o mapeamento híbrido. Completou-se assim a implementação do sistema EPS no visualizador. O desempenho do software foi melhorado implementando-se multi-threading para o cálculo da projecção. Isto permitiu separar a interface do processo de rendering do cálculo da projecção EPS e permitiu também que o cálculo da projecção fosse dividido pelos múltiplos cores que são hoje habituais em processadores. Foi também criado um novo sistema de rendering de faces opacas com desempenho similar ao desempenho da renderização de wireframe. Para permitir a implementação do multi-threading, foi necessário reestruturar o visualizador. Este processo resultou num número maior de classes mais pequenas e num programa que mais facilmente poderia ser adaptado ao multiprocessamento. Finalmente, a interface foi alterada e melhorada. Este processo teve duas fases. A primeira fase ocorreu antes da primeira avaliação. Os menus for reorganizados, o controlo da câmara com o rato foi melhorado e fizeram-se outras modificações menores. Após a avaliação deu-se a segunda fase do desenvolvimento da interface. Foram implementadas funcionalidades sugeridas por observações e sugestões feitas durante a avaliação. Surgiram opções alternativas para certos elementos da interface que foram implementadas em versões alternativas da interface. Estas versões alternativas foram depois testadas na segunda avaliação de modo a se escolher os elementos melhores das duas versões. A primeira avaliação foi realizada no contexto de um workshop e teve como foco principal o estudo da utilidade do sistema EPS como suporte ao design arquitectónico. Alunos de arquitectura tiveram acesso ao EPS Visualizer durante o workshop no contexto de um projecto de design de arquitectura. Cada aluno pôde usar a ferramenta livremente tendo no final preenchido um questionário sobre a sua experiência. Os alunos mostraram interesse em usar a ferramenta no futuro e de a ver implementada em software de modelação tridimensional. Consideraram a interface fácil de usar. A segunda avaliação teve como foco o estudo da usabilidade do visualizador e consistiu em entrevistas individuais supervisionadas com guião. Os utilizadores foram divididos em três grupos: alunos de arquitectura, profissionais de arquitectura e alunos de informática com experiência de computação gráfica e modelação 3D. Os utilizadores foram conduzidos através de um conjunto de tarefas em que avaliaram cada elemento da interface. Para cada elemento das duas versões do visualizador, os utilizadores puderam experimentar ambas as versões e indicar a sua preferência. No final preencheram um questionário sobre a sua opinião global acerca do visualizador, incluindo um teste SUS (System Usability Scale). Os utilizadores avaliaram a interface de forma positiva, indicando as suas preferências sobre versões alternativas de elementos da interface. O Visualizador EPS foi concluido com sucesso, tendo sido implementado o sistema EPS por completo e o desempenho e interface da aplicação melhorados. Realizaram-se ambas as avaliações com bons resultados. Foram portanto atingidos os objectivos propostos. Foram ainda publicados três artigos científicos no contexto desta tese.For centuries, linear perspective projection has been the dominant way of accurately drawing the world as seen from the human eye. In particular, it has been a tool used by architects in rigorous formal drawing. However, this system is limited by the distortions that manifest when large fields of view are used, making the interpretation of the image more difficult and limiting its ability to express human vision in its full dynamic breadth. Alternative curvilinear perspective systems do not share this limitation and can serve as a complement to linear perspective projection, though they are not without their own limitations. The Extended Perspective System is an alternative system that blends linear and curvilinear perspective systems into a single continuum, responding to the limitations of the individual systems. In this capacity, it also aims to aid architects in their design process. In previous work, a computational implementation of the EPS system, the EPS Visualizer was started to demonstrate its properties and test its usefulness as a tool for architects. However, it was left incomplete, lacking most key perspective features and leaving the EPS' usefulness unevaluated. The project described in this dissertation had two main objectives. The first was to complete the EPS Visualizer, implementing the EPS system fully, improving its performance and user interface. The second was to perform two evaluations, the first to determine the usefulness of the EPS system as a tool in the architectural design process and the second to evaluate the usability of the visualizer's user interface. The EPS Visualizer was completed and the two evaluations were performed, fulfilling the objectives of the project. The evaluation of the usefulness of the EPS system indicated that there was interest on the part of architects and architecture students in the visualizer and a desire to see it integrated into design software. The evaluation of the user interface aided in its development and gave positive results overall

Techniques de mise en scène pour le jeu vidéo et l'animation

Eurographics State of the Art Report (STAR).International audienceOver the last forty years, researchers in computer graphics have proposed a large variety of theoretical models and computer implementations of a virtual film director, capable of creating movies from minimal input such as a screenplay or storyboard. The underlying film directing techniques are also in high demand to assist and automate the generation of movies in computer games and animation. The goal of this survey is to characterize the spectrum of applications that require film directing, to present a historical and up-to-date summary of research in algorithmic film directing, and to identify promising avenues and hot topics for future research.Depuis quarante ans, les chercheurs en informatique graphique ont proposé une grande variété de modèles théoriques et d'implémentations de réalisateurs virtuels, capables de créer des films automatiquement à partir de scénarios ou de storyboards. Les techniques de mise en scène sous-jacentes peuvent également être très utiles pour assister et automatiser la création de films dans le jeu vidéo et l'animation. Le but de cet état de l'art est de caractériser le spectre des applications qui peuvent bénéficier des techniques de mise en scène, de donner un compte rendu historique de la recherche en mise en scène algorithmique, et d'identifier les tendances et perspectives du domaine

Skyler and Bliss

Hong Kong remains the backdrop to the science fiction movies of my youth. The city reminds me of my former training in the financial sector. It is a city in which I could have succeeded in finance, but as far as art goes it is a young city, and I am a young artist. A frustration emerges; much like the mould, the artist also had to develop new skills by killing off his former desires and manipulating technology. My new series entitled HONG KONG surface project shows a new direction in my artistic research in which my technique becomes ever simpler, reducing the traces of pixelation until objects appear almost as they were found and photographed. Skyler and Bliss presents tectonic plates based on satellite images of the Arctic. Working in a hot and humid Hong Kong where mushrooms grow ferociously, a city artificially refrigerated by climate control, this series provides a conceptual image of a imaginary typographic map for survival. (Laurent Segretier

Text–to–Video: Image Semantics and NLP

When aiming at automatically translating an arbitrary text into a visual story, the main challenge consists in finding a semantically close visual representation whereby the displayed meaning should remain the same as in the given text. Besides, the appearance of an image itself largely influences how its meaningful information is transported towards an observer. This thesis now demonstrates that investigating in both, image semantics as well as the semantic relatedness between visual and textual sources enables us to tackle the challenging semantic gap and to find a semantically close translation from natural language to a corresponding visual representation. Within the last years, social networking became of high interest leading to an enormous and still increasing amount of online available data. Photo sharing sites like Flickr allow users to associate textual information with their uploaded imagery. Thus, this thesis exploits this huge knowledge source of user generated data providing initial links between images and words, and other meaningful data. In order to approach visual semantics, this work presents various methods to analyze the visual structure as well as the appearance of images in terms of meaningful similarities, aesthetic appeal, and emotional effect towards an observer. In detail, our GPU-based approach efficiently finds visual similarities between images in large datasets across visual domains and identifies various meanings for ambiguous words exploring similarity in online search results. Further, we investigate in the highly subjective aesthetic appeal of images and make use of deep learning to directly learn aesthetic rankings from a broad diversity of user reactions in social online behavior. To gain even deeper insights into the influence of visual appearance towards an observer, we explore how simple image processing is capable of actually changing the emotional perception and derive a simple but effective image filter. To identify meaningful connections between written text and visual representations, we employ methods from Natural Language Processing (NLP). Extensive textual processing allows us to create semantically relevant illustrations for simple text elements as well as complete storylines. More precisely, we present an approach that resolves dependencies in textual descriptions to arrange 3D models correctly. Further, we develop a method that finds semantically relevant illustrations to texts of different types based on a novel hierarchical querying algorithm. Finally, we present an optimization based framework that is capable of not only generating semantically relevant but also visually coherent picture stories in different styles.Bei der automatischen Umwandlung eines beliebigen Textes in eine visuelle Geschichte, besteht die größte Herausforderung darin eine semantisch passende visuelle Darstellung zu finden. Dabei sollte die Bedeutung der Darstellung dem vorgegebenen Text entsprechen. Darüber hinaus hat die Erscheinung eines Bildes einen großen Einfluß darauf, wie seine bedeutungsvollen Inhalte auf einen Betrachter übertragen werden. Diese Dissertation zeigt, dass die Erforschung sowohl der Bildsemantik als auch der semantischen Verbindung zwischen visuellen und textuellen Quellen es ermöglicht, die anspruchsvolle semantische Lücke zu schließen und eine semantisch nahe Übersetzung von natürlicher Sprache in eine entsprechend sinngemäße visuelle Darstellung zu finden. Des Weiteren gewann die soziale Vernetzung in den letzten Jahren zunehmend an Bedeutung, was zu einer enormen und immer noch wachsenden Menge an online verfügbaren Daten geführt hat. Foto-Sharing-Websites wie Flickr ermöglichen es Benutzern, Textinformationen mit ihren hochgeladenen Bildern zu verknüpfen. Die vorliegende Arbeit nutzt die enorme Wissensquelle von benutzergenerierten Daten welche erste Verbindungen zwischen Bildern und Wörtern sowie anderen aussagekräftigen Daten zur Verfügung stellt. Zur Erforschung der visuellen Semantik stellt diese Arbeit unterschiedliche Methoden vor, um die visuelle Struktur sowie die Wirkung von Bildern in Bezug auf bedeutungsvolle Ähnlichkeiten, ästhetische Erscheinung und emotionalem Einfluss auf einen Beobachter zu analysieren. Genauer gesagt, findet unser GPU-basierter Ansatz effizient visuelle Ähnlichkeiten zwischen Bildern in großen Datenmengen quer über visuelle Domänen hinweg und identifiziert verschiedene Bedeutungen für mehrdeutige Wörter durch die Erforschung von Ähnlichkeiten in Online-Suchergebnissen. Des Weiteren wird die höchst subjektive ästhetische Anziehungskraft von Bildern untersucht und "deep learning" genutzt, um direkt ästhetische Einordnungen aus einer breiten Vielfalt von Benutzerreaktionen im sozialen Online-Verhalten zu lernen. Um noch tiefere Erkenntnisse über den Einfluss des visuellen Erscheinungsbildes auf einen Betrachter zu gewinnen, wird erforscht, wie alleinig einfache Bildverarbeitung in der Lage ist, tatsächlich die emotionale Wahrnehmung zu verändern und ein einfacher aber wirkungsvoller Bildfilter davon abgeleitet werden kann. Um bedeutungserhaltende Verbindungen zwischen geschriebenem Text und visueller Darstellung zu ermitteln, werden Methoden des "Natural Language Processing (NLP)" verwendet, die der Verarbeitung natürlicher Sprache dienen. Der Einsatz umfangreicher Textverarbeitung ermöglicht es, semantisch relevante Illustrationen für einfache Textteile sowie für komplette Handlungsstränge zu erzeugen. Im Detail wird ein Ansatz vorgestellt, der Abhängigkeiten in Textbeschreibungen auflöst, um 3D-Modelle korrekt anzuordnen. Des Weiteren wird eine Methode entwickelt die, basierend auf einem neuen hierarchischen Such-Anfrage Algorithmus, semantisch relevante Illustrationen zu Texten verschiedener Art findet. Schließlich wird ein optimierungsbasiertes Framework vorgestellt, das nicht nur semantisch relevante, sondern auch visuell kohärente Bildgeschichten in verschiedenen Bildstilen erzeugen kann

Digital 3D Technologies for Humanities Research and Education: An Overview

Digital 3D modelling and visualization technologies have been widely applied to support research in the humanities since the 1980s. Since technological backgrounds, project opportunities, and methodological considerations for application are widely discussed in the literature, one of the next tasks is to validate these techniques within a wider scientific community and establish them in the culture of academic disciplines. This article resulted from a postdoctoral thesis and is intended to provide a comprehensive overview on the use of digital 3D technologies in the humanities with regards to (1) scenarios, user communities, and epistemic challenges; (2) technologies, UX design, and workflows; and (3) framework conditions as legislation, infrastructures, and teaching programs. Although the results are of relevance for 3D modelling in all humanities disciplines, the focus of our studies is on modelling of past architectural and cultural landscape objects via interpretative 3D reconstruction methods