Application-driven visual computing towards industry 4.0 2018

245 p.La Tesis recoge contribuciones en tres campos: 1. Agentes Virtuales Interactivos: autónomos, modulares, escalables, ubicuos y atractivos para el usuario. Estos IVA pueden interactuar con los usuarios de manera natural.2. Entornos de RV/RA Inmersivos: RV en la planificación de la producción, el diseño de producto, la simulación de procesos, pruebas y verificación. El Operario Virtual muestra cómo la RV y los Co-bots pueden trabajar en un entorno seguro. En el Operario Aumentado la RA muestra información relevante al trabajador de una manera no intrusiva. 3. Gestión Interactiva de Modelos 3D: gestión online y visualización de modelos CAD multimedia, mediante conversión automática de modelos CAD a la Web. La tecnología Web3D permite la visualización e interacción de estos modelos en dispositivos móviles de baja potencia.Además, estas contribuciones han permitido analizar los desafíos presentados por Industry 4.0. La tesis ha contribuido a proporcionar una prueba de concepto para algunos de esos desafíos: en factores humanos, simulación, visualización e integración de modelos

A 3d talking head for mobile devices based on unofficial ios webgl support

In this paper we present the implementation of a WebGL Talking Head for iOS mobile devices (Apple iPhone and iPad). It works on standard MPEG-4 Facial Animation Parameters (FAPs) and speaks with the Italian version of FESTIVAL TTS. It is totally based on true real human data. The 3D kinematics information are used to create lips articulatory model and to drive directly the talking face, generating human facial movements. In the last year we developed the WebGL version of the avatar. WebGL, which is 3D graphic for the web, is currently supported in the major web browsers for desktop computers. No official support has been given for mobile device main platforms yet, although the Firefox beta version enables it on android phones. Starting from iOS 5 WebGL is enabled only for the advertisement library class (which is intended for placing ad-banners in applications). We have been able to use this feature to visualize and animate our WebGL talking head

Application-driven visual computing towards industry 4.0 2018

245 p.La Tesis recoge contribuciones en tres campos: 1. Agentes Virtuales Interactivos: autónomos, modulares, escalables, ubicuos y atractivos para el usuario. Estos IVA pueden interactuar con los usuarios de manera natural.2. Entornos de RV/RA Inmersivos: RV en la planificación de la producción, el diseño de producto, la simulación de procesos, pruebas y verificación. El Operario Virtual muestra cómo la RV y los Co-bots pueden trabajar en un entorno seguro. En el Operario Aumentado la RA muestra información relevante al trabajador de una manera no intrusiva. 3. Gestión Interactiva de Modelos 3D: gestión online y visualización de modelos CAD multimedia, mediante conversión automática de modelos CAD a la Web. La tecnología Web3D permite la visualización e interacción de estos modelos en dispositivos móviles de baja potencia.Además, estas contribuciones han permitido analizar los desafíos presentados por Industry 4.0. La tesis ha contribuido a proporcionar una prueba de concepto para algunos de esos desafíos: en factores humanos, simulación, visualización e integración de modelos

Learning-by-Teaching in CS Education: A Systematic Review

To investigate the strategies and approaches in teaching Computer Science (CS), we searched the literature review in CS education in the past ten years. The reviews show that learning-by-teaching with the use of technologies is helpful for improving student learning. To further investigate the strategies that are applied to learning-by-teaching, three categories are identified: peer tutoring, game-based flipped classroom, and teachable agents. In each category, we further searched and investigated prior studies. The results reveal the effectiveness and challenges of each strategy and provide insights for future studies

Virtual tutor: information retrieval in moodle and parametrization via a backoffice application

Trabalho de projeto de mestrado, Engenharia Informática (Arquitetura, Sistemas e Redes de Computadores) Universidade de Lisboa, Faculdade de Ciências, 2018As plataformas de e-learning como o Moodle são sistemas online que permitema criação de unidades curriculares para armazenar e mostrar uma vasta quantidadede material que auxilia no período de aprendizagem e criar uma ponte de interaçãoentre os alunos e o professor. Alunos que previamente não tinham possibilidade deaprenderem, com estes recursos têm a possibilidade de entrar em cursos e aprenderconteúdos novos sem a presença física em aulas. Estes benefícios levam a que umaquantidade sempre crescente de estudantes adquira interesse em cursos online. Contudo,estes modelos de aprendizagem dependem de uma quantidade significativa deinformação que tem de estar na página da unidade curricular. A quantidade de informaçãocombinada com a possível baixa frequência de acesso à página da unidade curricular pode sobrecarregar um aluno.Com o número de alunos inscritos a aumentar e tendência de substituir actividadespresenciais com versões presentes online, torna a capacidade de um professorsupervisionar e aconselhar todos os alunos cada vez mais difícil, o que leva a quealunos se possam sentir sozinhos e sem acompanhamento, criando situações em queo seu desempenho é inferior ao desejado ou que, no limite, desistem.Este trabalho insere-se no projeto de investigação “TUTORIA VIRTUAL – otutor virtual artefacto mediador de aprendizagem no ensino superior online”, financiadopela FCT, com referência PTDC/IVC-PEC/3963/2014 que envolve investigadoresde 3 instituições: a Universidade Aberta de Lisboa, o Instituto SuperiorTécnico de Lisboa e a Faculdade de Ciências da Universidade de Lisboa.Neste trabalho desenvolveu-se uma solução tecnológica na forma de uma aplicaçãoWebGL com um tutor virtual antropomórfico implementada na plataformaMoodle que fornece suporte síncrono ao aluno como complemento a experiência deaprendizagem. A aplicação designada Virtual tutor application, tem como objectivocriar uma relação de empatia com cada aluno que a utiliza durante o períodode duração do curso usando texto e expressões faciais do avatar, motivando-o ater um melhor desempenho e a não desistir. A aplicação foi desenvolvida usandoa plataforma Unity e envolve dois componentes, o componente de interface com onome InterfaceManager (desenvolvido no contexto de outra tese) e o componentede aquisição e organização de dados, WebManager, que é descrito nesta tese. Também foi desenvolvido neste projeto, uma aplicação Android que recorre aavatares cujo objectivo é realizar tarefas de acompanhamento e aconselhamento aolongo da experiência de aprendizagem do aluno em todas as unidades curriculares, ocomponente descrito nesta tese embora não esteja ainda integrado nesta aplicação,possui a capacidade de distinguir a plataforma (móvel ou WebGl) e operar da formadesejada, no caso da aplicação Android requisitar informação sobre todas as unidadescurriculares e na aplicação localizada no Moodle requisitar a unidade curricular combase no identificador fornecido.O componente WebManager foi desenvolvido na forma de um plugin que podeser incorporado em qualquer aplicação Unity com relativa facilidade e possui a capacidadede comunicar com o Moodle e uma base de dados externa através de pedidosweb. Deste modo é possível adquirir e guardar informação sobre o aluno e a unidadecurricular crucial para a interação com o aluno.A aquisição desta informação permite que o componente InterfaceManager tenha a capacidade de mostrar ao aluno informações sobre a estrutura da unidade curricular e os seus componentes, sobre as novidades na página desde o seu último acesso sem que o aluno seja sujeito a navegar a vasta informação disposta na página daunidade curricular e apresentar conselhos e indicações com base no estado do alunona unidade curricular, este estado é calculado com base no desempenho acadêmicona unidade curricular, assiduidade na página e as interações na mesma, que, no casode um curso online funciona como uma turma virtual. A expressão de conselhos eindicações é feito com base em frases criadas com o auxílio da equipa pedagógica daUniversidade Aberta baseadas na atividade do aluno com o propósito de melhorar a experiência de aprendizagem na duração do curso. O plugin é capaz de adquirir informação relativa à unidade curricular e ao aluno através do uso de serviços web nativos à plataforma Moodle e a serviços web desenvolvidos no contexto desta tese localizados no servidor que contém a base de dados externa, os serviços web desenvolvidos extraem informação de uma combinação de tabelas da base de dados externa que contém uma réplica da tabela de logs do servidor Moodle. A informação requisitada pelo plugin envolve, mas não está limitado a: notas do aluno, que materiais acedeu na unidade curricular, quantos dias já acedeu a unidade curricular ou quantos posts já fez sem a necessidade de criação de componentes adicionais no Moodle. O uso de serviços web existentes no Moodle permite o uso do plugin com versões base do Moodle desde que sejam versões iguais ou superiores a presente no projeto devido a existência dos serviços web está dependente da versão. A comunicação com a base de dados externa é realizada recorrendo ao uso de serviços web contidos em ficheiros php para oferecer um intermediário capaz deinterpretar as variáveis fornecidas pela aplicação e fornecer informação com base nessas variáveis, estes ficheiros removem a necessidade de fornecer informação sensível ao servidor como credenciais para aceder à base de dados e permitem a adição de passos para filtrar e autenticar as variáveis como medidas de segurança. Complementando o Webmanager, uma aplicação Back Office foi desenvolvida em Unity que permite ao professor da unidade curricular definir e guardar parâmetros na base de dados externa, esses parâmetros são depois adquiridos pelo componente WebManager e usados como base dos cálculos de avaliação do estado do aluno que irão ajudar a parametrizar o empenho posto pelo aluno e informar o InterfaceManager das falas e informação para definir as expressões faciais que o avatar deve usar, levando a uma melhor experiência de aprendizagem dos alunos. Para garantir o funcionamento correto durante a duração de uma unidade curricular, testes de operação foram realizados pela equipa da Faculdade de Ciências da Universidade de Lisboa em unidades curriculares criadas especificamente para o efeito na duração de dez dias com contas de alunos teste desenvolvidas para este propósito divididas entre todos os participantes. Durante este período de tempo, os participantes seguiram as ações definidas nas tabelas presentes no anexo que envolveram a entrega de componentes de avaliação e interações nos fóruns, permitindo assim verificar as possibilidades consideradas. Pela realização de testes de carga ao servidor usando uma aplicação desenvolvida em Python para identificar objectos no ecrã e contar o tempo entre ciclos, foi possível encontrar uma desvantagem associada com o uso do plugin: O tempo significativo que demora a aquisição da informação desejada do Moodle e da base de dados externa. A causa principal para a existência deste problema deve-se à quantidade de pedidos que são necessários para obter a informação e a necessidade de ordenar determinados pedidos. Este tempo está também dependente do tempo de resposta da plataforma, combinando este tempo com a organização forçada certos pedidos com a limitação da plataforma WebGL que não tem acesso a sockets para uma comunicação mais rápida impede a implementação de várias alternativas com o objectivo de melhorar o desempenho do componente. A acompanhar as limitações de desempenho do componente WebManager, a aplicação reside num bloco HTML na página da unidade curricular e a sua inicialização e operações associadas a abertura e carregamento da página. Esta associação causa restrições à aplicação como não estar acessível em páginas que não contém o referido bloco e ser inicializado sempre que a página é carregada, isto é, não é possível manter um estado facilmente adquirido sempre que muda a página forçando a aplicação a requisitar e organizar toda a informação de novo e realizar os cálculos outra vez. Testes com professores foram realizados para obter uma opinião de alguém experiente no ensino online e confortável com o uso da plataforma Moodle. Nestes testes foi explicado previamente em que consistia o projeto e foi mostrado um tutorial em vídeo, após a visualização do vídeo os professores interagiram com a aplicação numa unidade curricular de testes usando contas de utilizadores com estados de alunos diferentes. Após realizarem tarefas básicas foram convidados a responder a um questionário. Com base nos questionários realizados foi possível concluir que a maioria destes professores concordaram que as capacidades fornecidas pela aplicação, como o acesso mais rápido ao material de ensino na página da unidade curricular são uma vantajosas para o ensino. Contudo muitos afirmam que é necessário melhorar o desempenho em termos do tempo de carregamento da informação antes que se torne viável a sua utilização em unidades curriculares reais.With the ever-increasing number of students taking online courses, combined with the overbearing amount of information present that overwhelms students, a large group of students become demoralised and can, ultimately, decide to give up on the course. This work is funded by the research project “VIRTUAL TUTORING – the virtual tutor as learning mediating artefact in online university education”, reference PTDC/IVC-PEC/3963/2014 which involves researchers from three institutions: Universidade Aberta de Lisboa, the Instituto Superior Técnico de Lisboa and Faculdade de Ciências da Universidade de Lisboa. In this thesis, we present a complement to the learning experience with the goal of accompanying the student: an application with an anthropomorphic virtual tutor( avatar) implemented in the Moodle environment that can provide synchronous support to the student, support is done in the form of text presented in the application and the facial expressions. The Virtual Tutor informs the student of changes in the course page without the need to check the vast information in the page, offer feedback to the performance of the student and create an empathy relationship over the course duration to improve the learning experience while motivating the student to continue working towards a good grade in the course. The solution involves two major components: an interface component that displays information alongside the avatar to the student and an information storage and retrieval component, by the name WebManager, that gathers information from Moodle and from an external database and provide it to the interface component. Tests with professors were made to receive the opinion of someone experienced in online teaching. A Back Office application was developed to enable a professor to define specific parameters to adapt the behaviour of the Virtual Tutor to a specific course, leading to an experience more aligned with the goals of the specific for the students

Web-based eTutor for learning electrical circuit analysis

This paper discusses a web-based eTutor for learning electrical circuit analysis. The eTutor system components, mainly the user-interface and the assessment model, are described. The system architecture developed provides a framework to support interactive sessions between the human and the machine for the case when the human is a student and the machine a tutor and also for the case when the roles of the human and the machine are swapped. To motivate the usefulness of the data gathered, some examples of interactive sessions are given and models to capture both declarative and procedural knowledge during learning are discussed. A probabilistic assessment model is reviewed and future directions in the field of eTutors for electrical circuits are discussed.peer-reviewe

On the Design of a Dual-Mode User Interface for Accessing 3D Content on the World Wide Web

International audienceThe World Wide Web, today's largest and most important online information infrastructure, does not support 3D content and, although various approaches have been proposed, there is still no clear design methodology for user interfaces that tightly integrate hypertext and interactive 3D graphics. This paper presents a novel strategy for accessing information spaces, where hypertext and 3D graphics data are simultaneously available and interlinked. We introduce a Dual-Mode User Interface that has two modes between which a user can switch anytime: the driven by simple hypertext-based interactions "hypertext mode", where a 3D scene is embedded in hypertext and the more immersive "3D mode", which immerses the hypertextual annotations into the 3D scene. A user study is presented, which characterizes the interface in terms of its efficiency and usability

Learning Data-Driven Models of Non-Verbal Behaviors for Building Rapport Using an Intelligent Virtual Agent

There is a growing societal need to address the increasing prevalence of behavioral health issues, such as obesity, alcohol or drug use, and general lack of treatment adherence for a variety of health problems. The statistics, worldwide and in the USA, are daunting. Excessive alcohol use is the third leading preventable cause of death in the United States (with 79,000 deaths annually), and is responsible for a wide range of health and social problems. On the positive side though, these behavioral health issues (and associated possible diseases) can often be prevented with relatively simple lifestyle changes, such as losing weight with a diet and/or physical exercise, or learning how to reduce alcohol consumption. Medicine has therefore started to move toward finding ways of preventively promoting wellness, rather than solely treating already established illness. Evidence-based patient-centered Brief Motivational Interviewing (BMI) interven- tions have been found particularly effective in helping people find intrinsic motivation to change problem behaviors after short counseling sessions, and to maintain healthy lifestyles over the long-term. Lack of locally available personnel well-trained in BMI, however, often limits access to successful interventions for people in need. To fill this accessibility gap, Computer-Based Interventions (CBIs) have started to emerge. Success of the CBIs, however, critically relies on insuring engagement and retention of CBI users so that they remain motivated to use these systems and come back to use them over the long term as necessary. Because of their text-only interfaces, current CBIs can therefore only express limited empathy and rapport, which are the most important factors of health interventions. Fortunately, in the last decade, computer science research has progressed in the design of simulated human characters with anthropomorphic communicative abilities. Virtual characters interact using humans’ innate communication modalities, such as facial expressions, body language, speech, and natural language understanding. By advancing research in Artificial Intelligence (AI), we can improve the ability of artificial agents to help us solve CBI problems. To facilitate successful communication and social interaction between artificial agents and human partners, it is essential that aspects of human social behavior, especially empathy and rapport, be considered when designing human-computer interfaces. Hence, the goal of the present dissertation is to provide a computational model of rapport to enhance an artificial agent’s social behavior, and to provide an experimental tool for the psychological theories shaping the model. Parts of this thesis were already published in [LYL+12, AYL12, AL13, ALYR13, LAYR13, YALR13, ALY14]

Virtual environments promoting interaction

Virtual reality (VR) has been widely researched in the academic environment and is now breaking into the industry. Regular companies do not have access to this technology as a collaboration tool because these solutions usually require specific devices that are not at hand of the common user in offices. There are other collaboration platforms based on video, speech and text, but VR allows users to share the same 3D space. In this 3D space there can be added functionalities or information that in a real-world environment would not be possible, something intrinsic to VR. This dissertation has produced a 3D framework that promotes nonverbal communication. It plays a fundamental role on human interaction and is mostly based on emotion. In the academia, confusion is known to influence learning gains if it is properly managed. We designed a study to evaluate how lexical, syntactic and n-gram features influence perceived confusion and found results (not statistically significant) that point that it is possible to build a machine learning model that can predict the level of confusion based on these features. This model was used to manipulate the script of a given presentation, and user feedback shows a trend that by manipulating these features and theoretically lowering the level of confusion on text not only drops the reported confusion, as it also increases reported sense of presence. Another contribution of this dissertation comes from the intrinsic features of a 3D environment where one can carry actions that in a real world are not possible. We designed an automatic adaption lighting system that reacts to the perceived user’s engagement. This hypothesis was partially refused as the results go against what we hypothesized but do not have statistical significance. Three lines of research may stem from this dissertation. First, there can be more complex features to train the machine learning model such as syntax trees. Also, on an Intelligent Tutoring System this could adjust the avatar’s speech in real-time if fed by a real-time confusion detector. When going for a social scenario, the set of basic emotions is well-adjusted and can enrich them. Facial emotion recognition can extend this effect to the avatar’s body to fuel this synchronization and increase the sense of presence. Finally, we based this dissertation on the premise of using ubiquitous devices, but with the rapid evolution of technology we should consider that new devices will be present on offices. This opens new possibilities for other modalities.A Realidade Virtual (RV) tem sido alvo de investigação extensa na academia e tem vindo a entrar na indústria. Empresas comuns não têm acesso a esta tecnologia como uma ferramenta de colaboração porque estas soluções necessitam de dispositivos específicos que não estão disponíveis para o utilizador comum em escritório. Existem outras plataformas de colaboração baseadas em vídeo, voz e texto, mas a RV permite partilhar o mesmo espaço 3D. Neste espaço podem existir funcionalidades ou informação adicionais que no mundo real não seria possível, algo intrínseco à RV. Esta dissertação produziu uma framework 3D que promove a comunicação não-verbal que tem um papel fundamental na interação humana e é principalmente baseada em emoção. Na academia é sabido que a confusão influencia os ganhos na aprendizagem quando gerida adequadamente. Desenhámos um estudo para avaliar como as características lexicais, sintáticas e n-gramas influenciam a confusão percecionada. Construímos e testámos um modelo de aprendizagem automática que prevê o nível de confusão baseado nestas características, produzindo resultados não estatisticamente significativos que suportam esta hipótese. Este modelo foi usado para manipular o texto de uma apresentação e o feedback dos utilizadores demonstra uma tendência na diminuição do nível de confusão reportada no texto e aumento da sensação de presença. Outra contribuição vem das características intrínsecas de um ambiente 3D onde se podem executar ações que no mundo real não seriam possíveis. Desenhámos um sistema automático de iluminação adaptativa que reage ao engagement percecionado do utilizador. Os resultados não suportam o que hipotetizámos mas não têm significância estatística, pelo que esta hipótese foi parcialmente rejeitada. Três linhas de investigação podem provir desta dissertação. Primeiro, criar características mais complexas para treinar o modelo de aprendizagem, tais como árvores de sintaxe. Além disso, num Intelligent Tutoring System este modelo poderá ajustar o discurso do avatar em tempo real, alimentado por um detetor de confusão. As emoções básicas ajustam-se a um cenário social e podem enriquecê-lo. A emoção expressada facialmente pode estender este efeito ao corpo do avatar para alimentar o sincronismo social e aumentar a sensação de presença. Finalmente, baseámo-nos em dispositivos ubíquos, mas com a rápida evolução da tecnologia, podemos considerar que novos dispositivos irão estar presentes em escritórios. Isto abre possibilidades para novas modalidades