Evaluating groupware usability at the cognitive level of human action

Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2010This dissertation explores the importance of the cognitive level of human action in the evaluation and improvement of groupware usability. This research is motivated by the problem that current methods focus on the rational and social levels of human action and yet an increasing number of users relies on computers to fulfil collaborative tasks dominated by perceptual, cognitive, and motor skill. The first contribution of this research is a groupware interface model that leverages existing knowledge on cognitive-level behaviour with single-user interfaces by expanding its application to multi-user interfaces. To do this, I show that the key differences between users interacting with the computer and interacting with other users through the computer can be supported by specialised groupware information flows and input/output devices. The second contribution of this dissertation is a pair of methods for predicting groupware usability at the cognitive level of human action. The first method applies to scenarios of collaboration occurring routinely in shared workspaces. The second aims at capturing the intertwined nature of mixed-focus collaboration, encompassing shared and private workspaces. I use the methods to evaluate and compare the usability of competing designs in four scenarios of collaboration. The methods do not require user testing or functioning prototypes, so they can be integrated into the iterative process of interactive systems design. The third contribution of this research is the evaluation of an attentive electronic brainstorming tool, which implements a novel attentive device that adjusts the delivery of group awareness information according to users’ natural task switching between doing individual work and attending to the group. I present results from a laboratory experiment, which indicate that groups produced 9.6% more ideas when compared to the immediate broadcast of ideas and provide evidence suggesting that the usability improvement was due to the mitigation of information overload.Esta dissertação explora a importância do nível cognitivo da actividade humana, no qual as tarefas demoram segundos a realizar e são tipicamente repetitivas, na avaliação e melhoria da usabilidade de sistemas de trabalho cooperativo suportado por computador, também designados por groupware. Estes sistemas de computadores permitem que grupos de interesse, como amigos e colegas, possam partilhar e organizar actividades de forma flexível e económica, onde o tempo e a distância deixam de ser obstáculos à colaboração. Alguns exemplos de groupware incluem os mensageiros instantâneos, usados por centenas de milhões de pessoas no mundo inteiro, os jogos multi-utilizador, que já atingiram cerca de dezasseis milhões de jogadores, bem como uma gama cada vez mais alargada de aplicações de escritório que estão a ser disponibilizadas na Internet. Com base nesta evidência, uma assumpção desta dissertação é que os sistemas de groupware estão a ficar cada vez mais ubíquos. O problema abordado nesta investigação é que os métodos actuais de avaliação da usabilidade de groupware omitem o nível cognitivo da actividade humana, e, no entanto, as nossas características psicológicas, como a percepção, cognição, e capacidade motora, dominam a execução de tarefas de colaboração rápidas, mas normalmente muito repetitivas. Uma consequência desta situação é que faltam instrumentos aos designers e investigadores de groupware que lhes permitam fazer optimizações de usabilidade de granularidade fina. Isto acontece porque os métodos actuais de avaliação da usabilidade visam tarefas colaborativas de relativa longa duração (que demoram minutos, horas, ou mais, a completar) e, portanto, baseiam-se em abstracções para conter o grau de complexidade da avaliação. Desta forma, as optimizações tendem a abranger vários passos de colaboração de granularidade fina de uma só vez, o que causa problemas porque a usabilidade de sistemas de groupware, como na maioria dos sistemas computacionais, está inerentemente ligada aos detalhes da interface com o utilizador. Estas optimizações, mesmo que de pequena expressão individual, podem acarretar um efeito multiplicador significativo dado o crescente número de utilizadores de groupware, especialmente na Internet. Outra consequência do nível cognitivo da acção humana ser negligenciado das avaliações de usabilidade de groupware é que o design da interface com o utilizador pode estar indevidamente alinhado com as características psicológicas humanas, o que pode fazer com que as tarefas colaborativas exijam uma carga de trabalho que excede as nossas capacidades limitadas de processamento de informação. Aliás, os utilizadores que realizam trabalho em grupo estão particularmente expostos a uma sobrecarga de informação porque têm de acompanhar o que se passa no grupo para além de realizarem trabalho individual, isto é, têm de dividir a atenção entre múltiplos fluxos de informação. Esta carga de trabalho pode penalizar a usabilidade dos sistemas de groupware devido ao aumento da probabilidade dos utilizadores não serem capazes de colaborar adequadamente. Dada esta situação, a minha questão de investigação é: como fazer avaliações ao nível cognitivo da actividade humana para melhorar a usabilidade de tarefas colaborativas realizadas através de sistemas de groupware? As avaliações de usabilidade ao nível cognitivo são bastante conhecidas no contexto das aplicações mono-utilizador, ao ponto de um conjunto de conhecimentos da psicologia aplicada ter sido reunido em modelos de engenharia de desempenho humano que predizem tempos de execução numa gama variada de tarefas de interacção pessoa-máquina. Estes modelos foram já, inclusivamente, aplicados no contexto de trabalho de grupo, mas sempre com a limitação de os utilizadores estarem restringidos a papéis individualistas e de a colaboração ficar de fora dos limites do sistema ou então ser abstraída. Em contraste, nesta dissertação estou interessado em avaliar as tarefas de colaboração realizadas através do sistema de groupware. A primeira contribuição desta investigação é um modelo da interface do groupware, o qual alavanca o conhecimento existente sobre o comportamento humano com interfaces mono-utilizador, baseado em modelos de engenharia que predizem o desempenho humano, através da expansão da sua aplicação a interfaces multi-utilizador. Para fazer isto mostro que as diferenças fundamentais entre os utilizadores interagirem com o computador (para trabalharem individualmente) e interagirem com outros utilizadores através do computador (para colaborar) podem ser suportadas por fluxos de informação e dispositivos de input/output especializados. Este modelo tem como propósito ajudar o designer a organizar o espaço de soluções numa gama alargada de sistemas de groupware. A segunda contribuição desta dissertação é um par de métodos para avaliar a usabilidade de sistemas de groupware ao nível cognitivo da actividade humana. O primeiro método é aplicável a cenários críticos de colaboração que ocorram rotineiramente em espaços de trabalho partilhados e define usabilidade em termos do tempo necessário para executar tarefas colaborativas, tal como estimado pelos modelos de engenharia de desempenho humano. Na dissertação aplico este método para avaliar e comparar a usabilidade de alternativas de design em três casos de colaboração em espaços partilhados. O segundo método visa capturar a natureza complexa e entrecruzada da colaboração que abrange tanto espaços partilhados como privados, bem como capturar os objectivos frequentemente conflituosos dos utilizadores enquanto estão a trabalhar individualmente ou quando estão a interagir com o grupo. Para fazer isto, combino estimativas de tempos de execução de tarefas com contribuições dessas tarefas para a progressão do grupo em direcção a um objectivo comum, em termos de produtividade individual, oportunidades criadas para os outros, e restrições para o trabalho de outros utilizadores. Na dissertação aplico este método a um jogo colaborativo, e mostro que, se para alguma outra coisa mais, este método serve para forçar o designer de groupware a pensar sobre as contrapartidas entre uma interface que permite aos utilizadores enquanto indivíduos serem mais produtivos e outra que permite um melhor desempenho do grupo enquanto um todo. Os dois métodos de avaliação não requerem testes com utilizadores ou a construção de protótipos de groupware para produzirem resultados de usabilidade, o que atesta a sua natureza formativa, e permite a sua integração no processo iterativo de design de sistemas interactivos. A terceira contribuição desta investigação é a avaliação da usabilidade de um sistema de groupware atentivo, que implementa um novo dispositivo de gestão da atenção humana, chamado opportunity seeker , o qual tem como propósito mitigar a sobrecarga de informação em cenários de colaboração síncrona, isto é, em que todos os elementos do grupo estão a trabalhar em simultâneo. O opportunity seeker intercepta e guarda numa memória tampão a informação de estado sobre o grupo e ajusta automaticamente a entrega dessa informação a cada utilizador em função da alternância natural entre este estar a realizar trabalho individual e estar a prestar atenção ao grupo. Na dissertação mostro como este dispositivo pode ser adaptado e instalado numa ferramenta electrónica para geração de ideias, chamada ABTool, e como a fronteira entre os dois estados de atenção pode ser detectada através de actividade no teclado. Para avaliar os efeitos do opportunity seeker na usabilidade da ferramenta ABTool, realizei uma experiência de laboratório em que pedi a grupos de voluntários para submeterem ideias em paralelo o mais rapidamente possível, e recolhi evidência de que quando os grupos estiveram sob a influência do opportunity seeker o número de ideias geradas aumentou em 9.6% em comparação com a condição em que todas as ideias eram imediatamente difundidas por todos os utilizadores. Adicionalmente, levei a cabo uma análise post-hoc que mostra que o opportunity seeker reduziu o número de entregas de ideias em 44.1%, pois combinou as ideias em pequenos lotes, e que isso se traduziu em 54.7% mais tempo para os utilizadores escreverem ideias sem serem interrompidos pela recepção de ideias de outros utilizadores. Nestas condições, os utilizadores foram 18.8% mais rápidos a alternar entre a escrita de uma ideia, o que fizeram em 16.3% menos tempo, e ler novas ideias de outros utilizadores. Estes resultados evidenciam que o opportunity seeker criou condições para mitigar a sobrecarga de informação e mostram que a usabilidade de sistemas de groupware pode ser melhorada através de avaliações focadas nas limitações da capacidade de processamento de informação humana. Com este conjunto de contribuições, mostrei que o nível cognitivo da actividade humana tem um papel determinante na avaliação da usabilidade de sistemas de groupware, complementando os níveis racional e social que têm sido tradicionalmente considerados por outros métodos de avaliação.Portuguese Foundation for Science and Technology(Fundação para a Ciência e Tecnologia), through project PTDC/EIA/67589/2006 and the Multiannual Funding Programme

Automated Model Merge by Design Space Exploration

Industrial applications of model-driven engineering to develop large and complex systems resulted in an increasing demand for collaboration features. However, use cases such as model differencing and merging have turned out to be a difficult challenge, due to (i) the graph-like nature of models, and (ii) the complexity of certain operations (e.g. hierarchy refactoring) that are common today. In the paper, we present a novel search-based automated model merge approach where rule-based design space exploration is used to search the space of solution candidates that represent conflict-free merged models. Our method also allows engineers to easily incorporate domain-specific knowledge into the merge process to provide better solutions. The merge process automatically calculates multiple merge candidates to be presented to domain experts for final selection. Furthermore, we propose to adopt a generic synthetic benchmark to carry out an initial scalability assessment for model merge with large models and large change sets

Closing Information Gaps with Need-driven Knowledge Sharing

Informationslücken schließen durch bedarfsgetriebenen Wissensaustausch Systeme zum asynchronen Wissensaustausch – wie Intranets, Wikis oder Dateiserver – leiden häufig unter mangelnden Nutzerbeiträgen. Ein Hauptgrund dafür ist, dass Informationsanbieter von Informationsuchenden entkoppelt, und deshalb nur wenig über deren Informationsbedarf gewahr sind. Zentrale Fragen des Wissensmanagements sind daher, welches Wissen besonders wertvoll ist und mit welchen Mitteln Wissensträger dazu motiviert werden können, es zu teilen. Diese Arbeit entwirft dazu den Ansatz des bedarfsgetriebenen Wissensaustauschs (NKS), der aus drei Elementen besteht. Zunächst werden dabei Indikatoren für den Informationsbedarf erhoben – insbesondere Suchanfragen – über deren Aggregation eine fortlaufende Prognose des organisationalen Informationsbedarfs (OIN) abgeleitet wird. Durch den Abgleich mit vorhandenen Informationen in persönlichen und geteilten Informationsräumen werden daraus organisationale Informationslücken (OIG) ermittelt, die auf fehlende Informationen hindeuten. Diese Lücken werden mit Hilfe so genannter Mediationsdienste und Mediationsräume transparent gemacht. Diese helfen Aufmerksamkeit für organisationale Informationsbedürfnisse zu schaffen und den Wissensaustausch zu steuern. Die konkrete Umsetzung von NKS wird durch drei unterschiedliche Anwendungen illustriert, die allesamt auf bewährten Wissensmanagementsystemen aufbauen. Bei der Inversen Suche handelt es sich um ein Werkzeug das Wissensträgern vorschlägt Dokumente aus ihrem persönlichen Informationsraum zu teilen, um damit organisationale Informationslücken zu schließen. Woogle erweitert herkömmliche Wiki-Systeme um Steuerungsinstrumente zur Erkennung und Priorisierung fehlender Informationen, so dass die Weiterentwicklung der Wiki-Inhalte nachfrageorientiert gestaltet werden kann. Auf ähnliche Weise steuert Semantic Need, eine Erweiterung für Semantic MediaWiki, die Erfassung von strukturierten, semantischen Daten basierend auf Informationsbedarf der in Form strukturierter Anfragen vorliegt. Die Umsetzung und Evaluation der drei Werkzeuge zeigt, dass bedarfsgetriebener Wissensaustausch technisch realisierbar ist und eine wichtige Ergänzung für das Wissensmanagement sein kann. Darüber hinaus bietet das Konzept der Mediationsdienste und Mediationsräume einen Rahmen für die Analyse und Gestaltung von Werkzeugen gemäß der NKS-Prinzipien. Schließlich liefert der hier vorstellte Ansatz auch Impulse für die Weiterentwicklung von Internetdiensten und -Infrastrukturen wie der Wikipedia oder dem Semantic Web

Geoinformatics in Citizen Science

The book features contributions that report original research in the theoretical, technological, and social aspects of geoinformation methods, as applied to supporting citizen science. Specifically, the book focuses on the technological aspects of the field and their application toward the recruitment of volunteers and the collection, management, and analysis of geotagged information to support volunteer involvement in scientific projects. Internationally renowned research groups share research in three areas: First, the key methods of geoinformatics within citizen science initiatives to support scientists in discovering new knowledge in specific application domains or in performing relevant activities, such as reliable geodata filtering, management, analysis, synthesis, sharing, and visualization; second, the critical aspects of citizen science initiatives that call for emerging or novel approaches of geoinformatics to acquire and handle geoinformation; and third, novel geoinformatics research that could serve in support of citizen science

Semantic discovery and reuse of business process patterns

Patterns currently play an important role in modern information systems (IS) development and their use has mainly been restricted to the design and implementation phases of the development lifecycle. Given the increasing significance of business modelling in IS development, patterns have the potential of providing a viable solution for promoting reusability of recurrent generalized models in the very early stages of development. As a statement of research-in-progress this paper focuses on business process patterns and proposes an initial methodological framework for the discovery and reuse of business process patterns within the IS development lifecycle. The framework borrows ideas from the domain engineering literature and proposes the use of semantics to drive both the discovery of patterns as well as their reuse

Money & Trust in Digital Society, Bitcoin and Stablecoins in ML enabled Metaverse Telecollaboration

We present a state of the art and positioning book, about Digital society tools, namely; Web3, Bitcoin, Metaverse, AI/ML, accessibility, safeguarding and telecollaboration. A high level overview of Web3 technologies leads to a description of blockchain, and the Bitcoin network is specifically selected for detailed examination. Suitable components of the extended Bitcoin ecosystem are described in more depth. Other mechanisms for native digital value transfer are described, with a focus on `money'. Metaverse technology is over-viewed, primarily from the perspective of Bitcoin and extended reality. Bitcoin is selected as the best contender for value transfer in metaverses because of it's free and open source nature, and network effect. Challenges and risks of this approach are identified. A cloud deployable virtual machine based technology stack deployment guide with a focus on cybersecurity best practice can be downloaded from GitHub to experiment with the technologies. This deployable lab is designed to inform development of secure value transaction, for small and medium sized companies

The Challenges of Big Data - Contributions in the Field of Data Quality and Artificial Intelligence Applications

The term "big data" has been characterized by challenges regarding data volume, velocity, variety and veracity. Solving these challenges requires research effort that fits the needs of big data. Therefore, this cumulative dissertation contains five paper aiming at developing and applying AI approaches within the field of big data as well as managing data quality in big data