Decision Making Tasks in Time-Critical Medical Settings

ABSTRACT We examine decision-making tasks and information sources during fast-paced, high-risk medical events, such as trauma resuscitation. Interviews with surgical team leaders and ED physicians reveal several environmental aspects that make decision making difficult, including diagnostic tradeoffs, missing and unreliable information, and managing multiple patients simultaneously. We discuss the implications of these findings for the design of wall displays to support decision making in timecritical medical settings

The potential impact of 3d telepresence technology on task performance in emergency trauma care

Emergency trauma is a major health problem worldwide. To evaluate the potential of emerging 3D telepresence technology for facilitating paramedic – physician collaboration while providing emergency medical trauma care we conducted a between-subjects post-test experimental lab study. During a simulated emergency situation 60 paramedics diagnosed and treated a trauma victim while working alone or in collaboration with a physician via 2D video or a 3D proxy. Analysis of paramedics ’ task performance shows that the fewest harmful procedures occurred in the 3D proxy condition. Paramedics in the 3D proxy condition also reported higher levels of self-efficacy. These results indicate 3D telepresence technology has potential to improve paramedics’ performance of complex emergency medical tasks and improve emergency trauma health care when designed appropriately

Evaluating groupware usability at the cognitive level of human action

Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2010This dissertation explores the importance of the cognitive level of human action in the evaluation and improvement of groupware usability. This research is motivated by the problem that current methods focus on the rational and social levels of human action and yet an increasing number of users relies on computers to fulfil collaborative tasks dominated by perceptual, cognitive, and motor skill. The first contribution of this research is a groupware interface model that leverages existing knowledge on cognitive-level behaviour with single-user interfaces by expanding its application to multi-user interfaces. To do this, I show that the key differences between users interacting with the computer and interacting with other users through the computer can be supported by specialised groupware information flows and input/output devices. The second contribution of this dissertation is a pair of methods for predicting groupware usability at the cognitive level of human action. The first method applies to scenarios of collaboration occurring routinely in shared workspaces. The second aims at capturing the intertwined nature of mixed-focus collaboration, encompassing shared and private workspaces. I use the methods to evaluate and compare the usability of competing designs in four scenarios of collaboration. The methods do not require user testing or functioning prototypes, so they can be integrated into the iterative process of interactive systems design. The third contribution of this research is the evaluation of an attentive electronic brainstorming tool, which implements a novel attentive device that adjusts the delivery of group awareness information according to users’ natural task switching between doing individual work and attending to the group. I present results from a laboratory experiment, which indicate that groups produced 9.6% more ideas when compared to the immediate broadcast of ideas and provide evidence suggesting that the usability improvement was due to the mitigation of information overload.Esta dissertação explora a importância do nível cognitivo da actividade humana, no qual as tarefas demoram segundos a realizar e são tipicamente repetitivas, na avaliação e melhoria da usabilidade de sistemas de trabalho cooperativo suportado por computador, também designados por groupware. Estes sistemas de computadores permitem que grupos de interesse, como amigos e colegas, possam partilhar e organizar actividades de forma flexível e económica, onde o tempo e a distância deixam de ser obstáculos à colaboração. Alguns exemplos de groupware incluem os mensageiros instantâneos, usados por centenas de milhões de pessoas no mundo inteiro, os jogos multi-utilizador, que já atingiram cerca de dezasseis milhões de jogadores, bem como uma gama cada vez mais alargada de aplicações de escritório que estão a ser disponibilizadas na Internet. Com base nesta evidência, uma assumpção desta dissertação é que os sistemas de groupware estão a ficar cada vez mais ubíquos. O problema abordado nesta investigação é que os métodos actuais de avaliação da usabilidade de groupware omitem o nível cognitivo da actividade humana, e, no entanto, as nossas características psicológicas, como a percepção, cognição, e capacidade motora, dominam a execução de tarefas de colaboração rápidas, mas normalmente muito repetitivas. Uma consequência desta situação é que faltam instrumentos aos designers e investigadores de groupware que lhes permitam fazer optimizações de usabilidade de granularidade fina. Isto acontece porque os métodos actuais de avaliação da usabilidade visam tarefas colaborativas de relativa longa duração (que demoram minutos, horas, ou mais, a completar) e, portanto, baseiam-se em abstracções para conter o grau de complexidade da avaliação. Desta forma, as optimizações tendem a abranger vários passos de colaboração de granularidade fina de uma só vez, o que causa problemas porque a usabilidade de sistemas de groupware, como na maioria dos sistemas computacionais, está inerentemente ligada aos detalhes da interface com o utilizador. Estas optimizações, mesmo que de pequena expressão individual, podem acarretar um efeito multiplicador significativo dado o crescente número de utilizadores de groupware, especialmente na Internet. Outra consequência do nível cognitivo da acção humana ser negligenciado das avaliações de usabilidade de groupware é que o design da interface com o utilizador pode estar indevidamente alinhado com as características psicológicas humanas, o que pode fazer com que as tarefas colaborativas exijam uma carga de trabalho que excede as nossas capacidades limitadas de processamento de informação. Aliás, os utilizadores que realizam trabalho em grupo estão particularmente expostos a uma sobrecarga de informação porque têm de acompanhar o que se passa no grupo para além de realizarem trabalho individual, isto é, têm de dividir a atenção entre múltiplos fluxos de informação. Esta carga de trabalho pode penalizar a usabilidade dos sistemas de groupware devido ao aumento da probabilidade dos utilizadores não serem capazes de colaborar adequadamente. Dada esta situação, a minha questão de investigação é: como fazer avaliações ao nível cognitivo da actividade humana para melhorar a usabilidade de tarefas colaborativas realizadas através de sistemas de groupware? As avaliações de usabilidade ao nível cognitivo são bastante conhecidas no contexto das aplicações mono-utilizador, ao ponto de um conjunto de conhecimentos da psicologia aplicada ter sido reunido em modelos de engenharia de desempenho humano que predizem tempos de execução numa gama variada de tarefas de interacção pessoa-máquina. Estes modelos foram já, inclusivamente, aplicados no contexto de trabalho de grupo, mas sempre com a limitação de os utilizadores estarem restringidos a papéis individualistas e de a colaboração ficar de fora dos limites do sistema ou então ser abstraída. Em contraste, nesta dissertação estou interessado em avaliar as tarefas de colaboração realizadas através do sistema de groupware. A primeira contribuição desta investigação é um modelo da interface do groupware, o qual alavanca o conhecimento existente sobre o comportamento humano com interfaces mono-utilizador, baseado em modelos de engenharia que predizem o desempenho humano, através da expansão da sua aplicação a interfaces multi-utilizador. Para fazer isto mostro que as diferenças fundamentais entre os utilizadores interagirem com o computador (para trabalharem individualmente) e interagirem com outros utilizadores através do computador (para colaborar) podem ser suportadas por fluxos de informação e dispositivos de input/output especializados. Este modelo tem como propósito ajudar o designer a organizar o espaço de soluções numa gama alargada de sistemas de groupware. A segunda contribuição desta dissertação é um par de métodos para avaliar a usabilidade de sistemas de groupware ao nível cognitivo da actividade humana. O primeiro método é aplicável a cenários críticos de colaboração que ocorram rotineiramente em espaços de trabalho partilhados e define usabilidade em termos do tempo necessário para executar tarefas colaborativas, tal como estimado pelos modelos de engenharia de desempenho humano. Na dissertação aplico este método para avaliar e comparar a usabilidade de alternativas de design em três casos de colaboração em espaços partilhados. O segundo método visa capturar a natureza complexa e entrecruzada da colaboração que abrange tanto espaços partilhados como privados, bem como capturar os objectivos frequentemente conflituosos dos utilizadores enquanto estão a trabalhar individualmente ou quando estão a interagir com o grupo. Para fazer isto, combino estimativas de tempos de execução de tarefas com contribuições dessas tarefas para a progressão do grupo em direcção a um objectivo comum, em termos de produtividade individual, oportunidades criadas para os outros, e restrições para o trabalho de outros utilizadores. Na dissertação aplico este método a um jogo colaborativo, e mostro que, se para alguma outra coisa mais, este método serve para forçar o designer de groupware a pensar sobre as contrapartidas entre uma interface que permite aos utilizadores enquanto indivíduos serem mais produtivos e outra que permite um melhor desempenho do grupo enquanto um todo. Os dois métodos de avaliação não requerem testes com utilizadores ou a construção de protótipos de groupware para produzirem resultados de usabilidade, o que atesta a sua natureza formativa, e permite a sua integração no processo iterativo de design de sistemas interactivos. A terceira contribuição desta investigação é a avaliação da usabilidade de um sistema de groupware atentivo, que implementa um novo dispositivo de gestão da atenção humana, chamado opportunity seeker , o qual tem como propósito mitigar a sobrecarga de informação em cenários de colaboração síncrona, isto é, em que todos os elementos do grupo estão a trabalhar em simultâneo. O opportunity seeker intercepta e guarda numa memória tampão a informação de estado sobre o grupo e ajusta automaticamente a entrega dessa informação a cada utilizador em função da alternância natural entre este estar a realizar trabalho individual e estar a prestar atenção ao grupo. Na dissertação mostro como este dispositivo pode ser adaptado e instalado numa ferramenta electrónica para geração de ideias, chamada ABTool, e como a fronteira entre os dois estados de atenção pode ser detectada através de actividade no teclado. Para avaliar os efeitos do opportunity seeker na usabilidade da ferramenta ABTool, realizei uma experiência de laboratório em que pedi a grupos de voluntários para submeterem ideias em paralelo o mais rapidamente possível, e recolhi evidência de que quando os grupos estiveram sob a influência do opportunity seeker o número de ideias geradas aumentou em 9.6% em comparação com a condição em que todas as ideias eram imediatamente difundidas por todos os utilizadores. Adicionalmente, levei a cabo uma análise post-hoc que mostra que o opportunity seeker reduziu o número de entregas de ideias em 44.1%, pois combinou as ideias em pequenos lotes, e que isso se traduziu em 54.7% mais tempo para os utilizadores escreverem ideias sem serem interrompidos pela recepção de ideias de outros utilizadores. Nestas condições, os utilizadores foram 18.8% mais rápidos a alternar entre a escrita de uma ideia, o que fizeram em 16.3% menos tempo, e ler novas ideias de outros utilizadores. Estes resultados evidenciam que o opportunity seeker criou condições para mitigar a sobrecarga de informação e mostram que a usabilidade de sistemas de groupware pode ser melhorada através de avaliações focadas nas limitações da capacidade de processamento de informação humana. Com este conjunto de contribuições, mostrei que o nível cognitivo da actividade humana tem um papel determinante na avaliação da usabilidade de sistemas de groupware, complementando os níveis racional e social que têm sido tradicionalmente considerados por outros métodos de avaliação.Portuguese Foundation for Science and Technology(Fundação para a Ciência e Tecnologia), through project PTDC/EIA/67589/2006 and the Multiannual Funding Programme