Human-Computer Interaction in Mobile Context : A Cognitive Resources Perspective

Human-computer interaction is currently shifting its focus from desktop-based interaction to interaction with "beyond the desktop", which is embedded into everyday activities. In order to support users more elegantly, these mobile, wearable, and ubiquitous computing devices are envisioned to adapt inte lligently to their context. Thus far, however, the mobile use contexts per se have received attention, as most research has been technology-driven. Drawing from cognitive psychology, user modeling in human-computer interaction, and ethnomethodology, a framework is put forward here to analyse mobile use situations from the point of view of resource competition. The framework assumes that mobility is inherently multitasking and easily leads to competition for cognitive and other human resources. This "cognitive resource competition" framework is elaborated and associated with the psychological principles of capacity and multitasking. It looks at the typical social, interactional, cognitive, and physical tasks in mobility, relates them to the typical cognitive resources they compete for, and, based on known capacities of cognitive faculties, pinpoints restrictions and resources for action that can emerge in a given mobile situation. It is argued that the approach is useful for identifying the perceptual, attentional, and cognitive capabilities of a user in a mobile situation. The approach has implications for the design and innovation of intelligent, context-sensitive user interfaces and services. Furthermore, a practical method for making human resources visible in a design session is proposed and evaluated

Control theoretic models of pointing

This article presents an empirical comparison of four models from manual control theory on their ability to model targeting behaviour by human users using a mouse: McRuer’s Crossover, Costello’s Surge, second-order lag (2OL), and the Bang-bang model. Such dynamic models are generative, estimating not only movement time, but also pointer position, velocity, and acceleration on a moment-to-moment basis. We describe an experimental framework for acquiring pointing actions and automatically fitting the parameters of mathematical models to the empirical data. We present the use of time-series, phase space, and Hooke plot visualisations of the experimental data, to gain insight into human pointing dynamics. We find that the identified control models can generate a range of dynamic behaviours that captures aspects of human pointing behaviour to varying degrees. Conditions with a low index of difficulty (ID) showed poorer fit because their unconstrained nature leads naturally to more behavioural variability. We report on characteristics of human surge behaviour (the initial, ballistic sub-movement) in pointing, as well as differences in a number of controller performance measures, including overshoot, settling time, peak time, and rise time. We describe trade-offs among the models. We conclude that control theory offers a promising complement to Fitts’ law based approaches in HCI, with models providing representations and predictions of human pointing dynamics, which can improve our understanding of pointing and inform design

Monitieteisen tutkimuksen edellytykset kuntoon

Keskustelu

Keskeytysten muistivaikutukset

Keskeytyksellä tarkoitetaan tehtävän (päätehtävä) kognitiivisen suorituksen katkeamista jonkin ulkopuolisen tekijän aiheuttamana. Päätehtävään palataan keskeytystehtävän jälkeen. Tutkielmassa tarkastellaan keskeytyksen vaikutusta päätehtävää koskeviin muistisisältöihin. Tutkielmassa tehdään katsaus empiiriseen keskeytystutkimukseen. Keskeytykset vaikuttavat mm. päätehtävän suoritusaikaan, -tarkkuuteen sekä -virheisiin. Haitallisuuteen vaikuttavat mm. muistikuormitus keskeytyksen hetkellä ja päätehtävää koskevan representaation uudelleen aktivoimiseksi annetut palautusvihjeet, keskeytyksen kompleksisuus, sen pituus, esiintymisfrekvenssi ja samankaltaisuus päätehtävän kanssa, tehtävien käyttämät modaliteetit sekä henkilön harjaantuneisuus. Tutkielmassa argumentoidaan muistitoimintojen keskeisyyden puolesta keskeytysten kognitiivisessa selittämisessä. Keskeytystutkimusten tuloksille konstruoidaan pitkäkestoisen työmuistin teorian pohjalta selitysmalli, jossa interferenssillä on keskeinen rooli. Pitkäkestoisen työmuistin tehtävänä on tallettaa suoritettavan päätehtävän kannalta olennaista tietoa sellaiseen tilaan, josta se on nopeasti aktivoitavissa lyhytkestoisen työmuistin käyttöön. Asiantuntijat pystyvät tallettamaan tiedon nopeasti pitkäkestoiseen työmuistiin ns. palautusrakenteisiin. Erilaisten muistikoodaus- ja palautusstrategioiden avulla asiantuntija pystyy tehokkaasti tekemään erottelun muistisisältöjen kesken, välttäen näin interferenssin. Tutkielmassa tehdään lisäksi katsaus muisti-illuusioiden tutkimukseen. Useimmat muisti-illuusioista ovat lähtöisin ongelmista muistisisältöjen lähteen monitoroinnissa. Katsauksesta käy ilmi kuinka tietyt muistivirheet liittyvät tiettyihin muistitoimintoihin. Koesarjassa toisaalta testataan selitysmallia, toisaalta sovelletaan muisti-illuusiotutkimuksen käsitteitä. Tarkoituksena on saada lisätietoa keskeytysten muistivaikutuksista. Mikäli keskeytykset tuottaisivat tietynlaisia muistivirheitä, olisi tähän tietoon perustuen mahdollista rajata tarkemmin vastaavat muistitoiminnot. Ensimmäisessä kokeessa koehenkilöt (n=12) varjostivat tietokoneelta auditiivisesti (puhe) ja visuaalisesti (puhujan videokuva) esitettyä tekstiä (pääteksti). Minuutin kuluttua puhe katkesi ja sitä seurasi välittömästi puolen minuutin tauko tai video toisesta tekstistä (keskeytysteksti). Koehenkilöt tekivät vapaan palautuksen päätekstistä. Toisessa kokeessa päätekstejä oli neljä siten, että kunkin jälkeen oli joko tauko tai keskeytysteksti. Koehenkilöt (n=16) palauttivat yhden pääteksteistä. Kolmannessa kokeessa (n=12) varioitiin päätekstin ja keskeytystekstin semanttista läheisyyttä kolmessa käsittelyssä. Muilta osin kokeet olivat kuten ensimmäinen koe. Jokaisessa kokeessa palautuksia analysoitiin vertaamalla niitä vastaaviin pääteksteihin. Palautuksista eriteltiin niiden tarkkuus, virheelliset väittämät (sekaannukset) sekä sarjapositiot. Lisäksi laadullisessa analyysissa sekaannukset luokiteltiin muistivirhetyypeittäin. Erot käsittelyiden välillä palautusten tarkkuudessa olivat tilastollisesti merkitseviä tai lähes merkitseviä kaikissa kokeissa. Toisessa kokeessa havaittiin keskeytyksen aiheuttavan sarjaposition äskeisyyskomponentin heikkenemisen. Ensimmäisessä ja kolmannessa kokeessa sekaannuksien määrässä oli merkitsevä tai lähes merkitsevä ero käsittelyiden välillä. Kolmannessa kokeessa sekoitettiin semanttisesti päätekstin kanssa samankaltaisten keskeytystekstien sisältöjä pääteksteihin. Koesarjan tulokset tukevat annettua selitysmallia. Tarkastelu osoittaa, että interferenssi selittää suurimman osan kokeissa havaituista eroista käsittelyiden välillä. Tulosten pohjalta selitysmallia tarkennetaan huomioimalla erilaisten keskeytystilanteiden rajoittava vaikutus palautusstrategioiden käyttöön. Tarkastelussa kiinnitetään huomiota myös pitkä- ja lyhytkestoisten muistien rooliin keskeytyksessä. Keskeytyksen aiheuttama tiedon syrjäyttäminen näkyy sarjapositioissa, mutta syrjäyttämisen heikentävä vaikutus palautuksen tarkkuuteen on pieni. Lopuksi selitysmallia arvioidaan ja sitä tarkastellaan muistivirhetutkimuksen sekä käytännön sovellusten kannalta

Real-Time Hand Tracking Using a Sum of Anisotropic Gaussians Model

Real-time marker-less hand tracking is of increasing importance in human-computer interaction. Robust and accurate tracking of arbitrary hand motion is a challenging problem due to the many degrees of freedom, frequent self-occlusions, fast motions, and uniform skin color. In this paper, we propose a new approach that tracks the full skeleton motion of the hand from multiple RGB cameras in real-time. The main contributions include a new generative tracking method which employs an implicit hand shape representation based on Sum of Anisotropic Gaussians (SAG), and a pose fitting energy that is smooth and analytically differentiable making fast gradient based pose optimization possible. This shape representation, together with a full perspective projection model, enables more accurate hand modeling than a related baseline method from literature. Our method achieves better accuracy than previous methods and runs at 25 fps. We show these improvements both qualitatively and quantitatively on publicly available datasets.Comment: 8 pages, Accepted version of paper published at 3DV 201

Towards machines that understand people

The ability to estimate the state of a human partner is an insufficient basis on which to build cooperative agents. Also needed is an ability to predict how people adapt their behavior in response to an agent's actions. We propose a new approach based on computational rationality, which models humans based on the idea that predictions can be derived by calculating policies that are approximately optimal given human‐like bounds. Computational rationality brings together reinforcement learning and cognitive modeling in pursuit of this goal, facilitating machine understanding of humans