Electrotactons: designing and evaluating electrotactile cues

Electrotactile feedback is a novel haptic feedback modality that can be used to evoke a desired level of alertness and emotion or convey multidimensional information to the user. However, there is a lack of research investigating its basic design parameters and how they can be used to create effective tactile cues. This thesis investigates the effect of Electrotactile feedback on the subjective perception of specific sensations, such as urgency, annoyance, valence and arousal, to find the number of distinguishable levels in each sensation. These levels are then used for designing structured, abstract, electrotactile messages called Electrotactons. These have potential benefits over vibration-based cues due to the greater flexibility of the actuators. Experiments 1, 2 & 4 investigated the effects of manipulating the basic electrotactile parameters pulse width, amplitude and pulse frequency on perceived sensations. The results showed that all parameters have a significant effect on the perceived sensations, except for pulse frequency not having an effect on valence. Also, pulse frequencies of 30 PPS and above did not influence the perceived sensations. Experiment 3 investigated the use of pulse width, amplitude and pulse frequency to convey three types of information simultaneously encoded into an electrotactile cue. This was the first attempt to design Electrotactons using the basic parameters of electrotactile feedback. The results showed overall recognition rates of 38.19% for the complete Electrotactons. For the individual component parameters, pulse width had a recognition rate of 71.67%, amplitude 70.27%, and pulse frequency 66.36%. Experiment 5 investigated intensity and pulse frequency to determine how many distinguishable levels could be perceived. Results showed that both intensity and pulse frequency significantly affected perception, with four distinguishable levels of intensity and two of pulse frequency. Experiment 6 investigated the use of intensity and pulse frequency from in Experiment 5 to improve the design of Electrotactons on three body locations using two different size electrodes. The results showed overall recognition rates of up to 65.31% for the complete Electrotactons. For the individual component parameters, intensity had a recognition rate of 68.68%, and pulse frequency 94.41%. These results add significant new knowledge about the parameter space of electrotactile cue design and help designers select suitable properties to use when creating electrotactile cues

Sensory enhancement, a pilot perceptual study of subdermal magnetic implants

Subdermal magnetic implants originated as an art form in the world of body modification. To date an in depth scientific analysis of the benefits of this implant has yet to be established. This research explores the concept of sensory extension of the tactile sense utilising this form of implantation. This relatively simple procedure enables the tactile sense to respond to static and alternating magnetic fields. This is not to say that the underlying biology of the system has changed; i.e. the concept does not increase our tactile frequency response range or sensitivity to pressure, but now does invoke a perceptual response to a stimulus that is not innately available to humans. Within this research two social surveys have been conducted in order to ascertain one, the social acceptance of the general notion of human enhancement, and two the perceptual experiences of individuals with the magnetic implants themselves. In terms of acceptance to the notion of sensory improvement (via implantation) ~39% of the general population questioned responded positively with a further ~25% of the respondents answering with the indecisive response. Thus with careful dissemination a large proportion of individuals may adopt this technology much like this if it were to become available for consumers. Interestingly of the responses collected from the magnetic implants survey ~60% of the respondents actually underwent the implant for magnetic vision purposes. The main contribution of this research however comes from a series of psychophysical testing. In which 7 subjects with subdermal magnetic implants, were cross compared with 7 subjects that had similar magnets superficially attached to their dermis. The experimentation examined multiple psychometric thresholds of the candidates including intensity, frequency and temporal. Whilst relatively simple, the experimental setup for the perceptual experimentation conducted was novel in that custom hardware and protocols were created in order to determine the subjective thresholds of the individuals. Abstract iv The overall purpose of this research is to utilise this concept in high stress scenarios, such as driving or piloting; whereby alerts and warnings could be relayed to an operator without intruding upon their other (typically overloaded) exterior senses (i.e. the auditory and visual senses). Hence each of the thresholding experiments were designed with the intention of utilising the results in the design of signals for information transfer. The findings from the study show that the implanted group of subjects significantly outperformed the superficial group in the absolute intensity threshold experiment, i.e. the implanted group required significantly less force than the superficial group in order to perceive the stimulus. The results for the frequency difference threshold showed no significant difference in the two groups tested. Interestingly however at low frequencies, i.e. 20 and 50 Hz, the ability of the subjects tested to discriminate frequencies significantly increased with more complex waveforms i.e. square and sawtooth, when compared against the typically used sinewave. Furthermore a novel protocol for establishing the temporal gap detection threshold during a temporal numerosity study has been established in this thesis. This experiment measured the subjects’ capability to correctly determine the number of concatenated signals presented to them whilst the time between the signals, referred to as pulses, tended to zero. A significant finding was that when altering the length of, the frequency of, and the number of cycles of the pulses, the time between pulses for correct recognition altered. This finding will ultimately aid in the design of the tactile alerts for this method of information transfer. Preliminary development work for the use of this method of input to the body, in an automotive scenario, is also presented within this thesis in the form of a driving simulation. The overall goal of which is to present warning alerts to a driver, such as rear-to-end collision, or excessive speeds on roads, in order to prevent incidents and penalties from occurring. Discussion on the broader utility of this implant has been presented, reflecting on its potential use as a basis for vibrotactile, and sensory substitution, devices. This discussion furthers with postulations on its use as a human machine interface, as well as how a similar implant could be used within the ear as a hearing aid device

Facial and expression recognition for the blind using computer vision

Gemstone Team FACEThe majority of communication between humans is comprised of nonverbal cues. Visual cues, such as expressions and nodding, are not readily accessible to the blind. Our team has developed an assistive device based on computer vision, which relays facial recognition and expression information to a blind user and is designed to store images of people the user frequently interacts with and analyze faces for expressions. The control a user has over his/her surroundings while receiving real-time feedback contributes to a unique device. In order to design a device suited best to the blind user's needs, we engaged sighted and blind participants in surveys and interviews to understand their views and preferences regarding the availability of a computer vision system that, in real-time, can pro- vide information about identity and expressions of humans. This thesis discusses the development methodology, the selection of algorithms for recognizing faces and expressions and physical designs of the device, and the results on subject tests with blind participants to gauge the e ectiveness of our design

Improving passive driver fatigue, sitting health risk factors and user experience in automobiles. Conception, development and evaluation of a novel interactive seating system

Lange Fahrten in Automobilen werden oftmals von monotoniebedingter Ermüdung durch mangelnde Stimulation sowie körperlichen Gesundheitsrisiken durch langanhaltendes Sitzen begleitet. In der Literatur werden kognitive Zusatzaufgaben als Maßnahme gegen monotoniebedingte Ermüdung vorgeschlagen. Der Stand der Technik um gesundheitliche Risiken durch langanhaltendes Sitzen im Fahrzeug zu reduzieren, beschränkt sich hauptsächlich auf Sitzsysteme, welche die Passagiere passiv mobilisieren. Mit dem Ziel die Fahrsicherheit zu erhöhen und gleichzeitig Gesundheitsrisiken zu reduzieren, wurde ein neuartiges interaktives Sitzsystem (IASS) konzipiert, entwickelt und evaluiert. Das IASS soll den Fahrer/die Fahrerin oder die Passagiere dazu motivieren mit dem Sitz zu interagieren und dabei aktive Bewegungen gegen die Sitzfläche auszuführen. Im Gegensatz zu aktuellen interaktiven Sitzsystemen erfolgt die grundlegende Interaktion nicht über ein Display. Stattdessen werden auditive Einsprachen, Luftblasen in der Lehne, Vibrationsmotoren sowie die Ambientebeleuchtung genutzt. Ein Display kommt lediglich bei der Einführung in die Nutzung des Systems oder ergänzend für die Passagiere zum Einsatz. Das ermöglicht, dass der Fahrer/die Fahrerin den Blick und damit auch die Aufmerksamkeit auf der Straße behalten kann. Dadurch soll das System, im Gegensatz zum Stand der Technik, nicht nur für die Passagiere, sondern auch für den Fahrer/die Fahrerin geeignet sein. Das wiederum eröffnet die Möglichkeit das IASS als Zusatzaufgabe neben dem Fahren zu nutzen, um einer momotoniebedingten Reduktion der Aufmerksamkeit entgegenzuwirken. Dabei ist anzumerken, dass die erhöhte Fahrsicherheit durch eine verbesserte Aufmerksamkeit nicht nur den Insassen, sondern auch den anderen Verkehrsteilnehmern dient. Gleichzeitig haben alle Passagiere die Möglichkeit, durch die physiologisch sinnvollen Bewegungen gegen den Sitz, die Gesundheitsrisiken durch langanhaltendes Sitzen zu reduzieren. Insgesamt wurden drei Probandenstudien durchgeführt, um das IASS zu entwickeln und zu evaluieren. Die erste Probandenstudie diente der Entwicklung des IASS. Um die Bewegungen des Passagiers/der Passagierin bei der Interaktion zu detektieren, wurden Drucksensoren in der Sitzlehne integriert. Zur Gewährleistung einer zuverlässigen Bewegungserkennung von Passagieren mit unterschiedlichen anthropometrischen Merkmalen, war es entscheidend, die Sensoren an optimalen Positionen in der Lehne zu platzieren. Daher war der erste Schritt im Entwicklungsprozess des IASS die Durchführung einer Probandenstudie, um diese optimalen Positionen festzulegen. Im Rahmen der Studie wurden Sitzdruckverteilungsbilder erfasst und anschließend mit einer Methode, dem Statistical Parametric Mapping ausgewertet, die für gewöhnlich bei der funktionellen Magnetresonanztomographie eingesetzt wird. In der vorliegenden Arbeit wurde diese Methode erstmalig zur Auswertung von Sitzdruckverteilungen herangezogen. Der Vorteil gegenüber herkömmlichen Methoden ist die hohe örtliche Auflösung. Damit war es möglich, die Sensoranbringungspunkte sehr präzise zu definieren. Anschließend wurde das IASS auf Basis der in der ersten Studie gewonnenen Information aufgebaut und anschließend in zwei weiteren Probandenstudien mit einem aktuellen Sitzmassagesystem (MS) hinsichtlich Wirksamkeit verglichen. In der zweiten Probandestudie sollte das Potential des IASS für die Fahrsicherheit bewertet werden. Die im Fahrsimulator durchgeführte Studie zeigte, dass das IASS die monotoniebedingte Ermüdung reduzierte, während dieser Effekt bei Nutzung des MS nicht auftrat. Das IASS wurde ebenfalls bezüglich des Nutzererlebnisses sowie der emotionalen Wahrnehmung gegenüber dem MS bevorzugt. Außerdem bewerteten die Probanden und Probandinnen, dass das IASS im Vergleich zum MS, sowohl Komfort wesentlich stärker erhöhte als auch Diskomfort stärker reduzierte. In der dritten und abschließenden Probandenstudie wurde untersucht, ob das IASS den körperlichen Gesundheitsrisiken durch langanhaltendes Sitzen besser entgegen wirkt als das MS. Hierfür wurden beide Sitzsysteme in einem Serienfahrzeug verbaut. Um die Effekte beider Sitzsysteme zu vergleichen, wurden gesundheitsrelevante Parameter erfasst. Damit fahrtbedingte Signalstörungen ausgeschlossen werden konnten, wurde die Studie im stehenden Fahrzeug durchgeführt. Das Elektrokardiogramm zeigte, dass ausschließlich das IASS die Herzfrequenz erhöhte. Elektromyographische Messungen zeigten außerdem, dass das IASS die Aktivität in den sechs erfassten Muskeln erhöhte, während beim MS lediglich ein Muskel eine Tendenz zur Aktivitätserhöhung zeigte. Entsprechend sind die gesundheitsfördernden Effekte des IASS im Vergleich zum MS als wesentlich stärker einzustufen. Nach dem Kenntnisstand des Autors, ist dies die erste wissenschaftliche Publikation welche eine motorische Zusatzaufgabe als Maßnahme gegen monotoniebedingte Ermüdung im Fahrzeug untersucht. Darüber hinaus wurde erstmalig direkt verglichen, ob ein automobiles Sitzsystem welches zu aktiven Bewegungen animiert, einem System das die Passagiere passiv bewegt, hinsichtlich der Reduktion der negativen körperlichen Effekte des Sitzens überlegen ist