Haptic wrist guidance using vibrations for Human-Robot teams

Human-Robot teams can efficiently operate in several scenarios including Urban Search and Rescue (USAR). Robots can access areas too small or deep for a person, can begin surveying larger areas that people are not permitted to enter and can carry sensors and instruments. One important aspect in this cooperative framework is the way robots and humans can communicate during rescue operation. Vision and audio modalities may result not efficient in case of reduced visibility or high noise. A promising way to guarantee effective communications between robot and human in a team is the exploitation of haptic signals. In this work, we present a possible solution to let a robot guide the position of a human operator’s hand by using vibrations. We demonstrate that an armband embedding four vibrating motors is enough to guide the wrist of an operator along a predefined path or in a target location. The results proposed can be exploited in human-robot teams. For instance, when the robot detects the position of a sensible target, it can guide the wrist of the operator in such position following an optimal path

Evaluation of a predictive approach in steering the human locomotion via haptic feedback

In this paper, we present a haptic guidance policy to steer the user along predefined paths, and we evaluate a predictive approach to compensate actuation delays that humans have when they are guided along a given trajectory via sensory stimuli. The proposed navigation policy exploits the nonholonomic nature of human locomotion in goal directed paths, which leads to a very simple guidance mechanism. The proposed method has been evaluated in a real scenario where seven human subjects were asked to walk along a set of predefined paths, and were guided via vibrotactile cues. Their poses as well as the related distances from the path have been recorded using an accurate optical tracking system. Results revealed that an average error of 0.24 m is achieved by using the proposed haptic policy, and that the predictive approach does not bring significant improvements to the path following problem for what concerns the distance error. On the contrary, the predictive approach achieved a definitely lower activation time of the haptic interfaces

Haptic Guidance in Dynamic Environments Using Optimal Reciprocal Collision Avoidance

Human guidance in situations where the users cannot rely on their main sensory modalities, such as assistive or search-and-rescue scenarios, is a challenging task. In this letter, we address the problem of guiding users along collision-free paths in dynamic environments, assuming that they cannot rely on their main sensory modalities. In order to safely guide the subjects, we adapt the optimal reciprocal collision avoidance to our specific problem. The proposed algorithm takes into account the stimuli which can be displayed to the users and the motion uncertainty of the users when reacting to the provided stimuli. The proposed algorithm was evaluated in three different dynamic scenarios. A total of 18 blindfolded human subjects were asked to follow haptic cues in order to reach a target area while avoiding real static obstacles and moving users. Three metrics such as time to reach the goal, length of the trajectories, and minimal distance from the obstacles are considered to compare results obtained using this approach and experiments performed without visual impairments. Experimental results reveal that blindfolded subjects are successfully able to avoid collisions and safely reach the targets in all the performed trials. Although in this letter we display directional cues via haptic stimuli, we believe that the proposed approach can be general and tuned to work with different haptic interfaces and/or feedback modalities

Edistyksellisen kuljettajaa avustavan järjestelmän varoitusten modaliteetti

Nykyaikaisissa autoissa on toteutettuna edistyksellisen kuljettajaa avustavan järjestelmän eli ADAS-järjestelmän erilaisia ominaisuuksia, jotka avustavat kuljettajaa ajamisessa ja tuovat mukavuutta ajotehtäviin. Ominaisuudet voivat tarjota kuljettajalle tietoa esimerkiksi varoitusten muodossa. Liikenneonnettomuudet aiheuttavat maailmanlaajuisesti suuren määrän vammoja sekä kuolemia, mikä on johtanut tarpeeseen kehittää ADAS-järjestelmä. Suurin osa onnettomuuksista on seurauksia inhimillisistä virheistä, joiden vähentämiseen ADAS-järjestelmä tähtää toiminnallisuuksillaan. Tämä tutkielma käsittelee ADAS-järjestelmän varoitusten antamista kuljettajalle eri aistien välityksellä. Tavoitteena on selvittää, miten kuljettajat reagoivat eri aistien välityksellä annettaviin varoituksiin sekä niiden yhdistelmiin ja tätä kautta saada selville, miten varoituksia tulisi antaa kuljettajalle, jotta ne olisivat samaan aikaan sekä miellyttäviä että tehokkaita. Tavoitteiden pohjalta tutkimuskysymyksiksi muotoutuivat: Mitä eroja on kuljettajien reagoimisessa eri aistimodaliteettien välityksellä annettuihin varoituksiin? Miten varoitukset tulisi antaa kuljettajalle niin että päästäisiin mahdollisimman turvalliseen ajosuoritukseen? Tutkielman tutkimusmenetelmänä on hyödynnetty kirjallisuuskatsausta, johon on valittu tieteellisiä artikkeleita erilaisista tietokannoista. Lähteitä valikoitiin tutkielmaan niiden laadun sekä julkaisuvuoden perusteella suosien uudempia, Julkaisufoorumi-luokiteltuja ja vertaisarvioituja lähteitä. Lähteiksi valittiin 11 tutkimusartikkelia, joista osassa kuvataan oma empiirinen tutkimus. Kirjallisuuskatsaus osoitti, että eri aistimodaliteeteilla on ominaispiirteensä, jotka määrittävät niiden vahvuudet ja heikkoudet. Esimerkiksi visuaalisilla varoituksilla on kyky tarjota kuljettajalle yksityiskohtaista tietoa, johon on helppo palata, kun taas auditiiviset varoitukset kykenevät ääniärsykkeen avulla saamaan kuljettajan reagoimaan nopeasti. Eri aistimodaliteettien kautta on mahdollista välittää kuljettajalle erityyppistä informaatiota ja niiden hyödyntäminen varoitusten antamisessa sopii erilaisiin ajotilanteisiin. Tästä syystä aistimodaliteetin valintaan varoituksissa tulisi kiinnittää huomiota. Varoitusten tehokkuudessa oli myös eroja siinä, annetaanko varoitus unimodaalisena vai multimodaalisena: multimodaaliset varoitukset varoittivat kuljettajia tehokkaammin kuin unimodaaliset. Tutkimustulokset nostivat esille myös sen että, kuvakkeiden avulla voidaan välittää kuljettajalle tietoa tehokkaasti ja että multimodaalisten varoitusten suunnittelussa tulisi kiinnittää huomiota myös signaalien yhteneväisyyteen

Cooperative Navigation for Mixed Human–Robot Teams Using Haptic Feedback

In this paper, we present a novel cooperative navigation control for human–robot teams. Assuming that a human wants to reach a final location in a large environment with the help of a mobile robot, the robot must steer the human from the initial to the target position. The challenges posed by cooperative human–robot navigation are typically addressed by using haptic feedback via physical interaction. In contrast with that, in this paper, we describe a different approach, in which the human–robot interaction is achieved via wearable vibrotactile armbands. In the proposed work, the subject is free to decide her/his own pace. A warning vibrational signal is generated by the haptic armbands when a large deviation with respect to the desired pose is detected by the robot. The proposed method has been evaluated in a large indoor environment, where 15 blindfolded human subjects were asked to follow the haptic cues provided by the robot. The participants had to reach a target area, while avoiding static and dynamic obstacles. Experimental results revealed that the blindfolded subjects were able to avoid the obstacles and safely reach the target in all of the performed trials. A comparison is provided between the results obtained with blindfolded users and experiments performed with sighted people

人間中心型自動運転車における協調運転のための適応的マルチモーダルインタフェースに関する研究

早大学位記番号:新7967早稲田大

Supporting the Development Process of Multimodal and Natural Automotive User Interfaces

Nowadays, driving a car places multi-faceted demands on the driver that go beyond maneuvering a vehicle through road traffic. The number of additional functions for entertainment, infotainment and comfort increased rapidly in the last years. Each new function in the car is designed to make driving as pleasant as possible but also increases the risk that the driver will be distracted from the primary driving task. One of the most important goals for designers of new and innovative automotive user interfaces is therefore to keep driver distraction to a minimum while providing an appropriate support to the driver. This goal can be achieved by providing tools and methods that support a human-centred development process. In this dissertation, a design space will be presented that helps to analyze the use of context, to generate new ideas for automotive user interfaces and to document them. Furthermore, new opportunities for rapid prototyping will be introduced. To be able to evaluate new automotive user interfaces and interaction concepts regarding their effect on driving performance, a driving simulation software was developed within the scope of this dissertation. In addition, research results in the field of multimodal, implicit and eye-based interaction in the car are presented. The different case studies mentioned illustrate the systematic and comprehensive research on the opportunities of these kinds of interaction, as well as their effects on driving performance. We developed a prototype of a vibration steering wheel that communicates navigation instructions. Another prototype of a steering wheel has a display integrated in the middle and enables handwriting input. A further case study explores a visual placeholder concept to assist drivers when using in-car displays while driving. When a driver looks at a display and then at the street, the last gaze position on the display is highlighted to assist the driver when he switches his attention back to the display. This speeds up the process of resuming an interrupted task. In another case study, we compared gaze-based interaction with touch and speech input. In the last case study, a driver-passenger video link system is introduced that enables the driver to have eye contact with the passenger without turning his head. On the whole, this dissertation shows that by using a new human-centred development process, modern interaction concepts can be developed in a meaningful way.Das Führen eines Fahrzeuges stellt heute vielfältige Ansprüche an den Fahrer, die über das reine Manövrieren im Straßenverkehr hinausgehen. Die Fülle an Zusatzfunktionen zur Unterhaltung, Navigation- und Komfortzwecken, die während der Fahrt genutzt werden können, ist in den letzten Jahren stark angestiegen. Einerseits dient jede neu hinzukommende Funktion im Fahrzeug dazu, das Fahren so angenehm wie möglich zu gestalten, birgt aber anderseits auch immer das Risiko, den Fahrer von seiner primären Fahraufgabe abzulenken. Eines der wichtigsten Ziele für Entwickler von neuen und innovativen Benutzungsschnittstellen im Fahrzeug ist es, die Fahrerablenkung so gering wie möglich zu halten und dabei dem Fahrer eine angemessene Unterstützung zu bieten. Werkzeuge und Methoden, die einen benutzerzentrierten Entwicklungsprozess unter-stützen, können helfen dieses Ziel zu erreichen. In dieser Dissertation wird ein Entwurfsraum vorgestellt, welcher helfen soll den Benutzungskontext zu analysieren, neue Ideen für Benutzungsschnittstellen zu generieren und diese zu dokumentieren. Darüber hinaus wurden im Rahmen der Arbeit neue Möglichkeiten zur schnellen Prototypenerstellung entwickelt. Es wurde ebenfalls eine Fahrsimulationssoftware erstellt, welche die quantitative Bewertung der Auswirkungen von Benutzungs-schnittstellen und Interaktionskonzepten auf die Fahreraufgabe ermöglicht. Desweiteren stellt diese Dissertation neue Forschungsergebnisse auf den Gebieten der multimodalen, impliziten und blickbasierten Interaktion im Fahrzeug vor. In verschiedenen Fallbeispielen wurden die Möglichkeiten dieser Interaktionsformen sowie deren Auswirkung auf die Fahrerablenkung umfassend und systematisch untersucht. Es wurde ein Prototyp eines Vibrationslenkrads erstellt, womit Navigations-information übermittelt werden können sowie ein weiterer Prototyp eines Lenkrads, welches ein Display in der Mitte integriert hat und damit handschriftliche Texteingabe ermöglicht. Ein visuelles Platzhalterkonzept ist im Fokus eines weiteren Fallbeispiels. Auf einem Fahrzeugdisplay wird die letzte Blickposition bevor der Fahrer seine Aufmerksamkeit dem Straßenverkehr zuwendet visuell hervorgehoben. Dies ermöglicht dem Fahrer eine unterbrochene Aufgabe z.B. das Durchsuchen einer Liste von Musik-titel schneller wieder aufzunehmen, wenn er seine Aufmerksamkeit wieder dem Display zuwendet. In einer weiteren Studie wurde blickbasierte Interaktion mit Sprach- und Berührungseingabe verglichen und das letzte Fallbeispiel beschäftigt sich mit der Unterstützung der Kommunikation im Fahrzeug durch die Bereitstellung eines Videosystems, welches Blickkontakt zwischen dem Fahrer und den Mitfahrern ermöglicht, ohne dass der Fahrer seinen Kopf drehen muss. Die Arbeit zeigt insgesamt, dass durch den Einsatz eines neuen benutzerzentrierten Entwicklungsprozess moderne Interaktionskonzept sinnvoll entwickelt werden können

Détection de fautes pour les capteurs embarqués de véhicules intelligents basée sur la redondance analytique utilisant une transformation non linéaire

La sécurité des systèmes de transports intelligents est au centre de tous les débats. Afin de s’assurer un fonctionnement sécuritaire, il est nécessaire de pouvoir vérifier le bon fonctionnement des capteurs permettant d’avoir une parfaite connaissance de l’environnement et de l’état du véhicule. Cette thèse présente une nouvelle solution de détection et d’identification de faute pouvant apparaitre sur les capteurs embarqués d’un véhicule intelligent. Cette méthode est basée sur la redondance analytique des données, consistant à estimer une même mesure à l’aide de capteurs de différentes natures. Cette mesure subit alors une transformation non linéaire permettant à la fois d’accroitre la sensibilité aux fautes et d’être plus robuste aux bruits. Cette étude propose plusieurs solutions de transformation et d’estimation qui seront évaluées en simulation avant de proposer une méthode d’optimisation de la prise de décision en fonction de critères choisis par l’utilisateur. La description de l’architecture, des méthodes employées ainsi que des équations permettant l’établissement de celle-ci seront décrites dans le chapitre 3. L’évaluation en simulation des performances de l’architecture sera effectuée dans le chapitre 4 avant une analyse finale des résultats ainsi qu’une comparaison avec une solution existante dans le dernier chapitre, permettant la validation de notre approche