The impact of visual cues on haptic compliance discrimination using a pseudo-haptic robotic system

A psychophysical magnitude estimation experiment was set up to determine the extent of the contribution of visual feedback during haptic compliance discrimination. Subjects remotely palpated physical compliant samples using a novel pseudo-haptic feedback system which allowed for independent manipulation of visual and haptic feedback. Subjects were asked to rate the compliance of a test sample based on that of a reference sample. While visual feedback was modified by switching the physical test samples shown to participants during indentation, haptic compliance of the test samples was always identical to that of the reference sample. Any variations in haptic sensation was a result of pseudo-haptic illusions. Ratings were collated and fitted to Steven's power law as well as Weber's law. A 0.18 power exponent suggests that the system was successful in generating viscoelastic properties through variations in visual information only. A 19.6% visual change from the reference compliance was necessary in order to perceive a change in haptic compliance using the pseudo-haptic system. These findings could prove beneficial in research and educationalfacilities where advanced force feedback devices are limited or inaccessible, where the concept of pseudo-haptics could be used to simulate various mechanical properties of virtual tissue for training purposes without the needfor complicated or costly force feedback

Erg-O: Ergonomic Optimization of Immersive Virtual Environments

Interaction in VR involves large body movements, easily inducing fatigue and discomfort. We propose Erg-O, a manipulation technique that leverages visual dominance to maintain the visual location of the elements in VR, while making them accessible from more comfortable locations. Our solution works in an open-ended fashion (no prior knowledge of the object the user wants to touch), can be used with multiple objects, and still allows interaction with any other point within user's reach. We use optimization approaches to compute the best physical location to interact with each visual element, and space partitioning techniques to distort the visual and physical spaces based on those mappings and allow multi-object retargeting. In this paper we describe the Erg-O technique, propose two retargeting strategies and report the results from a user study on 3D selection under different conditions, elaborating on their potential and application to specific usage scenarios

Erg-O: ergonomic optimization of immersive virtual environments

Interaction in VR involves large body movements, easily inducing fatigue and discomfort. We propose Erg-O, a manipulation technique that leverages visual dominance to maintain the visual location of the elements in VR, while making them accessible from more comfortable locations. Our solution works in an open-ended fashion (no prior knowledge of the object the user wants to touch), can be used with multiple objects, and still allows interaction with any other point within user's reach. We use optimization approaches to compute the best physical location to interact with each visual element, and space partitioning techniques to distort the visual and physical spaces based on those mappings and allow multi-object retargeting. In this paper we describe the Erg-O technique, propose two retargeting strategies and report the results from a user study on 3D selection under different conditions, elaborating on their potential and application to specific usage scenarios

Move or Push? Studying Pseudo-Haptic Perceptions Obtained with Motion or Force Input

Pseudo-haptics techniques are interesting alternatives for generating haptic perceptions, which entails the manipulation of haptic perception through the appropriate alteration of primarily visual feedback in response to body movements. However, the use of pseudo-haptics techniques with a motion-input system can sometimes be limited. This paper investigates a novel approach for extending the potential of pseudo-haptics techniques in virtual reality (VR). The proposed approach utilizes a reaction force from force-input as a substitution of haptic cue for the pseudo-haptic perception. The paper introduced a manipulation method in which the vertical acceleration of the virtual hand is controlled by the extent of push-in of a force sensor. Such a force-input manipulation of a virtual body can not only present pseudo-haptics with less physical spaces and be used by more various users including physically handicapped people, but also can present the reaction force proportional to the user's input to the user. We hypothesized that such a haptic force cue would contribute to the pseudo-haptic perception. Therefore, the paper endeavors to investigate the force-input pseudo-haptic perception in a comparison with the motion-input pseudo-haptics. The paper compared force-input and motion-input manipulation in a point of achievable range and resolution of pseudo-haptic weight. The experimental results suggest that the force-input manipulation successfully extends the range of perceptible pseudo-weight by 80\% in comparison to the motion-input manipulation. On the other hand, it is revealed that the motion-input manipulation has 1 step larger number of distinguishable weight levels and is easier to operate than the force-input manipulation.Comment: This paper is now under review for IEEE Transactions on Visualization and Computer Graphic

錯触覚による硬軟感提示における視覚刺激の検討

人間にとって触覚は非常に重要な感覚である．現実世界において，人間は周囲に存在する物体の特性を知るために手を用いて対象物体を掴み，物体の材質や形状，硬さや重さなどを触覚として知覚する．このような触覚情報をバーチャルな環境とのインタラクションに用いるため，様々な触力覚ディスプレイが研究・開発されている．触力覚ディスプレイは接地型と非接地型に大別でき，PHANToMやSPIDARなどのデバイスが開発されているが，これらの多くは力の正確な再現を動作原理としており，精度や分解能を向上させるためにはワイヤなどによって構成される機構が複雑になるというトレードオフの関係にある．そのため，手術シミュレータやロボットの遠隔操作など限られた用途への応用にとどまっている．　これに対し本研究では錯触覚を利用することで，ユーザに触力覚提示を行う手法に着目した．錯触覚による触感覚は，力の再現をコンセプトとしたデバイスに比べて微弱なものしか発生させることができないという欠点はあるが，デバイス構成が簡素になるという利点もある．錯触覚の中でも，視覚刺激によって触覚的な知覚が生起される現象を視覚誘導性錯触覚と呼ぶ．これは，ユーザの動作に対して適切にコントロールされた視覚刺激を提示することにより，錯触覚を生起させるものである．木村はこの手法を用いた非接地型の錯触覚提示システムとして，把持動作を利用した硬軟感提示手法を提案した．これは小型ディスプレイの側面に圧力センサを設置し，手中のディスプレイ上に握力に応じた視覚刺激を提示することで，ユーザに硬軟を知覚させるものである．本論文では，木村が開発したハンドヘルド型錯触覚提示システムにおける視覚刺激と現実世界との差分に着目し，(1)矩形に対して力を及ぼしている要素(2)矩形の変形形状の2点について新たな視覚刺激を作成し，検証実験を通して硬軟感知覚への影響を評価する．電気通信大学201

Computational interaction techniques for 3D selection, manipulation and navigation in immersive VR

3D interaction provides a natural interplay for HCI. Many techniques involving diverse sets of hardware and software components have been proposed, which has generated an explosion of Interaction Techniques (ITes), Interactive Tasks (ITas) and input devices, increasing thus the heterogeneity of tools in 3D User Interfaces (3DUIs). Moreover, most of those techniques are based on general formulations that fail in fully exploiting human capabilities for interaction. This is because while 3D interaction enables naturalness, it also produces complexity and limitations when using 3DUIs. In this thesis, we aim to generate approaches that better exploit the high potential human capabilities for interaction by combining human factors, mathematical formalizations and computational methods. Our approach is focussed on the exploration of the close coupling between specific ITes and ITas while addressing common issues of 3D interactions. We specifically focused on the stages of interaction within Basic Interaction Tasks (BITas) i.e., data input, manipulation, navigation and selection. Common limitations of these tasks are: (1) the complexity of mapping generation for input devices, (2) fatigue in mid-air object manipulation, (3) space constraints in VR navigation; and (4) low accuracy in 3D mid-air selection. Along with two chapters of introduction and background, this thesis presents five main works. Chapter 3 focusses on the design of mid-air gesture mappings based on human tacit knowledge. Chapter 4 presents a solution to address user fatigue in mid-air object manipulation. Chapter 5 is focused on addressing space limitations in VR navigation. Chapter 6 describes an analysis and a correction method to address Drift effects involved in scale-adaptive VR navigation; and Chapter 7 presents a hybrid technique 3D/2D that allows for precise selection of virtual objects in highly dense environments (e.g., point clouds). Finally, we conclude discussing how the contributions obtained from this exploration, provide techniques and guidelines to design more natural 3DUIs

Determining the Contribution of Visual and Haptic Cues during Compliance Discrimination in the Context of Minimally Invasive Surgery

While minimally invasive surgery is replacing open surgery in an increasing number of surgical procedures, it still poses risks such as unintended tissue damage due to reduced visual and haptic feedback. Surgeons assess tissue health by analysing mechanical properties such as compliance. The literature shows that while both types of feedback contribute to the final percept, visual information is dominant during compliance discrimination tasks. The magnitude of that contribution, however, was never quantitatively determined. To determine the effect of the type of visual feedback on compliance discrimination, a psychophysical experiment was set up using different combinations of direct and indirect visual and haptic cues. Results reiterated the significance of visual information and suggested a visio-haptic cross-modal integration. Consequently, to determine which cues contributed most to visual feedback, the impact of force and position on the ability to discriminate compliance using visual information only was assessed. Results showed that isolating force and position cues during indentation enhanced performance. Furthermore, under force and position constraints, visual information was shown to be sufficient to determine the compliance of deformable objects. A pseudo-haptic feedback system was developed to quantitatively determine the contribution of visual feedback during compliance discrimination. A psychophysical experiment showed that the system realistically simulated viscoelastic behaviour of compliant objects. Through a magnitude estimation experiment, the pseudo-haptic system was shown to be successful at generating haptic sensations of compliance during stimuli indentation only by modifying the visual feedback presented to participants. This can be implemented in research and educational facilities where advanced force feedback devices are inaccessible. Moreover, it can be incorporated into virtual reality simulators to enhance force ranges. Future work will assess the value of visual cue augmentation in more complicated surgical tasks

誇張表現に基づいた触覚インタラクションの設計・開発

物体に触れた際の体験を再現する触覚インタラクションの設計・開発はバーチャルリアリティの体験の質を向上する手段として注目されている．一方で，視聴覚と比較して触覚研究の歴史は浅く，質の高い触覚インタラクションの設計・開発は発展途上であるといえる．触覚インタラクションの設計・開発のアプローチに現象を忠実に再現する写実的なアプローチがある．しかし，写実的な触覚インタラクションは現象の再現性は高いものの，現実に起こりうる体験しか表現できない．また，視聴覚と比較して触覚から得られる情報は不明瞭であり，感覚統合において劣位に扱われてしまう．以上から，現象の再現性が必ずしも必要なく，幅広い表現や体験の明瞭さが重要であるエンタテインメント等での触覚インタラクションの応用を考えた際，写実的なアプローチとは別のアプローチが必要であるといえる．これに対し，著者は漫画やアニメーションで用いられる誇張表現の概念を触覚インタラクションの設計・開発に適用することを考えた．漫画やアニメーションでは現実を基に大げさに描くという誇張表現を用いて，視聴者に非現実的ではあるがもっともらしいという印象（本論文では実感性と定義）を与える．本論文は誇張表現の概念を触覚インタラクションの設計・開発に適用することで，再現性は高くないが実感性に優れた触覚インタラクションを設計・開発することを目的とする．これにより，触覚インタラクションの表現の幅の拡張，および分かりやすく実感性のあるも体験の実現を期待する．また，設計・開発した触覚インタラクションを総括することで誇張表現に基づいた触覚インタラクションの実感性を向上させるための要件を明らかにする．本論文では，まず誇張表現の論理構造を見いだし，3つの論理モデルを設定する．次に，3つのモデルを基に8つの触覚インタラクションの設計・開発に関する研究について述べる．各研究では，個別の研究背景および目的について述べ，触覚インタラクションを実装し，目的に則した評価によって個々の有効性を検証する．そして，設計・開発した触覚インタラクションおよびモデルを総括し，実感性を向上させるための要件を明らかにする．本論文は全6章から構成され，内容の要旨は以下のとおりである．第1章では，まず触覚インタラクションが注目されるようになった背景について述べ，写実的アプローチの限界について指摘する．次に，漫画やアニメーションに見られる誇張表現について述べ，本論文の目的として「誇張表現に基づいた触覚インタラクションの設計・開発」および「誇張表現に基づいた触覚インタラクションの実感性を向上するための要件を明らかにすること」を設定する．そして，誇張表現の論理的な分類を行い，触覚インタラクションの設計・開発の指針とするための3つのモデル（代替モデル，変調モデル，重畳モデル）を見いだす．代替モデルでは，感覚Aを別の感覚Bに置換して提示する．変調モデルでは，感覚Aに操作kを加えて変調し提示する．重畳モデルでは，感覚Aに別の感覚Bを提示して重畳する．第2章では，本論文で扱う触覚について定義する．触覚に関する基礎的な生理学的，心理学的知見に関して述べ，次章以降で述べる触覚インタラクションの設計・開発において必要な知見を共有する．第3章では，代替モデルに基づいた2つの触覚インタラクションの設計・開発について述べる．1つ目は肘部の屈伸運動に伴ってロータリスイッチを回した時に生じる周期的な触覚フィードバック（カチカチ感）を提示するカチカチ感提示装置の設計・開発である．本装置によって視覚的運動知覚が困難な状況において触覚的運動知覚を拡張することでユーザの身体姿勢の制御の向上を試みる．2つ目は視覚から材質感を提示する手法VisualVibrationの設計・開発である．本手法では，現実では聴覚・触覚で感じられる高周波数振動を視覚で感じられるように変調して疑似触覚提示を行う．本手法のケーススタディとして物体を叩いた時に生じる振動を取り上げ，視覚的な振動提示による材質感提示を試みる．第4章では，変調モデルに基づいた3つの触覚インタラクションの設計・開発について述べる．1つ目は叩き動作に対して振動提示することでタッチスクリーンが異なる材質になったかのような体験を提供するHaCHIStick&HACHIStackの設計・開発である．本システムは時間応答性に優れており，叩いた瞬間に振動提示が可能である．そのため，ユーザにとっては叩いた対象の材質が変わったように感じられる．2つ目は歯磨き音を変調して提示することで歯磨きの快感および達成感を増強する拡張歯ブラシの設計・開発である．羊皮紙錯覚（手を擦った際に生じる音の高周波成分を強調すると手のひらが乾いた紙のように感じられる）を利用して汚れている，美化されているといった歯の状態を疑似的に再現し，歯磨きの体験を拡張する．3つ目は徳利を傾けた際に内容液の流出によるトクトクという振動（トクトク感）提示の設計・開発である．実際に徳利から液体が流出する際に生じる振動を計測，モデリングし，実際に液体を注ぐことなくトクトク感を再現する．実験的に構築した振動モデルをもとに，粘性感および残量感を再現する．第5章では，重畳モデルに基づいた3つの触覚インタラクションの設計・開発について述べる．1つ目は前章で述べたトクトク感を実際のペットボトルで液体を注ぐ動作に重畳するトクトク感重畳の設計・開発である．トクトク感重畳による注がれる液体の量の錯誤効果を示し，飲食体験の触覚的演出の可能性を示す．2つ目は関節部の屈伸運動に伴って振動を提示することで関節が異なる材質になったかのような体験を提供するJointonationの設計・開発である．本システムによって，サイエンスフィクションに登場するゴム人間やロボットに視聴覚に加え触覚的にも変身したかのような体験を提供する．3つ目はタッチスクリーン上でのユーザの動作に対して引力提示を行う装置VacuumTouchの設計・開発である．本装置は引力提示によってタッチスクリーン上に摩擦感を重畳する．これにより例えばタッチスクリーン上に擬似的な引っかかりをつくりだし，ユーザの操作の補助を行う．第6章では，3つの誇張表現の論理モデルおよび8つの触覚インタラクションに関する研究を総括する．各々の研究を再評価し，課題を整理することで誇張表現に基づいた触覚インタラクションの実感性向上のための要件を明らかにする．そして，本論文の成果を基に誇張表現に基づいた触覚インタラクションの設計・開発に関する研究の今後の展望について論じる．電気通信大学201