Adaptation to motor-visual and motor-auditory temporal lags transfer across modalities

Previous research has shown that the timing of a sensor-motor event is recalibrated after a brief exposure to a delayed feedback of a voluntary action (Stetson et al. 2006). Here, we examined whether it is the sensory or motor event that is shifted in time. We compared lag adaption for action-feedback in visuo-motor pairs and audio-motor pairs using an adaptation-test paradigm. Participants were exposed to a constant lag (50 or 150 ms) between their voluntary action (finger tap) and its sensory feedback (flash or tone pip) during an adaptation period (~3 min). Immediately after that, they performed a temporal order judgment (TOJ) task about the tap-feedback test stimulus pairings. The modality of the feedback stimulus was either the same as the adapted one (within-modal) or different (cross-modal). The results showed that the point of subjective simultaneity (PSS) was uniformly shifted in the direction of the exposed lag within and across modalities (motor-visual, motor-auditory). This suggests that the TRE of sensor-motor events is mainly caused by a shift in the motor component

The Build-Up Course of Visuo-Motor and Audio-Motor Temporal Recalibration

The sensorimotor timing is recalibrated after a brief exposure to a delayed feedback of voluntary actions (temporal recalibration effect: TRE) (Heron et al., 2009; Stetson et al., 2006; Sugano et al., 2010). We introduce a new paradigm, namely ‘synchronous tapping’ (ST) which allows us to investigate how the TRE builds up during adaptation. In each experimental trial, participants were repeatedly exposed to a constant lag (∼150 ms) between their voluntary action (pressing a mouse) and a feedback stimulus (a visual flash / an auditory click) 10 times. Immediately after that, they performed a ST task with the same stimulus as a pace signal (7 flashes / clicks). A subjective ‘no-delay condition’ (∼50 ms) served as control. The TRE manifested itself as a change in the tap-stimulus asynchrony that compensated the exposed lag (eg, after lag adaptation, the tap preceded the stimulus more than in control) and built up quickly (∼3–6 trials, ∼23–45 sec) in both the visuo- and audio-motor domain. The audio-motor TRE was bigger and built-up faster than the visuo-motor one. To conclude, the TRE is comparable between visuo- and audio-motor domain, though they are slightly different in size and build-up rate

音と映像の時間的な関係が両者の主観的な調和感と注意に及ぼす影響に関する認知心理学的研究

第1章 序論 第2章 音楽と映像の調和の判断基準の検討 第3章 視聴覚素材の同期が視聴覚素材の主観的調和感に及ばす効果 第4章 複雑な時間的構造を持つ視聴覚素材の印象評価実験 第5章 視聴覚情報の時間的同期が注意に及ぼす影響 第6章 本論文のまとめMade available in DSpace on 2012-09-05T00:55:28Z (GMT). No. of bitstreams: 3 sugano1.pdf: 14800060 bytes, checksum: 9c570cb6b3721ddf2c138ef852cdbf42 (MD5) sugano2.pdf: 12738993 bytes, checksum: 11dd7eca86df7f3ee2b70e254b38f62f (MD5) sugano3.pdf: 14075744 bytes, checksum: c0ec060a749c55fac2d9194920bdc75c (MD5) Previous issue date: 2001-03-1

音と映像の時間的な関係が両者の主観的な調和感と注意に及ぼす影響に関する認知心理学的研究

本論文では、音と映像が同時に呈示された場合の両者の時間構造の心内での統合過程について認知心理学的な観点から考察することを目的とした。まず、序章では映像作品における音と映像の相互作用、視覚と聴覚の相互作用についての基礎的な研究、視覚と聴覚の間のクロスモーダルな注意などの問題についてこれまでに行なわれてきた研究を概観し、本論文の問題設定と研究の背景について整理した。そして、音と映像の特徴が時間的な変化にあること、さらに時間的・構造的な側面での音と映像の統合について検討した研究が少ないということを指摘した。 / 　次いで、音と映像の時間構造の統合過程について検討するために行なった4つの実験について報告した。まず、音と映像の心内での統合の強さは両者の主観的な調和感に反映されると考えられることから、音と映像の主観的な調和感に影響を及ぼす時間的・構造的な要因の影響について実験的に検討した。 / 　第2章では、音楽と映像の調和に影響を及ぼす要因を調べるため、音楽と調和するように動画像の速さを調整させる実験を行った。実験の結果、映像と音楽の構造的な違和感に影響を及ぼす要因として映像の動きと音楽のリズムの同期という要因(同期要因)と映像の動きの速さと音楽のテンポのマッチング(速度対応要因)とがあることが示唆された。さらに調和判断において音楽のリズムと映像の動きが異なった役割を持っていることも示唆された。 / 　第3章では、第2章で明らかにされた音楽と映像の調和に影響を及ぼす諸要因(同期要因、速度対応要因)が実際に音楽と映像の主観的な調和感に影響を及ぼしているのかを確認するために印象評定実験を行なった。実験の結果、同期要因と速度対応要因とが主観的な調和感に対して影響を及ぼしているということが確認された。さらに、調和判断の困難さに対しては音楽の拍節構造の明確さの影響が認められ、音楽の明確な拍節的アクセントが視聴覚素材全体の構造的なまとまりを把握しやすくさせることも示唆された。 / 　第4章では、第2章と第3章の実験で示された同期要因と速度対応要因とが映像と音楽の主観的な調和感と情緒的な印象に及ぼす影響について、それぞれの効果の大きさと両者の独立性に焦点を当てて印象評定実験によって検討した。実験の結果から、映像と音楽の主観的な調和感に対する同期要因の効果は速度対応要因の効果よりも大きいこと、またこの2つの要因は調和感に対して独立した効果を及ぼすことが示された。さらに、同期要因は視聴覚素材の複雑感や迫力感にも影響を及ぼすのに対し、速度対応要因はそうではなかった。つまり、同期要因の効果と速度対応要因の効果とは質的に大きく異なっていた。このことから、同期要因と速度対応要因とが異なった心的過程を通して生じていることが示唆された。さらに、視聴覚素材の迫力感と軽快感に対しては、映像の動きの速さと音楽のテンポとが独立に、また加算的に影響を及ぼすということも示された。 / 　第2章から第4章までの実験からは、音と映像の時間的同期が両者の主観的調和感に非常に大きな影響を及ぼす要因であることが示された。 / 　音と映像の時間構造の統合には音と映像に対してどのように注意を向けるかという注意のメカニズムが大きく関与していると考えられる。そこで第5章では、音と映像の主観的な調和感に大きな影響を及ぼしていた同期要因に焦点を当て、音と映像の時問的な同期、時間的なずれによって映像に対する注意(視覚的注意)と音に対する注意(聴覚的注意)とがどのような影響を受けるかについて単純反応課題の実験パラダイムによって検討を加えた。実験の結果、視聴覚刺激の時間的なずれが視覚的注意および聴覚的注意に及ぼす影響は視覚と聴覚の間で非対称的であることが示された。視覚的注意は視聴覚刺激の時間的なずれに影響をほとんど受けない一方、聴覚的注意は視聴覚刺激の時間的なずれによって抑制されることが示された。そして、聴覚的な注意に対する視聴覚刺激の時間ずれの効果は能動的な注意を必要としない前注意的な過程を通して生じていることが示唆された。さらに、視覚的注意は同時に呈示された聴覚刺激からの干渉を受ける一方、聴覚的注意は同時に呈示された視覚刺激による干渉を受けないことも示された。これらの非対称性を説明する仮説として、視聴覚刺激の時問構造の統合に関する聴覚的捕獲のメカニズムを提案した。 / 　そして、これらの実験結果をまとめ、視聴覚素材の調和感と情緒的印象に映像と音楽の構造的要素がどのような影響を及ぼしているかについてのモデル化と、視聴覚情報時間的なずれが注意に及ぼす影響についてのモデル化を行なった。さらに、これら2つのモデルの関連性について論じ、視聴覚情報の時間構造の統合過程について考察した。第1章 序論 第2章 音楽と映像の調和の判断基準の検討 第3章 視聴覚素材の同期が視聴覚素材の主観的調和感に及ばす効果 第4章 複雑な時間的構造を持つ視聴覚素材の印象評価実験 第5章 視聴覚情報の時間的同期が注意に及ぼす影響 第6章 本論文のまと

Experimental procedure for one block.

<p>Participants first experienced a long exposure phase (~1 min) in which they made 80 voluntary taps while receiving auditory or visual feedback (a pip or a flash) at delay of either 50 ms or 150 ms. Immediately after that, they received 15 test trials that each consisted of a short top-up exposure phase (7 voluntary taps with the same feedback as in the long exposure phase), a reaction time (RT) task in which they reacted as fast as possible to 3 pips or flashes, and a sensorimotor synchronization (SMS) task in which they tried to tap in synchrony with the last 7-out-of-9 pips or flashes. During the long exposure and the short top-up, participants counted the number of deviants (i.e., a red flash or a high-pitched tone) to ensure that they properly attend to the stimuli. At the end of the long exposure or the top-up, they reported the number of deviants.</p

Predictions about changes in mean asynchrony and reaction time (RT).

<p>The model is adapted from Aschersleben and Prinz [<a href="http://www.plosone.org/article/info:doi/10.1371/journal.pone.0189242#pone.0189242.ref021" target="_blank">21</a>] with some modification. Each horizontal line represents a timeline for sensory timing, brain timing, and motor timing. Thin lines with an arrow that connects the three timelines represents a processing course between them. Distances among three timelines reflect processing latency. <b>(A)</b> Mean asynchrony (upper panel) and RT (lower panel) before exposure. <b>(B)</b> Exposure to delayed feedback during voluntary tapping. <b>(C, D)</b> Mean asynchrony and RT after exposure to delayed feedback: The perceived asynchrony might be reduced by a shift in the motor component <b>(C)</b> or the sensory component <b>(D)</b>. <b>(E)</b> Predictions about mean asynchrony and mean RT after exposure to synchronous or delayed feedback. Values in the figure are examples of real values to illustrate the direction of a shift.</p

Mean asynchrony and simple RT in milliseconds for each experimental condition.

<p>Mean asynchrony and simple RT in milliseconds for each experimental condition.</p

Mean within-trial standard deviation (WSD) of asynchrony and mean quartile deviation (QD) of simple reaction time (RT) in milliseconds for each experimental condition.

<p>Mean within-trial standard deviation (WSD) of asynchrony and mean quartile deviation (QD) of simple reaction time (RT) in milliseconds for each experimental condition.</p