Temporal Integration in the perception of biological motion

Tese de doutoramento em Psicologia (área de especilização em Psicologia Experimental e Ciências Cognitivas)The visual perception of motion is crucial to human survival. The information provided by objects in motion and by our own movements allows for an effective adaptation to the environment, especially in the interaction with others. The perception of humans in motion is so critical that our capacity to perceive it appears to be innate (Fox & McDaniel, 1982; Pavlova et al., 2003). The studies on biological motion met a great development in the last forty years, enhanced by the work of Johansson (1973), who developed a paradigm characterized by the use of impoverished visual stimuli - point-light walkers. The research with point-light walkers showed that we can extract relevant information from human motion, allowing for instance the distinction between different kinds of actions (Dittrich, 1993; Mather & Murdoch, 1994). Several authors have shown that we can not only differentiate actions, but also perceive social information, such as gender (Barclay, Cutting, & Kozlowski, 1978), identity (Cutting & Kozlowski, 1977), emotions (Dittrich et al. 1996), or deception and vulnerability (Runeson & Frykholm, 1983). Although many of the spatial characteristics of biological motion perception are sufficiently studied, their temporal characteristics are not (Giese & Poggio, 2000; Thornton, Pinto, & Shiffrar, 1998), even in the neuroimaging field. Nevertheless, numerous studies have shown that the perception of biological motion takes longer than the perception of motion of rigid objects (Giese & Lappe, 2002). The evidence shows that an object in motion can be perceived 2000 ms faster than biological motion (Neri, Morrone & Burr, 1998). These results seem to be in contradiction with the biological motion’s survival value. In spite of this, the larger temporal summation found in the perception of biological motion stimuli remains unexplained. Our main goal was to investigate why large temporal summation is required in the perception of biological motion. We hypothesized that the kinematic properties of biological motion carry out relevant information and that this information is provided by the motion signal’s spatiotemporal characteristics. To demonstrate our hypothesis, we developed a set of experiments that investigated the perception of temporal properties of biological stimuli. Firstly, we needed to ensure that the biological motion stimuli contained the real properties of human motion. For that, we captured subjects’ free gait and constructed biological stimuli that preserved their kinematic properties. We developed a new methodology that describes the procedures to capture the natural human motion and the techniques to transpose those properties into biological stimuli, without neglecting its kinematics. The result was an acquisition protocol of human motion and the correct procedures to construct and manipulate the biological motion stimuli. In a second moment we investigated if the large temporal summation in the perception of biological motion could be better explained by the insufficient temporal sampling used in visual perception experiments. In a first experiment participants were asked to identify the motion stimuli’s direction, and in the second experiment they were asked to choose the most natural of two stimuli. In both experiments the same stimuli were displayed at different frame rates. The results showed that the stimuli’s temporal sampling does not explain the large temporal summation, but provided some evidence that the temporal properties of motion signals could be involved in visual perception. Thus, we investigated the temporal characteristics of biological motion in two experiments where we manipulated the velocity and acceleration patterns of biological motion, maintaining the spatial component intact. In both experiments participants were asked to choose the most natural of two stimuli, representing either both feet or only one foot of a walker. The results showed that the visual system is highly sensitive to small variations in velocity and acceleration patterns, demonstrating that the temporal characteristics of the motion signal had affected the subjects’ performance. Using the same kind of stimuli and the same methodology, the neuroimaging experiment corroborated the psychophysical results. The results showed the brain areas involved in biological motion perception, but also the areas involved in the processing of motion signal properties. In a last experiment we studied our hypothesis in a perception-action paradigm, trying to extend the evidence collected in the psychophysical experiments. We captured participants’ arm movements, manipulating their temporal but not their spatial properties, as we proposed in the previous experiments. Participants were asked to perform a specific arm movement while simultaneously visually tracking the stimuli previously captured and manipulated. The results showed that temporal properties of biological motion affect not only perception but also action. The interference on the motor response reflected the congruency of the movements of the stimuli and the movements executed by the participants, demonstrating that temporal properties can have a different impact on the participants’ action. Our findings indicate that the visual system is highly sensitive to small changes in physical motion properties, demonstrating that temporal characteristics affect human perception and action. We discuss the importance of signal properties to visual perception and suggest new experiments to support our data, proposing in the end a new approach about signal processing in the perception of biological motion.A percepção visual do movimento é crucial para a nossa sobrevivência. A informação fornecida por objectos em movimento e pelos nossos próprios movimentos permite uma adaptação eficaz ao meio ambiente, especialmente na interacção com outras pessoas. A percepção de seres humanos em movimento é tão importante que a nossa capacidade de percebê-lo parece ser inata (Fox & McDaniel, 1982; Pavlova et al, 2003). Os estudos sobre movimento biológico tiveram um grande desenvolvimento nos últimos quarenta anos, depois de Johansson (1973) ter desenvolvido uma metodologia de estudo que se baseava na utilização de estímulos visuais empobrecidos – point-light walkers. A investigação com point-light walkers mostrou que podemos apreender informações relevantes do movimento humano, permitindo por exemplo a distinção entre diferentes tipos de acções (Dittrich, 1993; Mather & Murdoch, 1994). Vários autores têm mostrado que não só podemos diferenciar acções, mas igualmente perceber informações sociais, como género (Barclay, corte, & Kozlowski, 1978), identidade (Cutting & Kozlowski, 1977), emoções (Dittrich et al. De 1996), ou farsa e vulnerabilidade (Runeson & Frykholm, 1983). Embora muitas das características espaciais da percepção do movimento biológico estejam suficientemente estudadas, as suas características temporais não estão (Giese & Poggio, 2000; Thornton, Pinto & Shiffrar, 1998), mesmo no campo de neuroimagem. Efectivamente, numerosos estudos têm mostrado que o tempo necessário para a percepção de movimento biológico é maior do que o tempo necessário para a percepção do movimento de objectos rígidos (Giese e Lappe, 2002). As evidências mostram que um objecto em movimento pode ser percebido 2000 ms mais rápido do que o movimento biológico (Neri, Morrone & Burr, 1998). Estes resultados parecem estar em contradição com o valor de sobrevivência da percepção do movimento biológico. Apesar disso, o maior tempo necessário para perceber movimento biológico permanece por explicar. O principal objectivo deste trabalho foi perceber porque são mais longos os tempos de percepção para o movimento biológico. A nossa hipótese é que as propriedades cinemáticas do movimento biológico transportam informação relevante e que essa informação é transmitida pelas características espácio-temporais do movimento. Para demonstrar esta hipótese, foi desenvolvido um conjunto de experiências que procuraram estudar a percepção de propriedades temporais dos estímulos biológicos. Em primeiro lugar, foi necessário assegurar que os estímulos de movimento biológico respeitavam as propriedades reais do movimento humano. Para isso, capturámos o movimento de pessoas em marcha livre e construímos estímulos biológicos que preservassem as suas propriedades cinemáticas. Desenvolvemos uma nova metodologia que descreve os procedimentos para capturar o movimento natural do ser humano e as técnicas para transpor essas propriedades para estímulos biológicos, sem descurar a sua cinemática. O resultado foi um protocolo de aquisição do movimento humano e os procedimentos correctos para construir e manipular os estímulos de movimento biológico. Num segundo momento investigámos se o maior tempo de percepção do movimento biológico poderia ser melhor explicado pela insuficiente amostragem temporal dos estímulos utilizados nas experiências de percepção visual. Numa primeira experiência solicitámos aos participantes que identificassem a direcção do movimento dos estímulos, pedindo numa segunda experiência que eles escolhessem o mais natural de dois estímulos. Em ambas as experiências foram apresentados os mesmos estímulos, a diferentes taxas de amostragem. Os resultados mostraram que a amostragem temporal não explica os maiores tempos de percepção encontrados para o movimento biológico, mas forneceram algumas evidências de como as propriedades temporais do sinal de movimento poderiam estar implicadas na percepção visual. Assim, investigámos as características temporais do movimento biológico em duas experiências onde manipulámos os padrões de velocidade e aceleração do movimento, preservando intacta a sua componente espacial. Em ambas as experiências foi pedido aos participantes para escolherem o mais natural de dois estímulos, representando os pés ou o pé de uma pessoa a caminhar. Os resultados mostraram que o sistema visual é bastante sensível a pequenas variações dos padrões de velocidade e aceleração, demonstrando que as características temporais do sinal de movimento afectaram o desempenho dos sujeitos. Utilizando o mesmo tipo de estímulos e a mesma metodologia, a experiência de neuroimagem corroborou os resultados psicofísicos. Os resultados mostraram as áreas cerebrais envolvidas na percepção do movimento biológico, mas também as áreas envolvidas no processamento das propriedades do sinal de movimento. Numa última experiência analisámos a nossa hipótese num paradigma de percepção-acção, tentando acrescentar evidências às encontradas nas experiências psicofísicas. Capturámos movimentos de braço dos participantes e manipulámos as suas propriedades temporais, mas não as espaciais, como tínhamos proposto para as experiências anteriores. Aos participantes foi pedido que executassem um movimento específico com o braço, enquanto faziam simultaneamente o seguimento visual dos estímulos capturados e manipulados previamente. Os resultados mostraram que as propriedades temporais do movimento biológico influenciam não só a percepção, mas também a acção. A interferência na resposta motora reflectiu a coerência entre o movimento dos estímulos e o movimento executado pelos participantes, demonstrando que as propriedades temporais podem ter um impacto diferente sobre a sua acção. Os resultados indicam que o sistema visual é altamente sensível a pequenas alterações nas propriedades físicas do movimento, demonstrando que as características temporais afectam a percepção e acção humanas. Discutimos a importância das propriedades do sinal na percepção visual e sugerimos novas experiências que reforcem os nossos dados, propondo no final uma nova abordagem sobre o processamento de sinal na percepção de movimento biológico