5 research outputs found

    An affective computing and image retrieval approach to support diversified and emotion-aware reminiscence therapy sessions

    Get PDF
    A demĂȘncia Ă© uma das principais causas de dependĂȘncia e incapacidade entre as pessoas idosas em todo o mundo. A terapia de reminiscĂȘncia Ă© uma terapia nĂŁo farmacolĂłgica comummente utilizada nos cuidados com demĂȘncia devido ao seu valor terapĂȘutico para as pessoas com demĂȘncia. Esta terapia Ă© Ăștil para criar uma comunicação envolvente entre pessoas com demĂȘncia e o resto do mundo, utilizando as capacidades preservadas da memĂłria a longo prazo, em vez de enfatizar as limitaçÔes existentes por forma a aliviar a experiĂȘncia de fracasso e isolamento social. As soluçÔes tecnolĂłgicas de assistĂȘncia existentes melhoram a terapia de reminiscĂȘncia ao proporcionar uma experiĂȘncia mais envolvente para todos os participantes (pessoas com demĂȘncia, familiares e clĂ­nicos), mas nĂŁo estĂŁo livres de lacunas: a) os dados multimĂ©dia utilizados permanecem inalterados ao longo das sessĂ”es, e hĂĄ uma falta de personalização para cada pessoa com demĂȘncia; b) nĂŁo tĂȘm em conta as emoçÔes transmitidas pelos dados multimĂ©dia utilizados nem as reacçÔes emocionais da pessoa com demĂȘncia aos dados multimĂ©dia apresentados; c) a perspectiva dos cuidadores ainda nĂŁo foi totalmente tida em consideração. Para superar estes desafios, seguimos uma abordagem de concepção centrada no utilizador atravĂ©s de inquĂ©ritos mundiais, entrevistas de seguimento, e grupos de discussĂŁo com cuidadores formais e informais para informar a concepção de soluçÔes tecnolĂłgicas no Ăąmbito dos cuidados de demĂȘncia. Para cumprir com os requisitos identificados, propomos novos mĂ©todos que facilitam a inclusĂŁo de emoçÔes no loop durante a terapia de reminiscĂȘncia para personalizar e diversificar o conteĂșdo das sessĂ”es ao longo do tempo. As contribuiçÔes desta tese incluem: a) um conjunto de requisitos funcionais validados recolhidos com os cuidadores formais e informais, os resultados esperados com o cumprimento de cada requisito, e um modelo de arquitectura para o desenvolvimento de soluçÔes tecnolĂłgicas de assistĂȘncia para cuidados de demĂȘncia; b) uma abordagem end-to-end para identificar automaticamente mĂșltiplas informaçÔes emocionais transmitidas por imagens; c) uma abordagem para reduzir a quantidade de imagens que precisam ser anotadas pelas pessoas sem comprometer o desempenho dos modelos de reconhecimento; d) uma tĂ©cnica de fusĂŁo tardia interpretĂĄvel que combina dinamicamente mĂșltiplos sistemas de recuperação de imagens com base em conteĂșdo para procurar eficazmente por imagens semelhantes para diversificar e personalizar o conjunto de imagens disponĂ­veis para serem utilizadas nas sessĂ”es.Dementia is one of the major causes of dependency and disability among elderly subjects worldwide. Reminiscence therapy is an inexpensive non-pharmacological therapy commonly used within dementia care due to its therapeutic value for people with dementia. This therapy is useful to create engaging communication between people with dementia and the rest of the world by using the preserved abilities of long-term memory rather than emphasizing the existing impairments to alleviate the experience of failure and social isolation. Current assistive technological solutions improve reminiscence therapy by providing a more lively and engaging experience to all participants (people with dementia, family members, and clinicians), but they are not free of drawbacks: a) the multimedia data used remains unchanged throughout sessions, and there is a lack of customization for each person with dementia; b) they do not take into account the emotions conveyed by the multimedia data used nor the person with dementia’s emotional reactions to the multimedia presented; c) the caregivers’ perspective have not been fully taken into account yet. To overcome these challenges, we followed a usercentered design approach through worldwide surveys, follow-up interviews, and focus groups with formal and informal caregivers to inform the design of technological solutions within dementia care. To fulfil the requirements identified, we propose novel methods that facilitate the inclusion of emotions in the loop during reminiscence therapy to personalize and diversify the content of the sessions over time. Contributions from this thesis include: a) a set of validated functional requirements gathered from formal and informal caregivers, the expected outcomes with the fulfillment of each requirement, and an architecture’s template for the development of assistive technology solutions for dementia care; b) an end-to-end approach to automatically identify multiple emotional information conveyed by images; c) an approach to reduce the amount of images that need to be annotated by humans without compromising the recognition models’ performance; d) an interpretable late-fusion technique that dynamically combines multiple content-based image retrieval systems to effectively search for similar images to diversify and personalize the pool of images available to be used in sessions
    corecore