Design of Novel Sensors and Instruments for Minimally Invasive Lung Tumour Localization via Palpation

Minimally Invasive Thoracoscopic Surgery (MITS) has become the treatment of choice for lung cancer. However, MITS prevents the surgeons from using manual palpation, thereby often making it challenging to reliably locate the tumours for resection. This thesis presents the design, analysis and validation of novel tactile sensors, a novel miniature force sensor, a robotic instrument, and a wireless hand-held instrument to address this limitation. The low-cost, disposable tactile sensors have been shown to easily detect a 5 mm tumour located 10 mm deep in soft tissue. The force sensor can measure six degrees of freedom forces and torques with temperature compensation using a single optical fiber. The robotic instrument is compatible with the da Vinci surgical robot and allows the use of tactile sensing, force sensing and ultrasound to localize the tumours. The wireless hand-held instrument allows the use of tactile sensing in procedures where a robot is not available

Optical Gaze Tracking with Spatially-Sparse Single-Pixel Detectors

Gaze tracking is an essential component of next generation displays for virtual reality and augmented reality applications. Traditional camera-based gaze trackers used in next generation displays are known to be lacking in one or multiple of the following metrics: power consumption, cost, computational complexity, estimation accuracy, latency, and form-factor. We propose the use of discrete photodiodes and light-emitting diodes (LEDs) as an alternative to traditional camera-based gaze tracking approaches while taking all of these metrics into consideration. We begin by developing a rendering-based simulation framework for understanding the relationship between light sources and a virtual model eyeball. Findings from this framework are used for the placement of LEDs and photodiodes. Our first prototype uses a neural network to obtain an average error rate of 2.67{\deg} at 400Hz while demanding only 16mW. By simplifying the implementation to using only LEDs, duplexed as light transceivers, and more minimal machine learning model, namely a light-weight supervised Gaussian process regression algorithm, we show that our second prototype is capable of an average error rate of 1.57{\deg} at 250 Hz using 800 mW.Comment: 10 pages, 8 figures, published in IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 202

Maximizing the value of information from high-frequency downhole dynamics data

Downhole drilling dynamics are poorly understood. Neither models nor experiments seem capable of fully describing the movements and forces of the drillstring during drilling. Downhole measurements could potentially hold the key to those missing insights, however data is not yet used to its full potential. This work addresses the barriers to obtaining value from downhole dynamics data and offers solutions to overcome them. A novel kinematic model was developed that fully accounts for sensor position and measurement design. It supports the hypothesis that lateral vibrations cause high-frequency fluctuations of tangential accelerations. Hence, against currently prevailing scientific opinion, “high-frequency torsional oscillations” (HFTO) are not actually a torsional phenomenon, but the consequence of a lateral vibration. A downhole measurement tool under off-center rotation captures particular high-frequency data patterns that can be considered a sensor artifact. If ignored, these artifacts can impact the calculations of RPM and other derived measurements from downhole data. An extensive set of downhole data was analyzed to improve downhole dynamics data collection schemes for detecting drilling dysfunctions. For each prominent type of dysfunction, minimum data collection frequencies are specified. Such guidelines assist in collecting downhole data at sampling rates that are high enough to draw meaningful conclusions, but low enough to not flood limited available bandwidth and memory capacities. Even though a sensor is set up to measure only a single parameter along a single axis, it captures a variety of downhole events, which may lead to misinterpretations. These events can still be differentiated based on their typical frequency ranges. It is further shown how ‘noisy’ frequency ranges can be detected and selectively removed by combining multiple downhole measurements. A lack of transparency and inefficient processes around sensor design, data collection, processing, and transfer cause misinterpretation and under-utilization of drilling downhole data. A review of tool design and sensor identifies sources of bad data quality. Eventually, defined data quality requirements will offer sustainable sensor data improvement. To work with downhole data generated under current circumstances, data processing techniques are developed and demonstrated. Algorithms that combine data, drilling processes, and physics automatically correct sensor errors. Further, a machine learning approach for automated vibration classification based on patterns is developed. A standardized structure to transfer downhole data from the service provider to the end user is suggested. The structure does not only define how the data should be shared, but also what additional data (metadata) is required. Specifications of such informational requirements improve transparency and comparability of measurements. Therefore, the proposed data format is a prerequisite for automated drilling data analysis.Petroleum and Geosystems Engineerin

Force Sensing in Arthroscopic Instruments using Fiber Bragg Gratings

Minimally-invasive surgery has revolutionized many medical procedures; however, it also impedes the ability to feel the interaction between the surgical tool and the anatomical part being operated on. In order to address this problem, it is necessary to obtain accurate measurements of the interaction forces exerted on the surgical tools during surgery. These forces can then be manifested to the surgeon via a haptic device or presented visually (visual-force feedback). This thesis describes the use of a fiber optic device to measure and display to the surgeon interaction forces acting on an arthroscopic tool. The sensorization of the tool involves a simple, highly efficient and robust design and is ideally suited for use in a surgical training environment aimed at narrowing the gap between trainees and expert surgeons before the trainees proceed to their first surgery in vivo. The major advantages of using fiber optics include their small size, their local simplicity, their ease of sterilization, and their high sensitivity. In this thesis, a complete low-cost sensing solution is described, including 1) the use of fiber Bragg grating and long period grating sensors, 2) design of a low-cost optical interrogator, 3) high resolution electronic signal processing, and 4) fabrication of the tool using wire EDM, CNC, and 3D metal sintering technologies. The full design of an arthroscopic grasper is presented, along with the preliminary design and manufacturing of an arthroscopic probe and shaver. The designed low-cost system was compared with a commercially-available optical interrogator. The calibration and experimental results for this system are presented and discussed for accuracy and performance of the sensorized tool before and after an axial element was added for increased sensitivity. Sources of error and methods of improvement for the optical system, arthroscopic tool, and testing procedures are discussed to inform the design of future generations of these instruments

Optimal Inertial Sensor Placement and Motion Detection for Epileptic Seizure Patient Monitoring

Use of inertial sensory systems to monitor and detect seizure episodes in patients suffering from epilepsy is investigated via numerical simulations and experiments. Numerical simulations employ a mathematical model that is able to predict human body dynamic responses during a typical epileptic seizure. An optimized inertial sensor placement procedure is developed to address achievement of highest possible sensing resolution in determining angular accelerations with minimal errors. In addition, a joint torque estimation procedure is formulated to assist in the future development of a possible detection scheme. Experimental motion data obtained from an epileptic seizure patient as well as a healthy subject via a cluster of inertial measurement sensors formed a basis for proposing a suitable detection scheme based on non-linear response analysis. In particular, preliminary experimental data analysis has shown that the proposed modified Poincaré Map based scheme can become an effective tool in detecting of seizure via inertial measurements

Scalability study for robotic hand platform

The goal of this thesis project was to determine the lower limit of scale for the RIT robotic grasping hand. This was accomplished using a combination of computer simulation and experimental studies. A force analysis was conducted to determine the size of air muscles required to achieve appropriate contact forces at a smaller scale. Input variables, such as the actuation force and tendon return force, were determined experimentally. A dynamic computer model of the hand system was then created using Recurdyn. This was used to predict the contact (grasping) force of the fingers at full-scale, half-scale, and quarter-scale. Correlation between the computer model and physical testing was achieved for both a life-size and half-scale finger assembly. To further demonstrate the scalability of the hand design, both half and quarter-scale robotic hand rapid prototype assemblies were built using 3D printing techniques. This thesis work identified the point where further miniaturization would require a change in the manufacturing process to micro-fabrication. Several techniques were compared as potential methods for making a production intent quarter-scale robotic hand. Investment casting, Swiss machining, and Selective Laser Sintering were the manufacturing techniques considered. A quarter-scale robotic hand tested the limits of each technology. Below this scale, micro-machining would be required. The break point for the current actuation method, air muscles, was also explored. Below the quarter-scale, an alternative actuation method would also be required. Electroactive Polymers were discussed as an option for the micro-scale. In summary, a dynamic model of the RIT robotic grasping hand was created and validated as scalable at full and half-scales. The model was then used to predict finger contact forces at the quarter-scale. The quarter-scale was identified as the break point in terms of the current RIT robotic grasping hand based on both manufacturing and actuation. A novel, prototype quarter-scale robotic hand assembly was successfully built by an additive manufacturing process, a high resolution 3D printer. However, further miniaturization would require alternate manufacturing techniques and actuation mechanisms

Evaluation of environmental materials as thermal witness materials

New and complex energetic materials are under development for achieving tunable pyrotechnical events for applications such as neutralization of biological weapons, bunker busters and many others. To guide the development of hybrid materials, the pyrotechnical environment they produce requires higher degree of characterization i.e. good description of spatial and temporal temperature distribution. Temperature measurements in pyrotechnical events are especially challenging, where the temperature of the environment rises more than 2000 K on microseconds to few milliseconds time scale. These environments produce high thermal stress where traditional sensors like thermocouples, optical pyrometers struggle to describe the dynamic changes in the environment. The presented research focuses on the development of thermal witness materials that are injected into the combustion environment, where they travel with the expanding gases and undergo a quantifiable physical change/transformation. The extent of change is determined post exposure and a correlation is made between the extent of observed change and the exposed time-temperature profile. The thermosensors under investigation, Jarosite and silicate glass are materials that are ubiquitous in both urban and rural environments. Jarosites undergo decomposition losing (OH) and SO3 upon thermal exposure. The decomposition mechanism is complex and is governed by a set of serial and parallel reactions. The degree of decomposition depends on the exposed thermal profile, and can be easily determined using thermogravimetric analysis. A correlation is made between the residual decomposition and the experienced environment. The limitations and sensitivity for these sensors are presented. The structures of silicate and borate glasses are strongly dependent on the quench rate during glass formation. As an indicator, the glass transition temperature varies linearly with the logarithm of the quench rate. Structural aspects, specifically the degree of connectedness of network forming units [SiO4] and [BO3] can be investigated using Raman spectroscopy. This allows one to recognize variations in the temperature, and cooling rate experienced by the material as it cooled from the high-temperature environment. The use of these sensors to reconstruct the environment temperature profile is under development. The fundamental idea defining the methodology to recover thermal history is discussed

Smart kitchen for Ambient Assisted Living

El envejecimiento de la población es una realidad en todos los países desarrollados. Las predicciones de crecimiento de esta población son alarmantes, planteando un reto para los servicios sociales y sanitarios. Las personas ancianas padecen diversas discapacidades que se van acentuando con la edad, siendo más propensas a sufrir accidentes domésticos, presentando problemas para realizar tareas cotidianas, etc. Esta situación conlleva a una pérdida paulatina de capacidades que en muchas ocasiones acaba con la vida autónoma de la persona. En este contexto, las Tecnologías de la Información y Comunicación (TIC) aplicadas al entorno doméstico pueden jugar un papel importante, permitiendo que las personas ancianas vivan más tiempo, de forma independiente en su propio hogar, presentando, por tanto, una alternativa a la hospitalización o institucionalización de las mismas. Este trabajo da un paso más en este sentido, presentando el diseño y desarrollo de un Ambiente Inteligente en la cocina, que ayuda a las personas ancianas y/o con discapacidad a desempeñar sus actividades de la vida diaria de una forma más fácil y sencilla. Esta tesis realiza sus principales aportaciones en dos campos: El metodológico y el tecnológico. Por un lado se presenta una metodología sistemática para extraer necesidades de colectivos específicos a fin de mejorar la información disponible por el equipo de diseño del producto, servicio o sistema. Esta metodología se basa en el estudio de la interacción Hombre-Máquina en base a los paradigmas y modelos existentes y el modelado y descripción de las capacidades del usuario en la misma utilizado el lenguaje estandarizado propuesto en la Clasificación Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF). Adicionalmente, se plantea el problema de la evaluación tecnológica, diseñando la metodología de evaluación de la tecnología con la finalidad de conocer su accesibilidad, funcionalidad y usabilidad del sistema desarrollado y aplicándola a 61 usuarios y 31 profesionales de la gerontología. Desde un punto de vista técnico, se afronta el diseño de un ambiente asistido inteligente (Ambient Assisted Living, AAL) en la cocina, planteando y definiendo la arquitectura del sistema. Esta arquitectura, basada en OSGi (Open Services Gateway initiative), oferta un sistema modular, con altas capacidades de interoperabilidad y escalabilidad. Además, se diseña e implementa una red de sensores distribuida en el entorno con el fin de obtener la mayor información posible del contexto, presentando distintos algoritmos para obtener información de alto nivel: detección de caídas o localización. Todos los dispositivos presentes en el entorno han sido modelados utilizando la taxonomía propuesta en OSGi4AmI, extendiendo la misma a los electrodomésticos más habituales de la cocina. Finalmente, se presenta el diseño e implementación de la inteligencia del sistema, que en función de la información procedente del contexto y de las capacidades del usuario da soporte a las principales actividades de la vida diaria (AVD) en la cocina

Designing a platform for the clinical assessment of Parkinson's Disease with inertial sensors

Tese de mestrado, Engenharia Informática (Engenharia de Software) Universidade de Lisboa, Faculdade de Ciências, 2018Parkinson é o segundo distúrbio neurodegenerativo mais comum relacionado com o avanço da idade, cerca de sete milhões a 10 milhões de pessoas em todo o mundo têm Parkinson. Estudos indicam que apenas nos países da zona ocidental da Europa existiam entre 4.1 a 4.6 Milhões de indivíduos com Parkinson com uma idade acima dos 50 anos em 2005 e estima-se que este valor vai duplicar para quantidades entre 8.7 a 9.3 Milhões até 2030[7]. Uma vez que o parkinsonismo é uma doença sem cura e cujo acompanhamento constante é essencial, são necessárias ferramentas que ajudem no acesso à condição dos pacientes e na sua avaliação. Os pacientes com doença de Parkinson (DP) apresentam problemas de estabilidade e isso afeta várias tarefas no seu cotidiano, os sintomas da DP podem ir de tremor, extrema lentidão e instabilidade postural ao comprometimento da função cognitiva, fala, deglutição ou sono, entre outros. O desafios para a avaliação clínica de pacientes com Parkinson, englobam a compreensão da progressão da doença, as respostas às intervenções farmacológicas e não farmacológicas e as flutuações sofridas pelos pacientes. No entanto, a quantidade de informação disponível para os clínicos avaliarem ainda é escassa hoje em dia. As avaliações a pacientes com Parkinson são feitas durante consultas clínicas que podem perder as flutuações existentes durante o dia devido à natureza altamente variável desta doença que difere de paciente para paciente e que muda ao longo do dia. Ainda assim, é importante estar ciente da evolução da capacidade física dos pacientes com doença de Parkinson; ´E impossível avaliar uma compreensão mais profunda da progressão da doença com as abordagens tradicionais usadas nos prestadores de cuidados de saúde comuns. Abordagens tradicionais de acompanhamento a pessoas com Parkinson em ambientes clínicos são normalmente realizadas recorrendo a um conjunto de escalas e perguntas, o que origina um conjunto de informações subjetivas referentes ao paciente e que podem ser enviesadas consoante o clínico que esteja a executar a avaliação. Existem, no entanto, consultas que recorrem a testes funcionais como: executar um certo exercício repetidamente ou movimentar-se de um local para outro; originando igualmente dados subjectivos devido aos métodos que são utilizados pelos clínicos, que vão desde a utilização de um cronómetro a avaliação visual. Atualmente, ainda há dificuldade em analisar a progressão de pacientes com Parkinson durante consultas médicas, devido aos mecanismos existentes utilizados para a análise serem subjetivos ou caros, o que significa que apenas alguns médicos são capazes de fornecer métricas objetivas aos seus pacientes. No entanto, há um interesse crescente em ter avaliações objetivas na doença de Parkinson e nos últimos anos o uso de dispositivos baseados em tecnologia no tratamento da DP tem sido apontado como uma tecnologia de ponta na medicina moderna. Existem muitos fatores que facilitam e apoiam o uso da tecnologia no monitoramento de Parkinson, bem como a existência de dispositivos tecnológicos médicos no ambiente de laboratório, o crescente acesso à Internet de alta velocidade que leva a uma transmissão de dados mais fácil e rápida entre os dispositivos, as conexões entre os dispositivos e também o aumento da alfabetização da população em geral quanto à tecnologia. Do ponto de vista dos pacientes é importante existir uma forma de traduzir informação entre clínicos e pacientes de modo a que cada indivíduo obtenha um conhecimento mais rico da sua doença e da evolução da mesma, em vez de aceitar incontestavelmente a execução de tratamentos indicados pelos clínicos. Este projeto consiste no desenvolvimento de uma plataforma baseada em demonstração de dados que visa apoiar os clínicos na avaliação física de um paciente com Parkinson durante consultas clínicas. A plataforma servirá como ferramenta de suporte para os médicos, de modo a avaliar o progresso dos pacientes e assim providenciar um diagnóstico mais dinâmico e preciso com base nos exercícios que se realizam durante as consultas médicas sendo possível, posteriormente, comparar os resultados com os anteriores. O projeto está dividido em três partes principais, um estudo inicial onde enriquecemos o conhecimento de como funcionam as avaliações executadas a pacientes com Parkinson e decidimos a melhor forma de apresentar os dados aos clínicos e pacientes seguindo uma abordagem de co-design com médicos e pacientes. Para conseguir adquirir os conhecimentos necessários foram realizados grupos de foco e sessões de observação em contexto de avaliação clínica. A segunda fase consiste na implementação da aplicação web Datapark e dos seus algoritmos de modo a obter métricas objetivas dos exercícios realizados nas consultas médicas pelos pacientes e de uma aplicação móvel utilizada para guiar e ajudar os clínicos nas avaliações realizadas. A plataforma funciona como um ponto central que integra dados recolhidos a partir da aplicação móvel e métricas objetivas obtidas a partir de um acelerómetro colocado no paciente durante a sua avaliação. Durante as avaliações clínicas o risco de queda dos pacientes é evidente, o que leva à necessidade de uma maior atenção e cuidado por parte do clínico, que ao mesmo tempo, é apoiado pela utilização de outros objetos e dispositivos para executar toda a consulta. A aplicação móvel tem como fim guiar os clínicos nas consultas médicas tal como o métodos tradicionais já utilizados. No entanto, a aplicação engloba num só dispositivo todas as funcionalidades necessárias para não existir necessidade do clínico se concentrar em nada mais senão no paciente que está sob avaliação. A terceira e última fase do projeto consiste na avaliação da plataforma com médicos e pacientes, para este fim foram realizados dois estudos em ambiente real. O primeiro estudo teve duração de uma semana com a participação de três clínicos e de sete pessoas com Parkinson, servindo para dar a entender a utilidade da plataforma e a possibilidade da inserção desta ferramenta no ambiente clínico, tendo em conta quais as melhorias aplicáveis. O último estudo realizado foi um estudo longitudinal com o objetivo de validar a plataforma e assegurar a sua utilidade a longo prazo, para isso, o sistema foi deixado em funcionamento sem interrupções durante dois meses. Durante este tempo foram avaliados onze pacientes diferentes, sendo cada um deles avaliado pelo menos duas vezes por um dos quatro fisioterapeutas que participaram nas avaliações. Este estudo terminou com um questionário feito aos fisioterapeutas com o objectivo de avaliar a usabilidade e validade da plataforma, providenciando indicadores de que o Datapark pode ser útil. A noção de que a aplicação móvel tem valor suficiente parasubstituir os métodos de recolha e anotação de informação tradicionais foi assim extraída. No entanto, para remoção total dos mecanismos tradicionais e utilização única da plataforma encontrou-se a necessidade de continuar a iterar e melhorar o sistema. Desta forma, é necessário fornecer melhores relatórios e melhorar a usabilidade, culminando por fim na plataforma visada que possui centralmente todos os mecanismos fulcrais para avaliar doentes com Parkinson. Depois de concluído este projeto, a plataforma não tem apenas uma zona para controlo de Parkinson baseado em contexto clínico, mas também uma área para verificação do dia-a-dia dos pacientes. Existe também uma terceira área cuja função será obter dados subjetivos dos pacientes durante o dia-a-dia com o intuito de oferecer aos médicos um melhor controlo da evolução desta patologia em cada um dos pacientes. Finalmente, o sistema desenhado como solução para este problema para além de ter sido utilizado para os estudos descritos, encontra-se neste momento num estado estável e está em funcionamento, sendo possível a quem estiver registado no nosso sistema executar avaliações utilizando qualquer uma das ferramentas apresentadas.Parkinson’s is the second most common age-related neurodegenerative disorder, an estimated seven million to 10 million people worldwide have Parkinson’s disease. Since Parkinsonism is a disease without cure and whose constant monitoring is essential, tools that help in the access to the condition of the patients and their evaluation are necessary. This project consists on the development of a data-driven platform that aims to support clinicians in physical assessment of a patient with Parkinson’s during clinical appointments. The platform will serve as a support tool for clinicians to evaluate the progress of their patients and thus give more dynamic and accurate diagnosis based on the exercises that they perform during their appointments and thus compare the results with the previous ones. The project is divided into three main parts, an initial study where we will decide how best present show the data to clinicians and patients, following a co-design approach. A second phase will be the implementation of the platform and its algorithms to obtain metrics of the exercises performed in appointments, by the patients. The third and final phase of the project consists on the evaluation of the platform with clinicians and patients. After completing this project, the platform not only has a Parkinson’s control environment based on clinical context analysis but also an area for free-living Parkinson’s verification. It is also included a third area whose function is to obtain patients’ subjective data during their daily life in order to give clinicians a better control the evolution of this pathology in each patient

Wearable and IoT technologies application for physical rehabilitation

This research consists in the development an IoT Physical Rehabilitation solution based on wearable devices, combining a set of smart gloves and smart headband for use in natural interactions with a set of VR therapeutic serious games developed on the Unity 3D gaming platform. The system permits to perform training sessions for hands and fingers motor rehabilitation. Data acquisition is performed by Arduino Nano Microcontroller computation platform with ADC connected to the analog measurement channels materialized by piezo-resistive force sensors and connected to an IMU module via I2C. Data communication is performed using the Bluetooth wireless communication protocol. The smart headband, designed to be used as a first- person-controller in game scenes, will be responsible for collecting the patient's head rotation value, this parameter will be used as the player's avatar head rotation value, approaching the user and the virtual environment in a semi-immersive way. The acquired data are stored and processed on a remote server, which will help the physiotherapist to evaluate the patients' performance around the different physical activities during a rehabilitation session, using a Mobile Application developed for the configuration of games and visualization of results. The use of serious games allows a patient with motor impairments to perform exercises in a highly interactive and non-intrusive way, based on different scenarios of Virtual Reality, contributing to increase the motivation during the rehabilitation process. The system allows to perform an unlimited number of training sessions, making possible to visualize historical values and compare the results of the different performed sessions, for objective evolution of rehabilitation outcome. Some metrics associated with upper limb exercises were also considered to characterize the patient’s movement during the session.Este trabalho de pesquisa consiste no desenvolvimento de uma solução de Reabilitação Física IoT baseada em dispositivos de vestuário, combinando um conjunto de luvas inteligentes e uma fita-de-cabeça inteligente para utilização em interações naturais com um conjunto de jogos terapêuticos sérios de Realidade Virtual desenvolvidos na plataforma de jogos Unity 3D. O sistema permite realizar sessões de treino para reabilitação motora de mãos e dedos. A aquisição de dados é realizada pela plataforma de computação Arduino utilizando um Microcontrolador Nano com ADC (Conversor Analógico-Digital) conectado aos canais de medição analógicos materializados por sensores de força piezo-resistivos e a um módulo IMU por I2C. A comunicação de dados é realizada usando o protocolo de comunicação sem fio Bluetooth. A fita-de-cabeça inteligente, projetada para ser usada como controlador de primeira pessoa nos cenários de jogo, será responsável por coletar o valor de rotação da cabeça do paciente, esse parâmetro será usado como valor de rotação da cabeça do avatar do jogador, aproximando o utilizador e o ambiente virtual de forma semi-imersiva. Os dados adquiridos são armazenados e processados num servidor remoto, o que ajudará o fisioterapeuta a avaliar o desempenho dos pacientes em diferentes atividades físicas durante uma sessão de reabilitação, utilizando uma Aplicação Móvel desenvolvido para configuração de jogos e visualização de resultados. A utilização de jogos sérios permite que um paciente com deficiências motoras realize exercícios de forma altamente interativa e não intrusiva, com base em diferentes cenários de Realidade Virtual, contribuindo para aumentar a motivação durante o processo de reabilitação. O sistema permite realizar um número ilimitado de sessões de treinamento, possibilitando visualizar valores históricos e comparar os resultados das diferentes sessões realizadas, para a evolução objetiva do resultado da reabilitação. Algumas métricas associadas aos exercícios dos membros superiores também foram consideradas para caracterizar o movimento do paciente durante a sessão