Wireless intraoral tongue control of an assistive robotic arm for individuals with tetraplegia

Abstract Background For an individual with tetraplegia assistive robotic arms provide a potentially invaluable opportunity for rehabilitation. However, there is a lack of available control methods to allow these individuals to fully control the assistive arms. Methods Here we show that it is possible for an individual with tetraplegia to use the tongue to fully control all 14 movements of an assistive robotic arm in a three dimensional space using a wireless intraoral control system, thus allowing for numerous activities of daily living. We developed a tongue-based robotic control method incorporating a multi-sensor inductive tongue interface. One abled-bodied individual and one individual with tetraplegia performed a proof of concept study by controlling the robot with their tongue using direct actuator control and endpoint control, respectively. Results After 30 min of training, the able-bodied experimental participant tongue controlled the assistive robot to pick up a roll of tape in 80% of the attempts. Further, the individual with tetraplegia succeeded in fully tongue controlling the assistive robot to reach for and touch a roll of tape in 100% of the attempts and to pick up the roll in 50% of the attempts. Furthermore, she controlled the robot to grasp a bottle of water and pour its contents into a cup; her first functional action in 19 years. Conclusion To our knowledge, this is the first time that an individual with tetraplegia has been able to fully control an assistive robotic arm using a wireless intraoral tongue interface. The tongue interface used to control the robot is currently available for control of computers and of powered wheelchairs, and the robot employed in this study is also commercially available. Therefore, the presented results may translate into available solutions within reasonable time

Intraoral Neuromodulation to Treat Swallowing Disorder and Obstructive Sleep Apnea, Based on Electrical Characterization of the Tongue and Soft Palate

Intraoral functions are results of complex sensorimotor loop operations, and therefore vulnerable to the small functional or neural defects. To secure the vital intraoral functions, it is important to find a way to favorably intervene the intraoral sensorimotor loop operations. The tongue and the soft palate are heavily associated with several sensorimotor loops for intraoral functions, with their dense neural innervations and occupancy of intraoral space. Electrical neuromodulation onto the tongue and the soft palate have a great potential to solve the problems in intraoral functions, such as swallowing, breathing, and talking. However, both the tongue and the soft palate have not been characterized well yet for electrical neuromodulation. In this study, we characterized electrical impedance between electrodes across the tongue and the soft palate, measured stimulation thresholds for perception, and identified type of perception evoked by the stimulation. For impedance characterization, we selected R-R-C model, which is typically used for skin impedance characterization. We found the equivalent series resistance, parallel resistance, and parallel capacitance values for R-R-C model, as 1.837 kΩ, 5.741 kΩ, and 30.148 nF, respectively. We also found that the perception thresholds for the tongue tip, lateral-inferior side of the tongue, and the soft palate as 0.16, 0.34, and 1.47 mA, respectively. As the amplitude of stimulation increases, subjects felt more natural pressure-like sensation than electrical tingling, in all three locations. Subjects could not distinguish the temporal difference of perception between 25 and 100 Hz well. The discomfort at the highest amplitude of stimulation was described as stabbing on the soft palate and stiffness on the tongue. Based on the electrical characterization of the tongue and the soft palate, we found out the effect of electrical neuromodulation, onto the tongue and the soft palate, on the pharyngeal phase of swallowing and obstructive sleep apnea, which is one of the most important intraoral sensorimotor loop operations

Towards the development of an automatic maxillary expansion appliance

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2016A expansão do maxilar superior consiste na abertura da sutura palatina mediana, separando os dois ossos que o constituem, com o objetivo final de aumentar a dimensão transversal do maxilar. Este tipo de tratamento é realizado maioritariamente quando o maxilar superior é mais estreito que o inferior, não proporcionando o devido encaixe entre os mesmos. A expansão é realizada através da utilização de aparelhos que proporcionam a aplicação de forças transversais à linha da sutura, levando à abertura da mesma. Atualmente, diversos tipos de aparelhos podem ser utilizados para o mesmo fim, mas um dos mais utilizados entre os médicos dentistas é o aparelho cuja expansão é feita através da rotação manual de um parafuso de expansão. Sempre que o parafuso é rodado existe um pico de força aplicada, cuja magnitude vai diminuindo ao longo tempo, mas que aumenta assim que o parafuso é rodado outra vez. Deste modo, quanto maior a frequência de ativação do aparelho, maior a força gerada em menos tempo. Assim sendo, com este tipo de aparelhos é possível realizar quer uma expansão lenta ou rápida, controlando então a frequência de ativação. Contudo, as ativações manuais dos aparelhos trazem algumas desvantagens, uma vez que estes aparelhos são mais utilizados por crianças que não têm responsabilidade suficiente para realizá-las, ficando este processo ao cargo dos pais. Para além disso, quando as ativações são mais frequentes, o aparelho gera forças de elevada magnitude (podendo chegar ao 100 N), o que causa alguma dor e desconforto ao utilizador. Desde a criação do primeiro aparelho com parafuso de expansão, em meados do século XIX, este tipo de aparelhos não sofreu uma evolução significativa, principalmente no que diz respeito ao método de ativação, uma vez que continuam a ser meramente mecânicos. Portanto, com este trabalho pretendeu-se dar início ao desenvolvimento de um aparelho de expansão maxilar automático, que retire partido das novas tecnologias existentes hoje em dia, deixando de requerer ativações manuais por parte do utilizador. Para Além disso, sendo que as ativações são automáticas é possível aumentar a frequência de ativação, tornando a aplicação de forças mais contínua. Deste modo, a utilização do aparelho torna-se mais confortável. Inicialmente, começou-se por realizar o desenho do aparelho proposto. A automatização passa pela utilização de um microcontrolador que irá controlar um micromotor e respetivo atuador para exercer a força pretendida. Uma vez que não se dispõe de muito espaço, os componentes escolhidos possuem tamanhos na ordem do micrómetro. Para além destes componentes, é necessário selecionar uma bateria para os alimentar. Assim sendo, o foco deste projeto foi o estudo da bateria mais adequada e eficiente para o meio em que o aparelho irá funcionar, uma vez que o meio intra-oral não possui as mesmas características que o meio ambiente e por isso nem todas as pilhas serão apropriadas. A escolha recaiu sobre as pilhas Zinco-Ar devido às suas reduzidas dimensões e considerável capacidade energética, mas também por não possuírem constituintes de elevada toxicidade, como o mercúrio, que poderiam por em risco a saúde do utilizador. Contudo, estas pilhas necessitam de oxigénio para que a reação electroquímica ocorra, pelo que a sua performance depende diretamente da quantidade de oxigénio disponível no meio em que se encontra. Para além disso, o seu bom funcionamento também depende da temperatura e da humidade relativa. Uma vez que se pretende utilizar estas pilhas dentro da boca, onde a quantidade de oxigénio pode variar e a humidade relativa é elevada, é necessário testar o seu funcionamento sob essas condições. Num estudo anterior, as pilhas Zinco-Ar já haviam sido testadas de forma a estudar a viabilidade de serem utilizadas em aparelhos médicos intra-orais. A performance das pilhas fora estudada num ambiente intra-oral artificial, através da utilização de saliva artificial. As pilhas, devidamente isoladas com invólucro, foram sujeitas a um teste de descarga, ao mesmo tempo que o invólucro era submerso na saliva durante 2 segundos a cada 2 minutos. O tempo de descarga da pilha foi, em média, 80 horas, apenas menos 3 horas que o tempo de descarga determinado pelo fabricante das pilhas, considerando as mesmas correntes de descarga e em condições ambientais mais semelhantes às do meio ambiente. Tendo em conta estes resultados, concluíram que as pilhas zinco-ar poderiam ser, de facto, uma possível solução energética a utilizar dentro do meio intra-oral. Contudo, a fiabilidade destes resultados pode ser posta em causa, uma vez que só foi simulada a produção de saliva, não tendo sido em conta a temperatura e as condições do meio. Assim sendo, este projeto teve como objetivo testar a performance das pilhas num meio intra-oral real. Os testes foram divididos em duas partes. A primeira tinha como objetivo a análise do perfil de descarga de uma pilha quando sujeita a determinadas condições de descarga e a segunda tinha como objetivo analisar a capacidade das pilhas alimentarem o aparelho de expansão maxilar automático, fazendo uma aproximação do consumo do aparelho durante um tratamento. Para realizar os testes dentro do meio intra-oral foi necessário desenvolver primeiro um dispositivo para testes. Esta etapa incluiu o desenho dos circuitos electrónicos dos dois tipos de teste e o desenho do invólucro para isolar a electrónica do ambiente intra-oral, não esquecendo as entradas de ar necessárias para as pilhas funcionarem. Estas entradas foram cobertas por membrana de Teflon de forma a evitar a entrada de saliva para dentro do invólucro sem comprometer a passagem de ar. Para ser possível colocar o invólucro na boca, recorreu-se à fixação do mesmo a um aparelho de contenção removível. Antes de realizar os testes, um médico dentista realizou o molde da boca dos participantes (4 no total), de forma a criar então esse aparelho de contenção. Com os primeiros testes foi possível verificar que as pilhas dentro do ambiente intra-oral não suportam as mesmas correntes quando expostas ao meio ambiente ou às condições criadas in vitro. Por exemplo quando sujeitas ao mesmo circuito de descarga utilizado nos testes in vitro, a pilha descarrega rapidamente, uma vez que os níveis de humidade relativa reduzem a performance da pilha e o oxigénio que entra na pilha não é suficiente para suportar os pulsos de corrente. Quando retirada da boca a pilha consegue recuperar a sua tensão rapidamente, o que evidencia a influencia destes dois factores na performance da pilha. Considerando que as pilhas estavam a ser sujeitas a correntes elevadas, tendo em conta o ambiente intra-oral, o circuito de descarga foi alterado de forma a reduzi-las, nomeadamente a corrente de base contínua foi removida, permanecendo apenas os picos de corrente. Com estes novos testes, foi possível verificar que nestas novas condições a pilha consegue manter a sua tensão constante, indicando que, de facto, as correntes a que estavam sujeitas anteriormente eram elevadas para o ambiente em questão e que nestas condições a pilha, entre pulsos, tem tempo para armazenar oxigénio suficiente de forma a suportar os picos de corrente. Contudo, ao longo dos testes verificaram-se algumas falhas das pilhas, nomeadamente durante a altura em que os sujeitos a realizar os testes estavam a dormir. Esta falha era acompanhada pela recuperação da tensão das pilhas quando os sujeitos acordavam. Inicialmente, considerou-se que o problema estaria na posição das entradas de ar do invólucro utilizado, uma vez que estas eram facilmente tapadas pela língua, impedindo a entrada de oxigénio na boca. Porém, depois de se fazerem alterações ao invólucro, o mesmo problema persistia, indicando que a falha existente poderá estar relacionada com a respiração do sujeito durante o sono. Por fim, realizou-se um teste em que as pilhas foram sujeitas a correntes que simulavam o consumo do motor juntamente com o microcontrolador. As pilhas conseguiram manter a sua tensão constante, mesmo com pulsos de corrente mais elevada e com maior duração. Em suma, este estudo demonstra que as Zinco-Ar têm potencial para serem utilizadas no meio intra-oral tendo em conta os consumos do aparelho, apesar de serem necessários mais testes.Nowadays, the maxillary expansion appliances with expansion screws still require manual activations. In this project work, an automatic maxillary expansion appliance is proposed. The appliance comprises a microcontroller controlling the activation of a micro motor and its actuator. In order to power these components, an adequate and efficient power source for the intraoral environment is necessary, specifically a non-toxic battery with small dimensions and a good capacity. The Zinc-air cells fit these features and have already been successfully tested in vitro through the use of artificial saliva. However, since the intraoral environment is difficult to model, those results might not be reliable. Thus, in this study we intend to test the Zinc-air (Zn-A) cells in vivo, that is, inside real mouths. The tests had two main goals. The first one was to evaluate the Zn-A cells performance inside the intraoral environment and the second was to test the capability of the cells to power an automatic maxillary expansion device considering its power consumption during the treatment. Before performing the tests, we developed a test device suitable for the intraoral environment, including the electronic circuits and a casing with entrances of air covered with a Teflon membrane to allow the air to reach the cells. To place the casing inside the mouth, we decided to fix it to a removable mouthguard. The mouthguards were created through the cast of the participants’ teeth and palate with the help of a dentist. The results from the first tests showed that the high levels of Relative Humidity (RH) and the slow oxygen diffusion have a great influence on the performance of the cells. The limiting current of the cell is lower in the intraoral environment than in the outside, and consequently, the cells cannot handle pulse loads as well. Besides that, it was observed that when the cells were removed from the intraoral environment, their voltage recovered rapidly, evidencing the influence of those two cited variables. Nonetheless, when the average load current of the discharge circuit was decreased, the cells were able to maintain their voltage constant during an undetermined time. When considering the current consumptions of the automatic device, which involved higher pulse currents with a longer duration, the cells were also able to support those currents. Thus, this study supports the use of Zn-A cells in the intraoral environment. The limitation of this study was a problem detected during sleep, that is, in the majority of the tests, the cells failed when the subject was asleep, only recovering after waking up. This observation doesn’t invalidate the use of the cells in the intraoral environment, but more studies must be done

An Arch-Shaped Intraoral Tongue Drive System with Built-in Tongue-Computer Interfacing SoC

We present a new arch-shaped intraoral Tongue Drive System (iTDS) designed to occupy the buccal shelf in the user’s mouth. The new arch-shaped iTDS, which will be referred to as the iTDS-2, incorporates a system-on-a-chip (SoC) that amplifies and digitizes the raw magnetic sensor data and sends it wirelessly to an external TDS universal interface (TDS-UI) via an inductive coil or a planar inverted-F antenna. A built-in transmitter (Tx) employs a dual-band radio that operates at either 27 MHz or 432 MHz band, according to the wireless link quality. A built-in super-regenerative receiver (SR-Rx) monitors the wireless link quality and switches the band if the link quality is below a predetermined threshold. An accompanying ultra-low power FPGA generates data packets for the Tx and handles digital control functions. The custom-designed TDS-UI receives raw magnetic sensor data from the iTDS-2, recognizes the intended user commands by the sensor signal processing (SSP) algorithm running in a smartphone, and delivers the classified commands to the target devices, such as a personal computer or a powered wheelchair. We evaluated the iTDS-2 prototype using center-out and maze navigation tasks on two human subjects, which proved its functionality. The subjects’ performance with the iTDS-2 was improved by 22% over its predecessor, reported in our earlier publication

Models and Analysis of Vocal Emissions for Biomedical Applications

The Models and Analysis of Vocal Emissions with Biomedical Applications (MAVEBA) workshop came into being in 1999 from the particularly felt need of sharing know-how, objectives and results between areas that until then seemed quite distinct such as bioengineering, medicine and singing. MAVEBA deals with all aspects concerning the study of the human voice with applications ranging from the neonate to the adult and elderly. Over the years the initial issues have grown and spread also in other aspects of research such as occupational voice disorders, neurology, rehabilitation, image and video analysis. MAVEBA takes place every two years always in Firenze, Italy