Full 3D motion control for programmable bevel-tip steerable needles

Minimally invasive surgery has been in the focus of many researchers due to its reduced intra- and post-operative risks when compared to an equivalent open surgery approach. In the context of minimally invasive surgery, percutaneous intervention, and particularly, needle insertions, are of great importance in tumour-related therapy and diagnosis. However, needle and tissue deformation occurring during needle insertion often results in misplacement of the needles, which leads to complications, such as unsuccessful treatment and misdiagnosis. To this end, steerable needles have been proposed to compensate for placement errors by allowing curvilinear navigation. A particular type of steerable needle is the programmable bevel-tip steerable needle (PBN), which is a bio-inspired needle that consists of relatively soft and slender segments. Due to its flexibility and bevel-tip segments, it can navigate through 3D curvilinear paths. In PBNs, steering in a desired direction is performed by actuating particular PBN segments. Therefore, the pose of each segment is needed to ensure that the correct segment is actuated. To this end, in this thesis, proprioceptive sensing methods for PBNs were investigated. Two novel methods, an electromagnetic (EM)-based tip pose estimation method and a fibre Bragg grating (FBG)-based full shape sensing method, were presented and evaluated. The error in position was observed to be less than 1.08 mm and 5.76 mm, with the proposed EM-based tip tracking and FBG-based shape reconstruction methods, respectively. Moreover, autonomous path-following controllers for PBNs were also investigated. A closed-loop, 3D path-following controller, which was closed via feedback from FBG-inscribed multi-core fibres embedded within the needle, was presented. The nonlinear guidance law, which is a well-known approach for path-following control of aerial vehicles, and active disturbance rejection control (ADRC), which is known for its robustness within hard-to-model environments, were chosen as the control methods. Both linear and nonlinear ADRC were investigated, and the approaches were validated in both ex vivo brain and phantom tissue, with some of the experiments involving moving targets. The tracking error in position was observed to be less than 6.56 mm.Open Acces

Insight into the fundamental trade-offs of diffusion MRI from polarization-sensitive optical coherence tomography in ex vivo human brain

In the first study comparing high angular resolution diffusion MRI (dMRI) in the human brain to axonal orientation measurements from polarization-sensitive optical coherence tomography (PSOCT), we compare the accuracy of orientation estimates from various dMRI sampling schemes and reconstruction methods. We find that, if the reconstruction approach is chosen carefully, single-shell dMRI data can yield the same accuracy as multi-shell data, and only moderately lower accuracy than a full Cartesian-grid sampling scheme. Our results suggest that current dMRI reconstruction approaches do not benefit substantially from ultra-high b-values or from very large numbers of diffusion-encoding directions. We also show that accuracy remains stable across dMRI voxel sizes of 1 ​mm or smaller but degrades at 2 ​mm, particularly in areas of complex white-matter architecture. We also show that, as the spatial resolution is reduced, axonal configurations in a dMRI voxel can no longer be modeled as a small set of distinct axon populations, violating an assumption that is sometimes made by dMRI reconstruction techniques. Our findings have implications for in vivo studies and illustrate the value of PSOCT as a source of ground-truth measurements of white-matter organization that does not suffer from the distortions typical of histological techniques.Published versio

Left-Invariant Diffusion on the Motion Group in terms of the Irreducible Representations of SO(3)

In this work we study the formulation of convection/diffusion equations on the 3D motion group SE(3) in terms of the irreducible representations of SO(3). Therefore, the left-invariant vector-fields on SE(3) are expressed as linear operators, that are differential forms in the translation coordinate and algebraic in the rotation. In the context of 3D image processing this approach avoids the explicit discretization of SO(3) or $S_2$, respectively. This is particular important for SO(3), where a direct discretization is infeasible due to the enormous memory consumption. We show two applications of the framework: one in the context of diffusion-weighted magnetic resonance imaging and one in the context of object detection

Extracting 3D parametric curves from 2D images of Helical objects

Helical objects occur in medicine, biology, cosmetics, nanotechnology, and engineering. Extracting a 3D parametric curve from a 2D image of a helical object has many practical applications, in particular being able to extract metrics such as tortuosity, frequency, and pitch. We present a method that is able to straighten the image object and derive a robust 3D helical curve from peaks in the object boundary. The algorithm has a small number of stable parameters that require little tuning, and the curve is validated against both synthetic and real-world data. The results show that the extracted 3D curve comes within close Hausdorff distance to the ground truth, and has near identical tortuosity for helical objects with a circular profile. Parameter insensitivity and robustness against high levels of image noise are demonstrated thoroughly and quantitatively

Extraction of Structural Metrics from Crossing Fiber Models

Diffusion MRI (dMRI) measurements allow us to infer the microstructural properties of white matter and to reconstruct fiber pathways in-vivo. High angular diffusion imaging (HARDI) allows for the creation of more and more complex local models connecting the microstructure to the measured signal. One of the challenges is the derivation of meaningful metrics describing the underlying structure from the local models. The aim hereby is to increase the specificity of the widely used metric fractional anisotropy (FA) by using the additional information contained within the HARDI data. A local model which is connected directly to the underlying microstructure through the model of a single fiber population is spherical deconvolution. It produces a fiber orientation density function (fODF), which can often be interpreted as superposition of multiple peaks, each associated to one relatively coherent fiber population (bundle). Parameterizing these peaks one is able to disentangle and characterize these bundles. In this work, the fODF peaks are approximated by Bingham distributions, capturing first and second order statistics of the fiber orientations, from which metrics for the parametric quantification of fiber bundles are derived. Meaningful relationships between these measures and the underlying microstructural properties are proposed. The focus lies on metrics derived directly from properties of the Bingham distribution, such as peak length, peak direction, peak spread, integral over the peak, as well as a metric derived from the comparison of the largest peaks, which probes the complexity of the underlying microstructure. These metrics are compared to the conventionally used fractional anisotropy (FA) and it is shown how they may help to increase the specificity of the characterization of microstructural properties. Visualization of the micro-structural arrangement is another application of dMRI. This is done by using tractography to propagate the fiber layout, extracted from the local model, in each voxel. In practice most tractography algorithms use little of the additional information gained from HARDI based local models aside from the reconstructed fiber bundle directions. In this work an approach to tractography based on the Bingham parameterization of the fODF is introduced. For each of the fiber populations present in a voxel the diffusion signal and tensor are computed. Then tensor deflection tractography is performed. This allows incorporating the complete bundle information, performing local interpolation as well as using multiple directions per voxel for generating tracts. Another aspect of this work is the investigation of the spherical harmonic representation which is used most commonly for the fODF by means of the parameters derived from the Bingham distribution fit. Here a strong connection between the approximation errors in the spherical representation of the Dirac delta function and the distribution of crossing angles recovered from the fODF was discovered. The final aspect of this work is the application of the metrics derived from the Bingham fit to a number of fetal datasets for quantifying the brain’s development. This is done by introducing the Gini-coefficient as a metric describing the brain’s age

Recovering high-quality FODs from a reduced number of diffusion-weighted images using a model-driven deep learning architecture

Fibre orientation distribution (FOD) reconstruction using deep learning has the potential to produce accurate FODs from a reduced number of diffusion-weighted images (DWIs), decreasing total imaging time. Diffusion acquisition invariant representations of the DWI signals are typically used as input to these methods to ensure that they can be applied flexibly to data with different b-vectors and b-values; however, this means the network cannot condition its output directly on the DWI signal. In this work, we propose a spherical deconvolution network, a model-driven deep learning FOD reconstruction architecture, that ensures intermediate and output FODs produced by the network are consistent with the input DWI signals. Furthermore, we implement a fixel classification penalty within our loss function, encouraging the network to produce FODs that can subsequently be segmented into the correct number of fixels and improve downstream fixel-based analysis. Our results show that the model-based deep learning architecture achieves competitive performance compared to a state-of-the-art FOD super-resolution network, FOD-Net. Moreover, we show that the fixel classification penalty can be tuned to offer improved performance with respect to metrics that rely on accurately segmented of FODs. Our code is publicly available at https://github.com/Jbartlett6/SDNet .Comment: 10 pages, 7 figures, This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

HARDI Methods: tractography reconstructions and automatic parcellation of brain connectivity

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Radiações em Diagnóstico e Terapia), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012A neuroanatomia humana tem sido objecto de estudo científico desde que surgiu o interesse na organização do corpo humano e nas suas funções, quer como um todo quer através das partes que o constituem. Para atingir este fim, as autópsias foram a primeira forma de revelar algum conhecimento, o qual tem vindo a ser catalogado e sistematizado à medida que a medicina evolui. Passando por novas técnicas de conservação e tratamento de tecido humano, de que são exemplo as dissecções de Klinger, nas quais se fazem secções de material conservado criogenicamente, bem como por estudos histológicos através da utilização de corantes, conseguiu-se uma forma complementar de realizar estes estudos. Permanecia, no entanto, a impossibilidade de analisar in vivo a estrutura e função dos diferentes sistemas que constitutem o Homem. Com o surgimento das técnicas imagiológicas o diagnóstico e monitorização do corpo humano, bem como das patologias a ele associadas, melhoraram consideravelmente. Mais recentemente, com o aparecimento da ressonância magnética (MRI: do Inglês "Magnetic Resonance Imaging"), tornou-se possível estudar as propriedades magnéticas do tecido, reflectindo as suas características intrínsecas com base na aplicação de impulsos de radiofrequência. Através de ressonância magnética é possível estudar essas propriedades em vários núcleos atómicos, sendo mais comum o estudo do hidrogénio, pois somos maioritariamente consistituídos por água e gordura. Uma vez que só é possível medir variações do campo magnético, aplicam-se impulsos de radiofrequência para perturbar o equilíbrio dos spins e medir os seus mecanismos de relaxação, os quais, indirectamente, reflectem a estrutura do tecido. Contudo, o sinal medido é desprovido de qualquer informação espacial. De facto, para podermos proceder a essa quantificação, é necessária a utilização de gradientes de campo magnético, que permitem modificar localmente a frequência de precessão dos protões, através da alteração local do campo magnético, permitindo assim, adquirir o sinal de forma sequencial. A informação obtida constitui uma função variável no espaço e através da transformação de Fourier pode ser quantificada em frequências espaciais, sendo estes dados armazenados no espaço k. O preencimento deste espaço, caracterizado por frequências espaciais, bem como os gradientes de campo magnético que são aplicados, permitem determinar a resolução da imagem que podemos obter, aplicando uma transformação de Fourier inversa. O estudo da ressonância magnética não se restringe à análise da estrutura mas também ao estudo da função e difusão das moléculas de água. A difusão é um processo aleatório, que se traduz pelo movimento térmico das moléculas de água, e o seu estudo permite inferir sobre o estado do tecido e microestrutura associada, de uma forma não invasiva e in vivo. A técnica de imagiologia de ressonância magnética ponderada por difusão (DWI: do Inglês "Diffusion Weighted Imaging") permite o estudo da direccionalidade das moléculas de água e extracção de índices que reflectem directamente a integridade dos tecidos biológicos. De modo a sensibilizar as moléculas de água à difusão, é necessário aplicar sequências de ressonância magnética modificadas, nas quais se aplicam gradientes de campo magnético de difusão para quantificar o deslocamento das moléculas e a sua relação com o coeficiente de difusão das mesmas. Num ambiente livre e sem barreiras a difusão das moléculas de água é isotrópica, uma vez que se apresenta igual em todas as direcções. Todavia, tal não se verifica no corpo humano. A presença destas barreiras leva a que, na verdade, apenas possa ser medido um coeficiente de difusão aparente. Este, por sua vez, traduz a interacção entre as moléculas de água com a microestrutura e, como tal, uma anisotropia na sua difusão. Como caso particular de difusão anisotrópica a nível cerebral, tem-se a difusão das moléculas de água na matéria branca, uma vez que esta apresenta uma direccionalidade preferencial de acordo com a orientação dos axónios, visto estarem presentes menos restrições à sua propagação, ao contrário do que acontece com a direcção perpendicular (devido à membrana celular e às bainhas de mielina). Por oposição, a matéria cinzenta, constituída pelo aglomerado dos corpos celulares dos neurónios, e o líquido cefalorraquidiano apresentam uma difusão sem direcção preferencial (i.e. aproximadamente isotrópica). A informação obtida através da difusão das moléculas de água encontra-se limitada pelo número de direcções segundo o qual aplicamos os gradientes de difusão. Deste modo, surgiu a imagiologia por tensor de difusão (DTI: do Inglês "Diffusion Tensor Imaging"). Esta técnica permite extrair informação acerca da tridimensionalidade da distribuição da difusão de moléculas de água através da aplicação de seis gradientes de difusão não colineares entre si. A distribuição destas moléculas pode, então, ser vista como um elipsóide, no qual o principal vector próprio do tensor representa a contribuição da difusão das moléculas segundo a direcção do axónio (ou paralela), sendo os dois restantes componentes responsáveis pela contribuição transversal. Além da difusividade média (MD: do Inglês "Mean Diffusivity") e das contribuições da difusão paralela (MD//) e perpendicular (MD ) às fibras, é também possível extrair outros índices, como a anisotropia fraccional (FA: do Inglês "Fractional Anisotropy"), que fornece informação acerca da percentagem de difusão anisotrópica num determinado voxel. Para a matéria branca, tal como já foi referido, existe difusão preferencial e, portanto, a anisotropia fraccional será elevada. Por outro lado, para a matéria cinzenta e para o líquido cefalorraquidiano, verificar-se-á uma FA reduzida, devido à ausência de anisotropia. Todavia, regiões com reduzida anisotropia fraccional podem camuflar regiões de conformação de cruzamento de fibras, ou fibras muito anguladas, que a imagiologia por tensor de difusão não consegue resolver. A razão para esta limitação reside no número reduzido de diferentes direcções de difusão que são exploradas, assim como o pressuposto de que a distribuição das moléculas de água é Gaussiana em todo o cérebro, o que não é necessariamente verdade. A fim de se ultrapassar estas limitações, novas técnicas surgiram, nomeadamente as de elevada resolução angular (HARDI: do Inglês "High Angular Resolution Diffusion Imaging"). Estas fazem uso de uma aquisição em função de múltiplas direcções de gradiente e de uma diferente modelação dos dados obtidos, dividindo-se em dois tipos. As técnicas livres de modelos permitem extrair uma função de distribuição da orientação das fibras num determinado voxel directamente do sinal e/ou transformações da função densidade de probabilidade do deslocamento das moléculas de água. Contrariamente, as técnicas baseadas em modelos admitem existir determinados constrangimentos anatómicos e que o sinal proveniente de um determinado voxel é originado por um conjunto de sinais individuais de fibras, caracterizados por uma distribuição preferencial das direcções das fibras. Todos estes métodos têm como objectivo principal recuperar a direcção preferencial da difusão das moléculas de água e reconstruir um trajecto tridimensional que represente a organização das fibras neuronais, pelo que se designam métodos de tractografia. Esta representa a única ferramenta não invasiva de visualização in vivo da matéria branca cerebral e o seu estudo tem revelado uma grande expansão associada ao estabelecimento de marcador biológico para diversas patologias. Adicionalmente, esta técnica tem vindo a tornar-se uma modalidade clínica de rotina e de diversos protocolos de investigação, sendo inclusivamente utilizada para complementar o planeamento em cirurgia, devido à natureza dos dados que gera. Particularmente no caso de dissecções manuais, nas quais os dados de tractografia são manuseados por pessoal especializado, com vista a realizar a parcelização de diferentes tractos de interesse, o processo é moroso e dependente do utilizador, revelando-se necessária a automatização do mesmo. Na realidade, já existem técnicas automáticas que fazem uso de algoritmos de agregação1, nos quais fibras são analisadas e agrupadas segundo características semelhantes, assim como técnicas baseadas em regiões de interesse, em que se extraem apenas os tractos seleccionados entre as regiões escolhidas. O objectivo principal desta dissertação prende-se com a análise automática de dados de tractografia, bem como a parcelização personalizada de tractos de interesse, também esta automática. Em primeiro lugar, foi desenvolvido um algoritmo capaz de lidar automaticamente com funções básicas de carregamento dos ficheiros de tractografia, o seu armazenamento em variáveis fáceis de manusear e a sua filtragem básica de acordo com regiões de interesse de teste. Neste processo de filtragem é feita a avaliação das fibras que atravessam a região de interesse considerada. Assim, após a localização das fibras entre as regiões de interesse os tractos resultantes podem ser guardados de duas formas, as quais têm, necessariamente, que ser especificadas antes de utilizar o software: um ficheiro que contém todas as fibras resultantes da parcelização e outro que contém o mapa de densidade associado, isto é, o número de fibras que se encontra em cada voxel. Após esta fase inicial, a flexibilidade e complexidade do software foi aumentando, uma vez que foram implementados novos filtros e a possibilidade de utilizar regiões de interesse de diferentes espaços anatómicos padrão. Fazendo uma análise a esta última melhoria, pode referir-se que, através de um procedimento de registo não linear da imagem anatómica do espaço padrão ao espaço individual de cada sujeito, foi possível, de forma automática, guardar o campo de deformações que caracteriza a transformação e, assim, gerar regiões de interesse personalizadas ao espaço do sujeito. Estas regiões de interesse serviram depois para a parcelização básica e para seleccionar tractos, mas também para filtragens adicionais, como a exclusão de fibras artefactuosas2 e um filtro especial, no qual apenas os pontos que ligam directamente as diferentes regiões são mantidos. Além do que já foi referido, recorreu-se também à aplicação de planos de interesse que actuam como constrangimentos neuroanatómicos, o que não permite, por exemplo, no caso da radiação óptica, que as fibras se propaguem para o lobo frontal. Esta ferramenta foi utilizada com sucesso para a parcelização automática do Fascículo Arcuado, Corpo Caloso e Radiação Óptica, tendo sido feita a comparação com a dissecção manual, em todos os casos. O estudo do Fasciculo Arcuado demonstrou ser o teste ideal para a ferramenta desenvolvida na medida que permitiu identificar o segmento longo, assim como descrito na literatura. O método automático de duas regiões de interesse deu a origem aos mesmos resultados obtidos manualmente e permitiu confirmar a necessidade de estudos mais aprofundados. Aumentando a complexidade do estudo, realizou-se a parcelização do Corpo Caloso de acordo com conectividade estrutural, isto é, com diferentes regiões envolvidas em funções distintas. Procedeu-se deste modo, e não com base em informação acerca de divisões geométricas, uma vez que estas já demonstraram incongruências quando correlacionadas com subdivisões funcionais. O uso adicional de regiões de interesse para a exclusão de fibras demonstrou-se benéfico na obtenção dos mapas finais. Finalmente, incluiu-se a utilização de um novo filtro para realizar a parcelização da Radiação Óptica, comparando os resultados para DTI e SD(do Inglês "Spherical Deconvolution"). Foi possível determinar limitações na primeira técnica que foram, no entanto, ultrapassadas pela utilização de SD. O atlas final gerado apresenta-se como uma mais-valia para o planeamento cirúrgico num ambiente clínico. O desenvolvimento desta ferramenta resultou em duas apresentações orais em conferências internacionais e encontra-se, de momento, a ser melhorada, a fim de se submeter um artigo de investigação original. Embora se tenha chegado a um resultado final positivo, tendo em conta a meta previamente estabelecida, está aberto o caminho para o seu aperfeiçoamento. Como exemplo disso, poder-se-á recorrer ao uso combinado das duas abordagens de parcelização automática e à utilização de índices específicos dos tractos, o que poderá trazer uma nova força à delineação dos tractos de interesse. Adicionalmente, é também possível melhorar os algoritmos de registo de imagem, tendo em conta a elevada variabilidade anatómica que alguns sujeitos apresentam. Como nota final, gostaria apenas de salientar que a imagiologia por difusão e, em particular, a tractografia, têm ainda muito espaço para progredir. A veracidade desta afirmação traduz-se pela existência de uma grande variedade de modelos e algoritmos implementados, sem que, no entanto, exista consenso na comunidade científica acerca da melhor abordagem a seguir.Diffusion weighted imaging (DWI) has provided us a non-invasive technique to determine physiological information and infer about tissue microstructure. The human body is filled with barriers affecting the mobility of molecules and preventing it from being constant in different directions (anisotropic diffusion). In the brain, the sources for this anisotropy arise from dense packing axons and from the myelin sheath that surrounds them. Only with Diffusion Tensor Imaging (DTI) it was possible to fully characterize anisotropy by offering estimations for average diffusivities in each voxel. However, these methods were limited, not being able to reflect the index of anisotropic diffusion in regions with complex fibre conformations. It was possible to reduce those problems through the acquisition of many gradient directions with High Angular Resolution Diffusion Imaging (HARDI). There are model-free approaches such as Diffusion Spectrum Imaging (DSI) and Q-ball Imaging (QBI) which retrieve an orientation distribution function (ODF) directly from the water molecular displacement. Another method is Spherical Deconvolution, which is a model-based approach based on the computation of a fibre orientation distribution (FOD) from the deconvolution of the diffusion signal and a chosen fibre response function. Reconstructing the fibre orientations from the diffusion profile, generates a three-dimensional reconstruction of neuronal fibres (Tractography) whether in a deterministic, probabilistic or global way. Tractography has two main purposes: non-invasive and in vivo mapping of human white matter and neurosurgical planning. In order to achieve those purposes it is common to apply parcellation techniques which can be subdivided into ROI-based or Clustering base. The aim of this project is to develop an automated method of tract-based parcellation of different brain regions. This tool is essential to retrieve information about the architecture and connectivity of the brain, overcoming time consuming and expertise related issues derived from manual dissections. Firstly we investigated basic functions to handle diffusion and tractography data. In particular, we focused on how to load track files, filter them according to regions of interest and save the output in different formats. Results were always compared with manual dissection. The developed tool increased complexity by introduction a new filtering and the use of regions of interest from different standard spaces, created trough non-linear registrations. Three major tracts of interest were analysed: Arcuate Fasciculus, Corpus Callosum and Optic Radiation

Anisotropy Across Fields and Scales

This open access book focuses on processing, modeling, and visualization of anisotropy information, which are often addressed by employing sophisticated mathematical constructs such as tensors and other higher-order descriptors. It also discusses adaptations of such constructs to problems encountered in seemingly dissimilar areas of medical imaging, physical sciences, and engineering. Featuring original research contributions as well as insightful reviews for scientists interested in handling anisotropy information, it covers topics such as pertinent geometric and algebraic properties of tensors and tensor fields, challenges faced in processing and visualizing different types of data, statistical techniques for data processing, and specific applications like mapping white-matter fiber tracts in the brain. The book helps readers grasp the current challenges in the field and provides information on the techniques devised to address them. Further, it facilitates the transfer of knowledge between different disciplines in order to advance the research frontiers in these areas. This multidisciplinary book presents, in part, the outcomes of the seventh in a series of Dagstuhl seminars devoted to visualization and processing of tensor fields and higher-order descriptors, which was held in Dagstuhl, Germany, on October 28–November 2, 2018