Dissertação de mestrado em Informatics EngineeringBreast cancer is currently one of the most commonly diagnosed cancers and the fifth leading cause of
cancer-related deaths. Its treatment has a higher survivorship rate when diagnosed in the disease’s early
stages. The screening procedure uses medical imaging techniques, such as mammography or ultrasound,
to discover possible lesions. When a physician finds a lesion that is likely to be malignant, a biopsy
is performed to obtain a sample and determine its characteristics. Currently, real-time ultrasound is the
preferred medical imaging modality to perform this procedure. The breast biopsy procedure is highly reliant
on the operator’s skill and experience, due to the difficulty in interpreting ultrasound images and correctly
aiming the needle. Robotic solutions, and the usage of automatic lesion segmentation in ultrasound
imaging along with advanced visualization techniques, such as augmented reality, can potentially make
this process simpler, safer, and faster.
The OncoNavigator project, in which this dissertation integrates, aims to improve the precision of
the current breast cancer interventions. To accomplish this objective various medical training and robotic
biopsy aid were developed. An augmented reality ultrasound training solution was created and the device’s
tracking capabilities were validated by comparing it with an electromagnetic tracking device. Another
solution for ultrasound-guided breast biopsy assisted with augmented reality was developed. This solution
displays real-time ultrasound video, automatic lesion segmentation, and biopsy needle trajectory display
in the user’s field of view. The validation of this solution was made by comparing its usability with the
traditional procedure. A modular software framework was also developed that focuses on the integration
of a collaborative medical robot with real-time ultrasound imaging and automatic lesion segmentation.
Overall, the developed solutions offered good results. The augmented reality glasses tracking capabilities
proved to be as capable as the electromagnetic system, and the augmented reality assisted breast biopsy
proved to make the procedure more accurate and precise than the traditional system.O cancro da mama é, atualmente, um dos tipos de cancro mais comuns a serem diagnosticados e a
quinta principal causa de mortes relacionadas ao cancro. O seu tratamento tem maior taxa de sobrevivência
quando é diagnosticado nas fases iniciais da doença. O procedimento de triagem utiliza técnicas
de imagem médica, como mamografia ou ultrassom, para descobrir possíveis lesões. Quando um médico
encontra uma lesão com probabilidade de ser maligna, é realizada uma biópsia para obter uma amostra
e determinar as suas características. O ultrassom em tempo real é a modalidade de imagem médica
preferida para realizar esse procedimento. A biópsia mamária depende da habilidade e experiência do
operador, devido à dificuldade de interpretação das imagens ultrassonográficas e ao direcionamento correto
da agulha. Soluções robóticas, com o uso de segmentação automática de lesões em imagens de
ultrassom, juntamente com técnicas avançadas de visualização, nomeadamente realidade aumentada,
podem tornar esse processo mais simples, seguro e rápido.
O projeto OncoNavigator, que esta dissertação integra, visa melhorar a precisão das atuais intervenções
ao cancro da mama. Para atingir este objetivo, vários ajudas para treino médico e auxílio à biópsia
por meio robótico foram desenvolvidas. Uma solução de treino de ultrassom com realidade aumentada
foi criada e os recursos de rastreio do dispositivo foram validados comparando-os com um dispositivo
eletromagnético. Outra solução para biópsia de mama guiada por ultrassom assistida com realidade aumentada
foi desenvolvida. Esta solução exibe vídeo de ultrassom em tempo real, segmentação automática
de lesões e exibição da trajetória da agulha de biópsia no campo de visão do utilizador. A validação desta
solução foi feita comparando a sua usabilidade com o procedimento tradicional. Também foi desenvolvida
uma estrutura de software modular que se concentra na integração de um robô médico colaborativo com
imagens de ultrassom em tempo real e segmentação automática de lesões. Os recursos de rastreio dos
óculos de realidade aumentada mostraram-se tão capazes quanto o sistema eletromagnético, e a biópsia
de mama assistida por realidade aumentada provou tornar o procedimento mais exato e preciso do que
o sistema tradicional
