Visual Information Retrieval in Endoscopic Video Archives

In endoscopic procedures, surgeons work with live video streams from the inside of their subjects. A main source for documentation of procedures are still frames from the video, identified and taken during the surgery. However, with growing demands and technical means, the streams are saved to storage servers and the surgeons need to retrieve parts of the videos on demand. In this submission we present a demo application allowing for video retrieval based on visual features and late fusion, which allows surgeons to re-find shots taken during the procedure.Comment: Paper accepted at the IEEE/ACM 13th International Workshop on Content-Based Multimedia Indexing (CBMI) in Prague (Czech Republic) between 10 and 12 June 201

Visual search for musical performances and endoscopic videos

[ANGLÈS] This project explores the potential of LIRE, an en existing Content-Based Image Retrieval (CBIR) system, when used to retrieve medical videos. These videos are recording of the live streams used by surgeons during the endoscopic procedures, captured from inside of the subject. The growth of such video content stored in servers requires search engines capable to assist surgeons in their management and retrieval. In our tool, queries are formulated by visual examples and those allow surgeons to re-find shots taken during the procedure. This thesis presents an extension and adaptation of Lire for video retrieval based on visual features and late fusion. The results are assessed from two perspectives: a quantitative and qualitative one. While the quantitative one follows the standard practices and metrics for video retrieval, the qualitative assessment has been based on an empirical social study using a semi-interactive web-interface. In particular, a thinking aloud test was applied to analyze if the user expectations and requirements were fulfilled. Due to the scarcity of surgeons available for the qualitative tests, a second domain was also addressed: videos captured at musical performances. These type of videos has also experienced an exponential growth with the advent of affordable multimedia smart phones, available to a large audience. Analogously to the endoscopic videos, searching in a large data set of such videos is a challenging topic.[CASTELLÀ] Este proyecto investiga el potencial de Lire, un sistema existente de recuperación basado en contenido de imagen (CBIR) utilizado en el dominio médico. Estos vídeos son grabaciones a tiempo real del interior de los pacientes y son utilizados por cirujanos durante las operaciones de endoscopia. La creciente demanda de este conjunto de vídeos que son almacenados en diferentes servidores, requiere nuevos motores de búsqueda capaces de dar soporte al trabajo de los médicos con su gestión y posterior recuperación cuando se necesite. En nuestra herramienta, las consultas son formuladas mediante ejemplos visuales. Esto permite a los cirujanos volver a encontrar los diferentes instantes capturados durante las intervenciones. En esta tesis se presenta una extensión y adaptación de Lire para la recuperación de vídeo basado en las características visuales y métodos de late fusion. Los resultados son evaluados desde dos perspectivas: una cuantitativa y una cualitativa. Mientras que la parte cuantitativa sigue el estándar de las prácticas y métricas empleadas en vídeo retrieval, la evaluación cualitativa ha sido basada en un estudio social empírico mediante una interfaz web semi-interactiva. Particularmente, se ha emprendido el método "thinking aloud test" para analizar si nuestra herramienta cumple con las expectativas y necesidades de los usuarios a la hora de utilizar la aplicación. Debido a la escasez de médicos disponibles para llevar a cabo las pruebas cualitativas, el trabajo se ha dirigido también a un segundo dominio: conjunto de vídeos de acontecimientos musicales. Este tipo de vídeos también ha experimentado un crecimiento exponencial con la llegada de los smart phones y se encuentran al alcance de un público muy amplio. Análogamente a los vídeos endoscópicos, hacer una busca en una gran base de datos de este tipo también es un tema difícil y motivo de estudio.[CATALÀ] Aquest projecte investiga el potencial de Lire, un sistema existent de recuperació basat en contingut d'imatge (CBIR) utilitzat en el domini mèdic. Aquests vídeos són enregistraments a temps real de l'interior dels pacients i són utilitzats per cirurgians durant les operacions d'endoscòpia. La creixent demanda d'aquest conjunt de vídeos que són emmagatzemats a diferents servidors, requereix nous motors de cerca capaços de donar suport a la feina dels metges amb la seva gestió i posterior recuperació quan es necessiti. A la nostra eina, les consultes són formulades mitjançant exemples visuals. Això permet als cirurgians tornar a trobar els diferents instants capturats durant la intervenció. En aquesta tesi es presenta una extensió i adaptació del Lire per a la recuperació de vídeo basat en característiques visuals i late fusion. Els resultats són avaluats des de dues perspectives: una quantitativa i una qualitativa. Mentre que la part quantitativa segueix l'estàndard de les pràctiques i mètriques per vídeo retrieval, l'avaluació qualitativa ha estat basada en un estudi social empíric mitjançant una interfície web semiinteractiva. Particularment, s'ha emprès el mètode "thinking aloud test" per analitzar si la nostra eina compleix amb les expectatives i necessitats dels usuaris a l'hora d'utilitzar l'aplicació. A causa de l'escassetat de metges disponibles per dur a terme les proves qualitatives, el treball s'ha adreçat també a un segon domini: conjunt de vídeos d'esdeveniments musicals. Aquest tipus de vídeos també ha experimentat un creixement exponencial amb l'arribada dels smart phones i es troben a l'abast d'un públic molt ampli. Anàlogament als vídeos endoscòpics, fer una cerca en una gran base de dades d'aquest tipus també és un tema difícil i motiu d'estudi

Development and analysis of image and video coding and indexing method for medical examinations with applications in telemedicine

Orientadores: Wu Feng Chung, Huei Diana LeeTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Ciências MédicasResumo: O surgimento da videoendoscopia digestiva alta e baixa e da telemedicina constituem importantes avanços tecnológicos para o diagnóstico e o treinamento em procedimentos de exames do trato gastrointestinal por métodos ópticos. Nesse cenário, a transmissão e o armazenamento de imagens e vídeos digitais demandam técnicas de compressão adequadas às características da aplicação. Além disso, com a formação de grandes bases de dados, a recuperação por conteúdo das imagens de modo efetivo é também necessária. Assim sendo, este trabalho propõe um método original de codificação, indexação e recuperação de imagens e vídeos. O método usa a decomposição em valores singulares como técnica algébrica de fatoração que permite a ordenação dos fatores constituintes por nível de importância na constituição da imagem. O método apresenta, também, uma análise estatística prévia de cores obtidas de amostras representativas, formando um mapa de probabilidade baseado na frequência de cores, e que resulta na representação compacta das mesmas. Por meio de experimentos realizados com 2.700 quadros de endoscopia digestiva alta, o método de codificação alcançou taxa de compressão média de 82,07%, com desvio padrão de 6,37%, e qualidade objetiva de 38,85 dB com desvio padrão de 1,06 dB. Em comparação com o padrão de codificação H.263, houve diferença estatisticamente significativa em termos da taxa de compressão e da qualidade objetiva (p ? 0,05). Para a recuperação, foram indexados 7.212 quadros e utilizadas 97 imagens de exemplo para a busca. Como resultado, a precisão média alcançada foi de 94,85% na configuração que obteve o melhor desempenho geral, tendo sido igual ou superior a outros métodos reportados na literatura. Por meio dos experimentos realizados conclui-se que o método original proposto foi eficaz em codificar e indexar automaticamente vídeos de exames médicos para aplicações de telemedicina.Abstract: The emergence of upper and lower gastrointestinal (GI) video endoscopy and telemedicine are essential technological advancements for the diagnosis and training related to examination procedures of the digestive tract using optical methods. In this context, transmission and storage of digital images and videos require compression techniques that are suitable for the application characteristics. Moreover, as the media databases grow massive, effective search and retrieval by image content become necessary. Thus, this work proposes an original method for coding, indexing and retrieving images and videos. The proposed method uses the singular value decomposition as the algebraic technique for matrix factorization that allows sorting the components by their level of relevance in the image composition. The process also presents a statistical analysis of colors, obtained from typical image samples, to form a probability map based on the color frequency, that further leads to a compact representation. Through the experiments executed on 2,700 frames of upper GI endoscopy, the coding method achieved an average compression ratio of 82.07% with a standard deviation of 6.37%, and objective quality of 38.85 dB with a standard deviation of 1.06 dB. In comparison with the H.263 coding standard, it was observed a statistically significant difference in terms of compression ratio and objective quality (p ? 0,05). As for the retrieval, 7212 frames were indexed and 97 sample images were used as search queries. As a result, an average precision of 94,85% was achieved for the configuration with best overall performance, outperforming other methods reported in the literature. Based on the results of the experiments it is possible to conclude that the proposed original method was effectively able to encode and automatically index medical examination videos for telemedicine applicationsDoutoradoFisiopatologia CirúrgicaDoutor em Ciência

Visual information retrieval in endoscopic video archives

In endoscopic procedures, surgeons work with live video streams from the inside of their subjects. A main source for documentation of procedures are still frames from the video, identified and taken during the surgery. However, with growing demands and technical means, the streams are saved to storage servers and the surgeons need to retrieve parts of the videos on demand. In this submission we present a demo application allowing for video retrieval based on visual features and late fusion, which allows surgeons to re-find shots taken during the procedure.Peer Reviewe