Multimodal information spaces for content-based image retrieval

Abstract. Image collections today are increasingly larger in size, and they continue to grow constantly. Without the help of image search systems these abundant visual records collected in many different fields and domains may remain unused and inaccessible. Many available image databases often contain complementary modalities, such as attached text resources, which can be used to build an index for querying with keywords. However, sometimes users do not have or do not know the right words to express what they need, and, in addition, keywords do not express all the visual variations that an image may contain. Using example images as queries can be viewed as an alternative in different scenarios such as searching images using a mobile phone with a coupled camera, or supporting medical diagnosis by searching a large medical image collection. Still, matching only visual features between the query and image databases may lead to undesirable results from the user's perspective. These conditions make the process of finding relevant images for a specific information need very challenging, time consuming or even frustrating. Instead of considering only a single data modality to build image search indexes, the simultaneous use of both, visual and text data modalities, has been suggested. Non-visual information modalities may provide complementary information to enrich the image representation. The goal of this research work is to study the relationships between visual contents and text terms to build useful indexes for image search. A family of algorithms based on matrix factorization are proposed for extracting the multimodal aspects from an image collection. Using this knowledge about how visual features and text terms correlate, a search index is constructed, which can be searched using keywords, example images or combinations of both. Systematic experiments were conducted on different data sets to evaluate the proposed indexing algorithms. The experimental results showed that multimodal indexing is an effective strategy for designing image search systems.Las colecciones de imágenes hoy en día son muy grandes y crecen constantemente. Sin la ayuda de sistemas para la búsqueda de imágenes esos abundantes registros visuales que han sido recolectados en diferentes areas del conocimiento pueden permanecer aislados sin uso. Muchas bases de datos de imágenes contienen modalidades de datos complementarias, como los recursos textuales que pueden ser utilizados para crear índices de búsqueda. Sin embargo, algunas veces los usuarios no tienen o no saben qué palabras utilizar para encontrar lo que necesitan, y adicionalmente, las palabras clave no expresan todas las variaciones visuales que una imagen puede tener. Utilizar imágenes de ejemplo para expresar la consulta puede ser visto como una alternativa, por ejemplo buscar imágenes con teléfonos móviles, o dar soporte al diagnóstico médico con las imágenes de los pacientes. Aún así, emparejar correctamente las características visuales de la consulta y las imágenes en la base de datos puede llevar a resultados semánticamente incorrectos. Estas condiciones hacen que el proceso de buscar imágenes relevantes para una necesidad de información particular sea una tarea difícil, que consume mucho tiempo o que incluso puede ser frustrante. En lugar de considerar solo una modalidad de datos para construir índices de búsqueda para imágenes, el uso simultáneo de las modalidades visual y textual ha sido sugerido. Las modalidades no visuales pueden proporcionar información complementaria para enriquecer la representación de las imágenes. El objetivo de este trabajo de investigación es estudiar las relaciones entre los contenidos visuales y los términos textuales, para construir índices de búsqueda útiles. Este trabajo propone una familia de algoritmos basados en factorización de matrices para extraer los aspectos multimodales de una colección de imágenes. Utilizando este conocimiento acerca de cómo las características visuales se correlacionan con los términos textuales, se construye un índice que puede ser consultado con palabras clave, imágenes de ejemplo o por combinaciones de estas dos. Se realizaron experimentos sistemáticos en diferentes conjuntos de datos para evaluar los algoritmos de indexamiento propuestos. Los resultados muestran que el indexamiento multimodal es una estrategia efectiva para diseñar sistemas de búsqueda de imágenes.Doctorad

Uma proposta de arquitetura de alto desempenho para sistemas PACS baseada em extensões de banco de dados

Orientador : Prof. Dr. Aldo Von WangenheimTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 25/07/2014Inclui referênciasResumo: O uso de imagens digitais no processo de diagnóstico médico é observável em diferentes escalas e cenários de aplicação, tendo evoluído em termos de volume de dados adquiridos e número de modalidades de exame atendidas. A organização desse conteúdo digital, comumente representado por conjuntos de imagens no pa-drão DICOM (Digital Imaging and Communications in Medicine), costuma ser dele-gada a sistemas PACS (Picture Archiving and Communication System) baseados na agregação de componentes heterogêneos de hardware e software. Parte desses componentes interage de forma a compor a camada de armazenamento do PACS, responsável pela persistência de toda e qualquer imagem digital que, em algum momento, foi adquirida ou visualizada/manipulada via sistema. Apesar de emprega-rem recursos altamente especializados como SGBDs (Sistemas Gerenciadores de Banco de Dados), as camadas de armazenamento PACS atuais são visualizadas e utilizadas como simples repositórios de dados, assumindo um comportamento pas-sivo (ou seja, sem a agregação de regras de negócio) quando comparadas a outros componentes do sistema. Neste trabalho, propõe-se uma nova arquitetura PACS simplificada baseada em alterações na sua camada de armazenamento. As alterações previstas baseiam-se na troca do perfil passivo assumido atualmente por essa camada por um perfil ativo, utilizando-se de recursos de extensibilidade e de distribuição de dados (hoje não empregados) disponibilizados por seus componentes. A arquitetura proposta concentra-se na comunicação e no armazenamento de dados, utilizando-se de ex-tensões de SGBDs e de estruturas heterogêneas para armazenamento de dados convencionais e não convencionais, provendo alto desempenho em termos de es-calabilidade, suporte a grandes volumes de conteúdo e processamento descentrali-zado de consultas. Estruturalmente, a arquitetura proposta é formada por um con-junto de módulos projetados de forma a explorar as opções de extensibilidade pre-sentes em SGBDs, incorporando características e funcionalidades originalmente dis-tribuídas entre outros componentes do PACS (na forma de regras de negócio). Em nível de protótipo, resultados obtidos a partir de experimentos indicam a viabilidade de uso da arquitetura proposta, explicitando ganhos de desempenho na pesquisa de metadados e na recuperação de imagens DICOM quando comparados a arquiteturas PACS convencionais. A flexibilidade da proposta quanto à adoção de tecnologias de armazenamento heterogêneas também é avaliada positivamente, permitindo estender a camada de armazenamento PACS em termos de escalabili-dade, poder de processamento, tolerância a falhas e representação de conteúdo. Palavras-chave: PACS, DICOM, SGBD, extensibilidade, alto desempenho.Abstract: The use of digital images on medical diagnosis is observable in a number of application scenarios and in different scales, growing in terms of volume of data and contemplated medical specialties. To organize this digital content composed by image datasets in DICOM (Digital Imaging and Communications in Medicine), it is usual to adopt PACS (Picture Archiving and Communication System), an architecture built as an aggregation of hardware and software components. Some of these components compose the so-called PACS's storage layer, responsible for the persistence of every digital image acquired or visualized/manipulated through the system. Despite their high-specialized components (e.g., DBMS - Database Management System), PACS storage layers used today are visualized as simple data repositories, assuming a passive role (i.e., without the implementation of business rules) when compared to other components. In this work, a simplified, new architecture is proposed for PACS, based in modifications on its storage layer. The modifications are based in the replacement of the current passive role by an active one, using extensibility and data distribution resources available on its components. The proposed architecture focuses on communication and data storage, using DBMS extensions and heterogeneous structures for the storage of conventional and non-conventional data, providing high-performance in terms of scalability, support to large volumes of data and decentralized query processing. Structurally, the proposed architecture is composed by a set of modules designed to explore extensibility options available in DBMSs, incorporating characteristics and functionalities originally distributed as business rules among other components of PACS. At prototype level, results obtained through experiments indicate the viability of the proposal, making explicit the performance gains in the search for metadata and image retrieval when compared to conventional PACS architectures. The flexibility of the proposal regarding the adoption of heterogeneous storage technologies is also positively evaluated, allowing the extension of the PACS storage layer in terms of scalability, processing power, fault tolerance and content representation. Keywords: PACS, DICOM, DBMS, extensibility, High-Performance Computing

Design of a medical image database with content-based retrieval capabilities

This paper presents the architecture of an image administration system that supports the medical practice in tasks such as teaching, diagnosis and telemedicine. The proposed system has a multi-tier, web-based architecture and supports content-based retrieval. The paper discusses the design aspects of the system as well as the proposed contentbased retrieval approach. The system was tested with real pathology images to evaluate its performance, reaching a precision rate of 67%. The detailed results are presented and discussed