30 research outputs found

    Fast video caption detection based on visual rhythm

    Get PDF
    Orientadores: Neucimar Jerônimo Leite, Hélio PedriniDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Detecção de textos em imagens é um problema que vem sendo estudado a várias décadas. Existem muitos trabalhos que estendem os métodos existentes para uso em análise de vídeos, entretanto, poucos deles criam ou adaptam abordagens que consideram características inerentes dos vídeos, como as informações temporais. Um problema particular dos vídeos, que será o foco deste trabalho, é o de detecção de legendas. Uma abordagem rápida para localizar quadros de vídeos que contenham legendas é proposta baseada em uma estrutura de dados especial denominada ritmo visual. O método é robusto à detecção de legendas com respeito ao alfabeto utilizado, ao estilo de fontes, à intensidade de cores e à orientação das legendas. Vários conjuntos de testes foram utilizados em nosso experimentos para demonstrar a efetividade do métodoAbstract: Detection of text in images is a problem that has been studied for several decades. There are many works that extend the existing methods for use in video analysis, however, few of them create or adapt approaches that consider the inherent characteristics of video, such as temporal information. A particular problem of the videos, which will be the focus of this work, is the detection of subtitles. A fast method for locating video frames containing captions is proposed based on a special data structure called visual rhythm. The method is robust to the detection of legends with respect to the used alphabet, font style, color intensity and subtitle orientation. Several datasets were used in our experiments to demonstrate the effectiveness of the methodMestradoCiência da ComputaçãoMestre em Ciência da Computaçã

    Multimedia Retrieval

    Get PDF

    Multiple Media Correlation: Theory and Applications

    Get PDF
    This thesis introduces multiple media correlation, a new technology for the automatic alignment of multiple media objects such as text, audio, and video. This research began with the question: what can be learned when multiple multimedia components are analyzed simultaneously? Most ongoing research in computational multimedia has focused on queries, indexing, and retrieval within a single media type. Video is compressed and searched independently of audio, text is indexed without regard to temporal relationships it may have to other media data. Multiple media correlation provides a framework for locating and exploiting correlations between multiple, potentially heterogeneous, media streams. The goal is computed synchronization, the determination of temporal and spatial alignments that optimize a correlation function and indicate commonality and synchronization between media objects. The model also provides a basis for comparison of media in unrelated domains. There are many real-world applications for this technology, including speaker localization, musical score alignment, and degraded media realignment. Two applications, text-to-speech alignment and parallel text alignment, are described in detail with experimental validation. Text-to-speech alignment computes the alignment between a textual transcript and speech-based audio. The presented solutions are effective for a wide variety of content and are useful not only for retrieval of content, but in support of automatic captioning of movies and video. Parallel text alignment provides a tool for the comparison of alternative translations of the same document that is particularly useful to the classics scholar interested in comparing translation techniques or styles. The results presented in this thesis include (a) new media models more useful in analysis applications, (b) a theoretical model for multiple media correlation, (c) two practical application solutions that have wide-spread applicability, and (d) Xtrieve, a multimedia database retrieval system that demonstrates this new technology and demonstrates application of multiple media correlation to information retrieval. This thesis demonstrates that computed alignment of media objects is practical and can provide immediate solutions to many information retrieval and content presentation problems. It also introduces a new area for research in media data analysis

    Text recognition and 2D/3D object tracking

    Get PDF
    Orientadores: Jorge Stolfi, Neucimar Jerônimo LeiteTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Nesta tese abordamos três problemas de visão computacional: (1) detecção e reconhecimento de objetos de texto planos em imagens de cenas reais; (2) rastreamento destes objetos de texto em vídeos digitais; e (3) o rastreamento de um objeto tridimensional rígido arbitrário com marcas conhecidas em um vídeo digital. Nós desenvolvemos, para cada um dos problemas, algoritmos inovadores, que são pelo menos tão precisos e robustos quanto outros algoritmos estado-da-arte. Especificamente, para reconhecimento de texto nós desenvolvemos (e validamos extensivamente) um novo descritor de imagem baseado em HOG especializado para escrita romana, que denominamos T-HOG, e mostramos sua contribuição como um filtro em um detector de texto (SNOOPERTEXT). Nós também melhoramos o algoritmo SNOOPERTEXT através do uso da técnica multiescala para tratar caracteres de tamanhos bastante variados e limitar a sensibilidade do algoritmo a vários artefatos. Para rastreamento de texto, nós descrevemos quatro estratégias básicas para combinar a detecção e o rastreamento de texto, e desenvolvemos também um rastreador específico baseado em filtro de partículas que explora o uso do reconhecedor T-HOG. Para o rastreamento de objetos rígidos, nós desenvolvemos um novo algoritmo preciso e robusto (AFFTRACK) que combina rastreamento de características por KLT com uma calibração de câmera melhorada. Nós testamos extensivamente nossos algoritmos com diversas bases de dados descritas na literatura. Nós também desenvolvemos algumas bases de dados (publicamente disponíveis) para a validação de algoritmos de detecção e rastreamento de texto e de rastreamento de objetos rígidos em vídeosAbstract: In this thesis we address three computer vision problems: (1) the detection and recognition of flat text objects in images of real scenes; (2) the tracking of such text objects in a digital video; and (3) the tracking an arbitrary three-dimensional rigid object with known markings in a digital video. For each problem we developed innovative algorithms, which are at least as accurate and robust as other state-of-the-art algorithms. Specifically, for text classification we developed (and extensively evaluated) a new HOG-based descriptor specialized for Roman script, which we call T-HOG, and showed its value as a post-filter for an existing text detector (SNOOPERTEXT). We also improved the SNOOPERTEXT algorithm by using the multi-scale technique to handle widely different letter sizes while limiting the sensitivity of the algorithm to various artifacts. For text tracking, we describe four basic ways of combining a text detector and a text tracker, and we developed a specific tracker based on a particle-filter which exploits the T-HOG recognizer. For rigid object tracking we developed a new accurate and robust algorithm (AFFTRACK) that combines the KLT feature tracker with an improved camera calibration procedure. We extensively tested our algorithms on several benchmarks well-known in the literature. We also created benchmarks (publicly available) for the evaluation of text detection and tracking and rigid object tracking algorithmsDoutoradoCiência da ComputaçãoDoutor em Ciência da Computaçã

    Adaptive Methods for Robust Document Image Understanding

    Get PDF
    A vast amount of digital document material is continuously being produced as part of major digitization efforts around the world. In this context, generic and efficient automatic solutions for document image understanding represent a stringent necessity. We propose a generic framework for document image understanding systems, usable for practically any document types available in digital form. Following the introduced workflow, we shift our attention to each of the following processing stages in turn: quality assurance, image enhancement, color reduction and binarization, skew and orientation detection, page segmentation and logical layout analysis. We review the state of the art in each area, identify current defficiencies, point out promising directions and give specific guidelines for future investigation. We address some of the identified issues by means of novel algorithmic solutions putting special focus on generality, computational efficiency and the exploitation of all available sources of information. More specifically, we introduce the following original methods: a fully automatic detection of color reference targets in digitized material, accurate foreground extraction from color historical documents, font enhancement for hot metal typesetted prints, a theoretically optimal solution for the document binarization problem from both computational complexity- and threshold selection point of view, a layout-independent skew and orientation detection, a robust and versatile page segmentation method, a semi-automatic front page detection algorithm and a complete framework for article segmentation in periodical publications. The proposed methods are experimentally evaluated on large datasets consisting of real-life heterogeneous document scans. The obtained results show that a document understanding system combining these modules is able to robustly process a wide variety of documents with good overall accuracy

    The role of 5-hydroxymethylcytosine as a potential epigenetic biomarker in a large series of thyroid neoplasm

    Get PDF
    Modificações da citosina na posição carbono-5 desempenham um papel importante na regulação de expressão génica e a sua desregulação é considerada uma marca distinta de cancro. Estudos recentes demonstram que a 5-hidroximetilcitosina (5-hmC) gerada através da oxidação da 5-metilcitosina (5-mC) está significativamente diminuída em vários cancros humanos. Embora o seu papel na progressão tumoral seja ainda desconhecido, a perda de 5-hmC tem sido proposta como um marcador de malignidade tumoral. Relativamente a tumores da tiróide, a literatura é escassa e os estudos carecem de número de casos e diversidade de histotipos, não permitindo conclusões claras. Neste trabalho, avaliámos os níveis de 5-hmC, por imunohistoquímica, numa série retrospetiva de 318 tumores da tiróide, incluindo tumores benignos, borderline e malignos, classificados de acordo com a 4ª edição da WHO, e correlacionámos a sua expressão com características demográficas e clinicopatológicas de pacientes e tumores, com o objetivo de verificar se os valores de 5-hmC podem ser usados como marcadores diagnósticos, prognósticos e terapêuticos. Os nossos dados mostram uma associação significativa entre a perda de expressão de 5-hmC e a extensão extra tiroideia, estado invasivo/infiltrativo da cápsula, invasão linfovascular, bilateralidade, multifocalidade, malignidade tumoral e uma ligação sem precedente com a morfologia oncocítca. Adicionalmente, num subgrupo de 183 casos de carcinoma papilar da tiróide, também observámos perda estatisticamente significativa de 5-hmC em casos com mutações do promotor TERT e metástases à distância. O nosso estudo evidencia um papel importante para a 5-hmC na tumorigénese da tiróide e indica que os níveis de 5-hmC têm o potencial de serem usados como marcadores de diagnóstico e prognóstico, contudo, são necessários mais estudos para verificar todo o seu potencial.Cytosine modifications at the 5-carbon position play an important role in the regulation of gene expression, and its deregulation is considered a hallmark of cancer. Recent studies demonstrate that 5-hydroxymethylcytosine (5-hmC) generated through 5-methylcytosine (5-mC) oxidation is significantly depleted in several human cancers. Although its role in tumour progression is still unknown, the 5-hmC loss has been proposed as a marker of tumour malignancy. Concerning thyroid tumours, the literature is scarce, and the studies are sparse in a number of cases and diversity of histotypes, not allowing clear conclusions. In this work, we evaluated the levels of 5-hmC, by immunohistochemistry, in a retrospective series of 318 thyroid tumours, including benign, low-risk, and malignant tumours, classified according to the 4th edition of WHO, and correlated its expression with demographic and clinicopathological features of the patients and tumours, aiming to verify whether 5-hmC levels can be used as a diagnostic, prognostic or therapeutic marker. Our data show a significant association between loss of expression of 5-hmC and extrathyroidal extension, invasive/infiltrative capsule status, lymphovascular invasion, bilaterality, multifocality, tumour malignancy, and an unprecedented link with oncocytic morphology. Additionally, in a subgroup of 183 papillary thyroid carcinoma (PTC) cases, we also observed a statistically significant loss of 5-hmC in cases with TERT promoter mutations and distant metastasis. Our study evidences an important role for 5-hmC in thyroid tumourigenesis and indicates that 5-hmC levels have the potential to be used as a diagnostic and prognostic marker, however, more studies are needed to fully verify its potential

    Diversidade e padrões ecológicos em comunidades de Drosophilidae (Diptera) : integrando diversidade taxonômica e funcionalidade

    Get PDF
    Buscar entender as funções desempenhadas pelas espécies nas comunidades de Drosophilidae é uma importante contribuição sobre a dinâmica das comunidades e seus efeitos no funcionamento do ecossistema. Deste modo, diversidade e padrões ecológicos dentro das comunidades podem ser melhores compreendidos, não somente pela perspectiva taxonômica como também quanto à funcionalidade. Com a ampla diversidade e distribuição do grupo foi possível proporcionar maiores informações em algumas lacunas ecossistêmicas, como efeito de borda, técnicas de amostragem e funcionalidade (Capítulos II, III, IV e V). No capítulo II analisamos os padrões de distribuição temporal da abundância, riqueza e composição de Drosophilidae em um fragmento de mata em função da distância da borda. Observamos que algumas espécies apresentam distribuição assimétrica no fragmento, sendo mais restritas à borda e outras ao interior de mata. Usando armadilhas coloridas pela primeira vez, no capítulo III conduzimos a identificação de indivíduos capturados em três ambientes do Rio Grande do Sul. Os resultados demonstraram que as armadilhas coloridas com uma eficiência marcante na amostragem de espécies de Drosophilidae, principalmente de espécies antofílicas, e algumas outras espécies capturadas acessoriamente em flores na região Neotropical, como D. melanogaster e D. willistoni. No capítulo IV realizamos uma revisão de atributos funcionais, nos concentrando apenas em estudos da história natural e ecologia de Drosophilidae o que poderiam ajudar a explicar aspectos funcionais do grupo. Sugerimos três categorias (percepção do habitat, o desempenho de voo e respostas ecofisiológicas) para compreender o padrão funcional em Drosophilidae. A revisão proporciona um protocolo/guia prático para melhor correlacionar métricas funcionais para questões ecológicas do grupo. Testamos esse protocolo no capítulo V em um levantamento de fauna em áreas de vegetação florestais e vegetações campestres, onde avaliamos a riqueza e funcionalidade da comunidade. Os índices funcionais não diferiram significativamente demonstrando que as espécies possuem uma variação dos atributos mensurados (o tamanho do olho, comprimento da gena, comprimento do flagelômero e escapo, tamanho da asa, tamanho do tórax e tamanho do corpo) que na verdade são compartilhadas entre elas independente da vegetação. No geral, os trabalhos realizados nesta tese reforçam diversidade taxonômica e composição funcional em Drosophilidae como importantes ferramentas para entender padrões e o funcionamento dos ambientes gerando dados com maior precisão quanto à distribuição e papel ecológico dos grupos, partindo de diferentes métricas amostrais, como aqui realizadas.Understanding the functions performed by species in Drosophilidae communities is an important contribution to the dynamics of communities and their effects on ecosystem functioning. In this way, diversity and ecological patterns within communities can be better understood, not only from a taxonomic perspective but also in terms of functionality. With the wide diversity and distribution of the group, it was possible to provide more information on some ecosystem gaps, such as edge effect, sampling techniques and functionality (Chapters II, III, IV and V). In chapter II we analyze the patterns of temporal distribution of abundance, richness and composition of Drosophilidae in a forest fragment as a function of distance from the edge. We observed that some species present asymmetric distribution in the fragment, being more restricted to the edge and others to the interior of the forest. Using colored traps for the first time, in chapter III we conducted the identification of individuals captured in three environments in Rio Grande do Sul. The results showed that the colored traps are efficiency in the sampling of Drosophilidae species, mainly anthophilic species, and some other species caught by the way in flowers in the Neotropical region, such as D. melanogaster and D. willistoni. In chapter IV we carried out a review of functional attributes, focusing only on studies of the natural history and ecology of Drosophilidae, which could help to explain functional aspects of the group. We suggest three categories (habitat perception, flight performance and ecophysiological responses) to understand the functional pattern in Drosophilidae. The review provides a practical protocol to better correlate functional measurements to ecological issues in the group. We tested this protocol in Chapter V in a survey of fauna in areas of forest and grassland vegetation, where we evaluated the richness and functionality of the community. The functional indices wasn't differ significantly, demonstrating that the species have a variation of the measured attributes (eye size, gena length, flagellomere and scape length, wing size, thorax size and body size) that are actually shared between they are independent of vegetation. Overall, the work carried out in this thesis reinforces taxonomic diversity and functional composition in Drosophilidae as important tools to understand patterns and the functioning of environments, generating data with greater precision regarding the distribution and ecological role of groups, starting from different sample metrics, as performed here

    B!SON: A Tool for Open Access Journal Recommendation

    Get PDF
    Finding a suitable open access journal to publish scientific work is a complex task: Researchers have to navigate a constantly growing number of journals, institutional agreements with publishers, funders’ conditions and the risk of Predatory Publishers. To help with these challenges, we introduce a web-based journal recommendation system called B!SON. It is developed based on a systematic requirements analysis, built on open data, gives publisher-independent recommendations and works across domains. It suggests open access journals based on title, abstract and references provided by the user. The recommendation quality has been evaluated using a large test set of 10,000 articles. Development by two German scientific libraries ensures the longevity of the project

    A component framework for personalized multimedia applications

    Get PDF
    Eine praktikable Unterstützung für eine dynamische Erstellung von personalisierten Multimedia-Präsentationen bieten bisher weder industrielle Lösungen noch Forschungsansätze. Mit dem Software-technischen Ansatz des MM4U-Frameworks („MultiMedia For You“) wird erstmals eine generische und zugleich praktikable Unterstützung für den dynamischen Erstellungsprozess bereitgestellt. Das Ziel des MM4U-Frameworks ist es den Anwendungsentwicklern eine umfangreiche und anwendungsunabhängige Unterstützung zur Erstellung von personalisierten Multimedia-Inhalten anzubieten und damit den Entwicklungsprozess solcher Anwendungen erheblich zu erleichtern. Um das Ziel eines Software-Frameworks zur generischen Unterstützung der Entwicklung von personalisierten Multimedia-Anwendungen zu erreichen, stellt sich die Frage nach einer geeigneten Software-technischen Unterstützung zur Entwicklung eines solchen Frameworks. Seit der Einführung von objektorientierten Frameworks, ist heute die Entwicklung immer noch aufwendig und schwierig. Um die Entwicklungsrisiken zu reduzieren, sind geeignete Vorgehensmodelle und Entwicklungsmethoden erstellt worden. Mit der Komponenten-Technologie sind auch so genannte Komponenten-Frameworks entstanden. Im Gegensatz zu objekt-orientierten Frameworks fehlt derzeit jedoch ein geeignetes Vorgehensmodell für Komponenten-Frameworks. Um den Entwicklungsprozess von Komponenten-Frameworks zu verbessern ist mit ProMoCF („Process Model for Component Frameworks“) ein neuartiger Ansatz entwickelt worden. Hierbei handelt es sich um ein leichtgewichtiges Vorgehensmodell und eine Entwicklungsmethodik für Komponenten-Frameworks. Das Vorgehensmodell wurde unter gegenseitigem Nutzen mit der Entwicklung des MM4U-Frameworks erstellt. Das MM4U-Framework stellt keine Neuerfindung der Adaption von Multimedia-Inhalten dar, sondern zielt auf die Vereinigung und Einbettung existierender Forschungsansätze und Lösungen im Umfeld der Multimedia-Personalisierung. Mit so einem Framework an der Hand können Anwendungsentwickler erstmals effizient und einfach eine dynamische Erstellung ihrer personalisierten Multimedia-Inhalte realisieren

    Lepidópteros galhadores (Cecidosidae) da América do Sul : filogeografia de Eucecidoses minutanus Bréthes e descrição de dois gêneros e de três espécies novas

    Get PDF
    O continente Sul Americano apresenta uma grande diversidade biológica, que pode ser explicada pelos resultados das interações entre plantas e animais, e de eventos climáticos e geológicos passados. Diferentes hipóteses sugerem como a biodiversidade da América do Sul pode ter evoluído; 1) através de um longo período de isolamento que, forneceu estabilidade e condições climáticas e biológicas; 2) com o soerguimento do Andes, por meio da vicariância geográfica e isolamento genético, aumentando a heterogeneidade e complexidade de habitats; e 3) pelas transgressões marinhas, que modificaram a paisagem, flora e fauna do continente. Por apresentar uma alta heterogeneidade de ecossistemas, a região Neotropical conta uma das maiores riquezas de insetos galhadores do mundo. Dentre esses, Lepidoptera, a segunda maior ordem de Insecta, conta com diversas famílias que são reconhecidas como indutoras de galhas e que, no entanto, não são devidamente exploradas/descritas. Cecidosidae são microlepidópteros indutores de galhas pouco conhecidos que apresentam uma estreita associação com plantas hospedeiras de Anacardiaceae. Na América do Sul, apenas quatro gêneros representam a família: Cecidoses, Eucecidoses, Oliera e Dicranoses (Davis 1998, Moreira 2012), sendo os três primeiros monotípicos. Neste contexto, o presente estudo explora a história evolutiva de Eucecidoses na região Neotropical, através de uma abordagem filogeográfica a partir de sua distribuição geográfica, associação com a planta hospedeira, e estrutura genética de populações deste táxon; e também descreve dois novos gêneros e espécies de Cecidosidae encontrados para o sul do Brasil e região central do Chile; os dados relacionados à história de vida, plantas hospedeiras e distribuição das novas espécies são fornecidos, assim como as relações filogenéticas destas novas espécies com as já descritas na literatura. Os resultados mostraram que o padrão de distribuição encontrado para Eucecidoses minutanus Brèthes (1916), não está relacionado diretamente com a distribuição de sua planta hospedeira, mas por eventos de dispersão e vicariância, que coincide com o arco orogênico Peripampásico. As análises revelaram seis linhagens distintas, geneticamente estruturadas e isoladas por distância em diferentes regiões biogeográficas. Um novo gênero e espécie de Cecidosidae, Cecidonius pampeanus Moreira e Gonçalves (2017), é descrito para o bioma Pampa no sul do Brasil; a galha induzida por esta espécie é severamente atacada por parasitoides e inquilinos, estes últimos modificando-a e tornando-a vistosa. Devido a isso, a espécie indutora permaneceu desconhecida por VIII muito tempo, sendo erroneamente atribuida a um hymenoptero, de fato um inquilino desta. C. pampeanus foi reconhecida através de filogenia molecular como uma linhagem nova e relacionada aos cecidosídeos Neotropicais. O novo gênero e espécie descrita para o Chile, Andescecidium parrai Moreira e Vargas (2018), aparentado com Cecidonius, passou por uma história de negligência semelhante à de C. pampeanus, sua galha foi por muito tempo estabelecida como induzida por um coleóptero, supostamente um cleptoparasita da galha do real indutor. Além de A. parrai, uma nova espécie adicional, Oliera saizi Moreira e Vargas (2018), é também descrita.The South American continent presents a great biological diversity that can be explained as results from plant and animal interactions, and from climatic and geological past events. Different hypothesis suggest how the South American biodiversity may have evolved; 1) through a long period of isolation, which provided stability and climatic and biological conditions; 2) the uplift of the Andes, through geographical vicariance and genetic isolation, raising the heterogeneity and habitat complex; 3) through marine transgressions, which modified the landscape, flora and fauna of the continent. Because of the high ecosystem heterogeneity, the Neotropical region counts with one of the greatest richness of galling insects in the world. Among them, Lepidoptera is the second largest order of Insecta and abridges several families that are recognized as gall inducing insects, however, they are not properly explored/described. Cecidosidae is a little known family of gall inducing microlepidoptera that presents strict relationship with Anacardiaceae host plants. In South America, only four genera represent the family: Cecidoses, Eucecidoses, Oliera and Dicranoses (Davis 1998, Moreira 2012), the first three being monotypic. In this context, the present study explores the evolutionary history of the genus Eucecidoses in the Neotropical region, through a phylogeograpical approach, association with hostplant, and genetic structure of populations of this taxa; and also describes two new genera and species of Cecidosidae found for south of Brazil and central region of Chile; the data related to life history, host-plants and distribution of the new species are provided, as well as the phylogenetic relations of these new species with the ones described in the literature. The results showed that the distributional pattern found for Eucecidoses minutanus Brèthes (1916), is not directly related to the host-plant distribution, but with events of dispersion and vicariance, which coincides with the Peripampasic orogenic arc. The analyzes revealed six distinct lineages, genetically structured and isolated by distance in different biogeographical regions. A new Cecidosidae genus and species, Cecidonius pampeanus Moreira e Gonçalves (2017) is described for the Pampa biome, south Brazil; the gall induced by this species is severely attacked by parasitoids and inquilines, the latter modifies the gall, promptly calling attention. Because of this, the true inducer remained unknown for a long period, being mistakenly attributed to a hymenoptera, in fact, its inquiline. Cecidonius pampeanus, X was recognized through molecular phylogeny as a new lineage related to the Neotropical cecidosids. The new genus and species described for Chile, Andescecidium parrai, related to Cecidonius, went through negligent history similarly to C. pampeanus, its gall was long established as induced by a coleoptera, supposedly a kleptoparasite of the true inducer. Besides to A. parrai, a new additional species, Oliera saizi Moreira e Vargas (2018), is also described
    corecore