FUSÃO DE CARACTERÍSTICAS ADAPTATIVA POR CONSULTA PARA DIVERSIFICAÇÃO VISUAL

Com o aumento da popularização das tecnologias fica cada vez mais fácil adquirir umdispositivo capaz de capturar e armazenar dados. Esses dados são utilizados das mas diversasformas, entre eles, a utilização em redes sociais e sites, gerando a cada dia uma grandequantidade de conteúdos digitais multimídia. Estes conteúdos são explorados para várias áreas,como: sensoriamento remoto e análise forense. Logo, é preciso encontrar maneiras eficientes deretornar resultados relevantes as necessidades de cada usuário.Na recuperação de imagens, por exemplo, pode-se utilizar de informações textuais(metadados, palavras-chaves, etc) e descrições das propriedades visuais (cor, forma, textura, etc).No processo de recuperação de imagens, a relevância depende das intenções de busca do usuário.É comum que os descritores de conteúdo individualmente não representem da melhor maneira oconteúdo semântico de uma imagem. Esse problema é conhecido como gap semântico. Visandoamenizar este problema, descritores são combinados para adaptar as buscas às necessidades dosusuários (Atrey et al (2010), Calumby et al (2014)). É preciso definir dinamicamente quais asmelhores características que representam melhor uma consulta ou o nível de importância quecada característica disponível pode ter na definição de relevância de cada item da coleção dedados.Há dois tipos de técnicas para fusão de características: early fusion e late fusion. Aabordagem early fusion primeiro extrai as características referentes a cada uma das propriedadespara então as combinar. As abordagens baseadas em late fusion realizam a extração dascaracterísticas para cada uma das propriedades, mas os algoritmos de aprendizado são aplicados acada uma das propriedades em separado. O resultado é a classificação dos itens da base.O objetivo deste trabalho foi desenvolver um modelo de diversificação visual baseado emfusão de características de imagens. Foi utilizado o método de Algoritmos Genéticos (AG)(Goldberg, 1989) para desenvolvimento dinâmico e adaptativo por consulta, do modelo proposto,a fim de apresentar uma solução capaz de definir dinamicamente a importância que cadacaracterística possui na combinação dos descritores para recuperação multimodal, visual etextual

Diversificação de Imagens baseada em Agrupamento Adaptativo por Consulta

À medida que a tecnologia avança, grandes transformações acontecem, sejam em âmbito puramente social ou tecnológico. Nesse contexto, observa-se que as imagens têm impactado de forma direta em muitas dessas transformações. As imagens são utilizadas em contextos diversos, como em sistemas de medicina, de biodiversidade e bibliotecas digitais (Torres & Falcao, 2006). Desta forma, ao longo dos anos, muito tem sido feito para melhorar a eficácia com a qual essas imagens são recuperadas e analisadas. Uma dessas técnicas é a chamada recuperação de imagens por conteúdo (Veltkamp & Tanase, 2002). Essas técnicas, basicamente, tentam recuperar imagens semelhantes à uma especificação ou padrão definido pelo usuário (por exemplo, esboço de forma, uma imagem modelo) (Torres & Falcao, 2006).O processo de recuperação de informação exige que determinados aspectos sejam observados com cautela, como ambiguidade, redundância, relevância e diversidade. Além disso, as imagens que devem ser exibidas para um determinado usuário são as imagens consideradas relevantes, aquelas que oferecem informações úteis. Contudo, embora a utilização da relevância como critério seja eficaz, tem-se observado que em certas situações o seu uso não satisfaz por completo as necessidades de consulta que demandam diversidade visual, por exemplo, Chang et al (2016); Chang & Wang (2016); Fan et al (2008). Uma solução comumente explorada para amenizar esse problema é a utilização de técnicas de agrupamento de dados, que visa encontrar grupos de objetos que tenham certa semelhança, sem levar em consideração informações prévias sobre os dados existentes. Todavia, muitos algoritmos demandam um valor de referência para determinar o número de grupos a serem gerados.A determinação do número de grupos é uma tarefa que exige esforço, pois envolve um conjunto de propriedades e características das imagens. Trabalhos anteriores tentaram encontrar um número fixo de grupos independente da consulta a ser executada (Ferreira et al, 2016); (Tollari, 2016), ao invés de utilizar métodos adaptativos. Em outros trabalhos, mesmo simulando-se o número exato de clusters para cada consulta (com base no ground-truth), os resultados não foram satisfatórios (Araujo, 2016). Diante disso, este estudo buscou formular uma abordagem que auxiliasse na detecção automática do número de grupos, adaptável a cada consulta

Análise de vídeo sensível

Orientadores: Anderson de Rezende Rocha, Siome Klein GoldensteinTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Vídeo sensível pode ser definido como qualquer filme capaz de oferecer ameaças à sua audiência. Representantes típicos incluem ¿ mas não estão limitados a ¿ pornografia, violência, abuso infantil, crueldade contra animais, etc. Hoje em dia, com o papel cada vez mais pervasivo dos dados digitais em nossa vidas, a análise de conteúdo sensível representa uma grande preocupação para representantes da lei, empresas, professores, e pais, devido aos potenciais danos que este tipo de conteúdo pode infligir a menores, estudantes, trabalhadores, etc. Não obstante, o emprego de mediadores humanos, para constantemente analisar grandes quantidades de dados sensíveis, muitas vezes leva a ocorrências de estresse e trauma, o que justifica a busca por análises assistidas por computador. Neste trabalho, nós abordamos este problema em duas frentes. Na primeira, almejamos decidir se um fluxo de vídeo apresenta ou não conteúdo sensível, à qual nos referimos como classificação de vídeo sensível. Na segunda, temos como objetivo encontrar os momentos exatos em que um fluxo começa e termina a exibição de conteúdo sensível, em nível de quadros de vídeo, à qual nos referimos como localização de conteúdo sensível. Para ambos os casos, projetamos e desenvolvemos métodos eficazes e eficientes, com baixo consumo de memória, e adequação à implantação em dispositivos móveis. Neste contexto, nós fornecemos quatro principais contribuições. A primeira é uma nova solução baseada em sacolas de palavras visuais, para a classificação eficiente de vídeos sensíveis, apoiada na análise de fenômenos temporais. A segunda é uma nova solução de fusão multimodal em alto nível semântico, para a localização de conteúdo sensível. A terceira, por sua vez, é um novo detector espaço-temporal de pontos de interesse, e descritor de conteúdo de vídeo. Finalmente, a quarta contribuição diz respeito a uma base de vídeos anotados em nível de quadro, que possui 140 horas de conteúdo pornográfico, e que é a primeira da literatura a ser adequada para a localização de pornografia. Um aspecto relevante das três primeiras contribuições é a sua natureza de generalização, no sentido de poderem ser empregadas ¿ sem modificações no passo a passo ¿ para a detecção de tipos diversos de conteúdos sensíveis, tais como os mencionados anteriormente. Para validação, nós escolhemos pornografia e violência ¿ dois dos tipos mais comuns de material impróprio ¿ como representantes de interesse, de conteúdo sensível. Nestes termos, realizamos experimentos de classificação e de localização, e reportamos resultados para ambos os tipos de conteúdo. As soluções propostas apresentam uma acurácia de 93% em classificação de pornografia, e permitem a correta localização de 91% de conteúdo pornográfico em fluxo de vídeo. Os resultados para violência também são interessantes: com as abordagens apresentadas, nós obtivemos o segundo lugar em uma competição internacional de detecção de cenas violentas. Colocando ambas em perspectiva, nós aprendemos que a detecção de pornografia é mais fácil que a de violência, abrindo várias oportunidades de pesquisa para a comunidade científica. A principal razão para tal diferença está relacionada aos níveis distintos de subjetividade que são inerentes a cada conceito. Enquanto pornografia é em geral mais explícita, violência apresenta um espectro mais amplo de possíveis manifestaçõesAbstract: Sensitive video can be defined as any motion picture that may pose threats to its audience. Typical representatives include ¿ but are not limited to ¿ pornography, violence, child abuse, cruelty to animals, etc. Nowadays, with the ever more pervasive role of digital data in our lives, sensitive-content analysis represents a major concern to law enforcers, companies, tutors, and parents, due to the potential harm of such contents over minors, students, workers, etc. Notwithstanding, the employment of human mediators for constantly analyzing huge troves of sensitive data often leads to stress and trauma, justifying the search for computer-aided analysis. In this work, we tackle this problem in two ways. In the first one, we aim at deciding whether or not a video stream presents sensitive content, which we refer to as sensitive-video classification. In the second one, we aim at finding the exact moments a stream starts and ends displaying sensitive content, at frame level, which we refer to as sensitive-content localization. For both cases, we aim at designing and developing effective and efficient methods, with low memory footprint and suitable for deployment on mobile devices. In this vein, we provide four major contributions. The first one is a novel Bag-of-Visual-Words-based pipeline for efficient time-aware sensitive-video classification. The second is a novel high-level multimodal fusion pipeline for sensitive-content localization. The third, in turn, is a novel space-temporal video interest point detector and video content descriptor. Finally, the fourth contribution comprises a frame-level annotated 140-hour pornographic video dataset, which is the first one in the literature that is appropriate for pornography localization. An important aspect of the first three contributions is their generalization nature, in the sense that they can be employed ¿ without step modifications ¿ to the detection of diverse sensitive content types, such as the previously mentioned ones. For validation, we choose pornography and violence ¿ two of the commonest types of inappropriate material ¿ as target representatives of sensitive content. We therefore perform classification and localization experiments, and report results for both types of content. The proposed solutions present an accuracy of 93% in pornography classification, and allow the correct localization of 91% of pornographic content within a video stream. The results for violence are also compelling: with the proposed approaches, we reached second place in an international competition of violent scenes detection. Putting both in perspective, we learned that pornography detection is easier than its violence counterpart, opening several opportunities for additional investigations by the research community. The main reason for such difference is related to the distinct levels of subjectivity that are inherent to each concept. While pornography is usually more explicit, violence presents a broader spectrum of possible manifestationsDoutoradoCiência da ComputaçãoDoutor em Ciência da Computação1572763, 1197473CAPE

Agregação de ranks baseada em grafos

Orientador: Ricardo da Silva TorresTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Neste trabalho, apresentamos uma abordagem robusta de agregação de listas baseada em grafos, capaz de combinar resultados de modelos de recuperação isolados. O método segue um esquema não supervisionado, que é independente de como as listas isoladas são geradas. Nossa abordagem é capaz de incorporar modelos heterogêneos, de diferentes critérios de recuperação, tal como baseados em conteúdo textual, de imagem ou híbridos. Reformulamos o problema de recuperação ad-hoc como uma recuperação baseada em fusion graphs, que propomos como um novo modelo de representação unificada capaz de mesclar várias listas e expressar automaticamente inter-relações de resultados de recuperação. Assim, mostramos que o sistema de recuperação se beneficia do aprendizado da estrutura intrínseca das coleções, levando a melhores resultados de busca. Nossa formulação de agregação baseada em grafos, diferentemente das abordagens existentes, permite encapsular informação contextual oriunda de múltiplas listas, que podem ser usadas diretamente para ranqueamento. Experimentos realizados demonstram que o método apresenta alto desempenho, produzindo melhores eficácias que métodos recentes da literatura e promovendo ganhos expressivos sobre os métodos de recuperação fundidos. Outra contribuição é a extensão da proposta de grafo de fusão visando consulta eficiente. Trabalhos anteriores são promissores quanto à eficácia, mas geralmente ignoram questões de eficiência. Propomos uma função inovadora de agregação de consulta, não supervisionada, intrinsecamente multimodal almejando recuperação eficiente e eficaz. Introduzimos os conceitos de projeção e indexação de modelos de representação de agregação de consulta com base em grafos, e a sua aplicação em tarefas de busca. Formulações de projeção são propostas para representações de consulta baseadas em grafos. Introduzimos os fusion vectors, uma representação de fusão tardia de objetos com base em listas, a partir da qual é definido um modelo de recuperação baseado intrinsecamente em agregação. A seguir, apresentamos uma abordagem para consulta rápida baseada nos vetores de fusão, promovendo agregação de consultas eficiente. O método apresentou alta eficácia quanto ao estado da arte, além de trazer uma perspectiva de eficiência pouco abordada. Ganhos consistentes de eficiência são alcançadas em relação aos trabalhos recentes. Também propomos modelos de representação baseados em consulta para problemas gerais de predição. Os conceitos de grafos de fusão e vetores de fusão são estendidos para cenários de predição, nos quais podem ser usados para construir um modelo de estimador para determinar se um objeto de avaliação (ainda que multimodal) se refere a uma classe ou não. Experimentos em tarefas de classificação multimodal, tal como detecção de inundação, mostraram que a solução é altamente eficaz para diferentes cenários de predição que envolvam dados textuais, visuais e multimodais, produzindo resultados melhores que vários métodos recentes. Por fim, investigamos a adoção de abordagens de aprendizagem para ajudar a otimizar a criação de modelos de representação baseados em consultas, a fim de maximizar seus aspectos de capacidade discriminativa e eficiência em tarefas de predição e de buscaAbstract: In this work, we introduce a robust graph-based rank aggregation approach, capable of combining results of isolated ranker models in retrieval tasks. The method follows an unsupervised scheme, which is independent of how the isolated ranks are formulated. Our approach is able to incorporate heterogeneous models, defined in terms of different ranking criteria, such as those based on textual, image, or hybrid content representations. We reformulate the ad-hoc retrieval problem as a graph-based retrieval based on {\em fusion graphs}, which we propose as a new unified representation model capable of merging multiple ranks and expressing inter-relationships of retrieval results automatically. By doing so, we show that the retrieval system can benefit from learning the manifold structure of datasets, thus leading to more effective results. Our graph-based aggregation formulation, unlike existing approaches, allows for encapsulating contextual information encoded from multiple ranks, which can be directly used for ranking. Performed experiments demonstrate that our method reaches top performance, yielding better effectiveness scores than state-of-the-art baseline methods and promoting large gains over the rankers being fused. Another contribution refers to the extension of the fusion graph solution for efficient rank aggregation. Although previous works are promising with respect to effectiveness, they usually overlook efficiency aspects. We propose an innovative rank aggregation function that it is unsupervised, intrinsically multimodal, and targeted for fast retrieval and top effectiveness performance. We introduce the concepts of embedding and indexing graph-based rank-aggregation representation models, and their application for search tasks. Embedding formulations are also proposed for graph-based rank representations. We introduce the concept of {\em fusion vectors}, a late-fusion representation of objects based on ranks, from which an intrinsically rank-aggregation retrieval model is defined. Next, we present an approach for fast retrieval based on fusion vectors, thus promoting an efficient rank aggregation system. Our method presents top effectiveness performance among state-of-the-art related work, while promoting an efficiency perspective not yet covered. Consistent speedups are achieved against the recent baselines in all datasets considered. Derived from the fusion graphs and fusion vectors, we propose rank-based representation models for general prediction problems. The concepts of fusion graphs and fusion vectors are extended to prediction scenarios, where they can be used to build an estimator model to determine whether an input (even multimodal) object refers to a class or not. Performed experiments in the context of multimodal classification tasks, such as flood detection, show that the proposed solution is highly effective for different detection scenarios involving textual, visual, and multimodal features, yielding better detection results than several state-of-the-art methods. Finally, we investigate the adoption of learning approaches to help optimize the creation of rank-based representation models, in order to maximize their discriminative power and efficiency aspects in prediction and search tasksDoutoradoCiência da ComputaçãoDoutor em Ciência da Computaçã

La grâce et la reconnaissance. De l'anthropologie du don de Marcel Hénaff à la théologie sacramentaire de Louis-Marie Chauvet

Explorer la grâce à la lumière des pratiques de don étudiées par Marcel Mauss a une pertinence tout à la fois anthropologique et théologique, donc humaine : telle est l’hypothèse qui est à l’origine de cette recherche de théologie systématique. Concrètement, il s’agit de vérifier cette hypothèse à partir d’une lecture analytique des travaux de deux auteurs qui, dans leurs champs disciplinaires respectifs, se sont intéressés à l’«Essai sur le don» de Mauss pour repenser la grâce, et qui ont aussi accordé une attention soutenue à la dimension rituelle des pratiques de don. Du côté de l’anthropologie, Marcel Hénaff rattache explicitement la grâce – pratiques et pensées diverses – à la tradition du «don réciproque cérémoniel» dans les sociétés segmentaires, mais il montre aussi et surtout en quoi elle implique une transformation majeure de cette tradition. Tant du côté du don cérémoniel que de celui de la grâce, il s’agit de reconnaissance publique et de lien social – dit autrement, de symbolisme –, mais il s’agit aussi de formes distinctes. Autant il importe de rattacher ces diverses formes aux contextes et aux types d’organisation sociale qui les portent, autant il importe également de prendre en considération la part «invisible» de la reconnaissance pour bien comprendre ce qui s’y joue, c’est-à-dire la reconnaissance avec les diverses figures de l’invisible – esprits, ancêtres, dieux. De plus, la pensée anthropologique de la reconnaissance de Marcel Hénaff jette un éclairage singulier sur la tradition chrétienne et sur ce qu’elle a fait du don. Du côté de la théologie chrétienne, Louis-Marie Chauvet pense lui aussi la grâce en lien avec les travaux de Mauss sur le don. Bien que sa théorie du «symbolique» soit hétéroclite, le don cérémoniel comme «échange symbolique» y occupe une place de choix. L’échange symbolique va même jusqu’à configurer le champ des questions, et il intervient de manière centrale dans sa théologie de l’alliance chrétienne et de la grâce. Il en va de même pour l’eucharistie, qu’il approche comme un rituel/sacrement de don à partir duquel il interroge l’héritage chrétien de la grâce. À plusieurs égards, les travaux d’Hénaff et de Chauvet s’appellent et se complètent. Le premier est attentif aux rituels dans les sociétés segmentaires et il manifeste une authentique curiosité théologique. Cependant, il en dit peu sur la ritualité chrétienne. Le second, quant à lui, est attentif aux rituels chrétiens et il manifeste une authentique curiosité anthropologique, mais il tend parfois à sous-estimer l’écart entre l’«échange symbolique» dans les sociétés segmentaires et ce qui pourrait être l’«échange symbolique» dans le christianisme. Enfin, tous les deux portent une interrogation de fond sur les sociétés occidentales modernes, sur leurs fécondités, mais aussi sur les défis qu’elles doivent affronter, notamment en ce qui concerne le lien social et les empiétements de l’économique sur l’ensemble des secteurs de vie. À partir des travaux de ces deux auteurs, la présente recherche vise donc à faire entendre certaines des résonnances actuelles de l’alliance chrétienne et de la grâce en ce qui concerne l’avènement du sujet croyant, le lien ecclésial, la vie sacramentaire et la participation des Églises à la société civile et au lien social en contexte de modernité occidentale.Exploring grace in light of the gift practices studied by Marcel Mauss is relevant from an anthropological standpoint as much as from a theological standpoint: such is the hypothesis explored in this systematic theology research. Precisely, this hypothesis is tested through an analytical reading of the works of two authors who, in their respective fields and with the ambition of rethinking grace, showed a resolute interest in Mauss’s essay on the gift and devoted a special attention to the ritual dimension of gift practices. In his work, Marcel Hénaff considers grace from an anthropological point of view and relates it – with its diverse practices and theories – to the ceremonial gift exchange tradition which can be found in societies without a central state, but he also mainly shows how it implies a major transformation of this tradition. Ceremonial gift exchange and grace are primarily concerned with public recognition and social bonding – in other words, with symbolism – but that recognition is also embodied in very different institutions. In order to understand what is at stake in these different forms of recognition, it is essential not only to relate them to the different types of social organization in which they are found, but also to consider their «invisible» part, that is the relationships with the diverse figures of the invisible – spirits, ancestors, gods. This is how Marcel Hénaff’s anthropology of recognition sheds light on the Christian tradition and on its handling of the gift. In Christian theology, Louis-Marie Chauvet also approaches grace in relation to Mauss’s essay and thinking on gift practices. In Chauvet’s variegated theory of the «symbolic», the ceremonial gift as a «symbolic exchange» stands out. The vocabulary associated with symbolic exchange not only formulates the important questions, it is also central in his theology of Christian covenant and grace. The same applies to the Eucharist, which he addresses as a gift ritual and through which he examines the Christian heritage of grace. In many ways, Hénaff’s and Chauvet’s work complete each other. The former is mindful of the rituals in societies without a central state and shows an authentic theological curiosity. However, he does not say much about Christian rituality. The latter is mindful of Christian rituals and shows an authentic anthropological curiosity, but he tends to underestimate the difference between «symbolic exchange» in societies without a central state and what could be a Christian «symbolic exchange». Finally, both examine and question western and modern societies regarding their possibilities, but also the challenges they are facing concerning social bonding, as well as the overlapping of economic exchanges in every sphere of life. The objective of this research and its analysis of the works of these two authors is to enlighten today’s relevance of covenant and grace in its various aspects: the advent of the subject, the ecclesiological bond, the sacramental life and the participation of Christian Churches in the social life in western modernity