Breakingnews: article annotation by image and text processing

© 20xx IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.Building upon recent Deep Neural Network architectures, current approaches lying in the intersection of Computer Vision and Natural Language Processing have achieved unprecedented breakthroughs in tasks like automatic captioning or image retrieval. Most of these learning methods, though, rely on large training sets of images associated with human annotations that specifically describe the visual content. In this paper we propose to go a step further and explore the more complex cases where textual descriptions are loosely related to the images. We focus on the particular domain of news articles in which the textual content often expresses connotative and ambiguous relations that are only suggested but not directly inferred from images. We introduce an adaptive CNN architecture that shares most of the structure for multiple tasks including source detection, article illustration and geolocation of articles. Deep Canonical Correlation Analysis is deployed for article illustration, and a new loss function based on Great Circle Distance is proposed for geolocation. Furthermore, we present BreakingNews, a novel dataset with approximately 100K news articles including images, text and captions, and enriched with heterogeneous meta-data (such as GPS coordinates and user comments). We show this dataset to be appropriate to explore all aforementioned problems, for which we provide a baseline performance using various Deep Learning architectures, and different representations of the textual and visual features. We report very promising results and bring to light several limitations of current state-of-the-art in this kind of domain, which we hope will help spur progress in the field.Peer ReviewedPostprint (author's final draft

As fontes não governamentais nos media. As ONG'S enquanto fonte de informação

Este estudo debruça-­‐se sobre a presença das Organizações Não-­‐ Governamentais nos media, partindo de uma análise a quatro meios de comunicação social nacionais. As ONG são das entidades em que os cidadãos mais confiam, como aliás indicam alguns barómetros de confiança (Edelman, 2012). Apesar disto as ONG raramente são capa de jornal, destaque de telejornal ou protagonistas de reportagens, e os seus profissionais, na maior parte das vezes, não são identificados como especialistas. O contacto com estas entidades define-­‐ se por alguma falta de frequência, e pouca presença nos media. Os jornalistas trabalham num contexto cada vez mais limitador, menos criativo. E as ONG não estão a conseguir aproveitar este espaço que muitos jornalistas deixam em branco, de investigação, de exploração, e mesmo de novidade. Este estudo pretende apurar a relação entre os media e as fontes de informação não-­‐governamentais, e como estão representadas nos media. Já que o papel de fonte de informação preferencial fica regularmente guardado para outras instituições e entidades. Para conseguir responder a algumas questões que nos pareciam essenciais, no sentido de tentar contribuir para um espaço público e participativo mais plural, procurámos esclarecer as dinâmicas atuais das ONG enquanto fontes de informação. Considerámos, por isso, determinante descrever o processo de produção das notícias, e o modo como este constrói a agenda e reflete a realidade. Desenvolvemos o conceito histórico e social do conceito de Organização Não-­‐ Governamental Desenvolvemos uma análise minuciosa e detalhada das notícias publicadas durante três anos, entre 2009 e 2011, no jornal “Público”, agência Lusa, RTP e TSF, para identificar as características mais relevantes das notícias cuja fonte de informação é uma ONG. Paralelamente à análise dos meios de comunicação, apurámos ainda a pesquisa através da realização de entrevistas com profissionais da área não-­‐governamental e jornalistas que nos apoiaram na construção de um trabalho empírico mais conclusivo e completo. Concluímos que mediante ONG mais ágeis e fortes, do ponto de vista da comunicação, parece haver uma resposta por parte dos media. Assim cremos que as ONG são reflectidas pelos media como instituições credíveis, e é esta mesma credibilidade que facilita o seu acesso aos media. Mas, os jornalistas, por seu lado, demonstram estar muito mais atentos ao trabalho das ONG se estas, além de credíveis, forem ágeis nas respostas correspondendo assim às necessidades impostas pela atualidade informativa, produzirem conteúdos com relevância jornalística, e dotados de valores-­‐notícia

News contextualization with geographic and visual information

10.1145/2072298.2072317MM'11 - Proceedings of the 2011 ACM Multimedia Conference and Co-Located Workshops133-14