7 research outputs found
Art Authentication with Vision Transformers
In recent years, Transformers, initially developed for language, have been
successfully applied to visual tasks. Vision Transformers have been shown to
push the state-of-the-art in a wide range of tasks, including image
classification, object detection, and semantic segmentation. While ample
research has shown promising results in art attribution and art authentication
tasks using Convolutional Neural Networks, this paper examines if the
superiority of Vision Transformers extends to art authentication, improving,
thus, the reliability of computer-based authentication of artworks. Using a
carefully compiled dataset of authentic paintings by Vincent van Gogh and two
contrast datasets, we compare the art authentication performances of Swin
Transformers with those of EfficientNet. Using a standard contrast set
containing imitations and proxies (works by painters with styles closely
related to van Gogh), we find that EfficientNet achieves the best performance
overall. With a contrast set that only consists of imitations, we find the Swin
Transformer to be superior to EfficientNet by achieving an authentication
accuracy of over 85%. These results lead us to conclude that Vision
Transformers represent a strong and promising contender in art authentication,
particularly in enhancing the computer-based ability to detect artistic
imitations
Connoisseur : análise de procedência em pinturas
Orientador: Anderson de Rezende RochaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O crescimento de arte no meio digital tem, sem sombras de dúvida, democratizado o acesso ao conteúdo pelo público em geral. Entretanto, esse crescimento também implicou no indesejado aumento no número de falsificações e desinformação sobre conteúdos acerca de arte. Nesta linha, aprendizado de máquina pode ser utilizado para automatizar a organização e identificação de obras de arte em relação à sua providência, auxiliando especialistas e usuários comuns na obtenção e validação de obras de arte. Empregamos neste trabalho estratégias baseadas em redes convolucionais para identificar e classificar artefatos digitais relacionados à arte. Primeiramente, pinturas de van Gogh são usadas para explorar e refinar estratégias capazes de discriminar seus padrões de pincelada. Múltiplos testes de conjuntos de dados cruzados são executados a fim de validar o método mais promissor encontrado. Os resultados indicam que atingimos uma drástica melhora em performance enquanto produzindo uma leve melhora em pontuação (90.99% acurácia em nível de segmento de pintura, 95.52% acurácia em nível de pinturas), quando comparado à estudos anteriores sobre o mesmo conjunto de dados. Estendendo nosso trabalho a partir da análise sobre van Gogh para um maior escopo, consideramos o conjunto de dados Painter by Numbers, onde expandimos nossa estratégia para o cenário multi-classe, onde buscamos distinguir pinturas divididas em 1.584 diferentes autores, 135 estilos e 42 gêneros. Propomos um método que combina informação dos três grupos de classes em um único discriminador de autoria, atingindo a ROC AUC competitiva de 0.91361 sem a aplicação de transformações potencialmente destrutivas sobre os padrões de pincelada que poderiam salientar características artificiais adjacentes, como brilho, contraste, escalas e objetosAbstract: Increasing digital art has without a doubt democratized the access to art content to the public at large. It has had, however, resulted in an inadvertent growing number of forgeries and misinformation around art content. In this vein, machine learning can be used to automatically organize and identify art content with respect to its provenance, aiding experts and regular users to retrieve and validate art pieces. In this work, we employ convolutional networks-based strategies to identify and classify art-related digital artifacts. Firstly, van Gogh paintings are used to explore and refine strategies capable of discriminating the brushstroke pattern of van Gogh. Multiple cross-dataset tests are performed in order to further validate the most promising method. We achieve significant performance improvements while slightly increasing accuracy (91% patch-level, 95.5% sample-level) when compared to previous studies in the same dataset. Extending our work from van Gogh analyses to a much broader setup, we consider the Painter by Numbers dataset, in which we expand our strategy to a multi-class scenario, seeking to distinguish paintings from 1,584 different authors, 135 art styles and 42 genres. We propose a method that combines information from these three class-groups into a single authorship discriminator, achieving the competitive ROC AUC of 0.91 without any transformations that could potentially damage the brushstroke patterns and emphasize adjacent features, such as brightness, contrast, scales and objectsMestradoCiência da ComputaçãoMestre em Ciência da Computação137446/2016-0CNP
Authentication of Amadeo de Souza-Cardoso Paintings and Drawings With Deep Learning
Art forgery has a long-standing history that can be traced back to the Roman period and
has become more rampant as the art market continues prospering. Reports disclosed that
uncountable artworks circulating on the art market could be fake. Even some principal
art museums and galleries could be exhibiting a good percentage of fake artworks. It
is therefore substantially important to conserve cultural heritage, safeguard the interest
of both the art market and the artists, as well as the integrity of artists’ legacies. As a
result, art authentication has been one of the most researched and well-documented fields
due to the ever-growing commercial art market in the past decades. Over the past years,
the employment of computer science in the art world has flourished as it continues to
stimulate interest in both the art world and the artificial intelligence arena. In particular, the
implementation of Artificial Intelligence, namely Deep Learning algorithms and Neural
Networks, has proved to be of significance for specialised image analysis. This research
encompassed multidisciplinary studies on chemistry, physics, art and computer science.
More specifically, the work presents a solution to the problem of authentication of heritage
artwork by Amadeo de Souza-Cardoso, namely paintings, through the use of artificial
intelligence algorithms. First, an authenticity estimation is obtained based on processing of
images through a deep learning model that analyses the brushstroke features of a painting.
Iterative, multi-scale analysis of the images is used to cover the entire painting and produce
an overall indication of authenticity. Second, a mixed input, deep learning model is
proposed to analyse pigments in a painting. This solves the image colour segmentation
and pigment classification problem using hyperspectral imagery. The result is used to
provide an indication of authenticity based on pigment classification and correlation with
chemical data obtained via XRF analysis. Further algorithms developed include a deep
learning model that tackles the pigment unmixing problem based on hyperspectral data.
Another algorithm is a deep learning model that estimates hyperspectral images from
sRGB images. Based on the established algorithms and results obtained, two applications
were developed. First, an Augmented Reality mobile application specifically for the
visualisation of pigments in the artworks by Amadeo. The mobile application targets the
general public, i.e., art enthusiasts, museum visitors, art lovers or art experts. And second, a desktop application with multiple purposes, such as the visualisation of pigments and
hyperspectral data. This application is designed for art specialists, i.e., conservators and
restorers. Due to the special circumstances of the pandemic, trials on the usage of these
applications were only performed within the Department of Conservation and Restoration
at NOVA University Lisbon, where both applications received positive feedback.A falsificação de arte tem uma história de longa data que remonta ao período romano
e tornou-se mais desenfreada à medida que o mercado de arte continua a prosperar.
Relatórios revelaram que inúmeras obras de arte que circulam no mercado de arte podem
ser falsas. Mesmo alguns dos principais museus e galerias de arte poderiam estar exibindo
uma boa porcentagem de obras de arte falsas. Por conseguinte, é extremamente importante
conservar o património cultural, salvaguardar os interesses do mercado da arte e dos artis-
tas, bem como a integridade dos legados dos artistas. Como resultado, a autenticação de
arte tem sido um dos campos mais pesquisados e bem documentados devido ao crescente
mercado de arte comercial nas últimas décadas.Nos últimos anos, o emprego da ciência
da computação no mundo da arte floresceu à medida que continua a estimular o interesse
no mundo da arte e na arena da inteligência artificial. Em particular, a implementação da
Inteligência Artificial, nomeadamente algoritmos de aprendizagem profunda (ou Deep
Learning) e Redes Neuronais, tem-se revelado importante para a análise especializada de
imagens.Esta investigação abrangeu estudos multidisciplinares em química, física, arte e
informática. Mais especificamente, o trabalho apresenta uma solução para o problema da
autenticação de obras de arte patrimoniais de Amadeo de Souza-Cardoso, nomeadamente
pinturas, através da utilização de algoritmos de inteligência artificial. Primeiro, uma esti-
mativa de autenticidade é obtida com base no processamento de imagens através de um
modelo de aprendizagem profunda que analisa as características de pincelada de uma
pintura. A análise iterativa e multiescala das imagens é usada para cobrir toda a pintura e
produzir uma indicação geral de autenticidade. Em segundo lugar, um modelo misto de
entrada e aprendizagem profunda é proposto para analisar pigmentos em uma pintura.
Isso resolve o problema de segmentação de cores de imagem e classificação de pigmentos
usando imagens hiperespectrais. O resultado é usado para fornecer uma indicação de
autenticidade com base na classificação do pigmento e correlação com dados químicos
obtidos através da análise XRF. Outros algoritmos desenvolvidos incluem um modelo
de aprendizagem profunda que aborda o problema da desmistura de pigmentos com
base em dados hiperespectrais. Outro algoritmo é um modelo de aprendizagem profunda
estabelecidos e nos resultados obtidos, foram desenvolvidas duas aplicações. Primeiro,
uma aplicação móvel de Realidade Aumentada especificamente para a visualização de
pigmentos nas obras de Amadeo. A aplicação móvel destina-se ao público em geral, ou
seja, entusiastas da arte, visitantes de museus, amantes da arte ou especialistas em arte.
E, em segundo lugar, uma aplicação de ambiente de trabalho com múltiplas finalidades,
como a visualização de pigmentos e dados hiperespectrais. Esta aplicação é projetada para
especialistas em arte, ou seja, conservadores e restauradores. Devido às circunstâncias
especiais da pandemia, os ensaios sobre a utilização destas aplicações só foram realizados
no âmbito do Departamento de Conservação e Restauro da Universidade NOVA de Lisboa,
onde ambas as candidaturas receberam feedback positivo
Exploiting Spatio-Temporal Coherence for Video Object Detection in Robotics
This paper proposes a method to enhance video object detection for indoor environments in robotics. Concretely, it exploits knowledge about the camera motion between frames to propagate previously detected objects to successive frames. The proposal is rooted in the concepts of planar homography to propose regions of interest where to find objects, and recursive Bayesian filtering to integrate observations over time. The proposal is evaluated on six virtual, indoor environments, accounting for the detection of nine object classes over a total of ∼ 7k frames. Results show that our proposal improves the recall and the F1-score by a factor of 1.41 and 1.27, respectively, as well as it achieves a significant reduction of the object categorization entropy (58.8%) when compared to a two-stage video object detection method used as baseline, at the cost of small time overheads (120 ms) and precision loss (0.92).</p
Code authorship attribution using content-based and non-content-based features
Machine learning approaches are widely used in natural language analysis. Previous research has shown that similar techniques can be applied in the analysis of computer programming (artificial) languages. In this thesis, we focus on identifying the authors of computer programs by using machine learning techniques. We extend these techniques to determine which features capture the writing style of authors in the classification of a computer program according to the author's identity. We then propose a novel approach for computer program author identification. In this method, program features from the text documents are combined with authors' sociological features (gender and region) to develop the classification model. Several experiments have been conducted on two datasets composed of computer programs written in C++, and the results are encouraging. According to the experimental results, the author's identity can be predicted with a accuracy rate