Connoisseur : análise de procedência em pinturas

Orientador: Anderson de Rezende RochaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O crescimento de arte no meio digital tem, sem sombras de dúvida, democratizado o acesso ao conteúdo pelo público em geral. Entretanto, esse crescimento também implicou no indesejado aumento no número de falsificações e desinformação sobre conteúdos acerca de arte. Nesta linha, aprendizado de máquina pode ser utilizado para automatizar a organização e identificação de obras de arte em relação à sua providência, auxiliando especialistas e usuários comuns na obtenção e validação de obras de arte. Empregamos neste trabalho estratégias baseadas em redes convolucionais para identificar e classificar artefatos digitais relacionados à arte. Primeiramente, pinturas de van Gogh são usadas para explorar e refinar estratégias capazes de discriminar seus padrões de pincelada. Múltiplos testes de conjuntos de dados cruzados são executados a fim de validar o método mais promissor encontrado. Os resultados indicam que atingimos uma drástica melhora em performance enquanto produzindo uma leve melhora em pontuação (90.99% acurácia em nível de segmento de pintura, 95.52% acurácia em nível de pinturas), quando comparado à estudos anteriores sobre o mesmo conjunto de dados. Estendendo nosso trabalho a partir da análise sobre van Gogh para um maior escopo, consideramos o conjunto de dados Painter by Numbers, onde expandimos nossa estratégia para o cenário multi-classe, onde buscamos distinguir pinturas divididas em 1.584 diferentes autores, 135 estilos e 42 gêneros. Propomos um método que combina informação dos três grupos de classes em um único discriminador de autoria, atingindo a ROC AUC competitiva de 0.91361 sem a aplicação de transformações potencialmente destrutivas sobre os padrões de pincelada que poderiam salientar características artificiais adjacentes, como brilho, contraste, escalas e objetosAbstract: Increasing digital art has without a doubt democratized the access to art content to the public at large. It has had, however, resulted in an inadvertent growing number of forgeries and misinformation around art content. In this vein, machine learning can be used to automatically organize and identify art content with respect to its provenance, aiding experts and regular users to retrieve and validate art pieces. In this work, we employ convolutional networks-based strategies to identify and classify art-related digital artifacts. Firstly, van Gogh paintings are used to explore and refine strategies capable of discriminating the brushstroke pattern of van Gogh. Multiple cross-dataset tests are performed in order to further validate the most promising method. We achieve significant performance improvements while slightly increasing accuracy (91% patch-level, 95.5% sample-level) when compared to previous studies in the same dataset. Extending our work from van Gogh analyses to a much broader setup, we consider the Painter by Numbers dataset, in which we expand our strategy to a multi-class scenario, seeking to distinguish paintings from 1,584 different authors, 135 art styles and 42 genres. We propose a method that combines information from these three class-groups into a single authorship discriminator, achieving the competitive ROC AUC of 0.91 without any transformations that could potentially damage the brushstroke patterns and emphasize adjacent features, such as brightness, contrast, scales and objectsMestradoCiência da ComputaçãoMestre em Ciência da Computação137446/2016-0CNP