Facial Expression Restoration Based on Improved Graph Convolutional Networks

Facial expression analysis in the wild is challenging when the facial image is with low resolution or partial occlusion. Considering the correlations among different facial local regions under different facial expressions, this paper proposes a novel facial expression restoration method based on generative adversarial network by integrating an improved graph convolutional network (IGCN) and region relation modeling block (RRMB). Unlike conventional graph convolutional networks taking vectors as input features, IGCN can use tensors of face patches as inputs. It is better to retain the structure information of face patches. The proposed RRMB is designed to address facial generative tasks including inpainting and super-resolution with facial action units detection, which aims to restore facial expression as the ground-truth. Extensive experiments conducted on BP4D and DISFA benchmarks demonstrate the effectiveness of our proposed method through quantitative and qualitative evaluations.Comment: Accepted by MMM202

Diffusion in the Dark: A Diffusion Model for Low-Light Text Recognition

Capturing images is a key part of automation for high-level tasks such as scene text recognition. Low-light conditions pose a challenge for high-level perception stacks, which are often optimized on well-lit, artifact-free images. Reconstruction methods for low-light images can produce well-lit counterparts, but typically at the cost of high-frequency details critical for downstream tasks. We propose Diffusion in the Dark (DiD), a diffusion model for low-light image reconstruction for text recognition. DiD provides qualitatively competitive reconstructions with that of state-of-the-art (SOTA), while preserving high-frequency details even in extremely noisy, dark conditions. We demonstrate that DiD, without any task-specific optimization, can outperform SOTA low-light methods in low-light text recognition on real images, bolstering the potential of diffusion models to solve ill-posed inverse problems.Comment: WACV 2024. Project website: https://ccnguyen.github.io/diffusion-in-the-dark

Aumento de resolução de superfícies com informações altimétricas com a rede neural profunda DEM-ESRGAN

Orientador: Dr. Hideo ArakiTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências da Terra, Programa de Pós-Graduação em Ciências Geodésicas. Defesa : Curitiba, 21/12/2022Inclui referências: p. 255-266Resumo: No processo de produção cartográfica, os modelos digitais de elevação (MDE) são responsáveis por fornecer informações altimétricas da superfície a ser mapeada. A resolução espacial de tais modelos está diretamente associada com a escala dos produtos cartográficos que podem ser utilizados. Modelos globais de baixa e média resolução espacial encontram-se disponibilizados open source por diversas agências espaciais. Entretanto, os modelos de alta resolução, utilizados em escalas 1:25.000 e maiores, são escassos e possuem custo elevado. Contudo, esse problema pode ser abordado com a utilização de algoritmos de aprendizagem profunda, associados às técnicas de super-resolução de imagens (SISR) em modelos digitais de elevação, visando obter versões de melhor qualidade espacial a partir de insumos de menor resolução utilizados inicialmente no processamento. Aqui abordamos a utilização de algoritmos de aprendizado profundo juntamente com técnicas de super-resolução de imagem única em modelos digitais de elevação para obter versões de melhor qualidade espacial a partir de entradas de resolução mais baixa. A super-resolução de imagens é um tema clássico dentro do campo da visão computacional, que pode ser amplamente aplicado em tarefas relevantes. Tal técnica tem atraído a atenção de pesquisadores de diferentes áreas por permitir recuperar detalhes de textura de alta qualidade a partir de imagens de baixa resolução. Hoje em dia, com o desenvolvimento do deep learning, tal técnica tem feito bastante progresso. O desenvolvimento da metodologia baseada em redes convolucionais como, por exemplo, as redes adversárias generativas (GAN), possibilita a melhora da resolução espacial inicial de imagens de baixa resolução. No contexto de dados geoespaciais, por exemplo, essas técnicas podem ser utilizadas com modelos digitais de elevação, modelos de ondulação geoidal e modelos globais de geopotencial. Similarmente ao existente com imagens digitais, foram criados datasets com diferentes pares de modelos digitais de elevação para a realização dos processamentos, com o objetivo de permitir a realização da pesquisa, além de permitir a comparação entre os resultados obtidos. Sendo assim, os produtos gerados foram avaliados quanto à sua utilização na produção de produtos geoespaciais, e verificados quanto à sua utilização em mapeamento cartográfico. Dentre os processamentos realizados, verificou-se que o aumento do número de épocas é favorável ao desempenho do modelo gerado e ao aumento da qualidade da imagem gerada. Além disso, da análise visual das imagens geradas, de alta e de baixa resolução utilizadas no estudo, percebeu-se a grande semelhança entre as duas primeiras. Como ponto forte, o DEM-ESRGAN apresentou grande possibilidade de modelar superfícies altimétricas com grandes variações de altitude. Já em relação a superfícies com pouca variação de altitudes, o algoritmo em questão não apresentou tão bom desempenho quanto em relação às superfícies citadas anteriormente. Verificou-se, ainda, que o contexto atual para o estudo de super-resolução de modelos digitais de elevação é oportuno, tendo em vista os avanços tecnológicos nas áreas de inteligência artificial, sensores orbitais e recursos computacionais definidos na referida conjuntura.Abstract: In the cartographic production process, the digital elevation models (DEM) are responsible for providing altimetric information of the surface to be mapped. The spatial resolution of such models is directly associated with the scale of cartographic products that can be used. Global models of low and medium spatial resolution are available open source by several space agencies. However, high-resolution models, used at scales 1:25,000 and larger, are scarce and costly. However, this problem can be addressed with the use of deep learning algorithms, associated with image super-resolution techniques (SISR) in digital elevation models, aiming to obtain better spatial quality versions from lower resolution inputs used initially in processing. Here we cover the use of deep learning algorithms along with single-image super-resolution techniques on digital elevation models to obtain better spatial quality versions from lower resolution inputs. Image super-resolution is a classic theme within the field of computer vision, which can be widely applied in relevant tasks. This technique has attracted the attention of researchers from different areas because it allows recovering high quality texture details from low resolution images. Nowadays, with the development of deep learning, such technique has made a lot of progress. The development of a methodology based on convolutional networks, such as generative adversarial networks (GAN), makes it possible to improve the initial spatial resolution of low-resolution images. In the context of geospatial data, for example, these algorithms can be used with digital elevation models, geoidal undulation models and global geopotential models. Similar to what exists with digital images, datasets were created with different pairs of digital elevation models to carry out the processing, with the objective of allowing the research to be carried out, in addition to allowing the comparison between the results obtained. Therefore, the generated products were evaluated regarding their use in the production of geospatial products, and verified regarding their use in cartographic mapping. Among the processing carried out, it was verified that the increase in the number of epochs is favorable to the performance of the generated model and to the increase in the quality of the generated image. In addition, from the visual analysis of the generated images, of high and low resolution used in the study, it was noticed the great similarity between the first two. As a strong point, DEM-ESRGAN presented a great possibility of modeling altimetric surfaces with large variations in altitude. In relation to surfaces with little variation in altitudes, the algorithm in question did not perform as well as in relation to the surfaces mentioned above. It was also verified that the current context for the study of super-resolution of digital elevation models is opportune, in view of the technological advances in the areas of artificial intelligence, orbital sensors and computational resources defined in the referred conjuncture