Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software

This paper tackles unpaired image enhancement, a task of learning a mapping function which transforms input images into enhanced images in the absence of input-output image pairs. Our method is based on generative adversarial networks (GANs), but instead of simply generating images with a neural network, we enhance images utilizing image editing software such as Adobe Photoshop for the following three benefits: enhanced images have no artifacts, the same enhancement can be applied to larger images, and the enhancement is interpretable. To incorporate image editing software into a GAN, we propose a reinforcement learning framework where the generator works as the agent that selects the software's parameters and is rewarded when it fools the discriminator. Our framework can use high-quality non-differentiable filters present in image editing software, which enables image enhancement with high performance. We apply the proposed method to two unpaired image enhancement tasks: photo enhancement and face beautification. Our experimental results demonstrate that the proposed method achieves better performance, compared to the performances of the state-of-the-art methods based on unpaired learning.Comment: Accepted to AAAI 202

ICface: Interpretable and Controllable Face Reenactment Using GANs

This paper presents a generic face animator that is able to control the pose and expressions of a given face image. The animation is driven by human interpretable control signals consisting of head pose angles and the Action Unit (AU) values. The control information can be obtained from multiple sources including external driving videos and manual controls. Due to the interpretable nature of the driving signal, one can easily mix the information between multiple sources (e.g. pose from one image and expression from another) and apply selective post-production editing. The proposed face animator is implemented as a two-stage neural network model that is learned in a self-supervised manner using a large video collection. The proposed Interpretable and Controllable face reenactment network (ICface) is compared to the state-of-the-art neural network-based face animation techniques in multiple tasks. The results indicate that ICface produces better visual quality while being more versatile than most of the comparison methods. The introduced model could provide a lightweight and easy to use tool for a multitude of advanced image and video editing tasks.Comment: Accepted in WACV-202

Эффективное распознавание лиц на основе последовательного анализа нейросетевых дескрипторов и детектирования миноритарных классов

Исследуются способы повышения точности распознавания лиц на основе обнаружения входных изображений, которые редко встречаются в наборах данных, использующихся для обучения нейросетевых дескрипторов. В современных свободно распространяемых обучающих выборках обычнопредставлены изображения людей в основном среднего возраста и европеоидной расы, из-за этого большинство алгоритмов ошибаются на изображениях пожилых людей или детей, лицах более редких национальностей и т.п. В работе предложен алгоритм детектирования таких данныхс последующей их отбраковкой, на первом этапе которого используется сверточная нейронная сеть, предобученная на специально созданном наборе редких данных. Второй этап – применение последовательного анализа дескрипторов для повышения вычислительной эффективности классификации. Экспериментальное исследование на наборе данных VGGFace2 с использованием нейросетевых дескрипторов, в том числе современных моделей InsightFace, продемонстрировало повышенную эффективность предложенного алгоритма п