Работа посвящена задаче сопоставления фотографических и синтетических портретных изображений. В работе исследуется целесообразность иэффективность применения переноса стиля для решения такой задачи. Описывается метод сопоставления фотографических и синтетических изображений, основанный на выделении признаков из пары изображений, их последующей поэлементной разности и классификации, а также его модификация, использующая перенос стиля. Производится экспериментальное исследование двух указанных методов и демонстрируетсяпреимущество модифицированного

Максимов А. И.

Родин В. А.

Родин В. А., Максимов А. И.

Russian

Samara University

IX Международная конференция и молодёжная школа «Информационные технологии и нанотехнологии» (ИТНТ-2023) Секция 3. Распознавание, обработка и анализ изображений 031912 Исследование влияния переноса стиля на качество сопоставления фотографического и композитного портрета В.А. Родин Самарский национальный  исследовательский университет  им. академика С.П. Королева Самара, Россия varodg2000@mail.ru А.И. Максимов Самарский национальный  исследовательский университет  им. академика С.П. Королева Самара, Россия aleksei.maksimov.ssau@gmail.com Аннотация—Работа посвящена задаче сопоставления фотографических и синтетических портретных изображений. В работе исследуется целесообразность и эффективность применения переноса стиля для решения такой задачи. Описывается метод сопоставления фотографических и синтетических изображений, основанный на выделении признаков из пары изображений, их последующей поэлементной разности и классификации, а также его модификация, использующая перенос стиля. Производится экспериментальное исследование двух указанных методов и демонстрируется преимущество модифицированного. Ключевые слова— перенос стиля, распознавание лиц, композитный портрет, машинное обучение 1. ВВЕДЕНИЕ  Задача автоматического сопоставления композитного портрета подозреваемого с фотографией из полицейской базы данных является крайне актуальной для современной криминалистики. Однако, несмотря на бурное развитие методов обработки изображений и распознавания образов, задаче сопоставления синтетических и фотографических изображений посвящено относительно немного работ. Среди известных решений стоит выделить работы, основанные на использовании HoG [1, 2] и SIFT [3] дескрипторов, а также на применении генеративных сетей [4]. Перспектива же применения методов переноса стиля к решению задачи сопоставления фотографических и композитных портретов вовсе не исследована. Ей и посвящена данная работа.  2. ИССЛЕДОВАНИЕ ВЛИЯНИЯ ПЕРЕНОСА СТИЛЯ Сопоставление портретной фотографии и композитного портрета в работе предлагается производить следующим образом. На вход метода поступают два изображения – фотографическое и синтетическое, результатом работы является классификация такой пары изображений как принадлежащих одному и тому же человеку, либо разным. Сначала из изображений выделяются эмбеддинги лиц, при этом используется ArcFace [5]. Далее вычисляется поэлементная разность эмбеддингов и производится снижение их размерности методом главных компонент (PCA) [6]. В ходе экспериментов было получено, что понижение размерности данных до 16 дает наилучшие результаты работы метода. Далее производится классификация при помощи квадратичного дискриминанта (QDA) [7]. Схема исследуемого в работе метода представлена на рисунке 1.  Перенос стиля, эффективность которого для решения поставленной задачи исследуется в данной работе, производился перед этапом выделения признаков рассматриваемого метода. Стиль композитного портрета при этом переносился на фотографическое изображение при помощи нейросетевой модели, предложенной в работе [8].   Рис. 1. Структура используемого метода. Пунктиром отмечены блоки, эффективность применения которых исследовалась в рамках данной работы. IX Международная конференция и молодёжная школа «Информационные технологии и нанотехнологии» (ИТНТ-2023) Секция 3. Распознавание, обработка и анализ изображений 031912 3. ИСПОЛЬЗОВАННЫЕ ДАННЫЕ Для исследования были использованы изображения Tufts Face Database [9]. Данный датасет содержит 112 пар фотографических изображений и композитных портретов. Для данного исследования из него был построен сбалансированный набор из пар вида (эмбеддинг фотографии, эмбеддинг композитного портрета), содержащий 112 корректных пар, где оба эмбеддинга принадлежат одному человеку, и 112 некорректных, где эмбеддинги в паре принадлежат разным людям. На 70% данного датасета обучался классификатор, 30% использовались в качестве тестовой выборки. Пример изображений из датасета представлен на рисунке 2.    (а) (б) Рис. 2. Пример портретного изображения (а) и композитного портреа (б) датасета Tufts Face Database 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ В ходе экспериментального исследования были получены значения метрик precision, recall и accuracy [10] классификации пар изображений для случаев с исользованием переноса стиля и без его использования. Как видно из результатов в таблице 1, применение переноса стиля позволило существенно повысить качество работы рассмотренного метода – precision и accuracy на ~10%, recall на ~12%. Таблица I. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ Исследуемый метод Precision Recall Accuracy Без переноса стиля 0,72 0,67 0,71 С переносом стиля 0,82 0,79 0,81 ЗАКЛЮЧЕНИЕ  В работе рассмотрена задача сопоставления фотографических и синтетических портретных изображений. В рамках рассмотренного в работе метода продемонстрирована эффективность применения переноса стиля для повышения качества классификации пар изображений. Улучшение метрик классификации составило порядка 10-12%. В дальнейшем авторами планируется совершенствовать этапы используемого метода – провести исследования для выбора наиболее эффективной нейросетевой модели для этапа переноса стиля и этапа выделения признаков. ЛИТЕРАТУРА [1] Narkar, N. Forensic Sketch Recognition using Image Processing / N. Narkar, L. Gasper, A. Menezes, M. Patil, //Advancements in Image Processing and Pattern Recognition. – 2021. – Vol. 4(1). – P. 1–8. [2] Dalal, S. Feature-based Sketch-Photo Matching for Face Recognition / S. Dalal, V.P. Vishwakarma, S. Kumar // Procedia Computer Science. – 2020. – Vol.167. – P. 562– 570. [3] Klare, B. Sketch to Photo Matching: A Feature-based Approach / B. Klare, A. K. Jain // Proceedings of SPIE - The International Society for Optical Engineering. – 2022. – Vol.7667. – P. 766702.  [4] Bae, S. Exploiting an Intermediate Latent Space between Photo and Sketch for Face Photo-Sketch Recognition / S. Bae, N.U. Din, H. Park, J. Yi // Sensors. – 2022. – Vol.22(19). – P. 7299. https://doi.org/10.3390/s22197299 [5] Deng, J. ArcFace: Additive Angular Margin Loss for Deep Face Recognition / J. Deng, J. Guo, J. Yang, N. Xue, I. Kotsia, S. Zafeiriou // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2022. – Vol.44(10). – P. 5962-5979. doi: 10.1109/TPAMI.2021.3087709. [6] Jolliffe, I.T. Principal component analysis: a review and recent developments / I.T. Jolliffe, J.  Cadima // Phil. Trans. R. Soc. – 2016.  –  A.3742015020220150202. [7] Cao, W. Quadratic Discriminant Analysis Revisited [Electronic resource] // [Electronic resource]. — Access mode:  https://academicworks.cuny.edu/gc_etds/536 (01.03.2023) [8] Ghiasi, G. Exploring the structure of a real-time, arbitrary neural artistic stylization network/ G. Ghiasi, H. Lee, M. Kudlur, V. Dumoulin, J. Shlens // Proceedings of the British Machine Vision Conference (BMVC). – 2017. [9] Panetta, K. A comprehensive database for benchmarking imaging systems / K. Panetta, Q. Wan, S. Agaian, S. Rajeev, S. Kamath, R. Rajendran, S. Rao // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2018. – Vol.42(3). – P. 509-520. doi: 10.1109/TPAMI.2018.2884458. [10] Гладин, П.Е. Технологии машинного обучения / П.Е. Гладин, К.О. Боченина – СПб:Университет ИТМО, 2020. –75 с.   

Исследование влияния переноса стиля на качество сопоставления фотографического и композитного портрета

http://repo.ssau.ru/bitstream/Informacionnye-tehnologii-i-nanotehnologii/Issledovanie-vliyaniya-perenosa-stilya-na-kachestvo-sopostavleniya-fotograficheskogo-i-kompozitnogo-portreta-106003/1/978-5-7883-1919-3_2023-031912.pdf

Исследование влияния переноса стиля на качество сопоставления фотографического и композитного портрета

Abstract

Similar works

Full text

Available Versions

Samara University