Модель синтезу тривимірного зображення користувача на підставі ігрового рушія SceneKit та USDZ формату під ОС IOS

This study introduces a novel approach for creating a 3D avatar of a user's face by utilizing a set of 3D morphs. The method involves analyzing important facial features such as the shape of the nose, mouth, and eyes, and constructing morphs matching these features to create a 3D model that can be fine-tuned for accuracy. The model has been optimized for mobile devices taking into account disk space and display performance. Furthermore, the model is capable of expressing emotions through additional morphs enabling users to interact with and display their emotions on the model. While working on this paper, extensive research was conducted in the field and the best method for synthesizing a 3D avatar on the iOS platform was established. The basic 3D model was created using open-source software Blender, and blend shapes were utilized to represent the user's emotions. To ensure compatibility and efficiency on the iOS mobile platform, the model was rendered in USDZ format. An algorithm was developed for synthesizing the 3D avatar on the iOS platform using the SceneKit game engine and the ARKit framework for augmented reality. The algorithm includes steps such as reading the model in USDZ format, rendering the model using the SceneKit game engine, customizing the model by adjusting the weighting factors of facial feature morphs, and obtaining the weighting coefficients of user emotions from the ARKit framework. In this study, a mobile application was developed that allows users to create and interact with their own digital 3D avatar by projecting their facial emotions onto the displayed model. The application demonstrates the user's ability to change the geometry of the face of the base model using 3D morphs and display a wide range of emotions on the model through the interface and examples of synthesis.Подано модель синтезу 3D-аватару обличчя користувача, що використовує набір 3D-морфів та їх комбінацію. Проаналізовано ключові характеристики обличчя людини, такі як форма носа, рота та очей, і створення морфів, що відповідають цим особливостям. Отримана 3D-модель може бути доопрацьована коригуванням морфів, поки не буде досягнуто бажаного рівня точності. Розроблено тривимірну модель з урахуванням специфіки відображення 3D об'єктів на мобільній платформі так, щоб займати якомога менше пам'яті на диску та забезпечити оптимізацію при відображенні. Перевагою такого підходу є можливість створення додаткових 3D-морфів для взаємодії моделі з користувачем та відображення емоцій. Під час виконання цієї роботи проаналізовано сучасні наукові дослідження у галузі. На підставі отриманих результатів зроблено висновок щодо оптимальних підходів для синтезу тривимірного аватару користувача на платформі iOS. Базову тривимірну модель розроблено за допомогою відкритого програмного забезпечення Blender, а морфи створені для відображення емоцій користувача за допомогою техніки під назвою blend shapes. Для забезпечення сумісності та максимальної ефективності при рендерингу на мобільній ОС iOS використовується модель, подана у форматі USDZ. Також під час виконання поставленого завдання розроблено алгоритм синтезу тривимірного аватара користувача на платформі iOS з використанням саме ігрового рушія SceneKit та таких засобів, як: апаратно-пришвидшений API для 3D-графіки Metal та фреймворк для роботи з доповненою реальністю – ARKit. Використання саме цих вбудованих методів і засобів дало змогу не залежати від стороннього ПЗ, а також досягнути більшої оптимізації при відображенні та взаємодії із синтезованою моделлю порівняно з наявними аналогами. Результатом розробленої моделі та алгоритму є мобільний додаток для платформи iOS, який дає змогу користувачеві створювати власний цифровий 3D-аватар та взаємодіяти з ним, проєктуючи свої емоції обличчя на відображену модель

3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media

The use of virtual reality (VR) has been exponentially increasing and due to that many researchers have started to work on developing new VR based social media. For this purpose it is important to have an avatar of the user which look like them to be easily generated by the devices which are accessible, such as mobile phones. In this paper, we propose a novel method of recreating a 3D human face model captured with a phone camera image or video data. The method focuses more on model shape than texture in order to make the face recognizable. We detect 68 facial feature points and use them to separate a face into four regions. For each area the best fitting models are found and are further morphed combined to find the best fitting models for each area. These are then combined and further morphed in order to restore the original facial proportions. We also present a method of texturing the resulting model, where the aforementioned feature points are used to generate a texture for the resulting model