Sensor-Aware Recognition and Tracking for Wide-Area Augmented Reality on Mobile Phones

Wide-area registration in outdoor environments on mobile phones is a challenging task in mobile augmented reality fields. We present a sensor-aware large-scale outdoor augmented reality system for recognition and tracking on mobile phones. GPS and gravity information is used to improve the VLAD performance for recognition. A kind of sensor-aware VLAD algorithm, which is self-adaptive to different scale scenes, is utilized to recognize complex scenes. Considering vision-based registration algorithms are too fragile and tend to drift, data coming from inertial sensors and vision are fused together by an extended Kalman filter (EKF) to achieve considerable improvements in tracking stability and robustness. Experimental results show that our method greatly enhances the recognition rate and eliminates the tracking jitters

Sensor-Aware Recognition and Tracking for Wide-Area Augmented Reality on Mobile Phones

Wide-area registration in outdoor environments on mobile phones is a challenging task in mobile augmented reality fields. We present a sensor-aware large-scale outdoor augmented reality system for recognition and tracking on mobile phones. GPS and gravity information is used to improve the VLAD performance for recognition. A kind of sensor-aware VLAD algorithm, which is self-adaptive to different scale scenes, is utilized to recognize complex scenes. Considering vision-based registration algorithms are too fragile and tend to drift, data coming from inertial sensors and vision are fused together by an extended Kalman filter (EKF) to achieve considerable improvements in tracking stability and robustness. Experimental results show that our method greatly enhances the recognition rate and eliminates the tracking jitters

Використання технологій доповненої реальності для потреб мультимедіа

Актуальність теми роботи полягає в тому, що доповнена реальність як метод передачі інформації широко поширена в різних галузях, зокрема в розробці мобільних застосунків. Предметом дослідження є технології мобільних застосунків доповненої реальності та способи побудови застосунків на основі операційної системи iOS. Мета дослідження – створити мобільний застосунок із доповненою реальністю на основі операційної системи iOS для відвідувачів Національного художнього музею України. Для досягнення цієї мети необхідно виконати такі завдання: - проаналізувати існуючі технології доповненої реальності в мобільних застосунках. - вибрати технологію, яка найкраще відповідає потребам музею. - створити застосунок на базі операційної системи iOS на мові програмування Swift.The relevance of the topic of the work is that augmented reality as a method of delivering information is widespread in various fields, in particular in the development of mobile applications. The subject of the study is augmented reality mobile application technologies and ways to build applications based on the iOS operating system. The purpose of the study is to create a mobile app with augmented reality based on the iOS operating system for visitors of the National Art Museum of Ukraine. To achieve this goal, the following tasks must be performed: - analyze existing augmented reality technologies in mobile applications. - choose the technology that best meets the needs of the museum. - create an application based on the iOS operating system in Swift programming language