Research on hybrid transformer-based autoencoders for user biometric verification

Our current study extends previous work on motion-based biometric verification using sensory data by exploring new architectures and more complex input from various sensors. Biometric verification offers advantages like uniqueness and protection against fraud. The state-of-the-art transformer architecture in AI is known for its attention block and applications in various fields, including NLP and CV. We investigated its potential value for applications involving sensory data. The research proposes a hybrid architecture, integrating transformer attention blocks with different autoencoders, to evaluate its efficacy for biometric verification and user authentication. Various configurations were compared, including LSTM autoencoder, transformer autoencoder, LSTM VAE, and transformer VAE. Results showed that combining transformer blocks with an undercomplete deterministic autoencoder yields the best performance, but model performance is significantly influenced by data preprocessing and configuration parameters. The application of transformers for biometric verification and sensory data appears promising, performing on par with or surpassing LSTM-based models but with lower inference and training time

Дослідження біометричної верифікації користувача на основі автокодерів з перевірками руху

Продовжено попереднє дослідження щодо біометричної перевірки користувача на основі руху з використанням сенсорних даних. Системи сенсорної верифікації розширюють можливості неперервної автентифікації, оскільки фізіологічні біометричні методи, в основному засновані на фото- або відеоданих, стикаються з багатьма труднощами під час реалізації. Мета дослідження — проаналізувати як різні компоненти сенсорних даних від акселерометра впливають і сприяють визначенню процесу унікальних моделей руху людини та розуміння того, як вони можуть виражати моделі поведінки людини з різними видами активності. Як базову модель використано рекурентний автокодувальник довгої-короткої пам’яті. Вибір моделі ґрунтується на попередніх дослідженнях. Результати дослідження показали, що залежно від виду діяльності різноманітні компоненти даних мають різний внесок. Зроблено висновок, що одного джерела даних датчика може бути недостатньо для надійної системи автентифікації. Для подальших досліджень слід запропонувати мультимодальну систему автентифікації, яка повинна використовувати та об’єднувати вхідні потоки від кількох датчиків.In the current research, we continue our previous study regarding motionbased user biometric verification, which consumes sensory data. Sensory-based verification systems empower the continuous authentication narrative – as physiological biometric methods mainly based on photo or video input meet a lot of difficulties in implementation. The research aims to analyze how various components of sensor data from an accelerometer affect and contribute to defining the process of unique person motion patterns and understanding how it may express the human behavioral patterns with different activity types. The study used the recurrent long-short-termmemory autoencoder as a baseline model. The choice of model was based on our previous research. The research results have shown that various data components contribute differently to the verification process depending on the type of activity. However, we conclude that a single sensor data source may not be enough for a robust authentication system. The multimodal authentication system should be proposed to utilize and aggregate the input streams from multiple sensors as further research