Models and methods of information technology for recognition of electromyographic biosignals by the hand prosthesis control system

Дисертаційна робота присвячена підвищенню точності виконання протезом кінцівки руки когітивних команд шляхом створення інформаційної технології машинного навчання системи керування протезом кінцівки руки для розпізнавання електроміографічних біосигналів в рамках функціонального підходу до моделювання когнітивних процесів природного інтелекту при формуванні та прийнятті класифікаційних рішень. Об’єктом дослідження є слабоформалізований процес машинного навчання системи керування протезом кінцівки руки для розпізнавання електроміографічних біосигналів за умови неповної визначеності даних, обумовленої довільними початковими умовами формування електроміографічних біосигналів і перетином в просторі ознак класів розпізнавання, які характеризують когітивні команди для виконання відповідних рухів протезу. Предметом дослідження є моделі і методи інформаційної технології інформаційно-екстремального машинного навчання системи керування протезом кінцівки руки для розпізнавання електроміографічних біосигналів. Обрані методи дослідження базуються на принципах і методах інтелектуального інформаційного аналізу даних та інформаційно-екстремальної інтелектуальної технології машинного навчання для побудови високо достовірних і оперативних вирішальних правил; методах математичної статистики для перевірки статистичних гіпотез; методах та характеристиках теорії інформації для оцінки функціональної ефективності інформаційно-екстремального машинного навчання системи керування протезом кінцівки руки для розпізнавання електроміографічних біосигналів; об’єктно-орієнтованій методології проектування складних систем для розробки інформаційного алгоритмічного та програмного забезпечення здатної навчатися системи керування протезом кінцівки руки для розпізнавання електроміографічних біосигналів. Обґрунтовано актуальність теми дисертації, зазначено зв’язок роботи з науковими темами, сформульовано мету та задачі дослідження, визначено об’єкт, предмет та методи дослідження, показано наукову новизну та практичне значення отриманих результатів, наведено інформацію про практичне використання, апробацію результатів та їх висвітлення у публікаціях. За результатами аналізу сучасного стану та тенденцій розвитку інтелектуалних протезів кінцівок показано, що протези з інвазивною системою зчитування електроміографічних біосигналів характеризуються більшою точністю виконання когнітивних команд у порівнянні з неінвазивною системою. Але інвазивна система зчитування біосигналів потребує хірургічного втручання, створює для особи з інвалідністю некомфортні умови і не забезпечує через недосканалість існуючих інформаційних технологій розпізнавання електроміографічних сигналів відновлення втрачених функцій руки. У порівнянні з протезами руки з інвазивною системою зчитування біосигналів протези з неінвазивною системою зчитування є суттєво дешевшими та зручнішими при їх використанні. Але через високу зашумленість біосигналів, багатовимірність простору ознак розпізнавання і суттєвий перетин в просторі ознак розпізнавання класів розпізнавання, які характеризують основні рухи протезу, розробка інтелектуальних протезів вимагає подолання ускладнень науково-методологічного характеру, на які впливають такі фактори: • довільні початкові умови формування електроміографічних біосигналів, обумовлених пошкодженням когнітивно-нервового тракту проходження біосигналу; • перетин класів розпізнавання, що утворює у просторі ознак апріорно нечітке їх розбиття; • багатовимірність словника ознак і алфавіту класів розпізнавання; • вплив неконтрольованих факторів, пов’язаних, наприклад, із щільністю прилягання електроміографічних датчиків, їх місцезнаходженням, змінами параметрів живлення, емоційно-психічного стану особи з інвалідністю тощо, що обумовлює зашумленість та спотворення електроміографічних біосигналів відповідних когнітивних команд. Саме через такі причини алгоритми машинного навчання системи керування протезом руки з використанням відомих методів технології Data Mining, включаючи нейроподібні структури, не забезпечують високу точність виконання когнітивних команд. Тому дисертаційна робота, яка виконана у науковій проблемній лабораторії кафедри комп’ютерних наук Сумського державного університету, є актуальною, оскільки спрямована на розв’язання важливої науково-практичної задачі підвищення функціональної ефективності протезів руки з неінвазивною системою зчитування біосигналів і наближення їх до функціональних можливостей інвазивних при збереженні відносно невисокої собівартості є актуальною. У дисертаційній роботі дослідження виконувалися у рамках створеної в Сумському державному університеті так званої інформаційно-екстремальної інтелектуальної технології (ІЕІ-технології) аналізу даних, яка ґрунтується на максимізації інформаційної спроможності системи керування в процесі машинного навчання. Ідея розроблених методів інформаційно-екстремального машинного навчання системи керування протезом кисті руки для розпізнавання електроміографічних біосигналів як і в штучних нейронних мережах полягає в адаптації в процесі машинного навчання вхідного математичного опису до максимальної повної ймовірності прийняття правильних діагностичних рішень. Але основна перевага методів інформаційно-екстремального машинного навчання перед нейроподібними структурами полягає в тому, що вони розроблені у рамках функціонального підходу до моделювання когнітивних процесів, притаманних людині при формуванні та прийнятті класифікаційних рішень. Такий підхід на відміну від штучних нейронних мереж дозволяє методам інформаційно-екстремального машинного навчання надати гнучкість при перенавчанні системи через розширення алфавіту класів розпізнавання. Водночас побудовані в рамках геометричного підходу вирішальні правила практично є інваріантними до багатовимірності словника ознак розпізнавання. Також варто підкреслити, що машинне навчання здійснюється не в інтерактивному режимі, а автоматично. Крім того, для формування навчальної матриці потрібно на порядок менше зразків, що є важливою перевагою перед нейроподібними структурами. У дисертаційній роботі розв’язано важливе науково-практичне завдання розроблення інформаційної інтелектуальної технології машиного навчання системи керування протезом кінцівки руки з неінвазивною системою зчитування біосигналів в рамках функціонального підходу до моделювання когнітивних процесів. Вперше розроблено функціональні категорійні моделі і на їх основі створено метод інформаційно-екстремального машинного навчання за ієрархічною структурою даних у вигляді декурсивного бінарного дерева, який відрізняється способом побудови декурсивного дерева, що дозволяє оптимізувати структуру дерева і у результаті підвищити достовірність та оперативність розпізнавання електроміографічних біосигналів та забезпечити гнучкість при перенавчанні у разі розширення алфавіту класів розпізнавання; Вперше розроблено модель та метод інформаційно-екстремального машинного навчання з оптимізацією рівня квантування електроміографічних біосигналів, що дозволяє збільшити повну ймовірність правильного прийняття класифікаційних рішень через використання зрідженої навчальної матриці; Удосконалено метод інформаційно-екстремального машинного навчання системи керування протезом кінцівки руки з оптимізацією періоду квантування за часом електроміографічних біосигналів. Отримав подальший розвиток метод агломеративного кластер-аналізу, що дозволяє автоматично формувати ієрархічну структуру найближчих сусідніх класів розпізнавання для машинного навчання системи керування протезом кінцівки руки з неінвазивною системою зчитування біосигналів. Усі теоретичні розробки дисертації автор довів до конкретних алгоритмів із використанням запропонованої інформаційної технології синтезу системи керування протезом кінцівки руки, здатної розпізнавати електроміографічні біосигнали відповідних когнітивних команд. На основі запропонованих моделей, методів та алгоритмів реалізовано засоби інформаційної технології машинного навчання системи керування протезом кінцівки руки, які включають модулі формування вхідного математичного опису, машинного навчання, побудови вирішальних правил та функціонування системи в режимах функціонального тестування та екзамену. Одержані наукові результати у вигляді інформаційного та програмного забезпечення використано в плані дослідно-конструкторських робіт ТОВ «НВП «Метекол» (акт від 31 липня 2023 р.) та впроваджено у навчальний процес Сумського державного університету (акт від 9 серпня 2023 р.).The dissertation is devoted to increasing the accuracy of the execution of cogitative commands by prosthetic limbs by creating an information technology of machine learning of the hand prosthesis control system for recognition of electromyographic biosignals within the framework of a functional approach to modeling cognitive processes of natural intelligence in forming and making classification decisions. The object of the research is the loosely formalized machine learning process of the hand prosthesis control system for recognition of electromyographic biosignals under conditions of incomplete data certainty due to the arbitrary initial conditions of the formation of electromyographic biosignals and the feature space intersection of recognition classes, which characterize the cognitive commands for performing the corresponding movements of the prosthesis. The subject of the research are models and methods of information technology for recognition of electromyographic biosignals within information-extreme machine learning of the hand prosthesis control system. The chosen research methods are based on the principles and methods of intelligent information analysis of data and information-extreme intelligent technology of machine learning to build highly reliable and operational decision rules methods of mathematical statistics for testing statistical hypotheses; methods and characteristics of information theory for evaluating the functional efficiency of information-extreme machine learning of the hand prosthesis control system for recognition of electromyographic biosignals; object-oriented methodology for the design of complex systems for the development of informational algorithms and software of the capable for machine learning hand prosthesis control system for recognition of electromyographic biosignals. The relevance of the dissertation topic is substantiated, the connection of the work with scientific topics is indicated, the purpose and tasks of the research are formulated, the object, subject and methods of the research are defined, the scientific novelty and practical significance of the obtained results are shown, information is given about the practical use, approbation of the results and their coverage in publications. According to the results of the analysis of the current state and trends in the development of intelligent limb prostheses, it is shown that prostheses with an invasive system for recording electromyographic biosignals are characterized by greater accuracy in the execution of cognitive commands in comparison with a non-invasive system. In contrast the invasive biosignal recording system requires surgical intervention, creates uncomfortable conditions for a person with a disability, and does not ensure the restoration of lost hand functions due to the imperfection of existing information technologies for recognizing electromyographic signals. Prostheses with a non-invasive recording system are significantly cheaper and more convenient to use compared to hand prostheses with an invasive biosignal recording system. Due to the high noise of biosignals, the multidimensionality of the recognition features space and the significant intersection in the features space of recognition classes that characterize the main movements of the prosthesis, the development of intelligent prostheses requires overcoming scientific and methodological complications, which are influenced by the following factors: • arbitrary initial conditions for the formation of electromyographic biosignals caused by damage to the cognitive-nerve path of biosignal transmission; • recognition classes intersection, which creates an a priori unclear division of the feature space; • multidimensionality of the feature dictionary and the alphabet of recognition classes; • the influence of uncontrollable factors related to the density of attachment of electromyographic sensors, their position, changes in power parameters, the emotional and mental state of a person with a disability, etc., which causes noise, artifacts and distortion of electromyographic biosignals of the corresponding cognitive commands. It is for these reasons that the machine learning algorithms of the hand prosthesis control system within known methods of Data Mining technology, including neuro like structures, do not ensure high accuracy of cognitive command execution. Therefore, the dissertation, which was carried out in the scientific problem laboratory of the Department of Computer Sciences of Sumy State University, is relevant, as it is aimed at solving an important scientific and practical task of increasing the functional efficiency of hand prostheses with a non-invasive biosignal recording system and bringing them closer to the functional capabilities of invasive while maintaining a relatively low cost is relevant. In the dissertation, the research was carried out within the framework of the so called information-extreme intelligent technology (IEI-technology) of data analysis created at Sumy State University, which is based on maximizing the information capacity of the control system in the process of machine learning. The idea of the developed methods of information-extreme machine learning of the hand prosthesis control system for recognition of electromyographic biosignals, as well as in artificial neural networks approach, is to adapt the input mathematical description to the maximum full probability of making correct diagnostic decisions in the process of machine learning. Despite this the main advantage of information-extreme machine learning methods over neuro-like structures is that they are developed within the framework of a functional approach to modeling cognitive processes inherent in humans when forming and making classification decisions. This approach, unlike artificial neural networks, allows the methods of information-extreme machine learning to provide flexibility in retraining the system through the expansion of the alphabet of recognition classes. At the same time, the decisive rules constructed within the framework of the geometric approach are practically invariant to the multidimensionality of the dictionary of recognition features. It is also worth emphasizing that machine learning is not carried out interactively, but automatically. In addition, the formation of the training matrix requires an far fewer samples, which is an important advantage over neuro-like structures. In the dissertation work, an important scientific and practical task of developing the information intelligent technology of machine learning of the hand prosthesis control system with a non-invasive system for recording biosignals within the framework of a functional approach to modeling cognitive processes is solved. The functional categorical models based on the hierarchical structure of data in the form of a decursive binary tree were for the first time developed and a method of information-extreme machine learning was created according to them, which differs in the way of constructing a decursive tree, which allows optimizing the structure of the tree and, as a result, increasing the reliability and efficiency of recognition of electromyographic biosignals and ensuring flexibility during retraining due to the expansion of the alphabet of recognition classes. A model and method of information-extreme machine learning with optimization of the quantization level of electromyographic biosignals was for the first time developed, which allows to increase the full probability of making the correct classification decisions through the use of a sparse learning matrix. In addition the method of information-extreme machine learning of the hand prosthesis control system with optimization of the time quantization period of electromyographic biosignals has been improved. The method of agglomerative cluster analysis was further developed, which allows the automatic formation of a hierarchical structure of the nearest neighboring recognition classes for machine learning of the hand prosthesis control system with a non-invasive biosignal recording system. The author brought all the theoretical developments of the dissertation to determined algorithms using the proposed information technology synthesis of the hand prosthesis control system capable of recognizing electromyographic biosignals of the corresponding cognitive commands. On the basis of the proposed models, methods and algorithms, the means of information technology of machine learning of the hand prosthesis control system have been implemented, which include modules for the formation of input mathematical description, machine learning, construction of decisive rules and functioning systems in the modes of functional testing and examination. The obtained scientific results in the form of information and software were used in the research and development plan of LLC "RPC Metekol" (implementation certificate dated July 31, 2023) and implemented in the educational process of Sumy State University (implementation certificate dated August 09, 2023)

Information-extreme recognition technology of the hand prosthesis control system of electromyographic biosignals by a sparse learning matrix

Розглядається задача машинного навчання системи керування протезом кисті руки з неінвазивною системою зчитування біосигналів. Задача розв’язується у рамках інформаційно-екстремальної інтелектуальної технології аналізу даних, яка базується на максимізації інформаційної спроможності системи у процесі її машинного навчання. Розроблений інформаційно-екстремальний метод машинного навчання системи керування протезом кінцівки руки на відміну від нейроподібних структур розроблено у рамках функціонального підходу до моделювання когнітивних процесів природного інтелекту при формуванні та прийнятті класифікаційних рішень. У результаті запропонований метод набуває властивості адаптивності до довільних умов формування навчальної матриці та гнучкості при перенавчанні системи через розширення алфавіту класів розпізнавання. Крім того, вирішальні правила, побудовані за отриманими у процесі інформаційно-екстремального машинного навчання оптимальними в інформаційному розумінні геометричними параметрами контейнерів класів розпізнавання, характеризуються високою оперативністю, що є важливим показником функціональної ефективності когнітивно керованого протезу. Відмінність розробленого методу від відомих методів інформаційно-екстремального машинного навчання полягає у застосуванні розрідженої навчальної матриці, що дозволяє суттєво зменшити ступінь перетину класів розпізнавання у просторі ознак. За результатами комп’ютерного моделювання доведено, що використання розрідженої навчальної матриці, отриманої за результатами оптимізації рівня квантування електроміографічних біосигналів для алфавіту трьох класів розпізнавання, дозволяє підвищити повну ймовірність правильного прийняття класифікаційних рішень майже у п’ять разів порівняно з нерозрідженою навчальною матрицею, що гарантує прийняття у робочому режимі високодостовірних класифікаційних рішень.In the article is considered the problem of machine learning of the hand prosthesis control system with a non-invasive biosignal reading system The task is solved within the framework of information-extreme intelligent technology of data analysis, which is based on maximizing of the information capacity of the system in the process of its machine learning. The method was developed in contrast to neuro-like structures within the framework of a functional approach of modeling the cognitive processes of the natural intelligence to form and make classification decisions. As a result, the proposed method acquires the properties of adaptability to intersecting classes in the space of recognition features and flexibility when retraining the system through the expansion of the recognition class alphabet. In addition, the decisive rules, built according to the information-extreme machine learning optimal geometric parameters of the recognition class containers, are characterized by high efficiency, which is an important indicator of the functional efficiency of a cognitively controlled prosthesis. The difference between the developed method and the known methods of information-extreme machine learning is the use of a sparse learning matrix, which allows to significantly reduce the degree of intersection of recognition classes in the space of features. According to the results of computer simulations, it is proved that the use of a sparse learning matrix, obtained as a result of the optimization of the quantization level of electromyographic biosignals for the alphabet of three recognition classes, allows to increase the full probability of making correct classification decisions by almost five times in comparison with a non-sparse learning matrix, which guarantees the adoption of highly reliable classification decisions in the working mode

Розроблення методу формування вхідного математичного опису БСН шляхом аналізу відеопотоку за опто-електронним каналом

Мета роботи – підвищення функціональної ефективності автономної бортової системи навігації безпілотного авіаційного комплексу шляхом визначення місцезнаходження безпілотного літального апарату за наземними навігаційними орієнтирами. Об’єктом дослідження є процес машинного навчання та автономного розпізнавання наземних об’єктів. Предмет дослідження – категорійні моделі та методи інформаційно-екстремального машинного навчання бортової системи навігації БПЛА для визначення місцезнаходження безпілотного літального апарату за наземними навігаційними орієнтирами. За результатами аналізу сучасних безпілотних авіаційних комплексів обґрунтовано доцільність інформаційного синтезу автономних безпілотних літальних апаратів. Запропоновано класифікацію рівнів автономності безпілотників за їх функціональними можливостями. Обгрунтовано вибір методу досліджень в рамках інформаційно-екстремальної інтелектуальної технології аналізу даних. Розроблено комплекс функціональних категорійних моделей та удосконалено метод оцінки інформаційної спроможності інформаційно-екстремального машинного навчання автономної бортової системи навігації безпілотного. Розглянуто приклад інформаційно-екстремального машинного навчання бортової системи відеонавігації

Інтелектуальний протез кінцівки, що самонавчається

Розроблено метод інформаційно-екстремального машинного навчання системи керування протезом кінцівки руки з неінвазивною системою зчитування біосигналів. Розроблено категорійні моделі і на їх базі розроблено алгоритми інформаційно-екстремального машинного навчання за ієрархічною структурою даних. Формалізовано постановку задачі та розроблено і програмно реалізовано алгоритми інформаційного синтезу здатної самонавчатися системи керування протезом кінцівки руки з неінвазивною системою зчитування біосигналів, яка функціонує в режимах кластер-аналізу біосигналів, що дозволяє автоматично формувати вхідну навчальну матрицю, і факторного кластер-аналізу, що дозволяє автоматично перенавчати систему керування при розширенні алфавіту класів розпізнавання