Метод виявлення ознак основного тону в структурі електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини

In the work the method of electromyographic signals processing for the task of broken human communicative function compensation is developed. The method allows to detect the signs of main tone in the structure of electromyographic signals, that were recorded from the surface of patients neck near the vocal folds. Using this signs it is possible to identify the mentally spoken vowel and vocalised consonant phonemes and to identify the speech of patients with broken or lost communicative function. The developed method includes two stages, namely: preparatory and basic. The purpose of the preparatory stage is to obtain data on the individual features of the patient's speach, in particular the approximate value of the main tone frequency and the frequency interval of the main tone frequency when patient is trying to utter test sequences of sounds at certain points in time. These data are necessary to enable the use of the basic stage of the method, which involves the processing of electromyographic signals recorded in an arbitrary attempt to pronounce arbitrary sounds, words or phrases by the patient. It is proposed to processing the electromyographic signals by methods of spectral-correlation analysis using the sliding window method if presenting of such biosignals in the form of a piecewise stationary random process to detect the time intervals of the presence of main tone signs. Within each sliding window the estimates of the power spectral density distribution are calculated and averaged over the frequency and power within the predetermined interval of existence of the main tone frequency. The obtained averaged estimates make it possible to set the time intervals of the main tone presence and, accordingly, the subsequent identification of vowel and consonant vocalised phonemes. The experimentally registered EMG signal was processed by the developed method with different values of the sliding window width.В работе разработан метод обработки электромиографических сигналов для задачи компенсации нарушенной коммуникативной функции человека. Метод дает возможность выявления признаков основного тона в структуре электромиографического сигнала, зарегистрированного с поверхности шеи пациентов вблизи голосовых связок. По этим признакам можно проводить идентификацию отдельных мысленно произносимых гласных и согласных вокализированных фонем и проводить распознавание собственно речи пациентов с нарушенной или утраченной коммуникативной функцией. Разработанный метод включает в себя два этапа, а именно: подготовительный и основной. Целью подготовительного этапа является получение данных об индивидуальных особенностях языка пациента, в частности приближенного значения частоты основного тона и частотного интервала существования частоты основного тона при попытке произнесения пациентом тестовых последовательностей звуков в определенные моменты времени. Эти данные необходимы для возможности применения основного этапа метода, предусматривающего обработку электромиографических (ЭМГ) сигналов, зарегистрированных при произвольной попытке произнесения пациентом произвольных звуков, слов или фраз. Предложено для выявления временных интервалов наличия признаков основного тона проводить обработку электромиографических сигналов методами спектрально-корреляционного анализа с применением метода скользящего окна при подаче таких биосигналов в виде кусочно-стационарного случайного процесса. При этом в пределах каждой трансляции скользящего окна производится вычисление оценок распределения спектральной плотности мощности и усреднение этих оценок по частоте и мощности в пределах предварительно определенного интервала существования частоты основного тона. Полученные усредненные оценки дают возможность установки временных интервалов наличия основного тона и соответственно последующей идентификации гласных и согласных вокализированных фонем. Проведена обработка разработанным методом экспериментально зарегистрированного ЭМГ сигнала с различными значениями ширины скользящего окна.В роботі розроблено метод опрацювання електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини. Метод дає можливість виявлення ознак основного тону в структурі електроміографічного сигналу, зареєстрованого з поверхні шиї пацієнтів поблизу голосових складок. За цими ознаками можна проводити ідентифікацію окремих подумки вимовлених голосних та приголосних вокалізованих фонем та проводити розпізнавання власне мови пацієнтів із порушеною чи втраченою комунікативною функцією. Розроблений метод включає в себе два етапи, а саме: підготовчий та основний. Метою підготовчого етапу є отримання даних про індивідуальні особливості мови пацієнта, зокрема наближеного значення частоти основного тону та частотного інтервалу існування частоти основного тону при намаганні вимовляння пацієнтом тестових послідовностей звуків у визначені моменти часу. Ці дані є необхідні для можливості застосування основного етапу методу, що передбачає опрацювання електроміографічних (ЕМГ) сигналів, зареєстрованих при довільному намаганні вимовляння пацієнтом довільних звуків, слів чи фраз. Запропоновано для виявлення часових інтервалів наявності ознак основного тону проводити опрацювання електроміографічних сигналів методами спектрально-кореляційного аналізу із застосуванням методу ковзного вікна при поданні таких біосигналів у вигляді кусково-стаціонарного випадкового процесу. При цьому, в межах кожної трансляції ковзного вікна проводиться обчислення оцінок розподілу спектральної густини потужності та усереднення цих оцінок за частотою і потужністю в межах попередньо визначеного інтервалу існування частоти основного тону. Отримані усереднені оцінки дають можливість встановлення часових інтервалів наявності основного тону та відповідно наступної ідентифікації голосних та приголосних вокалізованих фонем. Проведено опрацювання розробленим методом експериментально зареєстрованого ЕМГ сигналу із різними значеннями ширини ковзного вікна

Mathematical model and methods of biosignals processing for the task of compensation of impaired human communicative function

Захист відбудеться ”05” лютого 2021 р. о 12 00 год. на засіданні спеціалізованої вченої ради Д 58.052.01 в Тернопільському національному технічному університеті імені Івана Пулюя (46001, м. Тернопіль, вул. Руська, 56, ауд. 79).У дисертації розв’язано актуальну наукову задачу обґрунтування вибору математичної моделі та розроблення методів опрацювання біосигналів, які дають можливість виділення інформативних ознак намагання реалізувати пацієнтами комунікативну функцію в структурі електроенцефалографічних та електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини. Обґрунтовано вибір математичної моделі таких біосигналів у вигляді кусково стаціонарного випадкового процесу. Розроблено методи опрацювання таких сигналів в межах трансляцій ковзного вікна, для виявлення часових моментів початку та закінчення процесу мовлення а також виявлення ознак наявності основного тону в структурі цих сигналів під час намагання реалізації порушеної комунікативної функції. Обґрунтовано вибір інформативних ознак початку та закінчення процесу мовлення та наявності основного тону.В диссертации решена актуальная научная задача обоснования выбора математической модели и разработки методов обработки биосигналов, которые дают возможность выделения информативных признаков попытки реализовать пациентами коммуникативную функцию в структуре электроэнцефалографических и электромиографических сигналов. Обоснован выбор математической модели таких биосигналов в виде кусочно-стационарного случайного процесса и разработаны методы статистической обработки таких сигналов в пределах скользящего окна, которые дают возможность выявить временные моменты начала и окончания процесса речи и выявлять признаки наличия основного тона в структуре этих сигналов при попытке реализации нарушенной коммуникативной функции.У дисертації розв’язано актуальну наукову задачу обґрунтування вибору математичної моделі та розроблення методів опрацювання біосигналів, які дають можливість виділення інформативних ознак намагання реалізувати пацієнтами комунікативну функцію в структурі електроенцефалографічних та електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини. Обґрунтовано вибір математичної моделі таких біосигналів у вигляді кусково стаціонарного випадкового процесу. Розроблено методи опрацювання таких сигналів в межах трансляцій ковзного вікна, для виявлення часових моментів початку та закінчення процесу мовлення а також виявлення ознак наявності основного тону в структурі цих сигналів під час намагання реалізації порушеної комунікативної функції. Обґрунтовано вибір інформативних ознак початку та закінчення процесу мовлення та наявності основного тону.ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ...21 ВСТУП...23 РОЗДІЛ 1. СТАН ТА СПЕЦИФІКА ЗАДАЧІ КОМПЕНСАЦІЇ ПОРУШЕНОЇ КОМУНІКАТИВНОЇ ФУНКЦІЇ ЛЮДИНИ...30 1.1. Задача компенсації порушеної комунікативної функції людини...30 1.2. Аналіз механізму реалізації комунікативної функції людини...33 1.3. Методи компенсації порушеної комунікативної функції людини, що ґрунтуються на положеннях системно-сигнальної концепції...39 1.4. Спосіб компенсації порушеної комунікативної функції людини за результатами опрацювання біосигналів ...44 1.5. Висновки до розділу 1...49 РОЗДІЛ 2. ОБҐРУНТУВАННЯ ВИБОРУ МАТЕМАТИЧНОЇ МОДЕЛІ ТА РОЗРОБЛЕННЯ МЕТОДІВ ОПРАЦЮВАННЯ БІОСИГНАЛІВ ДЛЯ ЗАДАЧІ КОМПЕНСАЦІЇ ПОРУШЕНОЇ КОМУНІКАТИВНОЇ ФУНКЦІЇ ЛЮДИНИ...51 2.1. Вимоги до математичної моделі біосигналів, як підґрунтя для розроблення методів їхнього опрацювання...51 2.2. Опрацювання електроенцефалографічних та електроміографічних сигналів методами гармонічного аналізу складних детермінованих процесів...55 2.3. Опрацювання електроенцефалографічних та електроміографічних сигналів методами статистичного та спектрально-кореляційного аналізу стаціонарних процесів...62 2.4. Обґрунтування вибору математичної моделі електроенцефалографічних та електроміографічних сигналів...65 2.5. Метод опрацювання електроміографічних сигналів...67 2.6. Метод опрацювання електроенцефалографічних сигналів...74 2.7. Висновки до розділу 2...76 РОЗДІЛ 3. ПЛАНУВАННЯ, ПРОВЕДЕННЯ ЕКСПЕРИМЕНТУ ТА ПОПЕРЕДНЄ ОПРАЦЮВАННЯ ДАНИХ...78 3.1. Планування проведення експериментальних досліджень...78 3.2. Експериментальний відбір електроенцефалографічних сигналів...79 3.3. Спосіб одночасного відбору електроенцефалографічних та електроміографічних сигналів...88 3.4. Експериментальний відбір електроміографічних та голосових сигналів...97 3.5. Попереднє опрацювання даних...100 3.6. Алґоритми опрацювання електроенцефалографічних та електроміографічних сигналів розробленими методами на підготовчому етапі...106 3.7. Висновки до розділу 3...110 РОЗДІЛ 4. ЕКСПЕРИМЕНТАЛЬНА ВЕРИФІКАЦІЯ МЕТОДІВ ОПРАЦЮВАННЯ БІОСИГНАЛІВ ДЛЯ ЗАДАЧІ КОМПЕНСАЦІЇ ПОРУШЕНОЇ КОМУНІКАТИВНОЇ ФУНКЦІЇ ЛЮДИНИ...112 4.1. Застосування ковзного вікна при опрацюванні електроенцефалографічних сигналів...112 4.2. Критерій визначення часових моментів початку та закінчення процесу мовлення за електроенцефалографічним сигналом...114 4.3. Критерій встановлення наявності ознак основного тону в структурі електроміографічного сигналу...119 4.4. Оцінювання достовірності результатів опрацювання біосигналів...131 4.5. Пропозиція щодо практичної реалізації системи компенсації порушеної комунікативної функції людини...136 4.6. Висновки до розділу 4...142 ВИСНОВКИ...144 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ...146 ДОДАТКИ...15