The Method of Indirect Restoration of Human Communicative Function

The substantiation of the method of indirect restoration of human communicative function with using the specialized technical means, is carried out. It has been established, that indirectly, the communicative function can be restored by proper processing of the electroencephalographic and electromyographic signals, that arise during the implementation of this function

Multimodal corpora for silent speech interaction

A Silent Speech Interface (SSI) allows for speech communication to take place in the absence of an acoustic signal. This type of interface is an alternative to conventional Automatic Speech Recognition which is not adequate for users with some speech impairments or in the presence of environmental noise. The work presented here produces the conditions to explore and analyze complex combinations of input modalities applicable in SSI research. By exploring non-invasive and promising modalities, we have selected the following sensing technologies used in human-computer interaction: Video and Depth input, Ultrasonic Doppler sensing and Surface Electromyography. This paper describes a novel data collection methodology where these independent streams of information are synchronously acquired with the aim of supporting research and development of a multimodal SSI. The reported recordings were divided into two rounds: a first one where the acquired data was silently uttered and a second round where speakers pronounced the scripted prompts in an audible and normal tone. In the first round of recordings, a total of 53.94 minutes were captured where 30.25% was estimated to be silent speech. In the second round of recordings, a total of 30.45 minutes were obtained and 30.05% of the recordings were audible speech.info:eu-repo/semantics/publishedVersio

Метод виявлення ознак основного тону в структурі електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини

In the work the method of electromyographic signals processing for the task of broken human communicative function compensation is developed. The method allows to detect the signs of main tone in the structure of electromyographic signals, that were recorded from the surface of patients neck near the vocal folds. Using this signs it is possible to identify the mentally spoken vowel and vocalised consonant phonemes and to identify the speech of patients with broken or lost communicative function. The developed method includes two stages, namely: preparatory and basic. The purpose of the preparatory stage is to obtain data on the individual features of the patient's speach, in particular the approximate value of the main tone frequency and the frequency interval of the main tone frequency when patient is trying to utter test sequences of sounds at certain points in time. These data are necessary to enable the use of the basic stage of the method, which involves the processing of electromyographic signals recorded in an arbitrary attempt to pronounce arbitrary sounds, words or phrases by the patient. It is proposed to processing the electromyographic signals by methods of spectral-correlation analysis using the sliding window method if presenting of such biosignals in the form of a piecewise stationary random process to detect the time intervals of the presence of main tone signs. Within each sliding window the estimates of the power spectral density distribution are calculated and averaged over the frequency and power within the predetermined interval of existence of the main tone frequency. The obtained averaged estimates make it possible to set the time intervals of the main tone presence and, accordingly, the subsequent identification of vowel and consonant vocalised phonemes. The experimentally registered EMG signal was processed by the developed method with different values of the sliding window width.В работе разработан метод обработки электромиографических сигналов для задачи компенсации нарушенной коммуникативной функции человека. Метод дает возможность выявления признаков основного тона в структуре электромиографического сигнала, зарегистрированного с поверхности шеи пациентов вблизи голосовых связок. По этим признакам можно проводить идентификацию отдельных мысленно произносимых гласных и согласных вокализированных фонем и проводить распознавание собственно речи пациентов с нарушенной или утраченной коммуникативной функцией. Разработанный метод включает в себя два этапа, а именно: подготовительный и основной. Целью подготовительного этапа является получение данных об индивидуальных особенностях языка пациента, в частности приближенного значения частоты основного тона и частотного интервала существования частоты основного тона при попытке произнесения пациентом тестовых последовательностей звуков в определенные моменты времени. Эти данные необходимы для возможности применения основного этапа метода, предусматривающего обработку электромиографических (ЭМГ) сигналов, зарегистрированных при произвольной попытке произнесения пациентом произвольных звуков, слов или фраз. Предложено для выявления временных интервалов наличия признаков основного тона проводить обработку электромиографических сигналов методами спектрально-корреляционного анализа с применением метода скользящего окна при подаче таких биосигналов в виде кусочно-стационарного случайного процесса. При этом в пределах каждой трансляции скользящего окна производится вычисление оценок распределения спектральной плотности мощности и усреднение этих оценок по частоте и мощности в пределах предварительно определенного интервала существования частоты основного тона. Полученные усредненные оценки дают возможность установки временных интервалов наличия основного тона и соответственно последующей идентификации гласных и согласных вокализированных фонем. Проведена обработка разработанным методом экспериментально зарегистрированного ЭМГ сигнала с различными значениями ширины скользящего окна.В роботі розроблено метод опрацювання електроміографічних сигналів для задачі компенсації порушеної комунікативної функції людини. Метод дає можливість виявлення ознак основного тону в структурі електроміографічного сигналу, зареєстрованого з поверхні шиї пацієнтів поблизу голосових складок. За цими ознаками можна проводити ідентифікацію окремих подумки вимовлених голосних та приголосних вокалізованих фонем та проводити розпізнавання власне мови пацієнтів із порушеною чи втраченою комунікативною функцією. Розроблений метод включає в себе два етапи, а саме: підготовчий та основний. Метою підготовчого етапу є отримання даних про індивідуальні особливості мови пацієнта, зокрема наближеного значення частоти основного тону та частотного інтервалу існування частоти основного тону при намаганні вимовляння пацієнтом тестових послідовностей звуків у визначені моменти часу. Ці дані є необхідні для можливості застосування основного етапу методу, що передбачає опрацювання електроміографічних (ЕМГ) сигналів, зареєстрованих при довільному намаганні вимовляння пацієнтом довільних звуків, слів чи фраз. Запропоновано для виявлення часових інтервалів наявності ознак основного тону проводити опрацювання електроміографічних сигналів методами спектрально-кореляційного аналізу із застосуванням методу ковзного вікна при поданні таких біосигналів у вигляді кусково-стаціонарного випадкового процесу. При цьому, в межах кожної трансляції ковзного вікна проводиться обчислення оцінок розподілу спектральної густини потужності та усереднення цих оцінок за частотою і потужністю в межах попередньо визначеного інтервалу існування частоти основного тону. Отримані усереднені оцінки дають можливість встановлення часових інтервалів наявності основного тону та відповідно наступної ідентифікації голосних та приголосних вокалізованих фонем. Проведено опрацювання розробленим методом експериментально зареєстрованого ЕМГ сигналу із різними значеннями ширини ковзного вікна

English speaking proficiency assessment using speech and electroencephalography signals

In this paper, the English speaking proficiency level of non-native English speakerswas automatically estimated as high, medium, or low performance. For this purpose, the speech of 142 non-native English speakers was recorded and electroencephalography (EEG) signals of 58 of them were recorded while speaking in English. Two systems were proposed for estimating the English proficiency level of the speaker; one used 72 audio features, extracted from speech signals, and the other used 112 features extracted from EEG signals. Multi-class support vector machines (SVM) was used for training and testing both systems using a cross-validation strategy. The speech-based system outperformed the EEG system with 68% accuracy on 60 testing audio recordings, compared with 56% accuracy on 30 testing EEG recordings

Интеллектуальное кресло-робот со вспомогательными средствами связи с использованием откликов TEP и характеристик диапазона спектра более высокого порядка

In recent years, electroencephalography-based navigation and communication systems for differentially enabled communities have been progressively receiving more attention. To provide a navigation system with a communication aid, a customized protocol using thought evoked potentials has been proposed in this research work to aid the differentially enabled communities. This study presents the higher order spectra based features to categorize seven basic tasks that include Forward, Left, Right, Yes, NO, Help and Relax; that can be used for navigating a robot chair and also for communications using an oddball paradigm. The proposed system records the eight-channel wireless electroencephalography signal from ten subjects while the subject was perceiving seven different tasks. The recorded brain wave signals are pre-processed to remove the interference waveforms and segmented into six frequency band signals, i. e. Delta, Theta, Alpha, Beta, Gamma 1-1 and Gamma 2. The frequency band signals are segmented into frame samples of equal length and are used to extract the features using bispectrum estimation. Further, statistical features such as the average value of bispectral magnitude and entropy using the bispectrum field are extracted and formed as a feature set. The extracted feature sets are tenfold cross validated using multilayer neural network classifier. From the results, it is observed that the entropy of bispectral magnitude feature based classifier model has the maximum classification accuracy of 84.71 % and the value of the bispectral magnitude feature based classifier model has the minimum classification accuracy of 68.52 %.В последние годы все больше внимания уделяется навигационным и коммуникационным системам на основе электроэнцефалограммы головного мозга для сообществ с разными возможностями. Для предоставления навигационной системе вспомогательных средств связи в работе предложен настраиваемый протокол, использующий вызванные мыслительные потенциалы, чтобы помочь сообществам с разными возможностями. Представлены функции, основанные на спектрах более высокого порядка, для классификации семи основных задач, таких как Вперед, Влево, Вправо, Да, НЕТ, Помощь и Расслабление, которые можно использовать для управления креслом-роботом, а также для связи с использованием необычной парадигмы. Предлагаемая система записывает восьмиканальный беспроводной сигнал электроэнцефалографии от десяти субъектов, в то время как субъект воспринимал семь различных задач. Записанные сигналы мозговых волн предварительно обрабатываются для удаления интерференционных волн и сегментируются на сигналы шести частотных диапазонов: дельта, тета, альфа, бета, гамма 1-1 и гамма 2. Сигналы полосы частот сегментируются на выборки кадров равной длины и используются для извлечения признаков с использованием оценки биспектра. Кроме того, статистические характеристики, такие как среднее значение биспектральной величины и энтропия с использованием области биспектра, извлекаются и формируются как набор характеристик. Извлеченные наборы функций проходят десятикратную перекрестную проверку с использованием классификатора многослойной нейронной сети. Результаты показали, что энтропия модели классификатора на основе характеристик биспектральной величины имеет максимальную точность классификации 84,71 %, а среднее значение модели классификатора на основе характеристик биспектральной величины – минимальную точность классификации 68,52 %

Improving Electroencephalography-Based Imagined Speech Recognition with a Simultaneous Video Data Stream

Electroencephalography (EEG) devices offer a non-invasive mechanism for implementing imagined speech recognition, the process of estimating words or commands that a person expresses only in thought. However, existing methods can only achieve limited predictive accuracy with very small vocabularies; and therefore are not yet sufficient to enable fluid communication between humans and machines. This project proposes a new method for improving the ability of a classifying algorithm to recognize imagined speech recognition, by collecting and analyzing a large dataset of simultaneous EEG and video data streams. The results from this project suggest confirmation that complementing high-dimensional EEG data with similarly high-dimensional video data enhances a classifier’s ability to extract features from an EEG stream and facilitate imagined speech recognition

Towards an Intraoral-Based Silent Speech Restoration System for Post-laryngectomy Voice Replacement

© Springer International Publishing AG 2017, Silent Speech Interfaces (SSIs) are alternative assistive speech technologies that are capable of restoring speech communication for those individuals who have lost their voice due to laryngectomy or diseases affecting the vocal cords. However, many of these SSIs are still deemed as impractical due to a high degree of intrusiveness and discomfort, hence limiting their transition to outside of the laboratory environment. We aim to address the hardware challenges faced in developing a practical SSI for post-laryngectomy speech rehabilitation. A new Permanent Magnet Articulography (PMA) system is presented which fits within the palatal cavity of the user’s mouth, giving unobtrusive appearance and high portability. The prototype is comprised of a miniaturized circuit constructed using commercial off-the-shelf (COTS) components and is implemented in the form of a dental retainer, which is mounted under roof of the user’s mouth and firmly clasps onto the upper teeth. Preliminary evaluation via speech recognition experiments demonstrates that the intraoral prototype achieves reasonable word recognition accuracy and is comparable to the external PMA version. Moreover, the intraoral design is expected to improve on its stability and robustness, with a much improved appearance since it can be completely hidden inside the user’s mouth

Discrete classification technique applied to TV advertisements liking recognition system based on low‑cost EEG headsets

Background: In this paper a new approach is applied to the area of marketing research. The aim of this paper is to recognize how brain activity responds during the visualization of short video advertisements using discrete classification techniques. By means of low cost electroencephalography devices (EEG), the activation level of some brain regions have been studied while the ads are shown to users. We may wonder about how useful is the use of neuroscience knowledge in marketing, or what could provide neuroscience to marketing sector, or why this approach can improve the accuracy and the final user acceptance compared to other works. Methods: By using discrete techniques over EEG frequency bands of a generated dataset, C4.5, ANN and the new recognition system based on Ameva, a discretization algorithm, is applied to obtain the score given by subjects to each TV ad. Results: The proposed technique allows to reach more than 75 % of accuracy, which is an excellent result taking into account the typology of EEG sensors used in this work. Furthermore, the time consumption of the algorithm proposed is reduced up to 30 % compared to other techniques presented in this paper. Conclusions: This bring about a battery lifetime improvement on the devices where the algorithm is running, extending the experience in the ubiquitous context where the new approach has been tested.Ministerio de Economía y Competitividad HERMES TIN2013-46801-C4-1-rJunta de Andalucia Simon TIC-805