MEG:hen perustuvan aivo-tietokone -käyttöliittymän kehitys

Brain–computer interfaces (BCI) have recently gained interest both in basic neuroscience and clinical interventions. The majority of noninvasive BCIs measure brain activity with electroencephalography (EEG). However, the real-time signal analysis and decoding of brain activity suffer from low signal-to-noise ratio and poor spatial resolution of EEG. These limitations could be overcome by using magnetoencephalography (MEG) as an alternative measurement modality. The aim of this thesis is to develop an MEG-based BCI for decoding hand motor imagery, which could eventually serve as a therapeutic method for patients recovering from e.g. cerebral stroke. Here, machine learning methods for decoding motor imagery -related brain activity are validated with healthy subjects’ MEG measurements. The first part of the thesis (Study I) involves a comparison of feature extraction methods for classifying left- vs right-hand motor imagery (MI), and MI vs rest. It was found that spatial filtering and further extraction of bandpower features yield better classification accuracy than time–frequency features extracted from parietal gradiometers. Furthermore, prior spatial filtering improved the discrimination capability of time–frequency features. The training data for a BCI is typically collected in the beginning of each measurement session. However, as this can be time-consuming and exhausting for the subject, the training data from other subjects’ measurements could be used as well. In the second part of the thesis (Study II), methods for across-subject classification of MI were compared. The results showed that a classifier based on multi-task learning with a l2,1-norm regularized logistic regression was the best method for across-subject decoding for both MEG and EEG. In Study II, we also compared the decoding results of simultaneously measured EEG and MEG data, and investigated whether the MEG responses to passive hand movements could be used to train a classifier to detect MI. MEG yielded altogether slightly, but not significantly, better results than EEG. Training the classifiers with subject’s own or other subjects’ passive movements did not result in high accuracy, which indicates that passive movements should not be used for calibrating an MI-BCI. The methods presented in this thesis are suitable for a real-time MEG-based BCI. The decoding results can be used as a benchmark when developing other classifiers specifically for motor imagery -related MEG data.Aivo-tietokone -käyttöliittymät (brain–computer interface; BCI) ovat viime aikoina herättäneet kiinnostusta niin neurotieteen perustutkimuksessa kuin kliinisissä interventioissakin. Suurin osa ei-invasiivisista BCI:stä mittaa aivotoimintaa elektroenkefalografialla (EEG). EEG:n matala signaali-kohinasuhde ja huono avaruudellinen resoluutio kuitenkin hankaloittavat reaaliaikais-ta signaalianalyysia ja aivotoiminnan luokittelua. Nämä rajoitteet voidaan kiertää käyttämällä magnetoenkefalografiaa (MEG) vaihtoehtoisena mittausmenetelmänä. Tämän työn tavoitteena on kehittää käden liikkeen kuvittelua luokitteleva, MEG:hen perustuva BCI, jota voidaan myöhemmin käyttää terapeuttisena menetelmänä esimerkiksi aivoinfarktista toipuvien potilaiden kuntoutuk-sessa. Tutkimuksessa validoidaan terveillä koehenkilöillä tehtyjen MEG-mittausten perusteella koneoppimismenetelmiä, joilla luokitellaan liikkeen kuvittelun aiheuttamaa aivotoimintaa. Ensimmäisessä osatyössä (Tutkimus I) vertailtiin piirteenirrotusmenetelmiä, joita käytetään erottamaan toisistaan vasemman ja oikean käden kuvittelu sekä liikkeen kuvittelu ja lepotila. Ha-vaittiin, että avaruudellisesti suodatettujen signaalien taajuuskaistan teho luokittelupiirteenä tuotti parempia luokittelutarkkuuksia kuin parietaalisista gradiometreistä mitatut aika-taajuuspiirteet. Lisäksi edeltävä avaruudellinen suodatus paransi aika-taajuuspiirteiden erottelukykyä luokittelu-tehtävissä.BCI:n opetusdata kerätään yleensä kunkin mittauskerran alussa. Koska tämä voi kuitenkin olla aikaavievää ja uuvuttavaa koehenkilölle, opetusdatana voidaan käyttää myös muilta koehenkilöiltä kerättyjä mittaussignaaleja. Toisessa osatyössä (Tutkimus II) vertailtiin koehenkilöiden väliseen luo-kitteluun soveltuvia menetelmiä. Tulosten perusteella monitehtäväoppimista ja l2,1-regularisoitua logistista regressiota käyttävä luokittelija oli paras menetelmä koehenkilöiden väliseen luokitteluun sekä MEG:llä että EEG:llä. Toisessa osatyössä vertailtiin myös samanaikaisesti mitattujen MEG:n ja EEG:n tuottamia luokit-telutuloksia, sekä tutkittiin voidaanko passiivisten kädenliikkeiden aikaansaamia MEG-vasteita käyttää liikkeen kuvittelua tunnistavien luokittelijoiden opetukseen. MEG tuotti hieman, muttei merkittävästi, parempia tuloksia kuin EEG. Luokittelijoiden opetus koehenkilöiden omilla tai mui-den koehenkilöiden passiiviliikkeillä ei tuottanut hyviä luokittelutarkkuuksia, mikä osoittaa että passiiviliikkeitä ei tulisi käyttää liikkeen kuvittelua tunnistavan BCI:n kalibrointiin. Työssä esitettyjä menetelmiä voidaan käyttää reaaliaikaisessa MEG-BCI:ssä. Luokittelutuloksia voidaan käyttää vertailukohtana kehitettäessä muita liikkeen kuvitteluun liittyvän MEG-datan luokittelijoita

Comparing Features for Classification of MEG Responses to Motor Imagery

Peer reviewe

Measuring neural mechanisms of error processing with fMRI: model-based and data-driven methods

Vaikka virheenkäsittely on eräs tärkeimmistä kognitiivisista toiminnoista, on vielä epäselvää, käsittelevätkö ihmisaivot itse tehtyjä ja havaittuja toisten tekemiä virheitä samalla tavalla. Tässä tutkimuksessa tutkittiin toiminnallisella magneettikuvauksella (fMRI) mekanismeja, jotka liittyvät itse tehtyjen virheiden ja sekä kontrolloiduissa että luonnollisissa tilanteissa havaittujen virheiden käsittelyyn. Ensimmäisessä koeasetelmassa koehenkilöt pelasivat yksinkertaista peliä tehden välillä virheitä. Toisessa kokeessa katseltiin videota kyseisestä pelistä toisen pelaajan pelaamana. Kolmannessa kokeessa katseltiin lyhyitä videopätkiä erilaisista arkielämän virhetilanteista. fMRI-dataa analysoitiin yleisellä lineaarisella mallilla (GLM) ja riippumattomien komponenttien analyysilla (ICA) virhesidonnaisen aivotoiminnan ja toiminnallisen konnektiivisuuden selvittämiseksi. Luonnollisten virheiden ennakoinnin aiheuttamaa aivoaktivaatiota tutkittiin myös erikseen. Lisäksi laskettiin virheiden aiheuttamat hemodynaamiset vasteet 23:lla eri aivoalueella ja tutkittiin eri alueiden vasteiden välisiä korrelaatioita sekä eri koetilanteiden aiheuttamien vasteiden eroja. Itse tehdyt ja luonnolliset havaitut virheet aiheuttivat samanlaista aktivaatiota aivojuovion osa-alueilla (häntätumake ja linssitumakkeen pallo) sekä rostraalisen etummaisen pihtipoimun ja näköaivokuoren alueilla. Dorsaalinen etummainen pihtipoimu, alempi otsalohkon poimu ja aivosaari aktivoituivat samalla tavoin itse tehtyjen virheiden ja luonnollisten virheiden ennakoinnin aikana. Sen sijaan havaitut virheet pelissä eivät aiheuttaneet merkittäviä vasteita. Sekä ICA-tuloksien että yksittäisten aivoalueiden vasteiden korrelaatioiden perusteella virheiden aikana aktivoituneet alueet olivat toiminnallisesti yhteydessä keskenään. Nämä löydökset vahvistavat teorioita rostraalisen ja dorsaalisen etummaisen pihtipoimun erillisistä toiminnoista virheenkäsittelyn aikana ja viittaavat siihen että aivojuovio käsittelee melko samalla tavoin itse tehtyjä ja havaittuja virheitä.Even though processing of errors is one of the most fundamental cognitive functions, it is still unclear whether the human brain processes self-generated and observed errors similarly. In this study, we examined the neural mechanisms of error processing with functional magnetic resonance imaging (fMRI) during self-committed errors, as well as observed errors made by others in both controlled and naturalistic situations. In the first experiment the subjects played a simple response selection game, occasionally making errors. In the second experiment they watched a video recording of the same game played by someone else. In the third experiment they watched short video clips depicting other people failing in everyday situations. The fMRI data were analyzed with the general linear model (GLM) and independent component analysis (ICA) in order to detect error-related activation and functional connectivity. With the third task we also examined the activity caused by error anticipation. In addition, correlations between error-related BOLD responses in 23 predefined regions of interest (ROI) were calculated, and the regional responses in different experimental conditions were compared. Similar activations were detected during self-committed and observed naturalistic errors in striatal subregions (caudate nucleus and globus pallidus), rostral anterior cingulate cortex (ACC) and visual cortical regions. Dorsal ACC, inferior frontal gyrus and insula showed similar activation during self-committed errors and anticipation of naturalistic observed errors. Observed errors in the game could not produce a robust BOLD response. Both ICA and ROI-based analyses indicated high functional connectivity between the key regions of the error monitoring circuit. Together, these findings support the theories advocating distinct functions of rostral and dorsal ACC in error monitoring and suggest that the striatum processes self-generated and observed errors quite similarly

Menetelmiä MEG:hen ja liikkeen kuvitteluun perustuviin aivokäyttöliittymiin

Brain–computer interfaces (BCI) are systems that translate the user's brain activity into commands for external devices in real time. Magnetoencephalography (MEG) measures electromagnetic brain activity noninvasively and can be used in BCIs. The aim of this thesis was to develop an MEG-based BCI for decoding hand motor imagery. The BCI could eventually serve as a therapeutic method for patients recovering from e.g.cerebral stroke. Here, we validated machine-learning methods for decoding motor imagery (MI)-related brain activity with healthy subjects' MEG measurements. In addition, we studied the effect of different BCI feedback modalities on the subjects' brain function related to MI.In Study I, we compared feature extraction methods for classifying left- vs right-hand MI, and MI vs rest. We found that spatial filtering and further extraction of bandpower features yielded better classification accuracy than time–frequency features extracted from MEG channels above the parietal area. Furthermore, prior spatial filtering improved the discrimination capability of time–frequency features.The training data for a BCI are typically collected in the beginning of each measurement session. However, as this can be time-consuming and exhausting for patients, data from other subjects' measurements could be used for training as well. In Study II, methods for across-subject classification of MI were compared. The results showed that a classifier based on multi-task learning with a l2,1-norm regularized logistic regression was the best method for across-subject decoding for both MEG and electroencephalography (EEG). In Study II, we also compared the decoding results of simultaneously measured EEG and MEG data, and investigated whether MEG responses to passive hand movements could be used to train a classifier to detect MI. MEG yielded slightly better results than EEG. Training the classifiers with the subject's own or other subjects' passive movements did not result in high accuracy. Passive movements should thus not be used for calibrating an MI-BCI.In Study III, we investigated how the amplitude of sensorimotor rhythms (SMR) changes while the subjects practise hand MI with a BCI. We compared the effect of visual and proprioceptive feedback on brain functional changes during a single measurement session. In subjects receiving proprioceptive feedback, the power of SMR increased linearly over the session in motor cortical regions, while similar effect was not observed in subjects receiving purely visual feedback. According to these results, proprioceptive feedback should be preferred over visual feedback especially in BCIs aiming at recovery of hand functions.The methods presented in this thesis are suitable for an MEG-based BCI. The decoding results can be used as a benchmark when developing classifiers specifically for MI-related MEG data.Aivokäyttöliittymien avulla voidaan ohjata ulkoisia laitteita käyttäen aivoista mitattuja signaaleja. Magnetoenkefalografia (MEG) mittaa aivojen toimintaa kajoamattomasti ja sitä voidaan käyttää myös aivokäyttöliittymissä. Väitöskirjan tavoitteena oli kehittää käden liikkeen kuvittelua luokitteleva MEG-aivokäyttöliittymä, jota voidaan myöhemmin käyttää aivoinfarktipotilaiden kuntoutukseen. Työssä validoitiin terveiden koehenkilöiden MEG-mittausten perusteella koneoppimismenetelmiä aivokäyttöliittymiin sekä tutkittiin, miten eri palautemodaliteetit vaikuttavat aivotoimintaan koehenkilöiden opetellessa käyttämään aivokäyttöliittymää.Ensimmäisessä osatyössä vertailtiin piirteenirrotusmenetelmiä, joita käytetään erottamaan toisistaan vasemman ja oikean käden kuvitteluun sekä liikkeen kuvitteluun ja lepotilaan liittyvät MEG-signaalit. Spatiaalisesti suodatettujen signaalien teho luokittelupiirteenä tuotti parempia luokittelutarkkuuksia kuin parietaalisista MEG-kanavista mitatut aika-taajuuspiirteet. Edeltävä spatiaalinen suodatus paransi myös aika-taajuuspiirteiden erottelukykyä luokittelutehtävissä.Aivokäyttöliittymän opetusdata kerätään yleensä kunkin mittauskerran alussa. Koska tämä voi olla hidasta ja uuvuttavaa potilaille, opetusdatana voidaan käyttää myös muilta henkilöiltä mitattuja signaaleja. Toisessa osatyössä vertailtiin koehenkilöiden väliseen luokitteluun soveltuvia menetelmiä. Monitehtäväoppimista ja l2,1-regularisoitua logistista regressiota käyttävä luokittelija soveltui tähän parhaiten.Toisessa osatyössä vertailtiin myös MEG:n ja elektroenkefalografian (EEG) tuottamia luokittelutuloksia, sekä tutkittiin voidaanko passiivisten käden liikkeiden aiheuttamia MEG-vasteita käyttää liikkeen kuvittelua tunnistavien luokittelijoiden opetukseen. MEG tuotti hieman parempia tuloksia kuin EEG. Luokittelijoiden opetus koehenkilöiden omilla tai muiden koehenkilöiden passiiviliikkeillä ei tuottanut hyviä luokittelutuloksia.Passiiviliikkeitä ei siis tulisi käyttää liikkeen kuvittelua tunnistavan aivo-käyttöliittymän kalibrointiin.Kolmannessa osatyössä tutkittiin, miten sensorimotoristen rytmien (SMR) amplitudi muuttuu koehenkilöiden harjoitellessa käden liikkeiden kuvittelua aivokäyttöliittymän avulla. Työssä vertailtiin visuaalisen ja proprioseptiivisen palautteen aiheuttamia SMR:n muutoksia yhden harjoituskerran aikana. Proprioseptiivista palautetta saaneilla koehenkilöillä SMR:n teho kasvoi harjoittelun aikana lineaarisesti liikkeitä koordinoivilla aivoalueilla. Visuaalista palautetta saaneilla tätä ilmiötä ei havaittu. Propriosep-tiivista palautetta tulisi siten käyttää visuaalisen sijaan erityisesti käden liikkeiden kuntoutukseen tähtäävissä aivokäyttöliittymissä.Esitettyjä menetelmiä voidaan käyttää MEG:hen perustuvissa aivokäyttöliittymissä. Luokittelutuloksia voidaan käyttää vertailukohtana kehitettäessä liikkeen kuvitteluun liittyvän MEG-datan luokittelijoita

Convolutional neural networks for detection of transthyretin amyloidosis in 2D scintigraphy images

Background Transthyretin amyloidosis (ATTR) is a progressive disease which can be diagnosed non-invasively using bone avid [Tc-99m]-labeled radiotracers. Thus, ATTR is also an occasional incidental finding on bone scintigraphy. In this study, we trained convolutional neural networks (CNN) to automatically detect and classify ATTR from scintigraphy images. The study population consisted of 1334 patients who underwent [Tc-99m]-labeled hydroxymethylene diphosphonate (HMDP) scintigraphy and were visually graded using Perugini grades (grades 0-3). A total of 47 patients had visual grade >= 2 which was considered positive for ATTR. Two custom-made CNN architectures were trained to discriminate between the four Perugini grades of cardiac uptake. The classification performance was compared to four state-of-the-art CNN models. Results Our CNN models performed better than, or equally well as, the state-of-the-art models in detection and classification of cardiac uptake. Both models achieved area under the curve (AUC) >= 0.85 in the four-class Perugini grade classification. Accuracy was good in detection of negative vs. positive ATTR patients (grade = 2, AUC > 0.88) and high-grade cardiac uptake vs. other patients (grade < 3 vs. grade 3, AUC = 0.94). Maximum activation maps demonstrated that the automated deep learning models were focused on detecting the myocardium and not extracardiac features. Conclusion Automated convolutional neural networks can accurately detect and classify different grades of cardiac uptake on bone scintigraphy. The CNN models are focused on clinically relevant image features. Automated screening of bone scintigraphy images using CNN could improve the early diagnosis of ATTR.Peer reviewe

Toimintamalleja sosiaali- ja terveysalan tutkimuksen, kehittämisen ja innovaatiotoiminnan edistämiseen

Tämä selvitys keskittyy tutkimus-, kehittämis- ja innovaatiotoiminnan (TKI-toiminnan) näkökulmaan osana SOTE-järjestelmän rakenteellista kehittämistä. TKI-toiminnan rooli on erityisesti pidemmällä aikavälillä uusien, entistä vaikuttavampien teknologioiden, ratkaisujen ja hoitokäytäntöjen kehittämisessä sekä kustannusten kasvun hillinnässä. Raportissa huomion kohteena ovat erityisesti SOTE-alan TKI-toiminnan rakenteen kuvaaminen sekä hallintomallista riippumattomat hyvät käytännöt ja toimintamallit SOTE-alan TKI-toiminnan organisoinnissa. Selvityksen keskeinen johtopäätös on tunnistettu tarve alueiden strategiselle suunnittelulle ja koordinoinnille; TKI-toiminnan kokonaiskuvan kirkastamiseen on panostettava sekä alueilla että kansallisesti poikkihallinnollisessa yhteistyössä. Tulevaisuudessa, kun alueiden suunnittelu- ja järjestämisvapaus kasvaa, on tärkeää, että kansallisten toimijoiden ja alueiden välisessä vuoropuhelussa muodostetaan yhteisymmärrys SOTE:n päämäärätavoitteista. Nämä tavoitteet tulee purkaa mitattaviksi ja muodostaa niiden ympärille laatu- ja tiedolla johtamisen järjestelmä. Tämän ohella tarvitaan kannusteita, ohjausta ja rajapintojen standardointia yhdessä toimimisen mahdollistamiseksi. Mikäli SOTE-alan järjestämis- ja tuotantovastuut hajautuvat jatkossakin myös SOTE:n päämäärien toteutumista tukevaa poikkihallinnollista yhteistyötä ja kansallista resurssiohjausta on syytä vahvistaa

ISLES 2015 - A public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI

Ischemic stroke is the most common cerebrovascular disease, and its diagnosis, treatment, and study relies on non-invasive imaging. Algorithms for stroke lesion segmentation from magnetic resonance imaging (MRI) volumes are intensely researched, but the reported results are largely incomparable due to different datasets and evaluation schemes. We approached this urgent problem of comparability with the Ischemic Stroke Lesion Segmentation (ISLES) challenge organized in conjunction with the MICCAI 2015 conference. In this paper we propose a common evaluation framework, describe the publicly available datasets, and present the results of the two sub-challenges: Sub-Acute Stroke Lesion Segmentation (SISS) and Stroke Perfusion Estimation (SPES). A total of 16 research groups participated with a wide range of state-of-the-art automatic segmentation algorithms. A thorough analysis of the obtained data enables a critical evaluation of the current state-of-the-art, recommendations for further developments, and the identification of remaining challenges. The segmentation of acute perfusion lesions addressed in SPES was found to be feasible. However, algorithms applied to sub-acute lesion segmentation in SISS still lack accuracy. Overall, no algorithmic characteristic of any method was found to perform superior to the others. Instead, the characteristics of stroke lesion appearances, their evolution, and the observed challenges should be studied in detail. The annotated ISLES image datasets continue to be publicly available through an online evaluation system to serve as an ongoing benchmarking resource (www.isles-challenge.org).Peer reviewe

The effect of visual and proprioceptive feedback on sensorimotor rhythms during BCI training

| openaire: EC/H2020/678578/EU//HRMEGBrain-computer interfaces (BCI) can be designed with several feedback modalities. To promote appropriate brain plasticity in therapeutic applications, the feedback should guide the user to elicit the desired brain activity and preferably be similar to the imagined action. In this study, we employed magnetoencephalography (MEG) to measure neurophysiological changes in healthy subjects performing motor imagery (MI) -based BCI training with two different feedback modalities. The MI-BCI task used in this study lasted 40-60 min and involved imagery of right- or left-hand movements. 8 subjects performed the task with visual and 14 subjects with proprioceptive feedback. We analysed power changes across the session at multiple frequencies in the range of 4-40 Hz with a generalized linear model to find those frequencies at which the power increased significantly during training. In addition, the power increase was analysed for each gradiometer, separately for alpha (8-13 Hz), beta (14-30 Hz) and gamma (30-40 Hz) bands, to find channels showing significant linear power increase over the session. These analyses were applied during three different conditions: Rest, preparation, and MI. Visual feedback enhanced the amplitude of mainly high beta and gamma bands (24-40 Hz) in all conditions in occipital and left temporal channels. During proprioceptive feedback, in contrast, power increased mainly in alpha and beta bands. The alpha-band enhancement was found in multiple parietal, occipital, and temporal channels in all conditions, whereas the beta-band increase occurred during rest and preparation mainly in the parieto-occipital region and during MI in the parietal channels above hand motor regions. Our results show that BCI training with proprioceptive feedback increases the power of sensorimotor rhythms in the motor cortex, whereas visual feedback causes mainly a gamma-band increase in the visual cortex. MI-BCIs should involve proprioceptive feedback to facilitate plasticity in the motor cortex.Peer reviewe

MI-vs rest 5-fold cross-validation accuracy for each subject and session.

<p>The best accuracy for each session is in bold.</p

MI-induced MEG signals averaged over subjects.

<p>(A) Time—frequency maps for left- and right-hand MI, representing the Z-score with respect to baseline (–2.0–0.0 s from the cue onset), averaged over subjects, sessions, epochs and parietal gradiometers. (B) Corresponding topographic maps, representing the average Z-score over subjects, sessions, epochs and time window of 1.0–4.0 s from the cue onset. The set of 48 planar gradiometers included in the analysis is indicated by a dashed line.</p