Methods for brain–computer interfaces utilizing MEG and motor imagery
Loading...
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2022-12-02
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2022
Major/Subject
Mcode
Degree programme
Language
en
Pages
78 + app. 64
Series
Aalto University publication series DOCTORAL THESES, 164/2022
Abstract
Brain–computer interfaces (BCI) are systems that translate the user's brain activity into commands for external devices in real time. Magnetoencephalography (MEG) measures electromagnetic brain activity noninvasively and can be used in BCIs. The aim of this thesis was to develop an MEG-based BCI for decoding hand motor imagery. The BCI could eventually serve as a therapeutic method for patients recovering from e.g.cerebral stroke. Here, we validated machine-learning methods for decoding motor imagery (MI)-related brain activity with healthy subjects' MEG measurements. In addition, we studied the effect of different BCI feedback modalities on the subjects' brain function related to MI.In Study I, we compared feature extraction methods for classifying left- vs right-hand MI, and MI vs rest. We found that spatial filtering and further extraction of bandpower features yielded better classification accuracy than time–frequency features extracted from MEG channels above the parietal area. Furthermore, prior spatial filtering improved the discrimination capability of time–frequency features.The training data for a BCI are typically collected in the beginning of each measurement session. However, as this can be time-consuming and exhausting for patients, data from other subjects' measurements could be used for training as well. In Study II, methods for across-subject classification of MI were compared. The results showed that a classifier based on multi-task learning with a l2,1-norm regularized logistic regression was the best method for across-subject decoding for both MEG and electroencephalography (EEG). In Study II, we also compared the decoding results of simultaneously measured EEG and MEG data, and investigated whether MEG responses to passive hand movements could be used to train a classifier to detect MI. MEG yielded slightly better results than EEG. Training the classifiers with the subject's own or other subjects' passive movements did not result in high accuracy. Passive movements should thus not be used for calibrating an MI-BCI.In Study III, we investigated how the amplitude of sensorimotor rhythms (SMR) changes while the subjects practise hand MI with a BCI. We compared the effect of visual and proprioceptive feedback on brain functional changes during a single measurement session. In subjects receiving proprioceptive feedback, the power of SMR increased linearly over the session in motor cortical regions, while similar effect was not observed in subjects receiving purely visual feedback. According to these results, proprioceptive feedback should be preferred over visual feedback especially in BCIs aiming at recovery of hand functions.The methods presented in this thesis are suitable for an MEG-based BCI. The decoding results can be used as a benchmark when developing classifiers specifically for MI-related MEG data.Aivokäyttöliittymien avulla voidaan ohjata ulkoisia laitteita käyttäen aivoista mitattuja signaaleja. Magnetoenkefalografia (MEG) mittaa aivojen toimintaa kajoamattomasti ja sitä voidaan käyttää myös aivokäyttöliittymissä. Väitöskirjan tavoitteena oli kehittää käden liikkeen kuvittelua luokitteleva MEG-aivokäyttöliittymä, jota voidaan myöhemmin käyttää aivoinfarktipotilaiden kuntoutukseen. Työssä validoitiin terveiden koehenkilöiden MEG-mittausten perusteella koneoppimismenetelmiä aivokäyttöliittymiin sekä tutkittiin, miten eri palautemodaliteetit vaikuttavat aivotoimintaan koehenkilöiden opetellessa käyttämään aivokäyttöliittymää.Ensimmäisessä osatyössä vertailtiin piirteenirrotusmenetelmiä, joita käytetään erottamaan toisistaan vasemman ja oikean käden kuvitteluun sekä liikkeen kuvitteluun ja lepotilaan liittyvät MEG-signaalit. Spatiaalisesti suodatettujen signaalien teho luokittelupiirteenä tuotti parempia luokittelutarkkuuksia kuin parietaalisista MEG-kanavista mitatut aika-taajuuspiirteet. Edeltävä spatiaalinen suodatus paransi myös aika-taajuuspiirteiden erottelukykyä luokittelutehtävissä.Aivokäyttöliittymän opetusdata kerätään yleensä kunkin mittauskerran alussa. Koska tämä voi olla hidasta ja uuvuttavaa potilaille, opetusdatana voidaan käyttää myös muilta henkilöiltä mitattuja signaaleja. Toisessa osatyössä vertailtiin koehenkilöiden väliseen luokitteluun soveltuvia menetelmiä. Monitehtäväoppimista ja l2,1-regularisoitua logistista regressiota käyttävä luokittelija soveltui tähän parhaiten.Toisessa osatyössä vertailtiin myös MEG:n ja elektroenkefalografian (EEG) tuottamia luokittelutuloksia, sekä tutkittiin voidaanko passiivisten käden liikkeiden aiheuttamia MEG-vasteita käyttää liikkeen kuvittelua tunnistavien luokittelijoiden opetukseen. MEG tuotti hieman parempia tuloksia kuin EEG. Luokittelijoiden opetus koehenkilöiden omilla tai muiden koehenkilöiden passiiviliikkeillä ei tuottanut hyviä luokittelutuloksia.Passiiviliikkeitä ei siis tulisi käyttää liikkeen kuvittelua tunnistavan aivo-käyttöliittymän kalibrointiin.Kolmannessa osatyössä tutkittiin, miten sensorimotoristen rytmien (SMR) amplitudi muuttuu koehenkilöiden harjoitellessa käden liikkeiden kuvittelua aivokäyttöliittymän avulla. Työssä vertailtiin visuaalisen ja proprioseptiivisen palautteen aiheuttamia SMR:n muutoksia yhden harjoituskerran aikana. Proprioseptiivista palautetta saaneilla koehenkilöillä SMR:n teho kasvoi harjoittelun aikana lineaarisesti liikkeitä koordinoivilla aivoalueilla. Visuaalista palautetta saaneilla tätä ilmiötä ei havaittu. Propriosep-tiivista palautetta tulisi siten käyttää visuaalisen sijaan erityisesti käden liikkeiden kuntoutukseen tähtäävissä aivokäyttöliittymissä.Esitettyjä menetelmiä voidaan käyttää MEG:hen perustuvissa aivokäyttöliittymissä. Luokittelutuloksia voidaan käyttää vertailukohtana kehitettäessä liikkeen kuvitteluun liittyvän MEG-datan luokittelijoita.Description
Supervising professor
Parkkonen, Lauri, Prof., Aalto University School of Science, Department of Neuroscience and Biomedical Engineering, FinlandThesis advisor
Parkkonen, Lauri, Prof., Aalto University School of Science, Department of Neuroscience and Biomedical Engineering, FinlandKeywords
MEG, motor imagery, brain–computer interface, sensorimotor rhythm, MEG, aivokäyttöliittymä, liikkeen kuvittelu, sensorimotorinen rytmi
Other note
Parts
-
[Publication 1]: Hanna-Leena Halme, Lauri Parkkonen. Comparing Features for Classification of MEG Responses to Motor Imagery. PLOS ONE, 11(12):e0168766, 12 2016.
DOI: 10.1371/journal.pone.0168766 View at publisher
-
[Publication 2]: Hanna-Leena Halme, Lauri Parkkonen. Across-subject offline decoding of motor imagery from MEG and EEG. Scientific Reports, 07 2018.
Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201808014095DOI: 10.1038/s41598-018-28295-z View at publisher
-
[Publication 3]: Hanna-Leena Halme, Lauri Parkkonen. The effect of visual and proprioceptive feedback on sensorimotor rhythms during BCI training. PLOS ONE, 17(2): e0264354, 02 2022.
DOI: 10.1371/journal.pone.0264354 View at publisher