Machine learning approaches to fNIRS-based emotion recognition

Thumbnail Image

Files

master_Mäkelä_Kalle_2025.pdf (10.25 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-07-02

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

64

Series

Abstract

Functional Near-Infrared Spectroscopy (fNIRS) is a promising non-invasive neuroimaging tool for brain-computer interface (BCI) applications. Despite advantages such as portability, low cost, and relatively high spatial and temporal resolution, fNIRS is rarely applied for emotion recognition, largely due to inherent signal complexity, limited data availability, and subjective emotional responses. In this thesis, we investigate whether emotional states can be detected from fNIRS responses evoked by affective stimuli from the International Affective Picture System (IAPS) \cite{lang2007international}. We base our analysis on the NEMO dataset \cite{spape2023nemo}, which is the first open fNIRS-based emotion recognition dataset. We evaluate several commonly used classical machine learning (ML) and deep learning (DL) approaches in fNIRS research. To ensure reliable model evaluation, we use a thorough nested cross-validation scheme, which provides robust performance estimates and hyperparameter selection. Finally, we analyze how stimulus properties and modeling choices affect performance. Our experimental results show that emotional states can be classified with an average accuracy of 37.3\% in the 4-class task and 58.7\% in binary valence classification, when training and testing within an individual subject. Cross-subject classification proved more challenging, with 30.4\% accuracy in the 4-class task and 56.3\% in valence classification. In our classification experiments, simple linear models, specifically Linear Discriminant Analysis and Logistic Regression, consistently outperformed more complex DL models, such as EEGNet and DeepConvNet. Our stimuli-level analysis revealed that high-arousal stimuli were easier to classify than low-arousal stimuli. More detailed analysis of the stimulus content showed that grisly and intimate images resulted in the highest accuracies, while peaceful images such as those depicting flowers, led to the lowest. This thesis highlights the importance of robust evaluation methods and offers practical suggestions for future research in fNIRS-based emotion recognition.

Toiminnallinen lähi-infrapunakuvaus (Functional Near-Infrared Spectroscopy, fNIRS) on lupaava aivokuvantamismenetelmä, jolla voidaan epäinvasiivisesti tutkia tunneprosesseihin liittyvää aivotoimintaa. Sen eduista, kuten edullisuudesta ja suhteellisesta vastustuskyvystä liikeartefakteille huolimatta, tunteiden tunnistaminen fNIRS-datasta on edelleen haastavaa signaalin luontaisen monimutkaisuuden ja datan rajallisen saatavuuden vuoksi. Tässä diplomityössä tutkitaan tunnetilojen luokittelua fNIRS-signaalien perusteella, jotka on kerätty henkilöiltä joille näytetään International Affective Picture System-järjestelmän tunteita herättäviä kuvia. Työ esittelee hiljattain julkaistun NEMO-tietokannan ja testaa kuinka perinteiset koneoppimis- ja syväoppimismallit kykenee luokittelemaan kuvien aiheuttamat aivovasteet tunnekategorioihin käyttäen perusteellisia arvioimismenetelmiä. Tulokset osoittavat, että tunnetilat voidaan luokitella keskimäärin 37,3\% tarkkuudella neljän luokan luokittelussa ja 58,7\% tarkkuudella binäärisessä valenssiluokittelussa yksittäisten koehenkilöiden datalla. Koehenkilöiden välinen luokittelu on haastavampaa. Paras malli saavutti 30,4\% tarkkuuden neliluokkaisissa ja 56,3\% tarkkuuden binäärisissä valenssiluokittelussa, mikä korostaa vaikeutta yleistää tunteiden tunnistamisen malleja yksilöiden välillä. Yksinkertaiset lineaariset mallit saavuttivat jatkuvasti paremmat tulokset kuin monimutkaisemmat syväoppimismallit, mikä korostaa yksinkertaisten lähestymistapojen käytännöllistä tehokkuutta fNIRS-datan luokittelussa. Tarkempi analyysi osoittaa, että korkea-arousaalisten kuvien luokittelutarkkuus on parempi kuin matala-arousaalisten kuvien, mikä viittaa siihen, että tunnereaktion voimakkuus vaikuttaa olennaisesti luokittelutarkkuuteen. Työssä korostetaan perusteellisten testausmenetelmien merkitystä ja annetaan metodologisia suosituksia tulevaa tutkimusta varten fNIRS-pohjaisessa affektiivisessa luokittelussa ja aivo-tietokone rajapinnoissa.

Description

Supervisor

Deny, Stephane

Thesis advisor

Ruotsalo, Tuukka

Keywords

affective computing, fNIRS, brain-computer interface, machine learning, emotion recognition, deep learning

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202508196436

Collections

[dipl] Perustieteiden korkeakoulu / SCI