Feature engineering for learning from signals

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-05-07

Department

Major/Subject

Informaatioteknologia

Mcode

ELEC3015

Degree programme

Sähkötekniikan kandidaattiohjelma

Language

en

Pages

21+4

Series

Abstract

The accelerometer and gyroscope of a mobile device can be used for human activity recognition. Data by an electrocardiogram can be used to detect arrythmia. These are examples of applications where machine learning is used on signal data. This thesis discusses how machine learning models can learn from signals efficiently. First it is useful to condense the signal into features that describe the pattern of the signal. This thesis focuses on time-domain and frequency-domain features. Some of the features extracted do not necessarily correlate with the label and therefore feature selection can be useful. The experimental part of this thesis tests and compares two different feature selection methods with real data. With no feature selection, the accuracy of a support vector machine is 98.7%. Maximum-Relevance-Minimum-Redundancy (MRMR) reaches an accuracy of 90% with 70 features and the highest accuracy is 98.9% with 536 features. Recursive Feature Elimination (RFE) reaches an accuracy of 90% with only 6 features and the highest accuracy is 98.9% with 121 features. RFE has higher accuracy with most numbers of features. However, it is more computationally intensive then MRMR so MRMR might be more useful in some cases such as if the model is a large neural network.

Mobiililaitteen kiihtyvyysmittarien ja gyroskoopin mittaamaa dataa voidaan käyttää aktiviteetin tunnistukseen. Vastaavasti elektrokardiogrammin mittaamaa dataa voidaan käyttää sydämen rytmihäiriöiden tunnistamiseen. Nämä ovat esimerkkejä sovelluksista, joissa koneoppimista käytetään signaalidataan. Työ käsittelee, miten koneoppimismallit voivat oppia signaaleista tehokkaasti. Työ on kirjallisuustutkielma, mutta sen lopussa on myös pieni kokeellinen osuus. Ensin signaalista on hyödyllistä poimia piirteitä, jotka auttavat kuvaamaan signaalia kokonaisuudessaan. Työ käsittelee aika- ja taajuustason piirteitä. Aikatason piirteet voivat olla esimerkiksi statistisia piirteitä kuten varianssi tai keskiarvo. Piirteitä voidaan johtaa jostain aikatasoon perustuvasta funktiosta, kuten autokorrelaatiofunktiosta. Signaali voidaan myös Fourier-muuntaa taajuustasoon, jolloin signaalista voidaan poimia taajuustason piirteitä. Piirteitä voidaan myös johtaa jostain toisesta funktiosta, joka perustuu signaalin Fourier-muunnokseen. Monen piirteen poiminnan jälkeen piirteiden joukossa voi olla piirteitä, jotka eivät korreloi ennustettavan asian kanssa. Siksi on hyödyllistä valita niistä hyviä piirteitä ja karsia huonot piirteet pois. Näin parhaassa tapatuksessa koneoppimismallin tarkkuus (accuracy) paranee. Koneoppimismalli on myös nopeampi ja halvempi, jos siinä ei ole niin monta piirrettä. Lisäksi koneoppimismallin toimintaa on helpompi tulkita, jos piirteitä on vähemmän. Piirteidenvalintamenetelmiä on useita, mutta työ käsittelee kahta eri menetelmää tarkemmin. Nämä ovat Minimum-Reduncancy-Maximum-Relevance (MRMR) ja Recursive Feature Elimination (RFE). MRMR laskee jokaiselle piirteelle MRMR-tuloksen. Tulos määräytyy sen mukaan, kuinka paljon piirre korreloi ennustettavan asian kanssa ja kuinka paljon piirre korreloi muiden, jo valittujen piirteiden kanssa. Näin saadaan valittua parhaat piirteet yksi kerrallaan. RFE puolestaan toimii kouluttamalla koneoppimismallin, ja poistamalla vähiten korreloivan piirteen. Tätä toistetaan, kunnes haluttu määrä piirteitä on saavutettu. Työn kokeellisessa osuudessa edellä mainittuja piirteidenvalintamenetelmiä kokeillaan oikealla datalla. Työ käyttää tietoaineistoa, jossa on 561 piirrettä. Jokaisella piirteellä koulutettu koneoppimismalli saavuttaa 98,7 %:n tarkkuuden. MRMR-menetelmää käyttämällä 90 %:n tarkkuuteen vaaditaan 70 piirrettä. Suurin tarkkuus on 98,9 %, kun 536 piirrettä on valittu MRMR-menetelmää käyttämällä. RFE-menetelmää käyttämällä, tarkkuus saavuttaa 90 %, kun käytetään vain kuutta piirrettä. Korkein tarkkuus on myös 98,9 % RFE-menetelmää käyttämällä ja siihen vaaditaan 121 piirrettä. RFE saavuttaa paremman tarkkuuden melkein jokaisella piirremäärällä. RFE tai sen kaltaiset piirteidenvalintamenetelmät vaativat kuitenkin enemmän laskennallisia resursseja, joten ne eivät välttämättä sovellu kaikkiin käyttötarkoituksiin, kuten suuriin neuroverkkoihin tai hyvin suuriin datamääriin. Siksi MRMR ja sen kaltaiset menetelmät voivat toimia paremmin joissain tilanteissa.

Description

Supervisor

Aalto, Samuli

Thesis advisor

Ollila, Esa

Keywords

feature extraction, feature selection, machine learning, signal

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202406044071

Collections

[kand] Sähkötekniikan korkeakoulu / ELEC