Personalized Gesture Detection
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-10-28
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
Degree programme
Master's Programme in Computer, Communication and Information Sciences
Language
en
Pages
53
Series
Abstract
This work studies personalizing gesture detection for a simple tap gesture. Gesture detection models are built to model gestures based on inertial measurement unit (IMU) data. The model personalization is studied by comparing pooled versions of the models to hierarchical ones, where each user is modelled separately. Gesture detection is a tool for users to interact with their devices. Gesture detection, as an interaction tool, could be used to interact, for example, with smartphones, as an accessibility feature, or in augmented and virtual reality applications. Memory, power efficiency, and accuracy are essential for these applications. If there exists a covariate shift between individuals in the part of the IMU signal relevant to inferring the tap, introducing hierarchical modelling could allow the use of smaller models and be more efficient with data. If any concept shift exists, meaning an IMU signal of a tap would not be a tap for another user, using hierarchical modelling between the users could significantly improve the performance of the models. In literature, gesture detection is difficult with electromyography (EMG) based wearables because of between-user differences. An IMU wearable similar to one used in work has also been used to distinguish users from each other. Therefore, user differences might exist in this application, too. Although the data shows a covariate shift, no significant performance gains were shown from personalizing the models. Likely, there was no concept shift between the individuals, and the covariate shift in the data is not relevant to the conditional probability 𝑝(tap | IMU). The small gains from making a small gated recurrent unit model hierarchical were due to one session, which is believed to have been caused by a user or data-gathering process error.Tämä työ tutkii eleen tunnistuksen yksilöllistämistä sormien napsautus eleelle. Tätä elettä mallinnetaan inertianmittausyksikköä (IMU) käyttäen. Yksilöllistämistä tutkitaan vertailemalla yhdistettyä mallia, hierarkiseen malliin, joka mallintaa jokaista yksilöä erikseen. Eleentunnistus on työkalu jota käyttämällä käyttäjät voivat vuorovaikuttaa digitaalisten laitteiden kanssa. Eleentunnistusta voidaan käyttää esimerkiksi älypuhelien, tai laajennettujan ja lisättyjen todellisuuksien kanssa vuorovaikuttamiseen sekä esteettömyys työkaluna. Tehokas muistinkäyttö, matala virrankäyttö ja tarkkuus ovat tärkeitä näissä sovelluksissa. Jos käyttäjien välillä esiintyy riippumattoman muuttujan siirtymää IMU signaalissa napsautuksen tunnistukselle tärkeässä kohtaa, voisivat hierarkiset mallit mahdollistaa mallien kokojen pitäimisen pienenpänä ja aineiston hyödyntämisen tehokkaampana. Jos siirtymää esiintyy riippuvan ja riippumattoman muuttujan välisessä riippuvuudessa, hierarkiset mallit olisivat myös merkittävästi parempia. Eleen tunnistuksen tiedetään olevan vaikeaa lihassähkökäyrää käyttämällä käyttäjien välisten erojen takia. Lisäksi IMU ranneketteita on käytetty käyttäjien tunnistamiseen. Siksi, käyttäjien välisiä eroja saattaa esiintyä myös älykellolla tehdyissä eleissä. Vaikka riippumattoman muuttujan siirtymää havaittiin, ei mallien yksilöllistäminen parantanut malleja merkittävästi. Luultavasti, riippuvan ja riippumattoman välisessä riippuvuudessa ei ollut siirtymää ja riippumattoman muuttujan siirtymä ei vaikuta ehdolliseen todennäköisyyteen 𝑝(tap | IMU). Pienikokoisen takaisen kytketyn neuroverkon havaittiin saavuttavan hieman paremmat mallimetriikat, kun siitä tehtiin hierarkinen, mutta se johtuu yksittäisestä poikkeuksellisesta keräysnauhoitteesta.Description
Supervisor
Solin, ArnoThesis advisor
Jakobsson, LauraKeywords
gesture detection, Bayesian inference, variational inference, deep learning, hierarchical models, time series