Computer vision assisted control of upper limb prostheses

No Thumbnail Available
Files
Harju_Joona_2023.pdf (719.42 KB)
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Date
2023-09-09
Department
Major/Subject
Mcode
ELEC3014
Degree programme
Automaatio- ja systeemitekniikka AUT
Language
en
Pages
32
Series
Abstract
Loss of a hand can be devastating to a person’s ability to function in everyday life. A common solution is the use of a prosthetic device. Most commercial prosthetic devices function by measuring electromyographic (EMG) signals from the skin surface of muscles. These signals are then interpreted into controlling one functionality of a prosthesis, therefore resulting in clumsy and time-consuming operation. Advanced myoelectric prostheses use classification methods to estimate a desired hand gesture by applying pattern recognition to a larger amount of EMG signals. However, the number of different grasp types is limited, and the movements must be sequential, therefore still lacking in intuitiveness. Additionally, operating the prosthetic is cognitively effort demanding. Alone, myoelectric control is difficult to use for smooth and intuitive control, however, augmenting additional modules for sensing the environment and the state of the device can aid in improving the control. This thesis discusses the approaches of computer vision assisted control of upper limb prostheses. Computer vision can be used to sense the environment and surroundings of the device and the user, allowing more accurate classification for choosing the correct hand gesture. In advanced multimodal approaches, computer vision can be used to achieve semi-autonomous control, resulting in less time- and effort-consuming operation of prosthetic devices. The thesis discussed three different researches based on their different approaches and found out that computer vision can indeed aid in achieving better control for the users by offering more intuitive and less effort-consuming control. However, the researches did not consider the implementation to real life scenarios of the systems. The design for actual usable and convenient devices utilizing computer vision still requires more research.

Käden menetys on suuri muutos ihmiselle arjessa ja työelämässä. Se vaikeuttaa huomattavasti jokapäiväisiä askareita, johon helpotus voi usein löytyä proteesiin käyttämisestä. Myoelektriset proteesit ovat tyypillisin lähestymistapa tähän. Niiden ohjaus ei kuitenkaan ole tarpeeksi kehittynyt mahdollistamaan sujuvaa tai luonnollista ohjausta usean vapausasteen proteeseissa. Uusimmatkin kaupallisessa käytössä olevat proteesit toimivat 50 vuotta vanhaa teknologiaa käyttäen, kun toisaalta nykypäiväiset robottikädet ovat hyvinkin kehittyneitä. Nykyaikaisien proteesien ongelmana on vähäinen ohjaussignaalien kerääminen, minkä takia useampien nivelien ohjaaminen on epäintuitiivista ja mahdollisten liikkeiden määrä on hyvin rajallinen. Perinteiset myoelektriset proteesit toimivat lihaksista mitatuiden elektromyografisten (EMG) ohjaussignaalien avulla. Vastakkaisien lihaksien päälle asetetaan elektrodit, jotka mittaavat sähköisiä potentiaaleja. Potentiaalien suuruus vaihtelee lihaksen jännityksen mukaan, minkä avulla kehittyneimmät proteesit voivat vaihtaa esimerkiksi puristusvoimakkuutta. Myoelektrisen ohjauksen ongelmana kuitenkin on, että sillä voi ohjata vain yhtä toiminnallisuutta ja niveltä samaan aikaan, mikä tekee siitä hyvin epäintuitiivisen verrattuna ihmiskäteen. Tähän ongelmaan esitetään eräänä vastauksena puoliautomaattista ohjausta, jota usein lähestytään konenäön näkökulmasta. Sitä onkin käytetty monissa muissa sovelluksissa, kuten robottikäsien ohjauksessa hyvin menestyksekkäästi. Tässä työssä perehdytään konenäön apuna käyttämiseen myoelektristen proteesien ohjauksessa. Konenäköä apuna käyttävissä lähestymistavoissa proteesiin tai sen käyttäjälle asennetaan kamera tai jokin muu visuaalista dataa keräävä sensori ja prosessori, jotka koneoppimisalgoritmeja käyttäen tunnistavat tavaroita tai niiden muotoja käyttäjän edessä. Tätä tietoa käytetään arvioimaan paras asento tavaraan tarttumiseen, jolloin proteesi ottaa automaattisesti arvioidun asennon. Käyttäjä hallitsee laitetta kuitenkin täysin ja voi tehdä korjauksia proteesin asentoon, jos tarvitsee. Monet prototyypit ja tutkimukset onnistuivat parantaman proteesien ohjausta huomattavasti, mahdollistaen usean nivelen samanaikaisen sekä puoliautomaattisen ohjauksen. Nämä saavutukset mahdollistavat huomattavasti intuitiivisemman ja miellyttävämmän ohjauksen käyttäjille. Prototyypeissä ja tutkimuksissa ei kuitenkaan otettu käytännöllisyyttä huomioon, joten ongelmia ilmeni muun muassa sensorin ja prosessorin kanssa. Komponentit täytyy asettaa järkevään paikkaan, esimerkiksi itse proteesiin tai käyttäjän silmä- tai älylaseihin. Laitteet vaativat siis vielä lisää suunnittelua ja tutkimusta parempaan komponenttien sijoitteluun ja käytännölliseen lopulliseen ratkaisuun.
Description
Supervisor
Forsman, Pekka
Thesis advisor
Vujaklija, Ivan
Keywords
prosthetics, computer vision, myoelectric control
Other note
Citation