Real-time climbing pose estimation using a depth sensor

Abstract

Augmented feedback provided either by a human expert or an automated system enhances learning in sports. In the growing sport of rock climbing, few solutions currently exist for automating augmented feedback. If the climber's body pose could be accurately tracked, the pose information could be analyzed to provide augmented feedback to the climber. For tracking the climber's body on the climbing wall, off-the-shelf solutions like Microsoft Kinect are unsuitable, because they are optimized to detect front-facing standing poses that are typical in a living room environment.

In this thesis, recent human pose estimation methods are reviewed and the state-of-the-art offset joint regression method is implemented and evaluated in the novel domain of climbing pose estimation. The method utilizes machine learning, and is able to infer the locations of skeletal joints directly from a depth image captured using a depth sensor. The offset joint regression model is trained using computer-generated synthetic training data that mimics real world depth sensor images.

Promising results are achieved on a synthetic test dataset, suggesting that the chosen method is suitable for climbing pose estimation. However, the implemented method fails to detect some atypical poses correctly. In the future, the results could be improved further by improving the training data. Also, taking into account kinematic and temporal constraints in the pose estimation could improve the results.

Ihmisasiantuntijan tai automoidun järjestelmän antama palaute tehostaa oppimista urheilussa. Kiipeily on kasvava laji, jossa ei ole vielä hyödynnetty automoitua palautetta. Jos kiipeilijän asentoa voitaisiin seurata tarkasti, kiipeilijälle voitaisiin antaa palautetta analysoimalla asentotietoa. Valmiit ratkaisut, kuten Microsoftin Kinect, eivät sovellu kiipeilijän asennon tarkkaan seuraamiseen, sillä ne on optimoitu tunnistamaan vain asentoja, jotka ovat tyypillisiä olohuoneympäristössä.

Tässä diplomityössä esitellään viimeisimmät menetelmät ihmiskehon asennon estimointiin. Työssä toteutetaan offset joint regression -menetelmä, jota evaluoidaan kiipeilyasentojen tunnistuksessa. Menetelmä hyödyntää koneoppimista, ja tunnistaa ihmisen nivelten paikat suoraan annetusta syvyyssensorin kuvasta. Offset joint regression -malli opetetaan käyttäen koneellisesti generoitua synteettistä opetusdataa, joka jäljittelee oikeita syvyyssensorin kuvia.

Synteettisellä testidatasetillä saavutettiin lupaavia testituloksia, jotka vihjaavat, että menetelmä soveltuu kiipeilyasentojen tunnistukseen. Menetelmä ei kuitenkaan tunnistanut joitain epätyypillisiä asentoja oikein. Tulevaisuudessa tuloksia voitaisiin mahdollisesti parantaa kehittämällä opetusdataa. Lisäksi tuloksia voitaisiin parantaa ottamalla huomioon kinemaattiset ja ajalliset rajoitteet asennon tunnistuksessa.