Real-time human body reconstruction using a depth camera

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author

Authors

Date

2013

Department

Perustieteiden korkeakoulu

Major/Subject

Vuorovaikutteinen digitaalinen media

Mcode

T-111

Degree programme

Language

en

Pages

viii + 65

Series

Abstract

Depictions of humans have been made for thousands of years. As technology has progressed, new ways of replicating the human form visually have become available. Currently, virtual 3D characters can be created, but making them requires a lot of skill and effort. Depth cameras have become cheap and are growing commonplace. This makes 3D scanning at home possible. Software for scanning static objects is already available. However, reconstructing a moving human is difficult. Previously suggested methods are slow and no implementation has been made public. We research possible methods for automatically generating a 3D model that looks similar to the user and can be animated. We do this using a consumer depth camera that is used to track a freely moving user. We also attempt to produce an implementation that works in real-time on a high-end home computer. The accomplishments of this thesis are threefold. First, we review related work and existing methods and identify relevant areas of research. Secondly, different feasible approaches are planned and tried, and both their benefits and disadvantages are discussed. We show what different choices can be made in regard to building a reconstruction system, and what problems must be solved. Finally, we create some useful prototype implementations, while we fall short of a complete automatic reconstruction system.

Erilaisia ihmisen kuvia on tehty tuhansien vuosien ajan. Teknologian kehittyessä on löytynyt uudenlaisia tapoja ihmiskehon visuaaliseen esittämiseen. Nykyään on mahdollista luoda kolmiulotteisia virtuaalihahmoja, mutta niiden tekeminen on työlästä ja vaikeaa. Syvyyskamerat ovat halventuneet ja ovat yleistymässä. Tämä mahdollistaa 3D-skannaamisen kotioloissa. Ohjelmistoja staattisten esineiden skannaamiseen on jo saatavilla. Liikkuvan ihmisen mallintaminen on kuitenkin vaikeaa; esitetyt menetelmät ovat hitaita eikä julkisia toteutuksia ole saatavilla. Tutkimme mahdollisia automaattisia tapoja luoda animoitava 3D-malli joka näyttää käyttäjältä. Käytämme kuluttajatason syvyyskameraa vapaasti liikkuvan käyttäjän seuraamiseen. Yritämme myös luoda reaaliaikaisen toteutuksen, joka toimii tehokkaalla kotitietokoneella. Tämän diplomityön kolme tärkeintä saavutusta ovat seuraavat. Ensinnäkin esittelemme aiheeseen liittyvän tutkimuksen sekä olemassa olevat menetelmät ja tunnistamme olennaiset tutkimusalueet. Toisekseen suunnittelemme ja kokeilemme useita mahdollisia lähestymistapoja, ja arvioimme niiden vahvuuksia sekä heikkouksia. Näytämme, millaisia päätöksiä mallinnusjärjestelmää rakentaessa voidaan tehdä, ja mitkä ongelmat on ratkaistava. Kolmanneksi luomme hyödyllisiä koetoteutuksia joistain järjestelmän osista, vaikkakaan emme saa kokonaista automaattista mallinnusjärjestelmää valmiiksi.

Description

Supervisor

Takala, Tapio

Thesis advisor

Takala, Tuukka

Keywords

3D reconstruction, 3D-mallinnus, avatar creation, hahmonluonti, body scanning, kehonskannaus

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2020122859502

Collections

[dipl] Perustieteiden korkeakoulu / SCI