Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.author Aittala, Miika
dc.date.accessioned 2016-10-05T09:01:42Z
dc.date.available 2016-10-05T09:01:42Z
dc.date.issued 2016
dc.identifier.isbn 978-952-60-7047-6 (electronic)
dc.identifier.isbn 978-952-60-7048-3 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/22541
dc.description.abstract This thesis addresses the problem of capturing and reproducing surface material appearance from real-world examples for use in computer graphics applications. Detailed variation of color, shininess and small-scale shape is a critically important factor in visual plausibility of objects in synthetic images. Capturing these properties relies on measuring reflected light under various viewing and illumination conditions. Existing methods typically employ either complex mechanical devices, or heuristics that sacrifice fidelity for simplicity. Consequently, computer graphics practitioners continue to use manual authoring tools.  The thesis introduces three methods for capturing visually rich surface appearance descriptors using simple hardware setups and relatively little measurement data. The specific focus is on capturing detailed spatial variation of the reflectance properties, as opposed to angular variation, which is the primary focus of most previous work. We apply tools from modern data science — in particular, principled optimization-based approaches — to disentangle and explain the various reflectance effects in the scarce measurement data.  The first method uses a flat panel monitor as a programmable light source, and an SLR camera to observe reflections off the captured surface. The monitor is used to emit Fourier basis function patterns, which are well suited for isolating the reflectance properties of interest, and also exhibit a rich set of mathematical properties that enable computationally efficient interpretation of the data. The other two methods rely on the observation that the spatial variation of many real-world materials is stationary, in the sense that it consists of small elements repeating across the surface. By taking advantage of this redundancy, the methods demonstrate high-quality appearance capture from two photographs, and only a single photograph, respectively. The photographs are acquired using a mobile phone camera.  The resulting reflectance descriptors faithfully reproduce the appearance of the surface under novel viewing and illumination conditions. We demonstrate state of the art results among approaches with similar hardware complexity. The descriptors captured by the methods are directly usable in computer graphics applications, including games, film, and virtual and augmented reality. en
dc.description.abstract Tämä väitöskirja käsittelee pintamateriaalien ulkonäön automaattista kaappaamista ja toistamista tietokonegrafiikan sovelluksia varten. Ulkonäkö muodustuu värien, kiiltävyyden ja pinnanmuotojen vaihtelusta, ja se on keskeisen tärkeä osa esineiden visuaalista uskottavuutta synteettisessä kuvanmuodostuksessa. Näiden ominaisuuksien kaappaaminen edellyttää heijastuneen valon määrän mittaamista lukuisissa valaistus- ja katseluolosuhteissa. Pääosa olemassaolevista menetelmistä hyödyntää joko monimutkaisia mekaanisia laitteita tai yksinkertaistettuja heuristiikkoja, jotka eivät toista pintojen ulkonäköä uskollisesti. Tämän seurauksena suurin osa käytännön sisällöntuotantotyöstä tehdään edelleen käsin.  Tässä väitöskirjassa esitellään kolme menetelmää visuaalisesti rikkaiden pintamateriaalimallien kaappaamiseksi käyttäen yksinkertaisia laitteistoja ja suhteellisen vähälukuisia mittauksia. Erityinen huomio kohdistuu yksityiskohtaisen, pinnalla vaihtuvan rakenteen mallintamiseen, siinä missä aikaisemmassa tutkimuksessa on usein keskitytty ensisijaisesti katselukulman vaikutuksen mallintamiseen. Esiteltävät menetelmät hyödyntävät modernin data-analyysin työkaluja — erityisesti hyvin määriteltyjä optimointitehtäviä — erotellakseen ja selittääkseen havaitut heijastusilmiöt vähäisessä mittausdatassa.  Ensimmäinen menetelmä hyödyntää litteää monitoria ohjelmoitavana valonlähteenä ja järjestelmäkameraa pinnasta heijastuneen valon määrän mittaamiseen. Monitorilla näytetään Fourier-kantafunktioita, jotka soveltuvat hyvin heijastusfunktioiden matemaattiseen käsittelyyn ja tulkitsemiseen, ja joiden lukuisat matemaattiset erityisominaisuudet mahdollistavat tehokkaan laskennallisen ratkaisumenetelmän muodostamisen. Jälkimmäiset kaksi menetelmää hyödyntävät todellisen maailman pinnoille tyypillistä stationaarista rakennetta, jossa keskenään samankaltaiset pienet elementit toistuvat koko pinnan yli. Yhdistämällä mittaushavaintoja toistuneiden elementtien kesken menetelmät saavuttavat korkealaatuisia kaappaustuloksia vain kahdesta ja yhdestä valokuvasta. Valokuvien ottamiseen käytetään matkapuhelimen kameraa.  Kaapatut heijastusmallit toistavat pintojen ulkonäön uskollisesti uusissa katselu- ja valaistusolosuhteissa. Tulokset vertautuvat edullisesti aiempiin vastaavia kevyitä laitteistoja hyödyntäviin menetelmiin. Ne ovat suoraan käytettävissä useissa tietokonegrafiikan sovelluksissa, mukaanlukien pelit, elokuvat sekä virtuaali- ja lisätty todellisuus. fi
dc.format.extent 157 + app. 44
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 199/2016
dc.relation.haspart [Publication 1]: Miika Aittala, Tim Weyrich, and Jaakko Lehtinen. Practical SVBRDF Capture in the Frequency Domain. ACM Transactions on Graphics, Volume 32, Issue 4, Article No. 110, July 2013. DOI: 10.1145/2461912.2461978
dc.relation.haspart [Publication 2]: Miika Aittala, Tim Weyrich, and Jaakko Lehtinen. Two-shot SVBRDF Capture for Stationary Materials. ACM Transactions on Graphics, Volume 34, Issue 4, Article No. 110, August 2015. DOI: 10.1145/2766967
dc.relation.haspart [Publication 3]: Miika Aittala, Timo Aila, and Jaakko Lehtinen. Reflectance Modeling by Neural Texture Synthesis. ACM Transactions on Graphics, Volume 35, Issue 4, Article No. 65, July 2016. DOI: 10.1145/2897824.2925917
dc.subject.other Computer science en
dc.title Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance en
dc.title Laskennallisia menetelmiä pintamateriaalien ulkonäön kaappaamiseen ja toisintamiseen fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.contributor.school School of Science en
dc.contributor.department Tietotekniikan laitos fi
dc.contributor.department Department of Computer Science en
dc.subject.keyword computer graphics en
dc.subject.keyword surface appearance en
dc.subject.keyword materials en
dc.subject.keyword reflectance en
dc.subject.keyword rendering en
dc.subject.keyword texture en
dc.subject.keyword inverse problems en
dc.subject.keyword optimization en
dc.subject.keyword tietokonegrafiikka fi
dc.subject.keyword pintamateriaalit fi
dc.subject.keyword heijastavuus fi
dc.subject.keyword synteettinen kuvantaminen fi
dc.subject.keyword tekstuuri fi
dc.subject.keyword käänteisongelmat fi
dc.subject.keyword optimointi fi
dc.identifier.urn URN:ISBN:978-952-60-7047-6
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Lehtinen, Jaakko, Prof., Aalto University, Department of Computer Science, Finland
dc.opn Marschner, Steve, Prof., Cornell University, USA
dc.rev Rusinkiewicz, Szymon, Prof., Princeton University, USA
dc.rev Zickler, Todd, Prof., Harvard University, USA
dc.date.defence 2016-10-28


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account