Computational Methods for Capture and Reproduction of Photorealistic Surface Appearance

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2016-10-28
Date
2016
Major/Subject
Mcode
Degree programme
Language
en
Pages
157 + app. 44
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 199/2016
Abstract
This thesis addresses the problem of capturing and reproducing surface material appearance from real-world examples for use in computer graphics applications. Detailed variation of color, shininess and small-scale shape is a critically important factor in visual plausibility of objects in synthetic images. Capturing these properties relies on measuring reflected light under various viewing and illumination conditions. Existing methods typically employ either complex mechanical devices, or heuristics that sacrifice fidelity for simplicity. Consequently, computer graphics practitioners continue to use manual authoring tools.  The thesis introduces three methods for capturing visually rich surface appearance descriptors using simple hardware setups and relatively little measurement data. The specific focus is on capturing detailed spatial variation of the reflectance properties, as opposed to angular variation, which is the primary focus of most previous work. We apply tools from modern data science — in particular, principled optimization-based approaches — to disentangle and explain the various reflectance effects in the scarce measurement data.  The first method uses a flat panel monitor as a programmable light source, and an SLR camera to observe reflections off the captured surface. The monitor is used to emit Fourier basis function patterns, which are well suited for isolating the reflectance properties of interest, and also exhibit a rich set of mathematical properties that enable computationally efficient interpretation of the data. The other two methods rely on the observation that the spatial variation of many real-world materials is stationary, in the sense that it consists of small elements repeating across the surface. By taking advantage of this redundancy, the methods demonstrate high-quality appearance capture from two photographs, and only a single photograph, respectively. The photographs are acquired using a mobile phone camera.  The resulting reflectance descriptors faithfully reproduce the appearance of the surface under novel viewing and illumination conditions. We demonstrate state of the art results among approaches with similar hardware complexity. The descriptors captured by the methods are directly usable in computer graphics applications, including games, film, and virtual and augmented reality.

Tämä väitöskirja käsittelee pintamateriaalien ulkonäön automaattista kaappaamista ja toistamista tietokonegrafiikan sovelluksia varten. Ulkonäkö muodustuu värien, kiiltävyyden ja pinnanmuotojen vaihtelusta, ja se on keskeisen tärkeä osa esineiden visuaalista uskottavuutta synteettisessä kuvanmuodostuksessa. Näiden ominaisuuksien kaappaaminen edellyttää heijastuneen valon määrän mittaamista lukuisissa valaistus- ja katseluolosuhteissa. Pääosa olemassaolevista menetelmistä hyödyntää joko monimutkaisia mekaanisia laitteita tai yksinkertaistettuja heuristiikkoja, jotka eivät toista pintojen ulkonäköä uskollisesti. Tämän seurauksena suurin osa käytännön sisällöntuotantotyöstä tehdään edelleen käsin.  Tässä väitöskirjassa esitellään kolme menetelmää visuaalisesti rikkaiden pintamateriaalimallien kaappaamiseksi käyttäen yksinkertaisia laitteistoja ja suhteellisen vähälukuisia mittauksia. Erityinen huomio kohdistuu yksityiskohtaisen, pinnalla vaihtuvan rakenteen mallintamiseen, siinä missä aikaisemmassa tutkimuksessa on usein keskitytty ensisijaisesti katselukulman vaikutuksen mallintamiseen. Esiteltävät menetelmät hyödyntävät modernin data-analyysin työkaluja — erityisesti hyvin määriteltyjä optimointitehtäviä — erotellakseen ja selittääkseen havaitut heijastusilmiöt vähäisessä mittausdatassa.  Ensimmäinen menetelmä hyödyntää litteää monitoria ohjelmoitavana valonlähteenä ja järjestelmäkameraa pinnasta heijastuneen valon määrän mittaamiseen. Monitorilla näytetään Fourier-kantafunktioita, jotka soveltuvat hyvin heijastusfunktioiden matemaattiseen käsittelyyn ja tulkitsemiseen, ja joiden lukuisat matemaattiset erityisominaisuudet mahdollistavat tehokkaan laskennallisen ratkaisumenetelmän muodostamisen. Jälkimmäiset kaksi menetelmää hyödyntävät todellisen maailman pinnoille tyypillistä stationaarista rakennetta, jossa keskenään samankaltaiset pienet elementit toistuvat koko pinnan yli. Yhdistämällä mittaushavaintoja toistuneiden elementtien kesken menetelmät saavuttavat korkealaatuisia kaappaustuloksia vain kahdesta ja yhdestä valokuvasta. Valokuvien ottamiseen käytetään matkapuhelimen kameraa.  Kaapatut heijastusmallit toistavat pintojen ulkonäön uskollisesti uusissa katselu- ja valaistusolosuhteissa. Tulokset vertautuvat edullisesti aiempiin vastaavia kevyitä laitteistoja hyödyntäviin menetelmiin. Ne ovat suoraan käytettävissä useissa tietokonegrafiikan sovelluksissa, mukaanlukien pelit, elokuvat sekä virtuaali- ja lisätty todellisuus.
Description
Supervising professor
Lehtinen, Jaakko, Prof., Aalto University, Department of Computer Science, Finland
Keywords
computer graphics, surface appearance, materials, reflectance, rendering, texture, inverse problems, optimization, tietokonegrafiikka, pintamateriaalit, heijastavuus, synteettinen kuvantaminen, tekstuuri, käänteisongelmat, optimointi
Other note
Parts
  • [Publication 1]: Miika Aittala, Tim Weyrich, and Jaakko Lehtinen. Practical SVBRDF Capture in the Frequency Domain. ACM Transactions on Graphics, Volume 32, Issue 4, Article No. 110, July 2013.
    DOI: 10.1145/2461912.2461978 View at publisher
  • [Publication 2]: Miika Aittala, Tim Weyrich, and Jaakko Lehtinen. Two-shot SVBRDF Capture for Stationary Materials. ACM Transactions on Graphics, Volume 34, Issue 4, Article No. 110, August 2015.
    DOI: 10.1145/2766967 View at publisher
  • [Publication 3]: Miika Aittala, Timo Aila, and Jaakko Lehtinen. Reflectance Modeling by Neural Texture Synthesis. ACM Transactions on Graphics, Volume 35, Issue 4, Article No. 65, July 2016.
    DOI: 10.1145/2897824.2925917 View at publisher
Citation