Gradient-Domain Methods for Realistic Image Synthesis

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2020-02-12
Date
2020
Major/Subject
Mcode
Degree programme
Language
en
Pages
65 + app. 58
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 5/2020
Abstract
Realistic image synthesis, i.e., the creation of photographs of virtual environments by numerical simulation of light, is present in the lives of most people in the form of movies and advertising. Its results are often almost indistinguishable from reality, but the methods are computationally intensive and often require supercomputers. This thesis presents new methods for realistic image synthesis with the potential to reduce rendering times, costs, and environmental footprint. The rendering equation describes the transportation of light as it repeatedly scatters around a virtual environment. The light arriving at a virtual sensor produces a virtual photograph. Typical solutions evaluate the pixel colors by randomly sampling numerous paths by which light can reach the sensor and evaluate their average contribution. The methods presented in this thesis work in the gradient-domain: In addition to sampling the colors, they directly evaluate the finite differences between adjacent pixels and reconstruct the image as an integration problem. This allows the solution to utilize the similarity of the light transport behind close-by pixels. Gradient-domain rendering was recently proposed in the context of Markov Chain Monte Carlo, but the feasibility of gradient-domain rendering in the more common traditional Monte Carlo context was left unanswered. This thesis presents four new gradient-domain Monte Carlo rendering methods. The first two methods evaluate the image gradients by constructing highly correlated pairs of paths for adjacent pixels. Subtracting their contributions produces typically lower-noise gradients since correlation decreases variance in subtraction. A screened Poisson equation combines the high frequencies captured by the gradient samples with the low frequencies of the color samples. This results in images that typically have less high-frequency noise. The third method is an extension to animation. It evaluates gradients also in the time-dimension by rendering each image in two parts, with random seeds shared between the previous and the next frame. Subtracting the images rendered with the same random seed produces the time component of the gradients. A spatiotemporal reconstruction results in decreased flickering in animation. The last method is a deep convolutional neural network that replaces the screened Poisson reconstruction. The network is trained to map the sampled colors and gradients to noise-free reconstructions by minimizing a neural perceptual image distance function. This improves the sharpness of the reconstructions. The gradient inputs improve especially the quality of shadows.

Realistinen kuvasynteesi eli realististen virtuaalisten valokuvien luominen laskennallisesti on läsnä monien ihmisten arjessa esimerkiksi elokuvien ja mainosten muodossa. Sen tuloksia on usein lähes mahdoton erottaa aidoista, mutta menetelmät ovat raskaita ja vaativat usein supertietokoneen käyttöä. Tämä väitöskirja esittelee uusia laskennallisia menetelmiä, jotka voisivat joissakin tapauksissa pienentää realistisen kuvansynteesin laskenta-aikaa, kuluja ja ympäristöjalanjälkeä. Valaistusyhtälö (rendering equation) kuvaa valon kulkua sen sirotessa pintojen välillä virtuaalisessa ympäristössä. Virtuaalinen valokuva muodostuu valon saavuttaessa virtuaalisen kameran kennon. Tyypilliset ratkaisut muodostavat satunnaisia polkuja, joita pitkin valo voisi saapua kennolle, ja laskevat kuvapisteiden värin polkuja pitkin saapuvan valomäärän keskiarvona. Tämän väitöskirjan menetelmät toimivat gradienttiavaruudessa: kuvapisteiden värin lisäksi ne laskevat kuvapisteiden välisiä erotuksia ja muodostavat kuvan integrointiongelman ratkaisuna. Ratkaisun teho perustuu vierekkäisiin pikseleihin vaikuttavien valopolkujen samankaltaisuuteen. Gradienttiavaruuden kuvasynteesi esitettiin aluksi Markovin ketju Monte Carlo -yhteydessä, mutta gradienttiavaruuden hyödyllisyys tavallisessa Monte Carlo -kontekstissa jäi avoimeksi. Tämä väitöskirja esittelee neljä tällaista realistisen kuvasynteesin menetelmää. Kaksi ensimmäistä menetelmää arvioivat kuvan gradientteja muodostamalla vierekkäisten kuvapisteiden välille samankaltaisten polkujen pareja. Näin lasketut gradientit kohisevat usein vähemmän, sillä korrelaatio pienentää vähennyslaskun varianssia. Vaimennetun (screened) Poissonin yhtälön ratkaisu yhdistää gradienttien korkean taajuuden informaation värinäytteiden mataliin taajuuksiin. Seurauksena lopullisessa kuvassa on vähemmän korkean taajuuden kohinaa. Kolmas, animaatioihin keskittyvä menetelmä laajentaa gradienttien laskemisen aikaulottuvuuteen muodostamalla kuvat kahdessa osassa. Ensimmäinen osa jakaa satunnaisluvut animaation aikaisemman kuvan kanssa ja jälkimmäinen seuraavan kuvan kanssa. Samoilla satunnaisluvuilla muodostettujen kuvien erotus tuottaa gradientin aikakomponentin. Aikaulottuvuuteen laajennettu rekonstruktio tuottaa usein käyttökelpoisen lopputuloksen lyhyemmässä ajassa. Neljäs menetelmä on syviin neuroverkkoihin perustuva rekonstruktio. Neuroverkko opetetaan minimoimaan mallikuvan ja verkon ulostulon välinen neuroverkkoihin perustuva etäisyysmitta. Tämän etäisyysfunktion käyttäminen parantaa rekonstruktioiden terävyyttä. Gradienttien käyttäminen neuroverkon syötteessä parantaa erityisesti lopullisen kuvan varjojen laatua.
Description
Supervising professor
Lehtinen, Jaakko, Prof., Aalto University, Department of Computer science, Finland
Thesis advisor
Lehtinen, Jaakko, Prof., Aalto University, Department of Computer science, Finland
Keywords
realistic image synthesis, gradient-domain rendering, ray tracing, realistinen kuvasynteesi, gradienttiavaruuden renderöinti, säteenseuranta
Other note
Parts
  • [Publication 1]: Markus Kettunen, Marco Manzi, Miika Aittala, Jaakko Lehtinen, Frédo Durand, Matthias Zwicker. Gradient-Domain Path Tracing. ACM Transactions on Graphics (TOG), 2015, Volume 34, Issue 4, Article 123.
    DOI: 10.1145/2766997 View at publisher
  • [Publication 2]: Marco Manzi, Markus Kettunen, Miika Aittala, Jaakko Lehtinen, Frédo Durand, Matthias Zwicker. Gradient-Domain Bidirectional Path Tracing. In Eurographics Symposium on Rendering – Experimental Ideas &Implementations, June 2015.
    DOI: 10.2312/sre.20151168 View at publisher
  • [Publication 3]: Marco Manzi, Markus Kettunen, Frédo Durand, Matthias Zwicker, Jaakko Lehtinen. Temporal Gradient-Domain Path Tracing. ACM Transactions on Graphics (TOG), 2016, Volume 35, Issue 6, Article 246.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201802091486
    DOI: 10.1145/2980179.2980256 View at publisher
  • [Publication 4]: Markus Kettunen, Erik Härkönen, Jaakko Lehtinen. Deep Convolutional Reconstruction For Gradient-Domain Rendering. ACM Transactions on Graphics (TOG), 2019, Volume 38, Issue 4, Article 126,
    DOI: 10.1145/3306346.3323038 View at publisher
  • [Errata file]: Errata of P. 1
Citation