Gradient-Domain Methods for Realistic Image Synthesis

Abstract

Realistic image synthesis, i.e., the creation of photographs of virtual environments by numerical simulation of light, is present in the lives of most people in the form of movies and advertising. Its results are often almost indistinguishable from reality, but the methods are computationally intensive and often require supercomputers. This thesis presents new methods for realistic image synthesis with the potential to reduce rendering times, costs, and environmental footprint. The rendering equation describes the transportation of light as it repeatedly scatters around a virtual environment. The light arriving at a virtual sensor produces a virtual photograph. Typical solutions evaluate the pixel colors by randomly sampling numerous paths by which light can reach the sensor and evaluate their average contribution. The methods presented in this thesis work in the gradient-domain: In addition to sampling the colors, they directly evaluate the finite differences between adjacent pixels and reconstruct the image as an integration problem. This allows the solution to utilize the similarity of the light transport behind close-by pixels. Gradient-domain rendering was recently proposed in the context of Markov Chain Monte Carlo, but the feasibility of gradient-domain rendering in the more common traditional Monte Carlo context was left unanswered. This thesis presents four new gradient-domain Monte Carlo rendering methods. The first two methods evaluate the image gradients by constructing highly correlated pairs of paths for adjacent pixels. Subtracting their contributions produces typically lower-noise gradients since correlation decreases variance in subtraction. A screened Poisson equation combines the high frequencies captured by the gradient samples with the low frequencies of the color samples. This results in images that typically have less high-frequency noise. The third method is an extension to animation. It evaluates gradients also in the time-dimension by rendering each image in two parts, with random seeds shared between the previous and the next frame. Subtracting the images rendered with the same random seed produces the time component of the gradients. A spatiotemporal reconstruction results in decreased flickering in animation. The last method is a deep convolutional neural network that replaces the screened Poisson reconstruction. The network is trained to map the sampled colors and gradients to noise-free reconstructions by minimizing a neural perceptual image distance function. This improves the sharpness of the reconstructions. The gradient inputs improve especially the quality of shadows.

Realistinen kuvasynteesi eli realististen virtuaalisten valokuvien luominen laskennallisesti on läsnä monien ihmisten arjessa esimerkiksi elokuvien ja mainosten muodossa. Sen tuloksia on usein lähes mahdoton erottaa aidoista, mutta menetelmät ovat raskaita ja vaativat usein supertietokoneen käyttöä. Tämä väitöskirja esittelee uusia laskennallisia menetelmiä, jotka voisivat joissakin tapauksissa pienentää realistisen kuvansynteesin laskenta-aikaa, kuluja ja ympäristöjalanjälkeä. Valaistusyhtälö (rendering equation) kuvaa valon kulkua sen sirotessa pintojen välillä virtuaalisessa ympäristössä. Virtuaalinen valokuva muodostuu valon saavuttaessa virtuaalisen kameran kennon. Tyypilliset ratkaisut muodostavat satunnaisia polkuja, joita pitkin valo voisi saapua kennolle, ja laskevat kuvapisteiden värin polkuja pitkin saapuvan valomäärän keskiarvona. Tämän väitöskirjan menetelmät toimivat gradienttiavaruudessa: kuvapisteiden värin lisäksi ne laskevat kuvapisteiden välisiä erotuksia ja muodostavat kuvan integrointiongelman ratkaisuna. Ratkaisun teho perustuu vierekkäisiin pikseleihin vaikuttavien valopolkujen samankaltaisuuteen. Gradienttiavaruuden kuvasynteesi esitettiin aluksi Markovin ketju Monte Carlo -yhteydessä, mutta gradienttiavaruuden hyödyllisyys tavallisessa Monte Carlo -kontekstissa jäi avoimeksi. Tämä väitöskirja esittelee neljä tällaista realistisen kuvasynteesin menetelmää. Kaksi ensimmäistä menetelmää arvioivat kuvan gradientteja muodostamalla vierekkäisten kuvapisteiden välille samankaltaisten polkujen pareja. Näin lasketut gradientit kohisevat usein vähemmän, sillä korrelaatio pienentää vähennyslaskun varianssia. Vaimennetun (screened) Poissonin yhtälön ratkaisu yhdistää gradienttien korkean taajuuden informaation värinäytteiden mataliin taajuuksiin. Seurauksena lopullisessa kuvassa on vähemmän korkean taajuuden kohinaa. Kolmas, animaatioihin keskittyvä menetelmä laajentaa gradienttien laskemisen aikaulottuvuuteen muodostamalla kuvat kahdessa osassa. Ensimmäinen osa jakaa satunnaisluvut animaation aikaisemman kuvan kanssa ja jälkimmäinen seuraavan kuvan kanssa. Samoilla satunnaisluvuilla muodostettujen kuvien erotus tuottaa gradientin aikakomponentin. Aikaulottuvuuteen laajennettu rekonstruktio tuottaa usein käyttökelpoisen lopputuloksen lyhyemmässä ajassa. Neljäs menetelmä on syviin neuroverkkoihin perustuva rekonstruktio. Neuroverkko opetetaan minimoimaan mallikuvan ja verkon ulostulon välinen neuroverkkoihin perustuva etäisyysmitta. Tämän etäisyysfunktion käyttäminen parantaa rekonstruktioiden terävyyttä. Gradienttien käyttäminen neuroverkon syötteessä parantaa erityisesti lopullisen kuvan varjojen laatua.