Photorealism in augmented reality

Abstract

In augmented reality the aim is to seamlessly embed virtual models into real-world surroundings using computer graphics and computer vision techniques. In this thesis, we discuss photorealistic rendering in augmented reality and present an implementation as a case study.

We discuss the theory of rendering, after which we survey various modern real-time rendering methods and their applicability to augmented reality. In particular, methods for realistic rendering of illumination, shadows and materials are discussed.

Images produced by a renderer often look out of place on top of the real world image due to a mismatch in image quality. We discuss various imperfections introduced by camera systems, and present methods for imitating them in post-processing.

We also present methods for determining the lighting conditions of the real world scene. This information can then be directly used to reproduce the observed lighting in the rendering stage. We develop a convenient and fast method that determines a sparse set of light sources based on observations of a calibration object such as a paper marker or a plastic matte sphere.

Finally, we present a practical software implementation that includes several of the techniques discussed.

Lisätyn todellisuuden tavoitteena on yhdistää virtuaalisia elementtejä saumattomasti todellisen maailman ympäristöihin hyödyntäen tietokonegrafiikan ja konenäön tekniikoita. Tässä diplomityössä käsitellään fotorealistista renderöintiä sovellettuna lisättyyn todellisuuteen ja esitellään käytännön ohjelmistototeutus.

Työssä esitellään renderöintiin liittyvä teoria ja useita käytännöllisiä reaaliaikaisia renderöintimenetelmiä pohjautuen niiden soveltuvuuteen lisätyssä todellisuudessa. Erityisesti työssä keskitytään valon, varjojen sekä materiaalien realistiseen renderöintiin.

Renderöijien tuottamat kuvat sopivat usein huonosti todellisen maailman videokuvan päälle johtuen eroista kuvanlaadussa. Työssä käsitellään kamerajärjestelmien synnyttämiä vikoja kuvissa sekä menetelmiä näiden uskottavaan toistamiseen virtuaalisissa kuvissa.

Työssä esitetään myös menetelmiä todellisen maailman valaistusolosuhteiden selvittämiseen. Tätä tietoa voidaan käyttää suoraan hyväksi renderöintivaiheessa yhtenäisen valaistuksen saavuttamiseksi. Työssä kehitetään käytännöllinen ja nopea menetelmä harvan valojoukon selvittämiseen kalibraatiokappaleesta tehtyjen havaintojen pohjalta. Kalibraatiokappaleena voi toimia esimerkiksi mattapintainen pallo.

Lopulta esitetään käsiteltyjä tekniikoita hyödyntävä käytännön ohjelmistototeutus.