3D Gaussian splatting theory and variance rendering extension

Abstract

Radiance field methods are a recent approach for novel-view synthesis. Radiance field methods reconstruct a representation of a scene from a set of images that capture the scene from multiple viewpoints. This scene representation can then be used to render photorealistic images from novel viewpoints.

In 3D Gaussian Splatting (3DGS), the scene representation consists of hundreds of thousands of overlapping multivariate Gaussian distributions in three-dimensional space, centred on the discrete point samples of the underlying continuous density distribution. An image is rendered by projecting these Gaussians into the camera's image plane, sampling the 2D Gaussian projections at each pixel location, and compositing the sample values in depth order. 3DGS addresses the limitations of the preceding state-of-the-art method, namely Neural Radiance Fields, facilitating rapid reconstruction of the scene representation and real-time rendering.

This thesis introduces a statistical formulation of the splatting equation, the image formation model of 3DGS, as a weighted arithmetic mean. This allows the compositing of generic point cloud quantities, such as depth, into a properly normalised image. Furthermore, it permits the rendering of a variance image, which describes the variance of the rendered Gaussian quantity at each pixel.

The mathematical formulae and pseudocode are provided for the implementation of the variance image renderer and for the computation of analytical gradients through the variance image back to the scene parameters. Furthermore, a variance image renderer has been implemented on top of Splatfacto, an open-source implementation of 3DGS.

Radianssikenttämenetelmät ovat uusi lähestymistapa uuden kuvan synteesiin. Radianssikenttämenetelmillä rekonstruoidaan näkymän matemaattinen esitys joukosta kuvia, jotka kuvaavat näkymän useista eri näkökulmista. Tämän esityksen avulla voidaan sitten renderöidä fotorealistisia kuvia uusista näkökulmista.

3D Gaussian Splatting -menetelmässä (3DGS) näkymän esitys koostuu sadoista tuhansista päällekkäisistä monimuuttujaisista Gaussin jakaumista kolmiulotteisessa avaruudessa, joiden keskipisteenä ovat taustalla olevan jatkuvan tiheysjakauman diskreetit pistenäytteet. Kuva renderöidään projisoimalla nämä Gaussit kameran kuvatasoon, ottamalla näytteitä 2D-Gaussin projektioista kunkin pikselin kohdalla ja koostamalla näytteiden arvot syvyysjärjestyksessä. 3DGS-menetelmällä vastataan edellisen huippumenetelmän eli Neural Radiance Fields -menetelmän rajoituksiin, mikä helpottaa näkymän esityksen nopeaa rekonstruointia ja reaaliaikaista renderöintiä.

Tässä tutkielmassa esitellään 3DGS:n kuvanmuodostusmallin, splatting-yhtälön, tilastollinen muotoilu painotettuna aritmeettisena keskiarvona. Tämä mahdollistaa yleisten pistepilven suureiden, kuten syvyyden, koostamisen asianmukaisesti normalisoiduksi kuvaksi. Lisäksi sen avulla voidaan renderöidä varianssikuva, joka kuvaa renderöidyn suureen varianssia kussakin pikselissä.

Matemaattiset kaavat ja pseudokoodi annetaan varianssikuvan renderöijän toteuttamista ja varianssikuvan kautta kulkevien analyyttisten gradienttien laskemista varten. Lisäksi varianssikuvan renderöijä on toteutettu Splatfacton, avoimen lähdekoodin 3DGS-toteutuksen, päälle.