Compute and Memory Efficient Neural Radiance Field Optimization With Hard Sample Mining
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Authors
Date
2024-03-11
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
48
Series
Abstract
Training Neural Radiance Fields (NeRF) demands substantial computational resources. Recent advancements, including parameterized input encoding, specialized hardware algorithms, and efficient ray sampling have managed to make the training process faster. However, NeRF training still requires lengthy training times and high GPU memory usage - ruling out lower-end devices with limited compute capability. Random ray selection is the prevalent practice at the core of NeRF methods. Random sampling is straightforward, but inefficient because most of the produced 3D point samples induce a zero gradient during training, but still form a majority of the computation time and memory usage. To enhance efficiency, we propose a hard sample mining strategy. We take advantage of the fact that backward pass takes roughly twice the compute time as forward pass. The relatively low cost forward pass is used to identify a subset of hard samples - in this case, subset of 3D pointsamples that induce a large update gradient for the network. For this subset, we then do a second forward pass building the computational graph and update the model. Building the computational graph and executing the expensive backward pass only for the subset reduces overall iteration time and memory requirements drastically. Experiments on real-world scenes with state-of-the-art NeRF model, Instant-NGP, validate the significant improvements our hard sample mining mechanism offers in terms of improved view-synthesis quality with reduced training time and memory budget. Furthermore, we expect that it can be seamlessly integrated as an enhancement for various NeRF methods.Neural Radiance Field (NeRF) mallit ovat osoittautuneet laadukkaiksi 3D-mallinnuksen työkaluiksi. Niiden optimointi vaatii kuitenkin merkittäviä laskennallisia resursseja. Viimeaikaiset edistysaskeleet, kuten parametrisoitu näytekoodaus, laitteistokiihdytystä hyödyntävät algoritmit ja tehokas näytteistys ovat onnistuneet nopeuttamaan optimointiprosessia huomattavasti. Monimutkaisten tosielämän ympäristöjen NeRF-mallintaminen vaatii kuitenkin edelleen pitkiä optimointiaikoja ja suurta näytönohjainmuistin käyttöä, mikä sulkee pois vähemmän tehokkaiden laitteiden käytön. Satunnainen säteen valinta on vallitseva käytäntö NeRF-optimoinnin aikana. Tästä johtuva satunnaisuus 3D-pistenäytteissä aiheuttaa kuitenkin tehottomuutta, sillä suurin osa pistenäytteistä aiheuttaa nollavirheen optimoinnin aikana, mutta muodostavat silti enemmistön laskenta-ajasta ja muistin käytöstä. Tehokkuuden parantamiseksi esitämme menetelmän vaikeiden näytteiden dynaamiseen valikointiin. Menetelmässämme hyödynnämme sitä, että malleja optimoidessa backpropagation-osio vie noin kaksi kertaa enemmän laskenta-aikaa kuin forward pass-osio. Suhteellisen alhaisen kulun forward pass-osiota käytetään vaikeiden näytteiden tunnistamiseen. Tässä tapauksessa vaikeat näytteet tarkoittavat 3D-pistenäytteiden alijoukkoa, jotka aiheuttavat suuren päivitysgradientin NeRF mallille. Tälle alijoukolle teemme toisen forward pass-ajon rakentaen laskennallisen graafin ja päivittäen mallin. Laskennallisen graafin rakentaminen ja kalliin backpropagation-osion suorittaminen vain alijoukolle vähentää kokonaisiteraatioaikaa ja muistivaatimuksia merkittävästi. Kokeet tosielämän ympäristöjen mallintamisesta viimeisintä NeRF-tekniikkaa edustavalla Instant-NGP:llä vahvistavat meidän metodimme merkittävät parannukset 3D-mallinnuksen laadussa vähentäen optimointiaikaa ja muistivaatimuksia. Lisäksi näemme, että metodimme on mahdollista saumattomasti integroida parannukseksi myös muihin NeRF-menetelmiin, sillä se toimii rajapintamaisesti yleisesti käytössä olevien NeRF-moduulien kanssa.Description
Supervisor
Kannala, JuhoThesis advisor
Tavakoli, HamedKeywords
neural radiance field, importance sampling, hard sample mining, computational efficiency, training speed, memory efficiency