Modern methods for neural implicit 3D reconstruction: a review
No Thumbnail Available
Files
Koivisto_Kaius_2024.pdf (18.95 MB) (opens in new window)
Aalto login required (access for Aalto Staff only).
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-12-17
Department
Major/Subject
Tietotekniikka
Mcode
SCI3027
Degree programme
Teknistieteellinen kandidaattiohjelma
Language
en
Pages
29
Series
Abstract
3D reconstruction is a subfield of computer vision dedicated to generating 3D representations from 2D images or other forms of data. In recent years, this field has seen rapid advancements, largely driven by the increasing popularity and progress of learning-based modeling techniques. In particular, implicit representations, such as Neural Radiance Fields (NeRFs), have emerged as a groundbreaking innovation, enabling the creation of 3D models with photorealistic quality. This bachelor’s thesis aims to conduct an independent study and review of implicit 3D reconstruction, evaluating the accuracy of previous works and examining how the models perform on new data. Additionally, the thesis seeks to compare the relative performance of the models to identify potential differences. This thesis explores three implementations for 3D reconstruction: NeRF optimized for Instant-NGP, which retains 3D information through volume rendering; NeuS2, which encodes data by hash encoding for a faster training process; and Neuralangelo, optimized for precise 3D reconstruction. The results are evaluated using metrics like training time, 3D reconstruction accuracy, and image synthesis quality. Neuralangelo delivered the most accurate 3D structures but required 10 hours of training on an RTX 3090 GPU, while NeuS2 and Instant-NGP completed training in 5–10 minutes, producing less accurate structures but achieving realistic image synthesis.3D-rekonstruktio on konenäön tutkimuksen alahaara, jossa pyritään muodostamaan 3D-malli 2D-kuvista. Tämä tutkimushaara on kehittynyt nopeasti viimeisten 4 vuoden aikana, kun neuroverkko pohjaiset mallintamistekniikat ovat nousseet suosioon ja kehittyneet nopeasti. Neuronisädekentät (NeRF) mahdollistavat valokuvamaisen laadun 3D-malleista. Kandidaattityön tavoite on teettää itsenäinen tutkimus aihepiirin malleista, jossa tutkitaan onko edelliset tulokset tarkkoja ja kuinka mallit performoivat uudella datalla. Tarkoitus on myös selvittää mallien suhteelliset performanssi erot. Tässä kandidaattityössä käsitellään kolmea implementaatiota, joista ensimmäinen on Instant-NGP:hen optimoitu NeRF. Tämä toimii tilavuusrenderöinnin tapaan, mutta säilyttää 3D-informaation neuroverkossa. Toinen implementaatio on NeuS2, joka säilyttää informaatiota etäisyys funktiona (Signed distance function) neuroverkossa. Kolmas implementaatio eli Neuralangelo kehitettiin NeuS2 rinnalla, mutta on optimoitu tarkkaan 3D-rakenteen luomiseen, kun taas NeuS2 keskittyy nopeuteen. Työn tulokset ovat 3D-malleja ja niitä vertaillaan usealla eri metriikalla, kuten koulutusajoilla, 3D-rakenteen tarkkuudella ja syntetisoitujen kuvien laadulla. Neuralangelo loi tarkimmat 3D-rakenteet, mutta mallin koulutus vei 10 tuntia tehokkaalla RTX 3090 näytönohjaimella. NeuS2 ja Instant-NGP veivät noin 5-10 minuuttia koulutukseen. Niiden 3D-rakenteet olivat suhteessa heikkoja, mutta etenkin Instant-NGP pystyi syntetisoimaan realistisia kuvia kohteista.Description
Supervisor
Savioja, LauriThesis advisor
Wang, ShuzheKeywords
neural radience fields, 3D reconstruction, signed distance function, structure-from-motion, neural networks