Scene reconstruction from 3D point clouds

Abstract

Automatic reconstruction of 3D polygon scenes from a set of photographs has many practical uses. We have implemented and tested two alternative processes for such reconstruction. The processes consist of separate pieces of software, which together form a pipeline. We used three existing applications: COLMAP, RAPter, and ManhattanModeler. We also created a texture generator for including color information into the reconstructed scenes. We constructed two alternative pipelines from these four applications. First, a sparse and a dense point cloud were generated from the set of photographs using COLMAP. Then, a polygon representation of the scene was generated using RAPter in the first alternative pipeline and ManhattanModeler in the second. Finally, textures were generated and added to the polygon scene using our texture generator, which generates textures from the color information in the dense point cloud. We tested and evaluated these pipelines using a set of photographs taken in Aalto University Computer Science building library with mostly acceptable results. There were two notable imperfections: RAPter generated significantly oversized polygons, and ManhattanModeler failed in its last reconstruction step, which we had to perform manually. Texture quality was reasonably high in many places. However, the texture generation process was highly sensitive to imperfections in the polygon scene, resulting in poor texture quality in some places.

Kolmiulotteisten polygoniympäristöjen automaattisella rekonstruoinnilla joukosta valokuvia on monia käytännön sovelluksia. Olemme toteuttaneet ja testanneet kaksi vaihtoehtoista rekonstruointiprosessia. Nämä prosessit koostuvat erillisistä peräkkäin suoritettavista osista. Käytimme kolmea olemassa olevaa sovellusta: COLMAP, RAPter ja ManhattanModeler. Lisäksi kehitimme tekstuurigeneraattorin, joka liittää väri-informaation rekonstruoituihin polygoniympäristöihin. Toteutimme kaksi vaihtoehtoista prosessia käyttäen näitä neljää sovellusta. Ensin valokuvista generoidaan harva ja tiheä pistepilvi käyttäen COLMAPia. Seuraavaksi generoidaan polygoniympäristö käyttäen RAPteria ensimmäisessä prosessivaihtoehdossa ja ManhattanModeleria toisessa. Lopuksi polygoniympäristölle generoidaan tekstuurit käyttäen kehittämäämme tekstuurigeneraattoria, joka generoi tekstuurit tiheän pistepilven väri-informaatiosta.

Testasimme ja arvioimme näitä kahta vaihtoehtoista prosessia käyttäen syötteenä joukkoa Aalto-yliopiston tietotekniikan talon kirjastossa otettuja valokuvia. Tulokset olivat enimmäkseen tyydyttäviä. Prosesseissa oli kuitenkin joitakin vajavaisuuksia: RAPter generoi merkittävästi ylisuuria polygoneja, ja ManhattanModelerin viimeinen rekonstruointivaihe ei toiminut, joten jouduimme tekemään sitä vastaavan työn käsin. Tekstuurit olivat joissakin paikoissa korkealaatuisia. Tekstuurien generointiprosessi oli kuitenkin hyvin herkkä polygoniympäristön virheille. Tämän seurauksena tekstuurit olivat joissakin paikoissa huonolaatuisia.