Extraction of geometry information from floor plan images with deep learning

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorIlin, Alexander
dc.contributor.authorKärkkäinen, Leo
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorIlin, Alexander
dc.date.accessioned2021-08-29T17:16:50Z
dc.date.available2021-08-29T17:16:50Z
dc.date.issued2021-08-23
dc.description.abstractTransformation of raster and scanned floorplan images into room geometry was investigated using CNN and U-Net methods that were also evaluated against the traditional image processing methods employed in prior work found in the literature review. A novel CNN design with only 9 million parameters is proposed and trained to 90 % prediction accuracy on label maps of exterior and interior space, walls, windows and doors, where the existing state-of-the-art implementation also re-viewed is 93 % accurate on the same task but uses 17 million parameters, limiting its use to rather small size or low resolution images. Both neural network models were found to be fairly flexible in processing different styles of floorplans with fairly minor mistakes, that is a huge benefit over the traditional methods evaluated. My network uses multiplication for combining its large area and local high resolution pathways in a way that requires both to be activated for an out-put to be produced. Pre-trained PyTorch networks are publicly available, and they can be easily pretrained for detection of further symbols. A novel algorithm is presented for converting those label maps into polygonal exterior wall geometry where the coordinates of any doors and windows are also marked. The new algorithm can handle angled and curved walls where prior work on the subject has been restricted to 90 degrees corners. The algorithm needs a label map with wall detection performed by either of the neural networks evaluated in this work. Building’s heat loss calculation, as needed in energy certification and engineering applications, is presented as a practical use case for the extracted geometry. The resulting calculation is created promptly, avoiding manual engineering in measuring and entering each element from the original drawing. The geometry information may also be used for creation of CAD or 3D models that have notable commercial use e.g. in real estate sales and in engineering work.en
dc.description.abstractRasteroitujen ja skannattujen rakennuspiirustusten vektorointia tutkittiin CNN ja U-Net -neuroverkkoihin perustuvilla menetelmillä, joita verrattiin myös kirjallisuuskatsauksessa löydettyihin perinteistä kuvankäsittelyä käyttäviin malleihin. Työssä esittämäni uusi CNN-malli sisältää vain 9 miljoonaa parametria ja se pääsee 90 % tarkkuuteen ulko- ja sisätilojen, seinien, ikkunoiden ja ovien segmentoinnissa rakennuspiirustuskuvista. Paras aiempi toteutus pääsee 93 % tarkkuuteen, mutta vaatii 17 miljoonaa parametria ja rajoittuu raskautensa vuoksi vain varsin pienikokoisten taikka matalaresoluutioisten kuvien käsittelyyn. Molemmat neuroverkkomallit kykenevät huomattavan joustavaan erityyppisten kuvien analyysiin suhteellisen vähäisin virhein, mikä on selkeä ero suhteessa perinteisiin menetelmiin. Oma verkkoni käyttää kertolaskua erillisten laajan skaalan ja paikallisen korkearesoluutioisen käsittelypolun yhdistämiseen, siten että molempien tulee olla aktivoituja, jotta verkko tuottaisi tunnistuksen tietyssä kohdassa. Molemmat verkot ovat saatavilla esikoulutettuina PyTorchille, siten että niitä voi helposti lisäkouluttaa uusien symbolien löytämiseksi. Esitän uuden algoritmin geometrian muodostamiseen em. rakennetyyppikartasta siten, että ulkoseinät kuvataan polygonina, jolle ovet ja ikkunat on merkitty. Uusi algoritmi käsittelee myös muussa kuin suorassa kulmassa olevat seinät sekä kaarevat seinät, joita ei ole voinut aiemmilla menetelmillä käsitellä. Algoritmi edellyttää seinien tunnistusta, johon voidaan käyttää joko tässä työssä kehitettyä neuroverkkoa tai aiempaa toteutusta. Rakennuksen tehontarvelaskenta, jota tarvitaan energiasertifikaatteihin ja suunnittelukäyttöön, esitetään käytännöllisenä sovelluksena piirustuksista pure-tulle geometriatiedolle. Tuloksena saatava laskelma syntyy nopeasti ja sillä välitetään suunnittelijan työ, jossa jouduttaisiin alkuperäisestä piirustuksesta mittaamaan ja merkitsemään kyseiset elementit. Geometriatietoa voidaan hyödyntää myös CAD-kuvien tai 3d-mallien tuottamiseen, joille on huomattavaa kaupallista kysyntää mm. asuntokaupassa ja teknisissä suunnittelutöissä.fi
dc.format.extent46
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/109381
dc.identifier.urnURN:NBN:fi:aalto-202108298617
dc.language.isoenen
dc.programmeMaster’s Programme in Computer, Communication and Information Sciencesfi
dc.programme.majorComputer Sciencefi
dc.programme.mcodeSC3042fi
dc.subject.keywordfloorplan imagesen
dc.subject.keywordconvolutional neural networksen
dc.subject.keywordU-Neten
dc.subject.keywordCubiCasa5ken
dc.titleExtraction of geometry information from floor plan images with deep learningen
dc.titleGeometriatiedon tunnistaminen rakennuspiirustuksista syväoppimisellafi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
local.aalto.electroniconlyyes
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Kärkkäinen_Leo_2021.pdf
Size:
2.13 MB
Format:
Adobe Portable Document Format