Extraction of geometry information from floor plan images with deep learning
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2021-08-23
Department
Major/Subject
Computer Science
Mcode
SC3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
46
Series
Abstract
Transformation of raster and scanned floorplan images into room geometry was investigated using CNN and U-Net methods that were also evaluated against the traditional image processing methods employed in prior work found in the literature review. A novel CNN design with only 9 million parameters is proposed and trained to 90 % prediction accuracy on label maps of exterior and interior space, walls, windows and doors, where the existing state-of-the-art implementation also re-viewed is 93 % accurate on the same task but uses 17 million parameters, limiting its use to rather small size or low resolution images. Both neural network models were found to be fairly flexible in processing different styles of floorplans with fairly minor mistakes, that is a huge benefit over the traditional methods evaluated. My network uses multiplication for combining its large area and local high resolution pathways in a way that requires both to be activated for an out-put to be produced. Pre-trained PyTorch networks are publicly available, and they can be easily pretrained for detection of further symbols. A novel algorithm is presented for converting those label maps into polygonal exterior wall geometry where the coordinates of any doors and windows are also marked. The new algorithm can handle angled and curved walls where prior work on the subject has been restricted to 90 degrees corners. The algorithm needs a label map with wall detection performed by either of the neural networks evaluated in this work. Building’s heat loss calculation, as needed in energy certification and engineering applications, is presented as a practical use case for the extracted geometry. The resulting calculation is created promptly, avoiding manual engineering in measuring and entering each element from the original drawing. The geometry information may also be used for creation of CAD or 3D models that have notable commercial use e.g. in real estate sales and in engineering work.Rasteroitujen ja skannattujen rakennuspiirustusten vektorointia tutkittiin CNN ja U-Net -neuroverkkoihin perustuvilla menetelmillä, joita verrattiin myös kirjallisuuskatsauksessa löydettyihin perinteistä kuvankäsittelyä käyttäviin malleihin. Työssä esittämäni uusi CNN-malli sisältää vain 9 miljoonaa parametria ja se pääsee 90 % tarkkuuteen ulko- ja sisätilojen, seinien, ikkunoiden ja ovien segmentoinnissa rakennuspiirustuskuvista. Paras aiempi toteutus pääsee 93 % tarkkuuteen, mutta vaatii 17 miljoonaa parametria ja rajoittuu raskautensa vuoksi vain varsin pienikokoisten taikka matalaresoluutioisten kuvien käsittelyyn. Molemmat neuroverkkomallit kykenevät huomattavan joustavaan erityyppisten kuvien analyysiin suhteellisen vähäisin virhein, mikä on selkeä ero suhteessa perinteisiin menetelmiin. Oma verkkoni käyttää kertolaskua erillisten laajan skaalan ja paikallisen korkearesoluutioisen käsittelypolun yhdistämiseen, siten että molempien tulee olla aktivoituja, jotta verkko tuottaisi tunnistuksen tietyssä kohdassa. Molemmat verkot ovat saatavilla esikoulutettuina PyTorchille, siten että niitä voi helposti lisäkouluttaa uusien symbolien löytämiseksi. Esitän uuden algoritmin geometrian muodostamiseen em. rakennetyyppikartasta siten, että ulkoseinät kuvataan polygonina, jolle ovet ja ikkunat on merkitty. Uusi algoritmi käsittelee myös muussa kuin suorassa kulmassa olevat seinät sekä kaarevat seinät, joita ei ole voinut aiemmilla menetelmillä käsitellä. Algoritmi edellyttää seinien tunnistusta, johon voidaan käyttää joko tässä työssä kehitettyä neuroverkkoa tai aiempaa toteutusta. Rakennuksen tehontarvelaskenta, jota tarvitaan energiasertifikaatteihin ja suunnittelukäyttöön, esitetään käytännöllisenä sovelluksena piirustuksista pure-tulle geometriatiedolle. Tuloksena saatava laskelma syntyy nopeasti ja sillä välitetään suunnittelijan työ, jossa jouduttaisiin alkuperäisestä piirustuksesta mittaamaan ja merkitsemään kyseiset elementit. Geometriatietoa voidaan hyödyntää myös CAD-kuvien tai 3d-mallien tuottamiseen, joille on huomattavaa kaupallista kysyntää mm. asuntokaupassa ja teknisissä suunnittelutöissä.Description
Supervisor
Ilin, AlexanderThesis advisor
Ilin, AlexanderKeywords
floorplan images, convolutional neural networks, U-Net, CubiCasa5k
