Automatic Floorplan Analysis

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Date

2019-12-16

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

SCI3044

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

70

Series

Abstract

Digital representation of a housing floorplan is a must in a property advertisment these days. The property advertisment might contain either a two dimensional floorplan or then a three dimensional interior model of the apartment. Modern computer vision methods are able to reproduce a 2D or a 3D model from a scanned floorplan using semantic segmentation and then redraw it using a vector graphic representation. A vectorized floorplan can be easily edited further if the scanned floorplan contained some mistakes. Modern convolutional neural network models have been show to work well in many image recognition task such as object detection and semantic segmentation. However, neural networks have not been widely used in floorplan analysis. Previous methods have been using approaches based on strong heuristics and low-level pixel operations. One reason for this is that there is a clear lack of large enough dataset, which is a prerequisite for deep neural networks. This thesis presents an image dataset called CubiCasa5K and a method for floorplan parsing that relies on a multi-task convolutional neural network. The floorplan image dataset contains 5000 samples annotated into over 80 floorplan object categories. The dataset annotations are performed in a dense and versatile manner by using polygons for separating the different objects. The dataset is five times bigger that the previous biggest data set and the quality of the annotations is higher than reported previously. The new deep learning model requires less post-processing after the neural network has done the prediction. Also the model able to reproduce and improve the previous state of the art results in automatic floorplan analysis. Furthermore, we apply the same state of the art model to the new CubiCasa5K dataset and present the first results from the new dataset. After this we still improve our results by changing the models internal data representation so that the mode is able to predict diagonal walls. By releasing the novel dataset and parts of our implementations, this study significantly boosts the research on automatic floorplan image analysis as it provides a richer set of tools for investigating the problem in a more comprehensive manner.

Digitaalinenesitysmuoto asunnon pohjapiirustuksesta on nykypäivänän oleellinen osa asunnon myynti-ilmoitusta. Myynti-ilmoituksissa on joko pohjapiirustus tai kolmiulotteinen sisätilamalli asunnosta. Modernit konenäön menetelmät mahdollistavat skannattujen pohjapiirustusten semanttisen segmentoinnin ja sitä kautta uudestaan piirtämisen vektorigrafiikan avulla. Vanhoista paperisista asunnon pohjapiirustuksista on siis mahdollista muodostaa vektoroidut versiot automaattisesti. Vektoroitua pohjapiirustusta on helppo jatkokehittää, jos asunnon pohjapiirustukseen on tullut muutoksia esimerkiksi remonttien vuoksi. Lisäksi kolmiulotteinen malli pystytään muodostamaan vektoroidun kaksiulotteisen pohjapiirustus kuvan pohjalta automaattisesti. Syvät konvoluutioneuroverkot ovat osoittautuneet toimiviksi ratkaisuksi monissa kuvantunnistus ongelmissa. Pohjapiirustusten segmentoinnissa ja vektoroinnissa neuroverkkojen hyödyntäminen on kuitenkin ollut vähäistä. Aiemmat menetelmät ovat perustuneet erilaisille heuristiikoille ja matalan tason pikselioperaatiolle. Yksi syy tähän on ollut se, että neuroverkkojen vaatimaa isoa ja laadukasta tietoaineistoa pohjapiirustuksista ei ole ollut saatavilla. Tässä työssä esittelemme uuden CubiCasa5K pohjapiirustustietoaineiston ja parannellun neuroverkkoihin perustuvan moni-oppimismallin pohjapiirustusten vektorointiin. CubiCasa5K koostuu 5000 käsin annotoidusta pohjapiirustuksesta, jotka sisältävät yhteensä yli 80 erilaista pohjapiirustuselementtiä. Annotointi on vektorigrafiikka, jossa eri elementit on esitetty polygoneina. Uusi aineisto on laadukkaampi ja viisi kertaa isompi, kuin aiemmin saatavilla olleet tietoaineistot. Uusi mallimme vähentää tarvetta erilaisille heuristiikoille ja nojautuu aikaisempaa enemmän neuroverkon ennustukselle. Saavutamme uudet huipputulokset aikaisemmilla tietoaineistoilla ja esittelemme ensimmäiset tulokset käyttämällä uutta CubiCasa5K aineistoa. Tämän lisäksi mallimme pystyy ennustamaan aikaisemmin mahdottomat diagonaaliset seinät. CubiCasa5K ja osa koodista on julkaistu kaikkien käytettäväksi. Toivomme, että niistä on hyötyä tuleville pohjapiirustusten analysointiin liittyville tutkimuksille.

Description

Supervisor

Kannala, Juho

Thesis advisor

Ylioinas, Juha

Keywords

floorplan images, dataset, convolutional neural networks, multi-task learning

Other note

Citation