A Deep Learning Model for Filtering Unusable Visual Data

Abstract

In this Master's Thesis, we study the creation of a classification model using deep learning neural networks for visual data. The purpose of the Thesis was to automatically filter out unusable pictures in defect recognition at a steel plant in order to streamline daily operations.

The model was created as a classification model which tags entire pictures into three categories: "DimPictures", "ReflectionPictures" and "GoodQualityPictures". The data was downloaded from company databases and tagged manually to belong into one of the categories. Thus it was possible to create the model as a supervised machine learning model.

The model performs well against the testing data with a 96% accuracy and performs fast enough to handle incoming datastreams on a batch-by-batch basis without getting overwhelmed. The more layers the underlying neural network had, the faster the model became. It is questionable whether the original training data is enough to account for all real-world pictures, but this can be improved by adding manually misclassified pictures as training data for the model.

This implies that the model performs adequately in handling incoming data on a batch-by-batch basis. The model could benefit from further tweaks to its neural network making it have a more complex layered structure. The model could also use more training data to prevent it from having a potential over-fit indicated by the discrepancy between the training and testing loss functions. However, more training data will become available from running the model on production data and this should address the over-fit issue.

Tässä diplomityössä luodaan luokittelumalli kuvien lajitteluun. Malli luotiin käyttäen apuna syväoppimisneuroverkkoja. Työn tavoitteena oli kehittää malli, joka automaattisesti seuloo käyttökelvottomia kuvia käyttökelpoisten joukosta työajan säästämiseksi terästehtaalla.

Malli rakennettiin luokittelumallina, joka lajittelee kokonaisia kuvia kolmeen kategoriaan: ”DimPictures”, ”ReflectionPictures” ja ”GoodQualityPictures”. Koulutukseen käytetty data ladattiin yhtiön tietokannoista ja lajiteltiin manuaalisesti kuva kerrallaan yhteen näistä kolmesta tietokannasta. Täten datan pohjalta oli mahdollista kehittää valvottu koneoppimismalli.

Malli suoriutui hyvin testausdatasta 96 %:n tarkkuudella. Se käsittelee dataa riittävän nopeasti selviytyäkseen tuotannon päivittäisestä datavirrasta satseittain käsitellen dataa nopeammin kuin mitä sitä tulee. Mitä enemmän kerroksia neuroverkossa oli, sitä nopeammaksi laskenta muuttui. On kyseenalaista, riittääkö alkuperäinen koulutusdata ottamaan huomioon todellisen tuotantoympäristön vaihtelun kuvien välillä. Tämä tulee kuitenkin parantumaan, kun mallin väärin luokittelemia kuvia tullaan lisäämän mallin koulutusdataan mallia ajettaessa.

Kaikesta päätellen malli kykenee käsittelemään sille tulevaa dataa riittävän hyvin. Mallia voitaisiin kehittää hyödyntämällä monimutkaisempaa neuroverkon rakennetta ja suurempaa määrää koulutusdataa, joka estäisi mahdollista ylisovitusta, johon ero koulutuksen ja testauksen tappiofunktioiden välillä vihjaa. Koulutusdataa tullaan kuitenkin saamaan lisää mallia ajettaessa, jonka pitäisi ratkaista ylisovitusongelmat.