Edge-computer-based machine vision solution for quality control
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2023-05-15
Department
Major/Subject
Control, Robotics and Autonomous Systems
Mcode
ELEC3025
Degree programme
AEE - Master’s Programme in Automation and Electrical Engineering (TS2013)
Language
en
Pages
77
Series
Abstract
Quality control tasks are currently most commonly executed by human inspectors. However, this approach is prone to errors and has low inspection speeds. Machine vision-based quality control systems can provide a more efficient and accurate alternative. Hence, several studies have researched and implemented quality control systems based on machine vision. This paper presents an implementation of a machine vision-based quality control system running on an edge-computer that, contrary to the solutions in earlier studies, can provide real-time statistics of passing objects. To provide these statistics, the implementation includes an object counting system that tracks and counts the visible objects. This system tracks each object using a single Minimum Output Sum of Squared Error (MOSSE) tracker and counts them once they cross a user-defined line inside the field of view. The MOSSE tracker was considered to provide the best tracking performance for the system because it is a computationally cheap tracker that doesn't require running an object detector every frame. It can also track nearly any detected object based on the object's appearance. This enables the system to be transferable to different quality-control environments, in its simplest form, by replacing the object detector. The system was evaluated with three datasets consisting of the MOT17 Challenge dataset, a dataset captured from a production line of sawn timber, and real-time video inputs. The real-time inputs did not however include data from a quality control environment due to the lack of a suitable object detector for this task. The results indicate that the implemented system can operate quality control tasks in real time with high accuracy. For example, all tracking errors that reduced the system's accuracy were caused by occlusion, which can typically be avoided in quality control. However, the performance is highly dependent on the object detector's performance and the quality of the system parameters' selection process. The next step in the system's development is to re-implement it using NVIDIA's DeepStream SDK, which is anticipated to further optimize the system's performance.Tällä hetkellä suurin osa laadunvalvontatehtävistä pohjautuu ihmisten tekemään arvioon tuotteen laadusta. Näin suoritettu laadunvalvonta on kuitenkin hidasta ja johtaa usein virheellisiin arvioihin. Nykyään tämä tehtävä voidaan suorittaa myös konenäön avulla, jonka ansiosta laadunvalvonta voidaan toteuttaa sekä tehokkaammin että virheettömämmin. Tämä on johtanut useisiin tutkimuksiin, joiden tehtävänä on ollut toteuttaa konenäköön perustuva laadunvalvontajärjestelmä. Myös tämän työn tarkoituksena oli luoda konenäköpohjainen laadunvalvontajärjestelmä. Järjestelmä toteutukseen käytettiin reunalaskennantietokonetta, ja aiemmista töistä poiketen järjestelmä luotiin tuottamaan reaaliaikaisia tilastoja laadunvalvonnan kohteista. Tilastojen tuottamista varten toteutukseen sisällytettiin kappaleiden laskentajärjestelmä, jonka tehtävänä on seurata ja laskea havaittuja kohteita. Yksittäisten kohteiden seuranta toteutettiin MOSSE-algoritmilla, ja kohteiden laskenta tapahtui niiden ylittäessä ennalta määritellyn linjan tarkastellun näkymän sisällä. MOSSE-algoritmia käytettiin sen nopean kohteiden seurannan takia ja koska sitä käytettäessä ei tarvitse ajaa laskennallisesti raskasta kohteiden havaitsijaa jokaiselle kuvalle. Sen seuranta myös perustuu sille syötetyn kohteen ulkoasun seurantaan, mikä mahdollistaa sen, että järjestelmä voidaan muokata toimimaan eri laadunvalvontaympäristöissä yksinkertaisimmillaan vain vaihtamalla kohteiden havaitsijaa. Järjestelmän arviointi toteutettiin käyttämällä testidataa kolmesta eri lähteestä. Nämä olivat MOT17 Challenge -tietojoukko, sahatavaran tuotantolinjalta kuvattu tietojoukko ja reaaliaikainen videodata. Järjestelmää ei kuitenkaan testattu reaaliaikaisesti laadunvalvontaympäristössä, sillä tähän sopivaa kohteiden havaitsijaa ei ollut saatavilla. Saadut tulokset osoittavat järjestelmän olevan hyvin kykenevä tuottamaan paikkansapitäviä tilastoja reaaliaikaisesti. Esimerkiksi kaikki tuloksissa esiintyneet virheet kohteiden laskennassa johtuivat kohteiden peittymisestä toisten kohteiden taakse, minkä tapahtuminen voidaan yleensä laadunvalvontaympäristöissä välttää. Järjestelmän suorituskyvyn havaittiin kuitenkin riippuvan vahvasti käytetystä kohteiden havaitsijasta sekä järjestelmän parametrien optimaalisuudesta. Tulevaisuudessa järjestelmän toteutuksessa tullaankin hyödyntämään NVIDIAn DeepStream SDK:ta, jonka odotetaan optimoivan järjestelmän suorituskykyä entisestään.Description
Supervisor
Kannala, JuhoThesis advisor
Väänänen, AnttiKeywords
machine vision, quality control, edge computing, object counting