Evaluation of object detection methods for surface defects
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-11-18
Department
Major/Subject
Electronic and Digital Systems
Mcode
Degree programme
Master's Programme in Automation and Electrical Engineering
Language
en
Pages
81
Series
Abstract
Surface inspection is essential for product quality control in industrial manufacturing. Traditional defect detection often relies on manual inspection, but recent advances in machine vision have enabled also automated solutions. One automated approach is You only Look Once version 7 (YOLOv7), an object detection algorithm that utilizes the Complete Intersection over Union (CIoU) metric in its loss function, and standard Intersection over Union (IoU) in evaluation. This work introduces a new, alternative measure for CIoU, which we call modified Cover Percentage (mCoP), by analyzing the effect of annotation modification of surface defects on the training and performance of YOLOv7 object detection algorithm. The first phase of this study focused on standard YOLOv7 object detection algorithm, and assessed its response to training data modifications, specifically bounding box division and merge. The resulting changes in model performance were evaluated using common metrics of precision, recall, mean average precision, confusion matrices, and sample detections. The results of the first phase indicate that bounding box modifications indeed affect the model performance, reducing the values for all evaluation metrics. The second phase of the study aimed to mitigate the performance reduction observed in the first phase. The Complete Intersection over Union (CIoU) in standard YOLOv7 algorithm was replaced by Cover Percentage (CoP), modified Cover Percentage (mCoP). The models were then trained on the same modified data as in the first phase, with performance evaluated using the same metrics. Results demonstrate that, while standard CoP reduces model accuracy, the mCoP exhibits varying results. In the case of divided bounding boxes, the evaluation metrics decrease. However, when bounding boxes are merged, the mCoP maintains YOLOv7 accuracy at a similar level and slightly enhances robustness to bounding box merging. Additionally, two other variants modified CoP version 2 (mCoPv2) and Distance CoP (DCoP) were tested, but these metrics did not provide significant improvement over mCoP.Pintavikojen tunnistus on olennainen osa tuotteiden laadunvalvontaa teollisessa valmistuksessa. Perinteisesti vikojen tunnistus tehdään manuaalisesti, mutta viimeaikaiset edistysaskeleet syväoppimisessa ovat mahdollistaneet myös automatisoituja ratkaisuja. Yksi tällainen automatisoitu menetelmä on You Only Look Once versio 7 (YOLOv7) -objektintunnistusalgoritmi, joka käyttää Intersection over Union (IoU) -mittaria tappiofunktiossa ja arvioinnissa. Tämä opinnäytetyö esittelee CIoU:lle vaihtoehtoisen mittarin, modified Cover Percentage (mCoP), analysoimalla pintavikojen annotoinnin muokkauksen vaikutusta YOLOv7-objektintunnistusalgoritmin koulutukseen ja suorituskykyyn. Tutkimuksen ensimmäisessä vaiheessa keskitytään standardiverioon YOLOv7-hahmontunnistusalgoritmista ja arvioidaan sen vastetta opetusdatan muutoksiin. Näihin muutoksiin sisältyy objekteja rajaavien laatikoiden jako pienempiin osiin tai niiden yhdistäminen. Muutosten vaikutuksia mallin suorituskykyyn arvioidaan yleisesti käytetyillä mittareilla tarkkuus, saanti, keskimääräinen tarkkuus ja sekaannusmatriisi sekä esimerkkitunnistuksilla. Ensimmäisen vaiheen tulokset osoittavat, että laatikoiden muutokset vaikuttavat mallin suorituskykyyn, laskemalla kaikkia arviointimittareita. Tutkimuksen toisessa vaiheessa pyrittiin lieventämään ensimmäisessä vaiheessa havaittua suorituskyvyn heikkenemistä. Tämä toteutettiin korvaamalla YOLOv7-algoritmin CIoU vaihtoehtoisella Cover Percentage (CoP) -mittarilla ja sen muokatulla versiolla (mCoP). Malleja koulutettiin saman muokatun datan avulla kuin ensimmäisessä vaiheessa, ja niiden suorituskyky arvioitiin samoilla mittareilla. Tulokset osoittavat, että CoP heikentää mallin suorituskykyä, kun taas mCoP tuottaa eri datan muutostyypeillä hieman vaihtelevia tuloksia. Rajauslaatikoiden jaon kohdalla arviontimittarit laskevat ja rajauslaatikoita yhdistettäessä mCoP puolestaan pitää YOLOv7-mallin suorituskyvyn samana sekä hieman parantaa vastetta muutoksille. Lisäksi myös kahta muuta varianttia modified CoP version 2 (mCoPv2) and Distance CoP (DCoP) tutkittiin, mutta nämä eivät tuoneet merkittävää parannusta tarkkuuteen mCoP:iin verrattuna.Description
Supervisor
Särkkä, SimoThesis advisor
Lundh, EmilKeywords
computer vision, you only look once, object detection, deep learning, intersection over union, defect inspection