Object Detection, Tracking, and Enhancement for Video Analysis
Loading...
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024-06-18
Department
Major/Subject
Applied Mathematics
Mcode
SCI3053
Degree programme
Master’s Programme in Mathematics and Operations Research
Language
en
Pages
66
Series
Abstract
This thesis investigates the automation of video analysis for open-source intelligence (OSINT) applications by implementing a pipeline designed to detect, track, and enhance objects in videos. The pipeline integrates RTMDet-tiny as the object detector, the Kalman Filter-based Simple Online Real-Time Tracking (SORT) algorithm as the object tracker, and FastDVDnet as the object enhancer. In addition to evaluating the performance of these tools, this research explores the generation of synthetically blurred frames to train the object enhancer. Notably, this thesis utilizes object enhancement for cropped object sequences, filling a gap in previous research. Results demonstrate the effectiveness of the object detector and tracker within the pipeline, delivering robust precision alongside successful real-time tracking. However, the object enhancer, FastDVDnet falls short in sufficiently improving object quality. Future research should focus on enhancing object quality to facilitate advanced tasks like text recognition. Furthermore, the pipeline should be applied to specific OSINT applications, such as sign recognition.Nykyaikaisessa avointen lähteiden tiedustelussa (OSINT) kojelauta-, valvonta- ja liikennekamerat ovat eräitä tärkeitä tiedonlähteitä. Tässä diplomityössä tutkitaan tapaa automaattisesti havaita kohteita, seurata niiden liikettä ja parantaa niiden kuvanlaatua videoissa. Työssä käytetään RTMDet-tinya kohteidenhavaitsijana, Kalman-suodatin pohjaista SORT-algoritmia kohteiden liikkeiden seurantaan ja FastDVDnetia kohteiden kuvanlaadun parantamiseen. Tutkitun videoanalyysitavan suorituskyvyn arvioinnin lisäksi tässä diplomityössä luodaan synteettisesti sumennettu datasetti kohteiden kuvanlaadun parantamismallin kouluttamiseen. Aikaisemmista tutkimuksista poiketen tässä työssä keskitytään valmiiksi rajattujen kohteiden kuvanlaadun parantamiseen. Tulokset osoittavat kohteidenhavaitsijan RTMDet-tinyn ja niiden liikkeiden seuraajan SORT-algoritmin toimivan hyvin osana automaattista videoanalyysiä. FastDVDnet ei kuitenkaan onnistu parantamaan kuvanlaatua aivan tarpeeksi, jotta kuvista voitaisiin tunnistaa tekstiä. Jatkossa tutkimuksien tulisi keskittyä kohteiden kuvanlaadun parantamiseen, jotta vaativammat analyysitavat, kuten tekstintunnistus, olisivat mahdollisia. Lisäksi tutkittua tapaa tulisi soveltaa OSINT:in käyttötarkoituksiin, kuten kylttien tunnistukseen.Description
Supervisor
Hannukainen, AnttiThesis advisor
Oksanen, KennethKeywords
object detection, object tracking, object enhancement, synthetic blur generation
