Computer vision-assisted safety alert system for industrial settings in private 5G networks

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2024-01-22

Department

Major/Subject

Machine Learning, Data Science and Artificial Intelligence

Mcode

SCI3044

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

90

Series

Abstract

High-risk activities and complex machinery create an ever-present potential for injuries and accidents in the industrial landscape. While significant advancements have taken place in computer vision applications over the last few decades, workplace injury rates in the manufacturing sector remain relatively high. 5G technology and computer vision techniques have shown great promise in improving working conditions through wireless connectivity and real-time object detection and tracking. However, researchers have not yet extensively explored their combined potential. This thesis presents a novel computer vision-assisted 5G alert system that addresses safety-critical scenarios in the manufacturing sector. Four safety-critical scenarios were developed and designed: restricted static zone entries, vehicle-to-vehicle potential collisions, human-to-vehicle potential collisions, and potential collisions between humans and unidentified mobile objects. The research included implementing two frameworks within the safety alert system: supervised and semi-supervised. The supervised framework involved multi-object detection and tracking of annotated objects in safety-critical scenarios, while the semi-supervised framework utilized motion detectors and zero-shot object segmentation for detecting and segmenting unidentified mobile objects. In the case of the semi-supervised framework, the performance of two motion detectors was evaluated. Furthermore, a novel two-stage approach was introduced for detecting and segmenting unlabeled objects. The study revealed that raw bounding box information was not a suitable metric for generating appropriately sized alert beams for sporadically rotating objects. In the case of the supervised framework, alerts received by a single user were examined, with the residence time in each restricted zone being quantified and documented. The findings highlighted the effective and timely response of the safety alert system in addressing safety concerns. The proposed work provides technical requirements for implementing the respective frameworks and offers insights into future research to deploy a computer vision-assisted 5G safety alert system.

Korkea riskin toiminnot ja monimutkaiset toiminnot luovat jatkuvan mahdollisuuden loukkaantumiseen ja onnettomuuksiin tehdasolosuhteissa. Vaikka viimeisten vuosikymmenten aikana on tapahtunut merkittäviä edistysaskeleita tietokonenäkösovelluksissa, työtapaturmien määrä teollisuudessa on edelleen suhteellisen korkea. 5G-teknologia ja tietokonenäkötekniikat ovat osoittaneet suurta lupaavuutta työolosuhteiden parantamisessa langattoman yhteyden ja reaaliaikaisen objektien havaitsemisen ja seurannan avulla. Tutkijat eivät kuitenkaan ole vielä laajasti tutkineet niiden yhteistä potentiaalia. Tämä diplomityö esittelee uudenlaisen tietokonenäköavusteisen 5G-hälytysjärjestelmän, joka käsittelee turvallisuuskriittisiä skenaarioita teollisuudessa. Tutkimuksessa kehitettiin ja suunniteltiin neljä turvallisuuskriittistä skenaariota: rajoitetut staattiset vyöhykkeet, ajoneuvojen väliset mahdolliset törmäykset, ihmisten ja ajoneuvojen väliset mahdolliset törmäykset sekä ihmisten ja tunnistamattomien liikkuvien esineiden väliset mahdolliset törmäykset. Tutkimus sisälsi kahden viitekehyksen kehittämisen: valvotun ja puolivalvotun. Valvottu kehys sisälsi useiden objektien havaitsemisen ja seurannan turvallisuuskriittisissä tilanteissa, kun taas puolivalvottu kehys hyödynsi liiketunnistimia ja zero-shot objektin segmentointia tunnistamattomien liikkuvien esineiden havaitsemiseen ja segmentointiin. Puolivalvotun kehyksen tapauksessa arvioitiin kahden liiketunnistimen suorituskykyä. Lisäksi työssä esiteltiin innovatiivinen kaksivaiheinen lähestymistapa tunnistamattomien objektien havaitsemiseen ja segmentointiin. Tutkimus osoitti, että bounding box -rajaustieto ei ollut sopiva mittari sopivan kokoisten hälytyssäteiden luomiseen satunnaisesti pyöriville objekteille. Valvotun kehyksen tapauksessa tarkasteltiin yhden käyttäjän vastaanottamia hälytyksiä, ja jokaisessa rajoitetussa vyöhykkeessä oleskeluaika mitattiin ja dokumentoitiin. Tulokset korostivat turvallisuushälytysjärjestelmän tehokasta ja ajoissa tapahtuvaa reagointia turvallisuusongelmiin. Ehdotettu työ tarjoaa tekniset vaatimukset kehysten toteuttamiseksi ja tarjoaa näkemyksiä tulevaa tutkimusta varten tietokonetekniikkaan perustuvan 5G-turvallisuushälytysjärjestelmän käyttöönotossa.

Description

Supervisor

Jung, Alexander

Thesis advisor

Ahmad, Iftikhar

Keywords

5G, computer vision, object detection, object tracking, object segmentation, safety

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202401282114

Collections

[dipl] Perustieteiden korkeakoulu / SCI