Three-dimensional Measurement of a Lifted Load using Machine Vision

Abstract

In crane environments, a three-dimensional measurement of the load object is required to develop new automated features, such as route planning, collision detection, and collision avoidance technology. The incentives for developing such features are improved easiness of operation in manually operated crane systems and an increase in goods handling safety.

A 3-D machine vision process was selected to produce a load object measurement using passive stereographic triangulation. A perception platform with two high dynamic range cameras was used to perceive the environment and acquire image data. The acquired image data was processed into 3-D point clouds that represented the surface model of the environment in a time series.

A 3-D bounding volume measurement of the load object was acquired from the surface model using Point Cloud Library(PCL) processing. The measurement software was implemented using C++ programming language and Robot Operating System(ROS). The load object was classified from the image data using a 2-D image tracker, and in some cases a 3-D classification using a proximity-based criterion was used.

Machine vision measurement was analysed using 25 offline datasets from two different industrial environments. In an indoor environment, a measurement from the offline data was achieved with an accuracy of $\pm 15\%$ of the actual load object dimension value. Cylindrical load objects were detected from an outdoor environment using a 2-D image tracker and a RANSAC parameter fitting technique. The load object measurement was successful for cylindrical load objects detected from outdoor offline data. The accuracy of the outdoor application was not analysed.

Nosturin taakan kolmiulotteinen mittaus vaaditaan uusien automaattisten toimintojen mahdollistamiseksi nosturiympäristössä. Uusia toimintoja ovat esimerkiksi reitinsuunnittelu-, törmäystarkastelu-, ja törmäyksenestotoiminnot. Edellä mainittujen toimintojen kehittäminen voi helpottaa käsiohjatun nosturin käyttöä ja mahdollistaa turvallisemman taakan siirtämisen tilassa.

Taakan mittauksen tuottamiseksi valittiin 3-D-konenäkömenetelmä, joka käyttää passiivista stereokolmiointimenetelmää. Työn toteutuksessa käytettiin kahta korkean dynamiikan kameraa, jotka tallensivat kuvadataa nosturiympäristöstä. Kuvadata prosessoitiin 3-D-pistepilviksi, jotka kuvaavat ympäristön pintamallia ajan funktiona.

Taakan kolmiulotteinen rajoittava tilavuusmittaus laskettiin Point Cloud Library -kirjaston(PCL) avulla 3-D-pintamallidatasta. Mittausohjelmisto toteutettiin C++ -ohjelmointikielellä ja Robot Operating Systemillä(ROS). Taakan valinta kuvadatasta tehtiin 2-D-kuvaseurannalla, ja joissain tapauksissa taakan valinta suoritettiin 3-D-datasta yksinkertaisella etäisyyskriteerillä.

Konenäkömittausta analysoitiin 25:llä aineistolla, jotka oli teollisuusympäristöistä tallennettu. Sisätiloissa olevan teollisuusympäristön aineistoilla tuotettiin taakan tilavuusmittaus, jonka tarkkuus oli tilastollisesti $\pm 15\%$ etäisyydellä halutusta tuloksesta. Sylinterimäisiä kappaleita mitattiin ulkotiloissa kaapatusta aineistosta 2-D-kuvaseurantaa ja parametrisovitusmenetelmää (RANSAC) käyttäen. Taakan tilavuusmittaus toimi myös ulkotiloissa tallennetuilla aineistoilla, mutta ulkotilamittausten tarkkuutta ei analysoitu.