Multi-Camera Object Tracking and Camera Calibration in a Video Content Analysis System

Abstract

The objective of computer vision and video content analysis is to extract meaningful feature data from video data. One of the common challenges in computer vision is camera calibration, which is required for converting physical length measures from the camera image. Calibration is also required in multi-camera systems, where camera images from different cameras partly overlap.

In this thesis, a computationally lightweight method for calibrating cameras in three dimensional space is developed. The proposed method is divided in two stages. In the first stage, lens distortions and camera intrinsic parameters (focal length) are measured with taking images of a known chessboard pattern in various positions. In the second stage, extrinsic parameters (tilt angle and camera height relative to a ground plane) are determined from few object detections. Using simulation, a second order pixel horizon estimation is shown to perform significantly better with tilted cameras than a common method of using vanishing lines or first-order fit for horizon estimation.

In addition, a method for calibrating and object tracking in top-down multi-camera systems is developed. This method uses matched point pairs for overlapping camera images, from which similarity transforms are calculated. The transforms are used to convert object tracking trails from individual cameras onto a global coordinate space. Individual trails are then marked joinable, if they cross each other close enough in that space.

The methods and results of this thesis are usable for example when measuring customer routes in stores using common video surveillance cameras, or for classifying objects based on their physical size.

Konenäön ja videosisältöanalyysin tavoitteena on purkaa merkityksellistä dataa videodatasta. Yksi yleisistä konenäön haasteista on kamerakalibrointi, jota vaaditaan fyysisten pituusmittojen johtamiseen kamerakuvasta. Kalibrointia tarvitaan myös monikamerajärjestelmissä, missä kameroiden näkemät alueet osittain peittävät toisiaan.

Tässä työssä kehitetään laskennallisesti kevyt menetelmä kameroiden kalibroimiseksi kolmiuloitteeseen avaruuteen. Esitelty menetelmä on kaksivaiheinen. Ensimmäisessä vaiheessa linssivääristymät ja kameran sisäiset parametrit (polttoväli) mitataan ottamalla kuvia tunnetusta shakkilautakuviosta eri asennoissa. Toisessa vaiheessa, ulkoiset parametrit (kallistuskulma ja kameran korkeus suhteessa maatasoon) määritetään muutamasta kohdetunnistuksesta. Simuloimalla näytetään, että toisen asteen estimointi pikselihorisontille tuottaa merkittävästi parempia tuloksia kallistetuilla kameroilla, verrattuna yleisiin katoamispistemenetelmiin tai ensimmäisen asteen horisonttiestimaattisovituksiin.

Lisäksi työssä kehitetään menetelmä ylhäältä alas kuvaavien monikamerajärjestelmien kalibrointiin sekä kohteiden seuraamiseen niissä. Tämä menetelmä käyttää sovitettuja pistepareja toisiaan leikkaavissa kamerakuvissa, joista lasketaan similariteettimuunnokset. Muunnosten avulla kohdeseurannan polut yksittäisistä kameroista muunnetaan yleiseen koordinaattiavaruuteen. Yksittäiset polut merkitään samaksi, jos ne risteävät toisensa tässä avaruudessa.

Työn menetelmiä ja tuloksia voidaan hyödyntää esimerkiksi asiakasreittien mittaamiseen myymälöissä tavallisilla turvakameroilla, tai kohteiden luokitteluun niiden fyysisen koon perusteella.