Video Segmentation and Shot Boundary Detection Using Self-Organizing Maps

Abstract

Sisältöpohjainen informaation haku (Content-based information retrieval, CBIR) tarjoaa työkaluja datan automaattiseen indeksointiin ja etsintään pelkän sisällön perusteella. Automaattiset indeksointimenetelmät ovat välttämättömiä, jotta hakukoneilla pystyttäisiin käsittelemään jatkuvasti paisuvia multimedia-aineistomassoja. Tietokoneiden laskentakapasiteetin nopean kasvun ansiosta CBIR-menetelmiä voidaan nykyään käyttää myös videoiden indeksointiin, mutta pitkät videot on jollakin tavalla pilkottava osiin ennen kuin näitä hakumenetelmiä on mielekästä käyttää. Tyypillisesti tämä ajallinen segmentointi tehdään pilkkomalla video leikkausrajojen kohdalta otoksen pituisiksi paloiksi. Otokset ovat yhdellä kamera-ajolla kuvattuja jatkuvia kuvavirtoja, joista videon leikkaaja koostaa suurempia kokonaisuuksia. Niitä voidaan siten pitää videoiden alkeisosina, joita on luonnollista käyttää hauissa.

Työn tarkoituksena oli kehittää otosrajojen tunnistin PicSOM-nimiseen CBIR-järjestelmään. Tunnistusmenetelmä etsii rajoja seuraamalla rinnakkaisten itse organisoivien karttojen (Self-Organizing Map, SOM) trajektoreja ja yrittämällä havaita näiden perusteella epäjatkuvuuskohdat videon kuvavirrasta. SOM-kuvaus kompensoi sitä, että jotkut piirreavaruuksien osat ovat todennäköisempiä kuin toiset, joten kartta siirtymien voidaan olettaa olevan piirrevektorien välisiä etäisyyksiä merkityksellisempiä. Kahden karttakoordinaatin välisen etäisyyden sijaan tunnistimessa vertaillaan useamman trajektoripisteen muodostaman ikkunan etäisyyttä toiseen ikkunaan, mikä lisää järjestelmän virheensietokykyä.

Kirjallisuustutkimusosassa esitetään perusteet videon segmentoinnista ja otosrajojen etsinnästä. Lisäksi työn tässä osassa esitellään käytetyimmät otosrajojen tunnistusmenetelmät ja kerrotaan, miten tunnistimissa on tyypillisesti ratkaistu joitakin otosrajojen etsinnässä usein kohdattuja vaikeuksia.

Työosuudessa kuvaillaan, kuinka PicSOM-järjestelmään lisättiin videotiedostojen käsittelijä ja otosrajojen etsijä. Lisäksi kerrotaan empiirisistä kokeista, joilla järjestelmän suorituskykyä tutkittiin. Järjestelmän kokonaistehokkuuden lisäksi kokeissa havainnoitiin sitä, miten trajektori-ikkunoiden ja eri piirteiden käyttö etäisyysmittauksissa vaikutti järjestelmän toimintaan.