Video Segmentation and Shot Boundary Detection Using Self-Organizing Maps
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology |
Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Authors
Date
2007
Department
Major/Subject
Informaatiotekniikka
Mcode
T-61
Degree programme
Language
en
Pages
92
Series
Abstract
Sisältöpohjainen informaation haku (Content-based information retrieval, CBIR) tarjoaa työkaluja datan automaattiseen indeksointiin ja etsintään pelkän sisällön perusteella. Automaattiset indeksointimenetelmät ovat välttämättömiä, jotta hakukoneilla pystyttäisiin käsittelemään jatkuvasti paisuvia multimedia-aineistomassoja. Tietokoneiden laskentakapasiteetin nopean kasvun ansiosta CBIR-menetelmiä voidaan nykyään käyttää myös videoiden indeksointiin, mutta pitkät videot on jollakin tavalla pilkottava osiin ennen kuin näitä hakumenetelmiä on mielekästä käyttää. Tyypillisesti tämä ajallinen segmentointi tehdään pilkkomalla video leikkausrajojen kohdalta otoksen pituisiksi paloiksi. Otokset ovat yhdellä kamera-ajolla kuvattuja jatkuvia kuvavirtoja, joista videon leikkaaja koostaa suurempia kokonaisuuksia. Niitä voidaan siten pitää videoiden alkeisosina, joita on luonnollista käyttää hauissa. Työn tarkoituksena oli kehittää otosrajojen tunnistin PicSOM-nimiseen CBIR-järjestelmään. Tunnistusmenetelmä etsii rajoja seuraamalla rinnakkaisten itse organisoivien karttojen (Self-Organizing Map, SOM) trajektoreja ja yrittämällä havaita näiden perusteella epäjatkuvuuskohdat videon kuvavirrasta. SOM-kuvaus kompensoi sitä, että jotkut piirreavaruuksien osat ovat todennäköisempiä kuin toiset, joten kartta siirtymien voidaan olettaa olevan piirrevektorien välisiä etäisyyksiä merkityksellisempiä. Kahden karttakoordinaatin välisen etäisyyden sijaan tunnistimessa vertaillaan useamman trajektoripisteen muodostaman ikkunan etäisyyttä toiseen ikkunaan, mikä lisää järjestelmän virheensietokykyä. Kirjallisuustutkimusosassa esitetään perusteet videon segmentoinnista ja otosrajojen etsinnästä. Lisäksi työn tässä osassa esitellään käytetyimmät otosrajojen tunnistusmenetelmät ja kerrotaan, miten tunnistimissa on tyypillisesti ratkaistu joitakin otosrajojen etsinnässä usein kohdattuja vaikeuksia. Työosuudessa kuvaillaan, kuinka PicSOM-järjestelmään lisättiin videotiedostojen käsittelijä ja otosrajojen etsijä. Lisäksi kerrotaan empiirisistä kokeista, joilla järjestelmän suorituskykyä tutkittiin. Järjestelmän kokonaistehokkuuden lisäksi kokeissa havainnoitiin sitä, miten trajektori-ikkunoiden ja eri piirteiden käyttö etäisyysmittauksissa vaikutti järjestelmän toimintaan.Description
Supervisor
Oja, ErkkiThesis advisor
Laaksonen, JormaKeywords
content-based information retrieval, sisältöpohjainen informaation haku, self-organizing map, itseorganisoiva kartta, shop boundary detection, otosrajojen etsintä, video processing, videon käsittely