Extending speeded up robust features for video stitching

Thumbnail Image

Files

master_Halonen_Eemil_2025.pdf (6.87 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-06-13

Department

Major/Subject

Mathematics

Mcode

Degree programme

Master's Programme in Mathematics and Operations Research

Language

en

Pages

64

Series

Abstract

Combining multiple image frames from different viewpoints offers a practical possibility for creating larger panoramic views with simple device setups. Feature-based image stitching methods, such as Speeded Up Robust Feature (SURF), provide an efficient approach for finding image features used in the stitching process. The features are rotation, translation and illuminance invariant and their locations are used to compute the transformation between the image frames. The transformation called homography enables the warping of image frames into the same plane, constructing the panorama image. This thesis examines the SURF method and expands the image stitching process into a simple video stitching for a static setup of two consumer-grade cameras. The best possible homography is estimated from the SURF descriptors, by matching with Nearest Neighbor Distance Ratio (NN-DR) and using Random Sample Consensus (RANSAC) for homography specified outlier reduction. In the video stitching process, the update frequency of the homography is tested by recomputing it at different time intervals. The performance of the proposed approach was examined through error metrics such as Mean Euclidean Distance (MED), Mean Squared Error (MSE), Structural Similarity Index (SSIM) and pixel variance (Var). The results indicated that, even with a reasonably fixed setup, a single homography is not optimal, and updating it regularly could be a better approach. The results also demonstrated the trade-off between computational efficiency and more frequent homography computation for increased accuracy. In conclusion, traditional image stitching methods can be applied to video data, however the best performance is achieved with an optimized pipeline and creative computational solutions.

Eri kuvakulmissa otettujen valokuvien yhdistäminen tarjoaa käytännöllisen tavan luoda laajoja panoraamakuvia käyttäen yksinkertaisia laitteita. Kuvien piirteitä vertailemalla pyritään tunnistamaan niiden vastinpisteet. Esimerkiksi, Speeded Up Robust Features (SURF) menetelmä on tehokas tunnistamaan piirteitä tavalla, jolla ne säilyvät invariantteina rotaatiolle, siirtymälle sekä valaistukselle. Vastinpisteiden avulla voidaan laskea homografia, eli kuvatasojen välinen muunnos, jota käytetään valokuvien projisoimiseen samalle tasolle. Tässä työssä tutkitaan SURF-menetelmää ja laajennetaan sen mahdollistamaa tehokasta kuvienyhdistämisprosessia yksinkertaiseksi videoiden yhdistämismenetelmäksi. Työssä pyritään yhdistämään kahden kuluttajatason kameran videokuvat yhdeksi laajakuvaksi, soveltaen kuvien yhdistämiseen tarkoitettua menetelmää. Yhdistämisessä käytetään Random Sample Consensus (RANSAC) -algoritmia, jonka avulla kuvien piirteitä tulkitsevat SURF kuvaukset voidaan rajata vastinpistepareihin, jotka tuottavat parhaimman mahdollisen homografian. Videoita yhdistettäessä homografian päivitystiheys on olennainen tekijä myös kiinteille kamerasysteemeille, jota työssä myös tutkitaan. Ehodotetun videoiden yhdistämismenetelmän suorituskykyä arvioidaan virhemetriikoilla, kuten keskimääräisellä euklidisella etäisyydellä (MED), keskimääräisellä neliövirheellä (MSE), rakenteellisella samankaltaisuusindeksillä (SSIM) ja haamuvarianssilla. Tulokset osoittivat, että vaikka mittausasetelma olisi kiinteä, eivätkä kamerat pääsisi liikkumaan toisiinsa nähden, yksittäinen homografia ei ole optimaalinen ja sen säännöllinen päivittäminen on parempi lähestymistapa. Tuloksien perusteella voidaan todeta, että perinteisiä kuvien yhdistämismenetelmiä voidaan soveltaa videodataan, mutta tasapainottelu laskennallisen tehokkuuden ja suuremman päivitystaajuden välillä on haastavaa. Yhteenvetona, voidaan todeta, että paras suorituskyky saavutetaan optimoidulla prosessilla ja luovilla laskennallisilla ratkaisuilla.

Description

Supervisor

Hannukainen, Antti

Keywords

computer vision, image stitching, video stitching, homography, projective geometry, SURF

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202508196450

Collections

[dipl] Perustieteiden korkeakoulu / SCI