Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems

Abstract

The ability to perceive the world with two eyes is called stereoscopic perception. The slightly different viewing positions of the two eyes provide three-dimensional information about their overlapping field of view. To utilize this common human ability technologically, stereoscopic three-dimensional (S3D) systems, for both imaging the real world with cameras and visualization in displays, need to be designed and developed. However, there is limited quantitative knowledge regarding visual performance and viewing experience, and more information is needed to better define the requirements for S3D systems. The overall research question of the dissertation addresses the benefits of stereoscopic functionality and its incorporation into guidelines for the design of stereoscopic systems. In this dissertation, human depth perception through S3D systems is evaluated based on performance measures and viewing experience attributes.

Typically, depth perception through S3D systems is investigated at distances that are within arm's reach; however, we focus primarily on distances from 2 m to 30 m away from the observer, which is called action space. Within the action space, we study the depth perception in augmented reality (AR) and natural scenes. In the visual AR applications, the observer sees virtual objects that are aligned with the surrounding 3D reality in real time. Two types of AR scenes are investigated: augmented objects above the ground plane and behind the wall. For both AR scene types, the added performance of stereoscopic viewing was examined and a novel visualization approach was conceptualized and tested. In the case of natural scenes, the stereoscopic perception was investigated with crowds and typical mobile imaging. In the crowds scene type, we studied the discrimination accuracy in a head counting task. In typical indoor imaging scene types, the viewing experience was evaluated by varying the camera separation. All the experiments were conducted in set-ups constructed from software and hardware components.

The results of the experiments indicate that the benefits of stereoscopic viewing are significant within the chosen scene types. The dissertation contributes three key results that are applicable to stereoscopic systems: 1) a novel visualization approach for augmented reality that involves adding virtual reference objects to the scene; 2) quantifying the performance of stereoscopic perception within the action space for virtual objects that lie above the ground plane or behind the wall and for perceiving crowds; and 3) identifying the effect of the camera separation range on the experience of viewing stereoscopic photographs.

Ihmisen kykyä muodostaa kolmiulotteinen havainto kahdella silmällä kutsutaan stereoskooppiseksi havaitsemiseksi. Kaksi hieman toisistaan poikkeavaa silmien sijaintia mahdollistaa kolmiulotteisen havainnon silmien yhteisestä näkökentästä, mikä on kasvattanut visuaalista suoriutumiskykyä tietyissä tilanteissa. Stereoskooppisen havaitsemisen hyödyntäminen vaatii stereoskooppisesti kolmiulotteisten (S3D) systeemien kehittämistä, mitä varten tarvitaan lisää kvantitatiivista tietämystä ihmisen visuaalisesta suoriutumiskyvystä ja katsomiskokemuksesta S3D-systeemien kanssa. Väitöskirjan tutkimuskysymyksenä on, että kuinka suuret ovat stereoskooppisen toiminnallisuuden tuomat hyödyt ja kuinka niitä voi soveltaa systeemien suunnittelussa. Tässä väitöskirjassa mitataan ihmisen suoriutumiskykyä ja katselukokemusta S3D-systeemien läpi syvyyshavaitsemisen näkökulmasta.

Tyypillisesti stereoskooppista syvyyshavaintoa on tutkittu lyhyillä, käden ulottuvilla olevilla etäisyyksillä. Tässä työssä keskitytään kuitenkin pääsääntöisesti etäisyyksiin, jotka ovat 2 - 30 m etäisyydellä havaitsijasta. Tätä etäisyysaluetta kutsutaan toiminnalliseksi etäisyysalueeksi. Valitut näkymätyypit toiminnallisella etäisyysalueeen sisällä ovat lisätty todellisuus, ihmisjoukot ja tyypilliset mobiilin valokuvauksen näkymät. Lisätyssä todellisuudessa havaitsija näkee näkökentässään virtuaalisia objekteja, jotka ovat sijoitettu todellinen ympäristö huomioiden. Tässä työssä tutkitaan kahta lisätyn todellisuuden näkymätyyppiä: virtuaaliset objektit maatason yläpuolella ja virtuaaliset objektit seinän takana. Syvyyden tarkempaa havaitsemista varten kehitettiin visualisointitapa, jota kokeiltiin valituissa lisätyn todellisuuden näkymätyypeissä. Ihmisjoukkojen tapauksessa tutkittiin stereoskooppisen havaitsemisen hyötyjä. Tyypillisten mobiilikuvauksen näkymien tapauksessa mitattiin katsomiskokemusta. Kaikki väitöskirjan kokeet on tehty koehenkilötestein, joita varten on rakennettu koeympäristöjä ohjelmisto- ja laitteistokomponenteista.

Kokeiden tulokset osoittavat, että stereoskooppisen havaitsemisen tuoma hyöty on hyvin merkittävää valituissa näkymätyypeissä. Väitöskirja tarjoaa kolme päätulosta, jotka ovat sovellettavissa S3D-systeemien kehittämiseen: 1) uuden lisättyyn todellisuuteen kehitetyn visualisointitavan, jossa näkymään lisätään virtuaalisia referenssiobjekteja, 2) stereoskooppisen havaitsemisen tuoman hyödyn kvantifioinnin toiminnallisella etäisyysalueella valituissa lisätyn todellisuuden näkymissä sekä ihmisjoukkonäkymissä ja 3) kameroiden välisen etäisyyden vaikutuksen katselukokemukseen.