Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2014-03-21
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2014
Major/Subject
Mcode
Degree programme
Language
en
Pages
104 + app. 72
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 25/2014
Abstract
The ability to perceive the world with two eyes is called stereoscopic perception. The slightly different viewing positions of the two eyes provide three-dimensional information about their overlapping field of view. To utilize this common human ability technologically, stereoscopic three-dimensional (S3D) systems, for both imaging the real world with cameras and visualization in displays, need to be designed and developed. However, there is limited quantitative knowledge regarding visual performance and viewing experience, and more information is needed to better define the requirements for S3D systems. The overall research question of the dissertation addresses the benefits of stereoscopic functionality and its incorporation into guidelines for the design of stereoscopic systems. In this dissertation, human depth perception through S3D systems is evaluated based on performance measures and viewing experience attributes. Typically, depth perception through S3D systems is investigated at distances that are within arm's reach; however, we focus primarily on distances from 2 m to 30 m away from the observer, which is called action space. Within the action space, we study the depth perception in augmented reality (AR) and natural scenes. In the visual AR applications, the observer sees virtual objects that are aligned with the surrounding 3D reality in real time. Two types of AR scenes are investigated: augmented objects above the ground plane and behind the wall. For both AR scene types, the added performance of stereoscopic viewing was examined and a novel visualization approach was conceptualized and tested. In the case of natural scenes, the stereoscopic perception was investigated with crowds and typical mobile imaging. In the crowds scene type, we studied the discrimination accuracy in a head counting task. In typical indoor imaging scene types, the viewing experience was evaluated by varying the camera separation. All the experiments were conducted in set-ups constructed from software and hardware components. The results of the experiments indicate that the benefits of stereoscopic viewing are significant within the chosen scene types. The dissertation contributes three key results that are applicable to stereoscopic systems: 1) a novel visualization approach for augmented reality that involves adding virtual reference objects to the scene; 2) quantifying the performance of stereoscopic perception within the action space for virtual objects that lie above the ground plane or behind the wall and for perceiving crowds; and 3) identifying the effect of the camera separation range on the experience of viewing stereoscopic photographs.

Ihmisen kykyä muodostaa kolmiulotteinen havainto kahdella silmällä kutsutaan stereoskooppiseksi havaitsemiseksi. Kaksi hieman toisistaan poikkeavaa silmien sijaintia mahdollistaa kolmiulotteisen havainnon silmien yhteisestä näkökentästä, mikä on kasvattanut visuaalista suoriutumiskykyä tietyissä tilanteissa. Stereoskooppisen havaitsemisen hyödyntäminen vaatii stereoskooppisesti kolmiulotteisten (S3D) systeemien kehittämistä, mitä varten tarvitaan lisää kvantitatiivista tietämystä ihmisen visuaalisesta suoriutumiskyvystä ja katsomiskokemuksesta S3D-systeemien kanssa. Väitöskirjan tutkimuskysymyksenä on, että kuinka suuret ovat stereoskooppisen toiminnallisuuden tuomat hyödyt ja kuinka niitä voi soveltaa systeemien suunnittelussa. Tässä väitöskirjassa mitataan ihmisen suoriutumiskykyä ja katselukokemusta S3D-systeemien läpi syvyyshavaitsemisen näkökulmasta. Tyypillisesti stereoskooppista syvyyshavaintoa on tutkittu lyhyillä, käden ulottuvilla olevilla etäisyyksillä. Tässä työssä keskitytään kuitenkin pääsääntöisesti etäisyyksiin, jotka ovat 2 - 30 m etäisyydellä havaitsijasta. Tätä etäisyysaluetta kutsutaan toiminnalliseksi etäisyysalueeksi. Valitut näkymätyypit toiminnallisella etäisyysalueeen sisällä ovat lisätty todellisuus, ihmisjoukot ja tyypilliset mobiilin valokuvauksen näkymät. Lisätyssä todellisuudessa havaitsija näkee näkökentässään virtuaalisia objekteja, jotka ovat sijoitettu todellinen ympäristö huomioiden. Tässä työssä tutkitaan kahta lisätyn todellisuuden näkymätyyppiä: virtuaaliset objektit maatason yläpuolella ja virtuaaliset objektit seinän takana. Syvyyden tarkempaa havaitsemista varten kehitettiin visualisointitapa, jota kokeiltiin valituissa lisätyn todellisuuden näkymätyypeissä. Ihmisjoukkojen tapauksessa tutkittiin stereoskooppisen havaitsemisen hyötyjä. Tyypillisten mobiilikuvauksen näkymien tapauksessa mitattiin katsomiskokemusta. Kaikki väitöskirjan kokeet on tehty koehenkilötestein, joita varten on rakennettu koeympäristöjä ohjelmisto- ja laitteistokomponenteista. Kokeiden tulokset osoittavat, että stereoskooppisen havaitsemisen tuoma hyöty on hyvin merkittävää valituissa näkymätyypeissä. Väitöskirja tarjoaa kolme päätulosta, jotka ovat sovellettavissa S3D-systeemien kehittämiseen: 1) uuden lisättyyn todellisuuteen kehitetyn visualisointitavan, jossa näkymään lisätään virtuaalisia referenssiobjekteja, 2) stereoskooppisen havaitsemisen tuoman hyödyn kvantifioinnin toiminnallisella etäisyysalueella valituissa lisätyn todellisuuden näkymissä sekä ihmisjoukkonäkymissä ja 3) kameroiden välisen etäisyyden vaikutuksen katselukokemukseen.  
Description
Supervising professor
Oittinen, Pirkko, Prof., Aalto University, Department of Media Technology, Finland
Thesis advisor
Häkkinen, Jukka, Dr., Aalto University, Department of Media Technology, Finland
Keywords
depth perception, stereoscopic perception, depth judgment, augmented reality, stereoscopic imaging, stereoscopic visualization, crowd perception, depth cue integration, stereo camera measurement, viewing experience, action space, syvyyshavaitseminen, stereoskooppinen havaitseminen, syvyysarvio, lisätty todellisuus, stereoskooppinen kuvaus, stereoskooppinen visualisointi, ihmisjoukkojen havaitseminen, syvyysvihjeintegraatio, mittaus stereokameralla, katsomiskokemus, toiminnallinen etäisyysalue
Other note
Parts
  • [Publication 1]: Kytö, M., Nuutinen, M., and Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. In SPIE/IS&T Electronic Imaging (vol. 7864), Three-Dimensional Imaging, Interaction, and Measurement, San Francisco, 7864I-1-9, 2011.
  • [Publication 2]: Kytö, M., Mäkinen, A., Tossavainen, T., and Oittinen, P. Stereoscopic Depth Perception in Video See-through Augmented Reality within Action Space. Journal of Electronic Imaging (to be published), 23, 1, 16 pages, 2014.
  • [Publication 3]: Kytö, M., Mäkinen, A., Häkkinen, J., and Oittinen, P. Improving Relative Depth Judgments in Augmented Reality with Auxiliary Augmentations. ACM Transactions on Applied Perception, 10, 1, 6:1-22, 2013.
  • [Publication 4]: Kytö, M., Häkkinen, J., and Oittinen, P. Stereoscopic viewing facilitates the perception of crowds. In IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS), Klagenfurt, 49-53, 2011.
  • [Publication 5]: Kytö, M., Hakala, J., Oittinen, P., and Häkkinen, J. Effect of stereo camera separation on viewing experience of stereoscopic photographs. Journal of Electronic Imaging, 21, 1, 011011-1-9, 2012.
Citation