Human abilities to perceive, understand, and manage multi-dimensional information with visualizations

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2012-04-27
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2012
Major/Subject
Mcode
Degree programme
Language
en
Pages
175
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 30/2012
Abstract
Visualizations facilitate presenting information in a form adapted to human visual system. The thesis defines this adapting more precisely with a framework of human-visualization interaction. Human capacity limits are used to identify critical subtasks in interaction that specify whether the data quantities and complexity of relations are understandable. In reality, use context and personal characteristics also impact understanding. The framework identifies commonalities of human processing in context of large quantities of multi-dimensional data. The novel extension is to identify multi-dimensionality from tasks of ordinary people, such as shopping or voting. According to the hypothesis ordinary people can also understand more complex information with the help of visualized dimension-reduction algorithms (e.g., MDS or SOM). Such context and haste give prominence to perceptual and cognitive processes, the critical subtasks, and the related visual parameters. Unfortunately, the interactive effects of the related parameters on performance cannot be predicted with real applications, and thus applied studies are needed. The proposed multi-disciplinary framework is based on reviewing empirical findings about humans. First, cognitive science about human concept formation is used to provide indications about how to pre-processes data into more readily understandable form. Second, vision research, experimental psychology, and neuroscience are used to explain the interaction, when information is received through vision and the input is influenced through gaze shifts and manual operations. Third, findings are reviewed about conditions, in which processing is likely to be externalized to visualization or tool as opposed to being performed by human mind. The framework is then applied for psychophysically controlled reaction time and eye movement experiments based on selective review of methods and critical visual parameters in research of visual searching. The evaluated tasks, searching and integrating, were chosen based on both behavioral studies with visualizations and implications of the framework. The ordinary people interacting with visualizations were evaluated indirectly from the popularity, feedback, and observations during two Finnish elections. The framework led to three suggested principles. First, externalizing memory tasks and information processing to visualizations reduces mental load. Second, relations of dimensions can be uncovered by perceiving consequences of own manual actions. Third, peripheral vision is suitable for representing coarse outlines, for instance depicting dimension reduction. Facilitating rapid gaze shifts is important for all of these principles.

Visualisoinnit mahdollistavat informaation esittämisen näköjärjestelmää laajasti hyödyntävässä muodossa kuvina. Väitöskirjassa määritellään näköjärjestelmän hyödyntämistä aiempaa täsmällisemmin ihmisen ja visualisoinnin vuorovaikutuksen viitekehyksen avulla. Ihmisen suorituskyvyn rajoitteita tarkastellaan kriittisissä osatehtävissä aineiston kasvaessa ja sen sisäisten yhteyksien monimutkaistuessa. Todellisuudessa ymmärryskykyyn vaikuttavat myös aiheyhteys ja ihmisten erityispiirteet. Viitekehys kuvaa ihmisille yhteisiä tiedonkäsittelyn piirteitä suurien ja moniulotteisten aineistojen yhteydessä. Erityisesti tarkastellaan tavallisten ihmisten kohtaamaa moniulotteisuutta esimerkiksi ostotilanteissa tai äänestettäessä. Esitetyn hypoteesin mukaan myös he voivat hyötyä ulottuvuuksien redusoinnista (esim. MDS tai SOM). Nämä olosuhteet ja kiire korostavat havaitsemisen ja kognition kannalta kriittisten osatehtävien ja visuaalisten ominaisuuksien merkitystä. Näiden visuaalisten ominaisuuksien yhteisvaikutuksia suoriutumiseen ei valitettavasti voida kuitenkaan ennustaa tarkasti todellisissa sovelluksissa, ja siksi tarvitaankin soveltavaa tutkimusta. Esitetty viitekehys perustuu poikkitieteellisen ihmistutkimuksen katsauksiin. Ensiksi, käsitteenmuodostukseen syventyvää kognitiotiedettä sovelletaan aineiston esikäsittelemiseksi ymmärrettävämpään muotoon. Toiseksi, viitekehykseen liittyy näkötutkimusta, kokeellista psykologiaa ja aivotutkimusta, kun informaatiota vastaanotetaan näönvaraisesti ja tähän syötteeseen vaikutetaan silmiä liikuttelemalla ja käsin toimimalla. Kolmanneksi, katsauksessa arvioidaan olosuhteita, joissa toimintoja ulkoistetaan visualisointiin tai työkaluun mielen sisäisten toimintojen sijaan. Lopuksi, viitekehystä sovelletaan reaktioaikoja ja silmänliikkeitä mittaavissa psykofysiikan kokeissa, joiden menetelmät perustuvat valikoituun katsaukseen visuaalisesta hausta ja sen kriittisistä visuaalisista parametreista. Arvioitavat tehtävät, etsiminen ja yhdistely, valittiin visualisointien käytön tutkimusten ja esitetyn viitekehyksen perusteella. Tavallisten ihmisten visualisointien käyttöä arvioitiin epäsuorasti sovelluksen suosion, annetun palautteen ja havaintojen perusteella kaksissa suomalaisissa vaaleissa. Viitekehyksestä johdettiin kolme periaatetta. (i) Muistin ja tiedonkäsittelyn ulkoistaminen visualisointeihin vähentää kognitiivista kuormitusta. (ii) Oman toiminnan seurauksien tarkkailu paljastaa ulottuvuuksien yhteyksiä. (iii) Ääreisnäkö soveltuu aineiston karkeille yleishahmoille, esimerkiksi esittämään ulottuvuuksien reduktiota. Nopean katseen kohdistamisen tukeminen on tärkeää kaikille näille periaatteille.
Description
Supervising professor
Takala, Tapio, Prof.
Thesis advisor
Kojo, Ilpo
Keywords
visualization, multi-dimensional, vision, perception, cognition, eye movements, visualisointi, moniulotteisuus, näkö, havaitseminen, kognitio, silmänliikkeet
Other note
Parts
  • [Publication 1]: Mikko Berg, Mauri Kaipainen, and Ilpo Kojo. 2004. Enhancing usability of the similarity map for more accessible politics. In: Adjunct Proceedings of the 8th ERCIM Workshop on User Interfaces for All (UI4ALL 2004). Palais Eschenbach, Vienna, Austria. 28-29 June 2004. Pages 39-46. © 2004 European Research Consortium for Informatics and Mathematics (ERCIM). By permission.
  • [Publication 2]: Mikko Berg, Topias Marttila, Mauri Kaipainen, and Ilpo Kojo. 2006. Exploring political agendas with advanced visualizations and interface tools. e-Service Journal, volume 4, number 2, pages 47-63. © 2006 Indiana University Press. By permission.
  • [Publication 3]: Mikko Berg, Jan-Hendrik Schleimer, Jaakko Särelä, and Timo Honkela. 2005. Category learning by formation of regions in conceptual spaces. In: Lorenzo Magnani and Riccardo Dossena (editors). Computing, Philosophy and Cognition. Proceedings of the 2nd European Computing and Philosophy Conference (ECAP 2004). Pavia, Italy. 3-5 June 2004. London, United Kingdom. College Publications. Texts in Philosophy, volume 4, pages 381-396. ISBN 1-904987-24-9. © 2005 by authors.
  • [Publication 4]: Mikko Berg. 2008. Katseenliikkeet ja harha terävästi nähdystä näkökentästä. (Eye movements and the delusion of high acuity visual field.) Psykologia, volume 43, number 3/2008, pages 193-204. © 2008 Finnish Psychological Society. By permission.
  • [Publication 5]: Mikko Berg and Ilpo Kojo. 2012. Integrating complex information with object displays: psychophysical evaluation of outlines. Behaviour & Information Technology, volume 31, number 2, pages 155-169. © 2012 Taylor & Francis. By permission.
  • [Publication 6]: Mikko Berg, Ilpo Kojo, and Jari Laarni. 2010. Object displays for identifying multidimensional outliers within a crowded visual periphery. Journal of Visual Communication and Image Representation, volume 21, number 8, pages 880-888. © 2010 Elsevier. By permission.
Citation