Beyond shape – An exploration in alternative forms for data visualization

Abstract

This thesis explores the topic of alternative forms in data visualization and the ways visualization affects the communication of data it is based on. It does this through the creation of a machine learning based data visualization system prototype.

It examines norms and ideals of data visualization as a set of systems aimed for simplification, situating visualization as a tool with the potential power to affect how we perceive the complexity of the world by either highlighting or obscuring information. It aims to critically highlight these norms by taking an exploratory aim to visualizing information by increasing potential interpretations of a particular set of data instead of reducing them.

Norms prevalent in the field of data visualization are explored, and through this, the concept of alternative is defined. Then the dataset to visualize is defined through an exploration of current discussions around issues of increasing amounts of data, the complexity of the systems producing that data and the interpretations they enforce through the data they produce. Through this, the concept of machine detected human emotions in a text is chosen as a particular example of computational reduction to be explored through the prototype.

In order to counteract this identified reduction in complexity, a system which produces a mapping between visual attributes and detected emotional attributes is proposed. The design of this system utilizes recognized critical design concepts by creating a type of post-optimal object: A visualization that causes more interpretations in its reader than reading the data itself. The process of visualization follows prevalent norms within the field but applies identified forms of alternativeness in order to create ambiguity in the visual artifacts created by the prototype. Machine learning methods are applied through a collaborative process in order to create an artificially intelligent system that automatically analyses the emotional values of a given text, and maps those to a particular set of figures.

Some of the visual artifacts are then tested on a set of users, in order to assess how the visualization might affect the communication of the data it is based on and how it succeeds in increasing interpretational complexity. While not aimed toward conclusive evidence, the result of the test seems to indicate success in increasing interpretational complexity, but a lack of success in communicating the numeric data the visualizations are based on – in this sense leading to the end-result no longer being a functional data visualization, but rather a form of data-driven illustration.

Denna avhandling handlar om alternativa former inom datavisualisering och sätten visualisering påverkar kommunicering av data den byggs utav, genom skapandet av en maskininlärningsbaserad datavisualiseringsprototyp. Genom det, undersöks de ideala normerna inom datavisualisering som fält som en samling konventioner med simplifiering som ändamål. Datavisualisering placeras som ett verktyg med förmågan att ändra hur vi uppfattar världens komplexitet genom att antingen framhäva eller undangömma. Genom att ställa ett explorativt mål – att visualisera data genom att utvidga tolkningar istället för att reducera dem då produceringen av den data som visualiseras är komplext är avsikten att kritiskt examinera dessa normer.

Först undersöks fältets normer och genom detta definieras vad kunde anses som alternativ datavisualisering. Sedan identifieras ett komplext problem som kunde visualiseras genom en utforskning av aktuella synpunkter runt den växande mängden data I världen omkring oss och komplexiteten av de system som producerar detta data. Genom detta väljs maskinbaserad detektion av människokänslor som ett problem där maskinbaserad reduktion kan forskas genom visualisering.

För att motverka reduktionistisk behandling av komplicerade domän, föreslås ett system som producerar översättningar mellan emotionella egenskaper och visuella egenskaper. Konstruktionen av detta system använder sig av kritiska designmetoder genom att bygga ett postoptimalt objekt: En datavisualisering som inte försöker kommunicera data den består utav så klart som möjligt, men istället försöker orsaka en ökande mängd tolkningar i sin läsare. Processen följer de normer som är rådande I fältet, men med ändamålet att orsaka tvetydighet för läsaren. Maskininlärning används för att implementera en kollaborativt framställd översättningsmodell mellan de emotionella och de visuella egenskaperna.

Slutligen testas systemet genom en mätning av effekterna på läsare och på så sätt utvärderas visualiseringens förmåga att öka mängden tolkningar. Undersökningen har inte som mål att ge ett slutligt resultat för funktionaliteten av systemet, men skall fungera som guide för nästa iterationer. Undersökningen verkar visa att de producerade visualiseringarna lyckas i att öka mängden tolkningar för en bild till en nivå som påminner om tolkningarna för text, men lyckas inte att kommunicera känslorna från den lästa texten. Detta gör slutresultatet mer av en data-inspirerad illustration, än en datavisualisering som termen konventionellt används.