Comparing user experience between text-based chatbots and chatbots based on interactive components
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Authors
Date
2022-01-24
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
42+5
Series
Abstract
What should chatbot User Interface (UI) look-like and how they should interact with users? Should the chatbot's UI only consist of intelligent conversation with the chatbot? Or, should the UI have mainly interactive components, which user could use to request wanted behavior from the chatbot? To answer these question, in this Thesis A/B testing with two distinct UIs is conducted. Both of the versions complete same task for the user — they report users' working hours to an internal system. Where the UIs differ is in the way users interact with them. First version relies solely on natural language input from the user. The second version introduces interactive components that help user to use the chatbot and also guide the user in the right direction. Users were divided randomly into two groups, one for each UI. Data was collected automatically when users used the versions. Also, survey was sent to collect data that could not be collected automatically. The results indicated that the chatbot with interactive components was preferred of the two. That version had more users that used it regularly, users were more satisfied with it than with the other UI, users found it to be more easy to use, it had better task completion rate, and users faced less problems when using that UI.Millainen chattibottien käyttöliittymän pitäisi olla ja miten chattibottien pitäisi kommunikoida käyttäjien kanssa? Pitäisikö käyttöliittymän koostua pelkästään älyllisestä keskustelusta botin ja käyttäjän välillä? Vai pitäisikö chattibotin käyttää apunaan interaktiivisia komponentteja, joiden avulla käyttäjä voi saada haluamansa vastauksen botilta? Tässä diplomityössä vastataan näihin kysymyksiin A/B-testauksen avulla. Testausta varten kehitettiin kaksi toisistaan eroavaa käyttöliittymää, jotka suorittavat saman tehtävän käyttäjän puolesta — kirjata käyttäjän työtunnit sisäiseen järjestelmään. Ainoa ero käyttöliittymien välillä on siinä, miten käyttäjät vuorovaikuttavat niiden kanssa. Ensimmäisen käyttöliittymän kanssa käyttäjä voi käyttää ainoastaan luonnollista kieltä. Toisen version kanssa valinnat tehdään käyttäen interaktiivisa komponentteja, jotka samalla ohjaavat käyttäjää. Käyttäjät jaettiin satunnaisesti kahteen eri ryhmään, molempien ryhmien saadessa pääsy vain toiseen edellä mainituista käyttöliittymistä. Tietoa, miten käyttäjät käyttivät käyttöliittymiä kerättiin automaattisesti. Kyselylomake lähetettiin myös kaikille työntekijöille saadaksemme lisätietoja aiheista, joita ei voitu kerätä automaattisesti. Tulokset osoittivat, että chattibotti, joka käyttää interaktiivisia komponentteja on suositumpi versio. Sillä versiolla oli enemmän säännöllisiä käyttäjiä, käyttäjät olivat tyytyväisempiä siihen, käyttäjistä se oli helpompi käyttää, se suoriutui tuntien kirjaamisesta paremmalla onnistumisprosentilla, sekä sitä käytettäessä kohdattiin vähemmän ongelmia.Description
Supervisor
Vuorimaa, PetriThesis advisor
Salmi, JuhoKeywords
Chatbots, User Experience, A/B testing, Natural Language Processing, User Interface