Computationally clarifying user intent for improved question answering
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2022-01-24
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
43 + 8
Series
Abstract
Chatbots have become a standard feature of modern websites and other digital services. Although they are able to perform many basic functions, they still lack essential features of human interaction. One of them being the ability to use domain knowledge and information about the conversation history to infer the user's meaning. This is often replaced by simply asking for the user to rephrase their message. This thesis explores the possibility of improving this functionality by adding domain knowledge to the chatbot via ontologies. The goal of the implementation is to improve the chatbot's abilities to recommend related articles and data using the information from the ontology, allowing the user to find the knowledge they were looking for even if the chatbot was unable to find the correct answer at first. Ontologies are graph presentations that detail a part of a language or some specific domain. In this thesis an ontology describing the field of computer science (Computer Science Ontology) is integrated into a chatbot system built to answer technical questions about the Ubuntu operating system. This chatbot is built using Rasa, an open source framework for building machine learning powered dialogue systems. Rasa's existing features are extended with a custom implementation for handling low-confidence user inputs. These inputs are analyzed and the relevant entities found from the message are used to query the aforementioned ontology for related terms. These are then formatted into follow-up messages and sent back to the user. This implementation was evaluated by a test group consisting of 20 people. The results of this user evaluation do not show a significant change when compared to the same groups evaluation of the baseline model. The main cause for this seems to be the ontology used, which doesn't cover the Ubuntu domain well enough for the recommendations to be relevant. The implementation built is able to retrieve the related entities from the ontology, but further research is required to discover the actual performance of the implementation.Chatboteista on lyhyessä ajassa tullut perusominaisuus moderneilla nettisivuilla sekä muissa digitaalisissa palveluissa. Ne pystyvät hoitamaan yksinkertaiset tehtävät ja interaktiotilanteet hyvin, mutta useita ihmismäisen vuorovaikutuksen piirteitä yhä puuttuu. Yksi näistä on toimialaan liittyvän terminologian ja keskusteluhistorian hyödyntäminen. Tämän tilalla on usein yksinkertainen kehotus kysyä joku toinen kysymys. Tämän tutkielman tavoitteena on selvittää, voisiko chatbottien toiminnallisuutta tällä saralla parantaa lisäämällä niiden alakohtaista tietoa ontologioiden avulla. Ontologiat ovat graafikuvauksia kielien ja toimialojen rakenteesta. Implementaatio hyödyntää erästä tällaista ontologiaa koittaen sen avulla jatkaa keskustelua ja vastata alkuperäiseen kysymykseen, vaikka chatbotin perustoiminnot eivät olisi siihen pystyneet. Tässä tutkielmassa käytetty ontologia, Computer Science Ontology, kuvaa tietotekniikan kenttää kokonaisuutena. Se integroitiin chatbottiin, joka on rakennettu vastaamaan Ubuntu-käyttöjärjestelmään liittyviin kysymyksiin. Tämän chatbotin kehitykseen on käytetty Rasa-kehikkoa, joka mahdollistaa tekoälypohjaisten chatbottien kehityksen. Käyttäjien kysymykset, jotka jäävät ilman vastausta analysoidaan ja merkittävistä termeistä muodostetaan ontologiakyselyt. Näiden kyselyjen tuloksista muotoillaan käyttäjälle näytettävät jatkoviestit, jotka pyrkivät vastaamaan heidän alkuperäisiin kysymyksiinsä. Tutkielman implementaatiota evaluoi 20 hengen testiryhmä. Tämän käyttäjätestin tulokset eivät merkittävästi eroa toteutuksen pohjana toimineen mallin tuloksista. Suurin syy tähän vaikuttaa olleen käytössä ollut ontologia, joka ei kattanut Ubuntuun liittyvää terminologiaa riittävän hyvin, jolloin muodostetut vastaukset jäivät epärelevanteiksi. Implementaation oikean potentiaalin selvittäminen vaatii jatkotutkimusta ja toteutuksen vientiä tilanteeseen, jossa ontologia kattaa lähtödatan paremmin.Description
Supervisor
Kurimo, MikkoThesis advisor
Leinonen, JuhoHaapavuo, Jeri
Keywords
natural language understanding, ontology, chatbot, natural language processing