Deep Reinforcement Learning in Automated User Interface Testing

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2019-05-06
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
57
Series
Abstract
This thesis introduces deep reinforcement learning methods for finding problems inuser interfaces. To find as many problems as possible the algorithms are trained to efficiently explore the user interface. The thesis proposes a method that takes ascreenshot of the UI as input and outputs what to click next. In this new method, the algorithm learns to explore 4 times as efficiently as a random algorithm and 25% more efficiently than an inexperienced user. The exploration efficiency is almost on par with an experienced user.

Tämä diplomityö esittää deep reinforcement learning menetelmiä ongelmien löytämiseen käyttöliittymissä. Jotta ongelmia löydetään mahdollisimman paljon, algoritmit opetetaan tutkimaan käyttöliittymää tehokkaasti. Diplomityö esittää menetelmän, joka hyödyntää käyttöliittymän näyttökaappausta ja kertoo mitä seuraavaksi klikataan. Tämä uusi menetelmä oppii navigoimaan neljä kertaa yhtä tehokkaasti kuin satunnaisalgoritmi ja 25% tehokkaammin kuin kokematon käyttäjä. Navigoinnin tehokkuus on melkein samalla tasolla kuin kokeneella käyttäjällä.
Description
Supervisor
Jung, Alexander
Thesis advisor
Ylitalo, Jukka
Keywords
deep reinforcement learning, software testing, exploratory testing, machine learning, user interface
Other note
Citation