Applying Lean Startup Methodology to Develop an Electronic Examination System

Abstract

The digitalization has radically transformed higher education by enabling new learning activities for example on the form of online courses. Programming and simulation assignments have been corner stones of the education for a long time in the field of computer science. However these new teaching methods have not affected exam and to this day the most of the exams in universities are taken in a traditional way, with pen and paper, sitting in a lecture hall.

The goal of this thesis was to study \textbf{how lean startup methodology can support the development of electronic examination system}. Action research approach was utilised in this study. In the current state analysis phase, four teachers were interviewed to understand their process of organising exams. Lean startup methods, tried in this thesis, were setting hypothesis and Minimum Viable Product (MVP). Additionally workshops were organised to elicit input for presented MVPs from teachers. Finally the experience from applied methods were reported.

The MVP was useful throughout the study to communicate complex ideas and to elicit feedback. Setting hypotheses helped when building the second MVP to recognise key assumptions from technical requirements and thus helped to focus on the most important topics. Based on the results of the study the solution for electronic examination system is the exam taken in a lecture hall with student owned devices. The system can be built on four distinct components: students user interface, possibly implemented on top of A+ Learning Management System (LMS), grading interface, interface for teachers to construct exams and OS and other infrastructure to run on laptops.

The results of the study indicate that lean startup methods can be useful in designing electronic examination system. The iterative process and used practices helped in conceptualising and evaluating the complex domain area.

Digitalisaatio on mullistanut korkeakoulutuksen mahdollistamalla täysin uudenlaisia opintosisältöjä muun muassa verkkokurssien muodossa. Tietotekniikan alalla erilaiset ohjelmointiharjoitukset ja simulaatiot ovat pitkään olleet opetuksen kulmakiviä. Kuitenkin nämä uudet opetusmuodot eivät ole vaikuttaneet tentteihin ja suurin osa yliopistotenteistä suoritetaan perinteisin menetelmin, kynällä ja paperilla, kaikki yhtä aikaa luentosalissa istuen.

Tämän diplomityön tarkoituksena oli tutkia \textbf {kuinka lean startup metodologiaa voisi soveltaa sähköisen tenttijärjestelmän kehittämiseen}. Toimintatutkmimuksena toteutetussa tutkimuksessa aluksi haastateltiin opetajia ja muodostettiin kuva, kuinka he järjestävät tenttejä. Interventio-vaiheessa sovellettiin lean startupista omaksuttujen käytänteiden, hypoteesien asettamista sekä pienintä mahdollista tuotetta (MVP). Lisäksi työpajatyöskentelyä hyödynnettiin tiedon keräämisessä. Tutkimuksen jälkeen tärkeimmät opit listattiin.

Lean startup menetelmistä MVP auttoi ongelman jäsentämisessä ja viestimisessä sekä palautteen keräämisessä kohderyhmältä. Hypoteesien asettaminen auttoi järjestelmävaatimusten muotoilussa nimenomaan käyttäjien näkökulmasta sekä keskittymään kaikista keskeisimpiin aiheisiin. Tutkimuksen perusteella luentosalissa järjestetty tentti, jossa opiskelijat käyttävät omia tietokoneitaan on yksinkertaisin tapa tuoda nykyaikaset oppimismenetelmät tenttitilanteeseen. Eri käyttäjäryhmät huomioon ottaen tenttijärjestelmä koostuu neljästä erillisestä alijärjestelmästä: oppilaan näkymä tenttiä tehdessä, tentinlaatimistyökalut, tarkastuksenhallintajärjestelmä sekä laitteisto, käyttöjärjestelmä ja infrastruktuuri.

Tutkimuksen tulokset viittaavat, että lean startupin menetelmät voivat auttaa sähköisen tenttijärjestelmän suunnittelussa. Jatkuva ja vähittäinen kehitysmalli auttoi jäsentämään ja arvioimaan monitahoiselle sovellusalalle suunnattua ratkaisua.