Security of electronic exams on students' devices

Abstract

Electronic exams (e-exams) are a modern way to assess examinees' performance of a subject. Especially in computer science, e-exams provide significant benefits compared to traditional pen and paper exams. For example, e-exams offer a real-world experience for programming tasks and enable automatic assessment.

In this thesis, we study and compare different approaches to e-exams based on their security and scalability features. To assess different approaches' security, we create a threat model of the generic e-exam system with different trust boundaries for each approach type. We enumerate different threats, i.e., cheating methods, using the STRIDE methodology. We also evaluate which threats are severe to the e-exam system and list mitigation methods against found threats to prevent cheating.

We present our e-exam implementation's client software, ExamOS. It is a hardened operating system with controlling software running on it to secure the system against cheating examinees. We list and describe how the system was built and how it mitigates the found threats. We also discuss the residual threats that are partly or entirely impossible to mitigate.

Finally, we conclude the thesis and note that our implementation was done with the information we had when we started the project. During the implementation and testing period, ExamOS matured to a state where it could be used in large examinations, even though the examinees needed more technical assistance than we had assumed. The diversity of e-exam implementations with different approaches is caused because of the fact that there is no single best approach for all use cases.

Sähköinen tenttiminen on moderni tapa mitata opiskelijan osaamistasoa. Se on perinteistä paperitenttiä parempi tapa osoittaa varsinkin tietotekniikan alan osaamista, koska se mahdollistaa samojen ohjelmointityökalujen käytön, mitä opiskelija on käyttänyt todennäköisesti jo kurssilla harjoituksia tehdessään. Tämän lisäksi sähköinen tentti mahdollistaa vastausten automaattisen arvioinnin.

Tämä työ tutkii ja vertailee sähköisen tentin eri toteutustapoja niiden tietoturvan ja skaalautuvuuden kannalta. Työssä toteutetaan uhkamallinnus STRIDE-metodologiaa käyttäen. Uhkamallinnuksella arvioidaan eri toteutustapojen tietoturvatasot sekä toteutuksiin kohdistuvat mahdolliset uhat eli huijaustavat. Työssä arvioidaan yksittäisten uhkien vakavuus jokaiselle toteutustavalle, ja määritetään mahdollisia ratkaisuja uhille, jotta tenteissä ei voitaisi huijata.

Työssä esitellään ExamOS, joka on sähköisen tenttimisratkaisumme asiakasohjelma. ExamOS on ohjelmistollisesti tietoturvavahvistettu käyttöjärjestelmä, joka ottaa tentin tekijän tietokoneen tentin ajaksi kontrolliin huijauksen estämiseksi. ExamOS-järjestelmän toimintaperiaatteet sekä siinä käytetyt huijauksenestoratkaisut havainnollistetaan. Työ käy myös läpi jäännösuhat ja määrittää niiden relevanttiuden ja vakavuuden ExamOS-järjestelmässä.

ExamOS toteutettiin niillä tiedoilla ja tarpeilla, jotka olivat saatavilla projektin alkaessa. Työssä todetaan, että projektin aikana ExamOS kehittyi suurissa tenteissä käytettäväksi ratkaisuksi, vaikkakin sen käytön havaittiin vaativan enemmän teknistä avustusta kuin etukäteen oli odotettu. Sähköisen tenttimisen toteutuksia on suuri kirjo, koska mikään yksittäisistä toteutuksista ei sovi kaikkiin mahdollisiin käyttötarkoituksiin.