User-centred design of a generative AI tool for online learning instructional design

Thumbnail Image

Files

master_Koskentalo_Miia_2026.pdf (2.39 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Electrical Engineering | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-12-30

Department

Major/Subject

Human-Computer Interaction

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences
Tieto-, tietoliikenne- ja informaatiotekniikan maisteriohjelma
Magisterprogrammet i data-, informations- och kommunikationsteknik

Language

en

Pages

104

Series

Abstract

The field of instructional design (ID) is undergoing a rapid transformation driven by the integration of Generative Artificial Intelligence (GenAI). GenAI offers unprecedented opportunities to facilitate or automate time-consuming tasks such as ideating and content creation, allowing instructional designers to focus on highlevel human judgment and quality assurance. However, its responsible and effective integration into online learning systems remains a challenge, requiring alignment with instructional designers’ workflows and practices, as well as the mitigation of ethical concerns such as data security and privacy, poor contextual awareness and hallucinations. This thesis applies a User-Centred Design (UCD) approach to develop a Gen AI tool that supports instructional designers in creating online learning modules within an existing content creation environment. The tool is specifically designed to align with the cyclical ADDIE (analysis, design, development, implementation and evaluation) ID framework to support users exiting workflows. The UCD process involved identifying context of use and user requirements, derived from interviews, and translating them into the tool’s design principles and solutions. The design solutions were then iteratively evaluated through two rounds of usability tests. Preliminary evaluation indicates the tool’s functional robustness and excellent usability, achieving a System Usability Scale -score of 89, considered “Best Imaginable”. Iterative improvements implemented in the tool suggest a successful elimination of initial content quality issues, resulting in significantly improved accuracy and high user satisfaction regarding contextually relevant and pedagogical outputs. However, achieving this high-quality output introduced a performance trade-off, with the mean module generation time increasing significantly and creating a technical efficiency bottleneck. Future work is essential to address the efficiency bottleneck through technical solutions and to transition toward bi-directional workflows that fully support the iterative ADDIE cycle and the non-linear workflows utilized by users.

Koulutussuunnittelun ala on parhaillaan nopeassa muutoksessa generatiivisten tekoälytyökalujen integraation myötä. Generatiivinen tekoäly tarjoaa ennennäkemättömiä mahdollisuuksia tehostaa tai automatisoida aikaa vieviä tehtäviä, kuten ideointia ja sisällöntuotantoa, mikä antaa koulutussuunnittelijoille mahdollisuuden keskittyä ihmisen harkintaa vaativiin tehtäviin ja laadun varmistukseen. Tekoälyn vastuullinen ja tehokas integroiminen verkkokoulutusjärjestelmiin on kuitenkin haastavaa ja edellyttää sopeuttamista koulutussuunnittelijoiden työnkulkuihin ja käytäntöihin, sekä eettisten ongelmien, kuten tietoturvan ja yksityisyydensuojan, kontekstuaalisen ymmärtämisen puutteen ja hallusinaatioiden huomioimista. Tässä diplomityössä sovelletaan käyttäjäkeskeistä suunnittelua generatiivisen tekoälytyökalun kehittämiseen, joka tukee koulutussuunnittelijoita verkkokurssimoduulien luomisessa osana olemassa olevaa sisällöntuotantoympäristöä. Työkalu on suunniteltu noudattamaan syklistä ADDIE (analyysi, suunnittelu, kehitys, toteutus ja arviointi) koulutussuunnittelu-mallia tukeakseen käyttäjien olemassa olevia työnkulkuja. Käyttäjäkeskeinen suunnitteluprosessi sisälsi käyttökontekstin ja käyttäjävaatimusten määrittelyn sekä niiden muuntamisen työkalun suunnitteluperiaatteiksi ja ratkaisuiksi. Suunnitteluratkaisuja arvioitiin iteratiivisesti kahdella käytettävyystestikierroksella. Alustava arviointi tuotti näyttöä työkalun toiminnallisesta luotettavuudesta ja erinomaisesta käytettävyydestä; työkalu saavutti System Usability Scale -mittaristolla pistemäärän 89, joka vastaa ”parasta mahdollista”. Työkaluun toteutetut iteratiiviset kehitykset viittaavat sisällön alkuperäisten laatuongelmien vähentymiseen, mikä johti parempaan tarkkuuteen sekä korkeaan käyttäjätyytyväisyyteen kontekstuaalisesti relevanttien ja pedagogisten tuotosten osalta. Korkealaatuisen sisällön saavuttaminen aiheutti kuitenkin suorituskyvyn laskun: moduulien keskimääräinen generointiaika nousi merkittävästi, mikä muodosti teknisen tehokkuuden pullonkaulan. Jatkokehitys on olennaista tehokkuuden optimoimiseksi teknisten ratkaisujen avulla sekä kaksisuuntaisen työkulkujen mahdollistamiseksi, jotta työkalu tukee täysin iteratiivista ADDIE-sykliä sekä käyttäjien epälineaarisia työnkulkuja.

Description

Supervisor

Malmi, Lauri

Thesis advisor

Rasi, Antti

Keywords

instructional design, ADDIE, generative artificial intelligence, large language models, user-centred design, usability

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202601191515

Collections

[dipl] Sähkötekniikan korkeakoulu / ELEC