Assessment of learning in digital learning environments

Abstract

Digital learning (e-learning) has become transformative tool within both educational and corporate sectors. It provides benefits, such as self-paced learning, increased motivation, and cost-effectiveness. Despite these advantages, gaps still do exist in optimising learning outcomes and integrating generative artificial intelligence into educational settings. This thesis studies how ForestBioFacts as an example of a digital learning environment can address these gaps to improve learning effectiveness.

In this thesis, three research objectives were formulated. Firstly, examining the effects and successful implementation of learning outcomes. Secondly, assessing the impact of various question formats on learning. Thirdly, evaluating the role of generative artificial intelligence in enhancing the efficacy of digital learning environments. To fulfil the objectives, a quantitative approach including an online quiz and a post-questionnaire was employed.

The empirical study involved ten participants split into two groups. Group, which received learning outcomes and pre-materials achieved somewhat higher correct response rates compared to a group which only received pre-materials. These findings highlight the importance of well-defined learning outcomes in reducing cognitive load and increasing motivation. Furthermore, the research highlighted a preference for multiple-choice and true or false questions over open-ended questions due to their ease of answering and consistent grading.

Additionally, the implementation of generative artificial intelligence for generating questions demonstrated that artificial intelligence could effortlessly produce quiz questions without detection by participants. Further highlighting its potential to save resources whilst ensuring high question quality.

Given the impactful role of structured learning outcomes and question formats in digital learning environments, and the emerging role of generative artificial intelligence, further research is essential to fully determine their effectiveness in enhancing learning.

Digitaalisesta oppimisesta eli e-oppimisesta on tullut mullistava työkalu sekä koulutus- että yrityssektoreilla. Tarkoituksena on edistää oppimista digitaalisilla oppimistyökaluilla, jotka ovat tunnettuja muun muassa itsenäisen opiskelun mahdollistamisesta, motivaation kasvattamisesta ja sen kustannustehokkuudesta. Eduista huolimatta on yhä puutteita liittyen tutkimustietoon osaamistavoitteiden optimoinnista sekä generatiivisen tekoälyn integroinnista digitaalisiin koulutusympäristöihin. Tässä diplomityössä tutkitaan, miten digitaalisissa oppimisympäristöissä voidaan parantaa oppimisen tehokkuutta hyödyntäen esimerkkitapauksena ForestBioFacts-verkkoympäristöä.

Työssä asetettiin kolme tutkimustavoitetta. Ensimmäisenä oppimistavoitteiden tehokas implementointi, toisena eri kysymysmuotojen vaikutusten arviointi oppimiseen ja viimeisenä generatiivisen tekoälyn roolin arviointi digitaalisten oppimisympäristön tehokkuuden lisäämisessä. Tavoitteiden saavuttamiseksi tutkimuksessa hyödynnettiin kvantitatiivista lähestymistapaa, johon sisältyi verkkokokeen lisäksi jälkikysely.

Empiirisessä tutkimuksessa oli kymmenen osallistujaa, jotka jaettiin kahteen ryhmään. Ensimmäiselle ryhmälle jaettiin esimateriaalien lisäksi osaamistavoitteet ja se saavutti jonkin verran korkeamman määrän oikeita vastauksia verrattuna toiseen ryhmään, jolle jaettiin vain esimateriaalit. Tulokset korostavat osaamistavoitteiden merkitystä kognitiivisen kuormituksen vähentämisessä sekä motivaation lisäämisessä. Lisäksi tutkimuksessa tuli esille monivalintakysymysten ja oikein/väärin kysymysten suosio verrattuna avoimiin kysymyksiin johtuen niiden helppoudesta ja johdonmukaisesta arvioinnista. Lisäksi generatiivisen tekoälyn hyödyntäminen kysymysten muodostamisessa osoitti, että tekoäly voi tuottaa kysymyksiä vaivattomasti ilman, että osallistujat epäilevät tekoälyn käyttöä. Tämä korostaa edelleen sen kykyä säästää resursseja ilman, että kysymysten laatu heikkenee.

Koska strukturoiduilla osaamistavoitteilla ja kysymysmuodoilla on merkittävä rooli digitaalisissa oppimisympäristöissä sekä generatiivisen tekoälyn suosio on kasvussa, on aihetta lisätutkimuksiin. Niillä voidaan perusteellisemmin määrittää osaamistavoitteiden, kysymysmuotojen sekä generatiivisen tekoälyn vaikutusta oppimisen tehostamisessa.