Understanding student behaviors when learning online materials using fine-grained browsing data

Abstract

Many institutions in the higher education sector now propose courses fully available through interactive web pages. The rise of such courses encouraged multiple research endeavors to leverage data that can be automatically collected from these courses to study how students learn in online contexts. The subject of our work comes from the observation that there is a knowledge gap about the specific details of how students navigate courses available through web pages. This study thus illustrates how analyzing fine-grained data about students' browsing can improve our understanding of how they learn online courses. We show that such analysis can shed light on fundamental aspects of students' learning processes, mainly what knowledge they acquire and how they acquire it. For that purpose, we collected data from an introductory programming course given at Aalto University. We also created an interpretable model that defines students' browsing as a sequence of two simple actions: reading and moving. We specialized these two actions further by leveraging our previous knowledge about students' behaviors and the structure of the course studied. The model also introduces several new concepts such as ordering and position of material elements and distance traveled. We then computed several statistics related to different dimensions of the model and which leverage the new concepts introduced. Using the computed statistics, we predicted students dropping out of the course. Our results show that: (1) analyzing the distribution and the relationship between these statistics gives significant insights into students' relationship with the course, and (2) allows us to predict at least 80 percent of students dropping out of the course during the first weeks with a minimum of 82 percent accuracy. Our findings imply that the way students navigate an online course is predictive of their interest in the course and suggest that further research in this area is necessary.

Monet korkea-asteen oppilaitokset ehdottavat nyt kursseja, jotka ovat täysin saatavilla interaktiivisilla verkkosivuilla. Tällaisten kurssien nousu rohkaisi useita tutkimuspyrkimyksiä hyödyntää tietoja, jotka voidaan automaattisesti kerätä näiltä kursseilta tutkiakseen, miten opiskelijat oppivat online-yhteyksissä. Työmme aihe tulee havainnosta, jonka mukaan on olemassa aukkoja siitä, miten opiskelijat liikkuvat verkkosivujen kautta saatavilla olevilla kursseilla. Tämä tutkimus havainnollistaa näin, kuinka opiskelijoiden selaamista koskevien hienorakeisten tietojen analysointi voi parantaa ymmärrystämme siitä, miten he oppivat verkkokursseja. Osoitamme, että tällainen analyysi voi valaista opiskelijoiden oppimisprosessien perusnäkökohtia, lähinnä mitä tietoa he hankkivat ja miten he hankkivat sen. Tätä varten keräsimme tietoja Aalto -yliopiston ohjelmointikurssilta. Loimme myös tulkittavan mallin, joka määrittelee oppilaiden selaamisen kahden yksinkertaisen toiminnon sarjana: lukeminen ja liikkuminen. Erikoistimme nämä kaksi toimintaa edelleen hyödyntämällä aiempaa tietämystämme opiskelijoiden käyttäytymisestä ja opiskellun kurssin rakenteesta. Malli esittelee myös useita uusia käsitteitä, kuten materiaalielementtien järjestyksen ja sijainnin sekä ajetun matkan. Laskimme sitten useita tilastoja, jotka liittyivät mallin eri ulottuvuuksiin ja jotka hyödynsivät käyttöön otettuja uusia käsitteitä. Laskettujen tilastojen avulla ennakoimme opiskelijoiden keskeyttävän kurssin. Tuloksemme osoittavat, että: (1) näiden tilastojen jakauman ja suhteen analysointi antaa merkittävän käsityksen opiskelijoiden suhteesta kurssiin ja (2) antaa meille mahdollisuuden ennustaa vähintään 80 prosenttia opiskelijoista, jotka jättävät kurssin pois ensimmäisen kurssin aikana viikkoa vähintään 82 prosentin tarkkuudella. Tuloksemme viittaavat siihen, että tapa, jolla opiskelijat navigoivat verkkokurssilla, ennustaa heidän kiinnostuksensa kurssia kohtaan ja ehdottaa, että lisätutkimuksia tällä alalla tarvitaan.