Machine Learning Applications Supporting Large Scale Programming Education

Abstract

Providing effective individualized education at scale has been a widely explored topic in education research, and the advancement of recent machine learning methods have made it possible to develop increasingly effective adaptive and intelligent learning systems. In particular, the emergence of deep learning models, and most recently large language models, has propelled the educational field forward, providing both new challenges and opportunities for educators. This dissertation addresses some of these challenges and opportunities, focusing on machine learning methods as a means to enhance large scale programming education.

We first present methodological considerations for identifying learners at risk of dropping out, and empirical evaluation of modern machine learning approaches for evaluating student mastery of skills. Then, we analyse features that relate to students continuing in a series of open online courses for introductory programming.

Relating to the constant need to produce new learning materials to keep course content relevant in the rapidly evolving landscape of programming and computer science, and the fact that producing such mterials with appropriate quality can be a highly time-consuming task for educators, we propose and evaluate a novel approach that leverages large language models to create learning materials, particularly programming exercises and code explanations, which can be personalized for student needs and interests for increased engagement. The approach shows promising results in generating diverse, coherent, and relevant content. Most of the generated exercises were considered sensible, novel, and adhering to given themes and concepts. Further, we evaluate automatically generated code explanations in real educational settings and show that students tend to rate automatically generated explanations useful for their learning, even higher than those of their peers.

As means to help students, this dissertation looks into improving the timeliness of feedback, a key aspect in the effectiveness of feedback. This is done through proposing a framework that in-cludes a machine learning step for speeding up automated assessment, which consequently speeds up assessment feedback, and constructing annotated datasets of when and how experts provide feedback and hints to learning programmers that can be used as a reference on when and how future machine learning models or other automated methods should provide feedback.

As a whole, the scope of the dissertation encompasses much of the entire educational process, spanning from (1) identifying learners needs and those who would benefit from additional assis-tance, to (2) educators designing content for learning and practice to (3) helping learners through timely and meaningful feedback for learners. The results in this dissertation showcase both methodological issues as well as new avenues for enhancing large scale computing education through machine learning methods.

Oppilaiden yksilöllisten tarpeiden huomioiminen laajamittaisen opetuksen toteuttamisessa on haastava ongelma, jota varten on kehitetty erilaisia tekoälyn avulla toimivia työkaluja ja älykkäita oppimisjärjestelmiä. Viimeaikoina erityisesti syväoppimismallit ja laajat kielimallit ovat vieneet teköälyn kehitystä eteenpäin avaten sekä uusia mahdollisuuksia että haasteita opettajille ja opetuksen kehittäjille. Tässä väitöskirjassa tutkitaan koneoppimismenetelmiä, jotka tarjoavat keinoja laajan mittakaavan ohjelmointikoulutuksen edistämiseen.

Väitöskirjassa käydään ensin läpi menetelmällisiä ongelmia kurssilta putoamisvaarassa olevien oppilaiden tunnistamisessa sekä opiskelijoiden taitojen automaattisessa mallintamisessa, minkä jälkeen tarkastellaan miten erilaiset opiskelijoiden piirteet vaikuttavat heidän jatkamiseensa avoimessa aloittelijatason ohjelmoinnin verkkokurssien sarjassa, joka on suunnattu elinikäisille oppijoille.

Tämän jälkeen, oppimateriaalien kehittämisen tueksi, esittelemme uuden laajoja kielimalleja hyödyntävän menetelmän. Menetelmän avulla voidaan tuottaa opiskelijoiden tarpeiden ja mielenkiinnon mukaan räätälöityjä ohjelmointiharjoitustehtäviä sekä ohjelmakoodin selityksiä.

Lisäksi työssä kehitettiin automaattisesti tuotettuja ohjelmakoodin selityksiä oppimisympäristöihin ja havaitsimme, että opiskelijat pitivät automaattisesti luotuja ohjelmakoodin selityksiä oppimiselleen hyödyllisinä ja arvostelivat ne jopa paremmiksi kuin vertaisopiskelijoiden laatimat selitykset. Lopuksi väitöskirjassa tarkastellaan opiskelijan ohjelmointityöstä annetun palautteen nopeutta.

Ohjelmointitehtävien tarkastamiseen liittyen esittelemme koneoppimista hyödyntävän automaattisen tarkastamisen viitekehyksen, joka nopeuttaa palautteenantamista verrattuna perinteiseen tapaan arvioida ohjelmia automaattisesti. Opiskelijat eivät myöskään aina pyydä apua tai palautetta etenemisestään, vaikka avunpyytäminen olisi tarpeellista. Tähän liittyen laadimme asiantuntijoiden kommentoimia aineistoja, jotka voivat toimia viitteenä koneoppimismalleille tai muille menetelmille siitä, milloin ja miten ohjelmoinnin oppijoille kannattaa antaa palautetta tai vihjeitä heidän ohjelmointitehtävissä etenemisensä perusteella.

Yhteenvetona väitöskirja kattaa koneoppimismenetelmien tutkimusta opetuksen edistämiseen ulottuen (1) opiskelijoiden tarpeiden tunnistamisesta ja lisäavun oikein kohdentamisesta, (2) opettajien sisällöntuottamisen helpottamisesta (3) palautteen antamiseen. Näihin liittyen väitöskirjassa käsitellään sekä menetelmällisiä ongelmia että uusia mahdollisuuksia edistää laajamittaista ohjelmoinnin koulutusta koneoppimismenetelmien avulla.