Supporting Acquisition of Programming Skills in Introductory Programming Education: Environments for Practicing Programming and Recording and Analysis of Exercise Sessions

Abstract

The work in this thesis falls under two themes. First, we have experimented with a number of novel tools to lower the barrier to start practicing programming skills. Specifically, we present experiences on using Python novice environments that reduce the complexity of getting started with practicing programming in the following two ways. First, only a limited set of key functionality is provided in an integrated exercise environment. Second, only web technologies are used to improve portability and ease of access. Additionally, we present experiences on using a special type of program construction exercises, as well as, improvements to the automated feedback provided in these exercises. Finally, we present an application for practicing Python programming on mobile touch devices that is based on these exercises.

As for the second theme, we have carried out automated recording of students' exercise sessions and explored what can be learned from such data. Particularly, we show how to visualize program construction exercise sessions as a graph in order to reveal common patterns and anomalies. We identified two overall patterns of constructing programs: line-by-line and control structures first. We also identified behavior that seems to be indicative of difficulties: backtracking, going in circles, and excessive, trial-and-error use of feedback.

Additionally, we use this type of data to evaluate the effect of different types of feedback in program construction exercises. Students who received execution-based feedback needed on average more steps and took longer to solve an exercise than those who got line-based feedback. On the other hand, execution-based feedback was requested less frequently and the respective code was more commonly executable.

Finally, we make use of automatically recorded data on programming sessions to identify and quantify how students use an interactive Python console, as well as, to study how frequently and which kinds of execution errors they encounter. Students made use of the console both for testing their code and for exploring language features. A variety of error types were observed while only a minority of those accounted for the majority of occurrences. As the key results of this thesis, many of the studied approaches to supporting the acquisition of programming skills have been successfully used on programming courses together with automated recording of exercise sessions that, in turn, has been made use of to identify and quantify common patterns and difficulties for the benefit of teaching and education research.

Väitöskirjan työ jakautuu kahden teeman alle. Ensinnäkin työssä on tutkittu ohjelmoinnin harjoittelun aloittamiskynnyksen madaltamista uudenlaisilla ohjelmatyökaluilla. Työssä esitetään kokemuksia sellaisista aloittelijan Python-ympäristöistä, jotka vähentävät ohjelmoinnin harjoittelun aloittamisen mutkikkuutta seuraavalla kahdella tavalla.Ensinnäkin näissä tarjotaan vain rajallinen määrä avaintoimintoja integroidussa harjoitusympäristössä. Toisekseen näissä käytetään vain web-teknologioita siirrettävyyden ja käytön helpottamiseksi. Lisäksi työssä esitetään kokemuksia uudenlaisten ohjelman rakennustehtävien opetuskäytöstä sekä parannuksia näissä annettavaan automaattiseen palautteeseen. Työssä esitetään myös näihin tehtäviin perustuva sovellus Python-ohjelmoinnin harjoitteluun kosketusnäytöllisillä mobiililaitteilla.

Opiskelijoiden työskentelyä on myös tallennettu automatisoidusti ja tutkittu mitä tällaisesta datasta voi oppia. Työssä näytetään kuinka rakennustehtävien ratkomista voidaan havainnollistaa verkkona, jotta saadaan näkyville yleisiä malleja ja poikkeavuuksia. Työssä tunnistetaan kaksi yleismallia rakentamiselle: rivi kerrallaan ja kontrollirakenteet ensin. Myös vaikeuksiin viittaavaa käyttäytymistä havaittiin: peruuttaminen, ympyrää kiertäminen ja liiallinen, yritys ja erehdys -tyyppinen palautteen käyttö.

Tämäntyyppistä dataa käytetään myös ohjelman rakennustehtävien erityyppisten palautteiden vaikutuksen arviointiin. Opiskelijat, jotka saivat suorituspohjaista palautetta, tarvitsivat keskimäärin enemmän askeleita ja käyttivät enemmän aikaa tehtävän ratkaisemiseen kuin ne, jotka saivat rivipohjaista palautetta. Toisaalta suorituspohjaista palautetta pyydettiin harvemmin ja vastaava ohjelmakoodi oli useammin suoritettavissa.

Ohjelmointiharjoittelusta automatisoidusti tallennettua dataa hyödynnettiin sen tunnistamisessa ja kvantifioinnissa kuinka opiskelijat käyttävät interaktiivista Python-konsolia sekä suoritusvirheiden tutkimisessa. Opiskelijat hyödynsivät konsolia sekä koodinsa testaamiseen että kielen ominaisuuksien tutkimiseen. Vaihtelevia virhetyyppejä havaittiin, mutta pieni joukko yleisimpiä virhetyyppejä kattoi enemmistön esiintymistä.

Väitöskirjan päätulos on, että monia tutkittuja lähestymistapoja ohjelmointitaitojen kehittämisen tukemiseen on onnistuneesti käytetty ohjelmointikursseilla yhdessä automatisoidun työskentelyn tallentamisen kanssa, jota vuorostaan on hyödynnetty yleisten mallien ja vaikeuksien tunnistamisessa sekä kvantifioinnissa opetuksen ja opetustutkimuksen edistämiseksi.