Creating, Tailoring, and Distributing Program Animations - Supporting the Production Process of Interactive Learning Content

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2017-09-22

Date

2017

Major/Subject

Mcode

Degree programme

Language

en

Pages

157 + app. 117

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 142/2017

Abstract

Modern web technologies have enabled new ways of producing interactive learning content. This content can be embedded into course materials on the web. Still the process to produce and distribute online activities is challenging for instructors. In this thesis, we introduce three new systems to support the process of producing learning content, distributing it, and letting instructors customize the content to their particular teaching goals and contexts. More specifically, we explore the topic in the domain of computer science education. We use program animations as a central theme. In addition to describing the technical aspects, we report preliminary results from CS1 courses which have used these systems to provide interactive content for learners. The first part of the thesis presents the Jsvee library for creating program animations which gives a visual representation of a notional machine and shows how the program state changes when a program is executed step-by-step. Animations are aimed at novice programmers who are learning the execution model. The library supports expression-level visualization, and because of its extensibility, it can support programming language specific visualizations. In addition to the technical discussion, we present preliminary results how learners in two different CS1 courses used the animations made with Jsvee. We use automatically collected log files as a primary data source to analyze the usage. Although learners did not receive any points, over 80% of novices voluntary viewed animations throughout the CS1 course which tightly integrated over 50 animations with other course materials. The second part introduces Acos server for hosting and distributing reusable online learning content. We describe a new way to reduce the workload of developers by separating the content and the required communication between the content and learning management systems (LMS). Acos acts as a proxy which provides a uniform interface for the content but can use different interoperability protocols to communicate with the LMSs. In this way, the same content can be used with multiple LMSs, and the developer does not have to know which interoperability protocol is in use between Acos and the LMS. Acos has been successfully used to provide interactive content for CS1 courses, and the initial feedback from developers is promising. The third part presents the Kelmu toolkit to tailor existing interactive animations. The animations are typically generic and often automatically produced. By using Kelmu, instructors can add, for example, textual explanations on top of the original animation to emphasize the integral parts of the animation and give explanations which are important in the instructor's pedagogical context. This kind of signaling is supported by multimedia learning principles to enhance learning. Log data and eye-tracking traces give preliminary results that learners read annotations and pay more attention when annotations are present.

Modernit web-teknologiat ovat luoneet uusia tapoja tuottaa interaktiivista oppimissisältöä, jolloin sisältöä voidaan upottaa osaksi kurssin verkossa olevia oppimateriaaleja. Tästä huolimatta menetelmät verkkopohjaisten oppimateriaalien tuottamiseksi ovat opettajille hankalia. Tässä väitöskirjassa esitellään kolme uutta järjestelmää verkkopohjaisten oppimissisältöjen tuottamiseksi, jakamiseksi ja niiden räätälöimiseksi, jotta materiaaliin voidaan liittää oppimistavoitteita vastaava pedagoginen sisältö. Erityisesti väitöskirjassa keskitytään tietotekniikan aihepiiriin, ja ohjelman suoritusta kuvaavat animaatiot ovat keskeinen esimerkki läpi väitöskirjan. Teknisen toteutuksen lisäksi väitöskirja esittelee alustavia tuloksia ohjelmoinnin peruskursseilta, joilla järjestelmiä on käytetty interaktiivisen sisällön tuomiseksi osaksi kursseja. Väitöskirjan ensimmäinen osa esittelee suoritusanimaatioiden tekemiseen luodun Jsvee-kirjaston, jolla luodut animaatiot esittävät vaihe vaiheelta, miten ohjelman tila muuttuu suorituksen edetessä. Animaatiot on suunnattu erityisesti aloitteleville ohjelmoijille. Kirjasto tukee lauseketason visualisointia, ja koska kirjastoa on mahdollista laajentaa, se tukee myös ohjelmointikielikohtaisten ominaisuuksien toteuttamista. Osassa esitetään myös alustavia tuloksia, kuinka opiskelijat automaattisesti kerättyjen lokitietojen perusteella käyttivät kahdella ohjelmointikurssilla Jsvee:llä toteutettuja animaatioita. Yli 80 % aloittelijoista käytti animaatioita vapaaehtoisesti läpi koko kurssin, johon yli 50 animaatiota oli integroitu tiiviisti muun sisällön kanssa. Toinen osa esittelee Acos-palvelimen verkkopohjaisen oppimateriaalin jakeluun. Osassa kuvataan uusi tapa, jolla kehittäjien työtä oppimateriaalin integroimiseksi osaksi erilaisia oppimisympäristöjä voidaan vähentää. Palvelin toimii eräänlaisena välittäjänä, joka tarjoaa kehittäjälle protokollariippumattoman tavan viestiä oppimisympäristön kanssa. Näin samaa sisältöä voidaan käyttää eri protokollia käyttävien oppimisympäristöjen kanssa, eikä kehittäjän tarvitse välittää, mikä protokolla on minkäkin ympäristön kanssa käytössä. Acos-palvelinta on käytetty interaktiivisen sisällön tarjoamiseen useilla ohjelmoinnin peruskursseilla, ja kehittäjiltä saatu alustava palaute palvelimen hyödyistä on lupaavaa. Kolmas osa esittelee Kelmu-työkalun, jonka avulla voi räätälöidä olemassa olevia interaktiivisia animaatioita. Geneeriset automaattisesti luodut animaatiot eivät korosta pedagogista sisältöä, mutta Kelmun avulla opettaja voi lisätä esimerkiksi selitetekstejä haluamiinsa animaatioaskeleihin korostamaan askeleiden merkitystä oppimisen kannalta. Tällainen korostus tukee multimediaoppimisen teorioita, jotka tehostavat oppimista. Kerätyt lokitiedot sekä silmänliiketutkimuksen aineisto antaa alustavia tuloksia, että opiskelijat lukevat korostettuja selitetekstejä sekä keskittyvät enemmän animaatioon, kun korostukset ovat käytössä.

Description

Supervising professor

Malmi, Lauri, Prof., Aalto University, Department of Computer Science, Finland

Thesis advisor

Sorva, Juha, Dr., Aalto University, Department of Computer Science, Finland

Keywords

program animation, program visualization, expression-level visualization, tailoring, distributing, online learning activities, suoritusanimaatiot, lauseketason visualisointi, räätälöinti, jakelu, verkkopohjainen oppimissisältö

Other note

Parts

  • [Publication 1]: Teemu Sirkiä. Exploring Expression-level Program Visualization in CS1. In Proceedings of the 14th Koli Calling International Conference on Computing Education Research, ACM, New York, NY, USA, pages 153–157, November 2014.
    DOI: 10.1145/2674683.2674687 View at publisher
  • [Publication 2]: Teemu Sirkiä. Jsvee & Kelmu: Creating and Tailoring Program Animations for Computing Education. Submitted and under revision for Journal of Software: Evolution and Process, 2017.
  • [Publication 3]: Teemu Sirkiä and Juha Sorva. How Do Students Use Program Visualizations within an Interactive Ebook?. In Proceedings of the eleventh annual International Conference on International Computing Education Research, ACM, New York, NY, USA, pages 179–188, August 2015.
    DOI: 10.1145/2787622.2787719 View at publisher
  • [Publication 4]: Roya Hosseini, Teemu Sirkiä, Julio Guerra, Peter Brusilovsky and Lauri Malmi. Animated Examples as Practice Content in a Java Programming Course. In Proceedings of the 47th ACM Technical Symposium on Computing Science Education, ACM, New York, NY, USA, pages 540–545, March 2016.
    DOI: 10.1145/2839509.2844639 View at publisher
  • [Publication 5]: Peter Brusilovsky, Stephen Edwards, Amruth Kumar, Lauri Malmi, Luciana Benotti, Duane Buck, Petri Ihantola, Rikki Prince, Teemu Sirkiä, Sergey Sosnovsky, Jaime Urquiza, Arto Vihavainen and Michael Wollowski. Increasing Adoption of Smart Learning Content for Computer Science Education. In Proceedings of the Working Group Reports of the 2014 on Innovation & Technology in Computer Science Education Conference , ACM, New York, NY, USA, pages 31–57, June 2014.
    DOI: 10.1145/2713609.2713611 View at publisher
  • [Publication 6]: Teemu Sirkiä and Lassi Haaranen. Improving Online Learning Activity Interoperability with Acos Server. Accepted for publication in Software: Practice and Experience, pages pp. 1–20 2017.
    DOI: 10.1002/spe.2492 View at publisher
  • [Publication 7]: Teemu Sirkiä and Juha Sorva. Tailoring Animations of Example Programs. In Proceedings of the 15th Koli Calling Conference on Computing Education Research, ACM, New York, NY, USA, pages 147–151, November 2015.
    DOI: 10.1145/2828959.2828965 View at publisher

Citation