An evaluation assessment of a vowel training system : The Vowel Game

Abstract

Tämän diplomityön tarkoituksena oli selvittää, onko reaaliaikaisella visuaalisella palautteella vaikutusta suomenruotsin /u̶/-vokaalin matkimiseen, ja voiko tämän kaltainen palaute tehdä lausumisesta säännöllisempää. Tutkimuksen kohteena oli Turun Yliopiston Informaatioteknologian laitoksella luotu, Annu Paganuksen toteuttama The Vowel Game -niminen vokaalipeli. Vokaalipeliä testattiin 20 suomalaisella aikuisella, joiden iät vaihtelivat välillä 19-30 vuotta ja joilla ei ollut entuudestaan ruotsinkielistä taustaa koulussa opitun ruotsin lisäksi. Henkilöt jaettiin kahteen ryhmään siten, että molemmissa oli 4 naista ja 6 miestä. Varsinainen testiryhmä hyödynsi Vokaalipelin reaaliaikaista visuaalista palautetta kontrolloiduissa testiolosuhteissa matkiakseen yksittäistä suomenruotsin /u̶/-vokaalia sekä sanaa /hu̶s/ 'hus' (talo). Matkiminen tapahtui tallenteelta kuultujen sekä synteettisten (/u̶/) että luonnollisten (/hu̶s/) mallien perusteella. Verrokkiryhmä matki ainoastaan malleja ilman pelin visuaalista palautetta. Tutkimusten hypoteesina oli olettamus, että visuaalista palautetta saanut testiryhmä kykenisi kohdistamaan imitoimansa vokaalit paremmin Vokaalipelin vokaalikartassa kuin verrokkiryhmä ja sitä kautta oppisi tuottamaan vokaalin säännöllisemmin. Tarkoituksena oli tutkia myös ryhmien keskimääräisten osumapisteiden hajontoja alku- ja lopputilanteissa, sekä tutkia, miten tulokset muuttuivat sekä ryhmien sisällä että ryhmien välillä. Tulosten analyysit osoittivat, että Vokaalipelin tuottama reaaliaikainen visuaalinen palaute auttoi testiryhmää selkeästi tuottamaan suomenruotsin /u̶/-vokaalin säännöllisemmin kuin verrokkiryhmä. Tämä tulos viittaisi siihen, että Vokaalipeliä voitaisiin käyttää työkaluna sekä puheterapiassa että apuvälineenä vieraan kielen opiskelijoille uusien vokaalikategorioiden oppimisessa. Tutkimuksessa esitetään katsaukset myös muutamiin aiempiin vokaalien lausumista opettaviin järjestelmiin sekä formanttianalyysiin ja sen matemaattisiin metodeihin. Lisäksi tutkimus esittää taustatietona perusteoriat puheentuottamisen anatomiasta sekä yleiset käsitykset puheäänten havaitsemisesta ja kategorisoimisesta.

The purpose of this thesis was to study the effects of real-time visual feedback on the pronunciation/imitation of the Finland Swedish vowel /u̶/ and to answer the research question of whether or not visual feedback has an effect in making the pronunciation more constant. The center of the study was the new vowel training system, The Vowel Game, which was implemented by Annu Paganus at the department of Information Technology at the University of Turku. The Vowel Game was tested using 20 Finnish adults aged 19-30 yrs. who had no Swedish-speaking background other than that studied at school. The test subjects were divided into two groups. The treatment group, which consisted of 6 male and 4 female subjects, used The Vowel Game's visual real-time feedback under controlled circumstances in imitating the sustained /u̶/-vowel and a word containing this vowel /hu̶s/ ('hus' meaning 'house') according to both synthetic (/u̶/) and natural (/hu̶s/) audio models. The control group, also consisting of 6 male and 4 female subjects, was never exposed to the effects of The Vowel Game's visual feedback, but only imitated the /u̶/-vowel and the 'hus'-word under the same circumstances using the same audio models as the treatment group. Their imitations were nevertheless recorded with The Vowel Game. The hypothesis was that the treatment group's deviation in the pronunciation of the vowels would be smaller in the end in comparison to the control group's performance. The analysis of the results strongly indicated that The Vowel Game's real-time visual feedback does have a positive effect on the constancy of the pronunciation of the /u̶/-vowel. This would suggest that The Vowel Game has the potential of becoming a tool in speech therapy and a help to individuals attempting to learn new vowel categories. The study also takes a look at some of the previous vowel training systems and their main differences with The Vowel Game alongside the mathematical methods of formant retrieval and the features and characteristics of the vocal tract. In addition, the study presents the general views on the perception and categorization of speech sounds as the theoretical background for The Vowel Game.