Novel applications of real-time audiovisual signal processing technology for art and sports education and entertainment

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Doctoral thesis (article-based)
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2007-03-30
Major/Subject
Mcode
Degree programme
Language
en
Pages
61, [62]
Series
Publications in telecommunications software and multimedia. A, 18
Abstract
This thesis explores the possibilities of real-time audiovisual signal processing in the context of human-computer interfaces. Novel embodied interaction applications are presented, including two computer games controlled by body movements and voice, two computer games played by singing, software and an installation for creating clay animation, and interactive video "magic" mirrors for martial arts training. The common denominators for the case studies are 1) the use of cameras and microphones as the input devices, 2) processing and analyzing the audiovisual input to generate visual feedback that can make it easier for the users to detect and correct errors in their performance, and 3) a holistic approach to interaction design, including not only the user and a computer, but the context of interaction as well, e.g., the social setting and the differences between the real and the virtual environments. In edutainment (education and entertainment) software, the interface sets the limits for the user's actions. The thesis demonstrates how embodied interaction can widen the scope of edutainment to encompass new skills, in this case martial arts, singing, and modelling and animating clay. The thesis also contributes to computer vision technology in the form of practical vision systems that interpret low-level image features according to the application context. For example, in Kick Ass Kung-Fu, an embodied martial arts game, several simultaneous users can fight against computer-generated virtual enemies. The players can wield weapons such as swords, and no specific clothing or markers are needed.

Käyttöliittymäteknologia, esimerkiksi syöttölaite, rajoittaa usein käyttäjän toimintaa ohjelmistosovelluksissa. Kehollisen vuorovaikutuksen teknologiat ja käytännöt mahdollistavat yhä useampien taitojen, esimerkiksi liikunnan ja musiikin harjoittelemisen digitaalisissa ympäristöissä. Väitöskirjatyössä kehitettiin uusia kehollisia oppiviihdesovelluksia ja käyttöliittymäprototyyppejä, mukaanlukien kaksi keholla ja äänellä pelattavaa tietokonepeliä, kaksi laulamalla pelattavaa tietokonepeliä, vaha-animaatio-ohjelmisto ja -installaatio sekä vuorovaikutteisia videopeilejä kamppailulajien ja akrobatian harjoitteluun. Projekteja yhdistää se, että 1) tietokoneen syöttölaitteina käytetään kameraa ja/tai mikrofonia, 2) käyttäjälle tuotetaan virheiden havaitsemista ja korjaamista avustavaa visuaalista palautetta kuva- ja äänisyötteen analyysiin perustuen ja 3) vuorovaikutussuunnittelua pyritään lähestymään kokonaisvaltaisesti siten, että käyttäjän ja teknologian lisäksi huomioidaan myös vuorovaikutustilanne, esimerkiksi sosiaalinen ympäristö ja tosi- ja virtuaalimaailmojen väliset erot. Väitöskirjatyössä kehitettiin myös uutta tietokonenäköteknologiaa käytettävyyssuunnittelun vaatimusten mukaisesti. Esim. kamppailupeli Kick Ass Kung-Fu:ssa useat pelaajat voivat taistella yhteistyössä tietokonevastustajia vastaan. Pelin tietokonenäkö ei aseta rajoituksia vaatetuksen tai käytettävien aseiden suhteen.
Description
Keywords
computer vision, interaction design, signal processing, mixed reality, sports, animation, music, computer games, tietokonenäkö, vuorovaikutussuunnittelu, signaalinkäsittely, liikunta, animaatio, musiikki, tietokonepelit
Other note
Parts
  • Perttu Hämäläinen and Johanna Höysniemi. 2003. A Computer Vision and Hearing Based User Interface for a Computer Game for Children. In N. Carbonell, C. Stephanidis (Eds.): User Interfaces for All, Lecture Notes in Computer Science 2615, 299-318, Springer-Verlag Berlin Heidelberg. First appeared in Proceedings of the 7th ERCIM International Workshop on User Interfaces for All, Paris, France, October 23-25, 2002.
  • Perttu Hämäläinen, Mikko Lindholm, Ari Nykänen and Johanna Höysniemi. 2004. Animaatiokone: an Installation for Creating Clay Animation. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI 2004), Vienna, Austria, April 24-29, 2004, 17-24.
  • Perttu Hämäläinen, Teemu Mäki-Patola, Ville Pulkki and Matti Airas. 2004. Musical Computer Games Played by Singing. Proceedings of the 7th International Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004, 367-371.
  • Perttu Hämäläinen. 2004. Interactive Video Mirrors for Sports Training. Proceedings of the Third Nordic Conference on Human-Computer Interaction, Tampere, Finland, October 23-27, 2004, 199-202.
  • Perttu Hämäläinen, Johanna Höysniemi, Tommi Ilmonen, Mikko Lindholm and Ari Nykänen. 2005. Martial Arts in Artificial Reality. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI 2005), Portland, Oregon, USA, April 2-7, 2005, 781-790.
  • Johanna Höysniemi and Perttu Hämäläinen. 2006. Children's and Parents' Perception of Full-Body Interaction and Violence in a Martial Arts Game. GAIN: AIGA Journal of Business and Design, March 7, 2006. First appeared in Proceedings of the 2005 Conference on Designing for User eXperience (DUX 2005), San Francisco, CA, USA, November 3-5, 2005.
Citation
Permanent link to this item
https://urn.fi/urn:nbn:fi:tkk-009128