Novel applications of real-time audiovisual signal processing technology for art and sports education and entertainment

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.author Hämäläinen, Perttu
dc.date.accessioned 2012-02-24T08:14:06Z
dc.date.available 2012-02-24T08:14:06Z
dc.date.issued 2007-03-30
dc.identifier.isbn 978-951-22-8705-5
dc.identifier.issn 1455-9722
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/2854
dc.description.abstract This thesis explores the possibilities of real-time audiovisual signal processing in the context of human-computer interfaces. Novel embodied interaction applications are presented, including two computer games controlled by body movements and voice, two computer games played by singing, software and an installation for creating clay animation, and interactive video "magic" mirrors for martial arts training. The common denominators for the case studies are 1) the use of cameras and microphones as the input devices, 2) processing and analyzing the audiovisual input to generate visual feedback that can make it easier for the users to detect and correct errors in their performance, and 3) a holistic approach to interaction design, including not only the user and a computer, but the context of interaction as well, e.g., the social setting and the differences between the real and the virtual environments. In edutainment (education and entertainment) software, the interface sets the limits for the user's actions. The thesis demonstrates how embodied interaction can widen the scope of edutainment to encompass new skills, in this case martial arts, singing, and modelling and animating clay. The thesis also contributes to computer vision technology in the form of practical vision systems that interpret low-level image features according to the application context. For example, in Kick Ass Kung-Fu, an embodied martial arts game, several simultaneous users can fight against computer-generated virtual enemies. The players can wield weapons such as swords, and no specific clothing or markers are needed. en
dc.description.abstract Käyttöliittymäteknologia, esimerkiksi syöttölaite, rajoittaa usein käyttäjän toimintaa ohjelmistosovelluksissa. Kehollisen vuorovaikutuksen teknologiat ja käytännöt mahdollistavat yhä useampien taitojen, esimerkiksi liikunnan ja musiikin harjoittelemisen digitaalisissa ympäristöissä. Väitöskirjatyössä kehitettiin uusia kehollisia oppiviihdesovelluksia ja käyttöliittymäprototyyppejä, mukaanlukien kaksi keholla ja äänellä pelattavaa tietokonepeliä, kaksi laulamalla pelattavaa tietokonepeliä, vaha-animaatio-ohjelmisto ja -installaatio sekä vuorovaikutteisia videopeilejä kamppailulajien ja akrobatian harjoitteluun. Projekteja yhdistää se, että 1) tietokoneen syöttölaitteina käytetään kameraa ja/tai mikrofonia, 2) käyttäjälle tuotetaan virheiden havaitsemista ja korjaamista avustavaa visuaalista palautetta kuva- ja äänisyötteen analyysiin perustuen ja 3) vuorovaikutussuunnittelua pyritään lähestymään kokonaisvaltaisesti siten, että käyttäjän ja teknologian lisäksi huomioidaan myös vuorovaikutustilanne, esimerkiksi sosiaalinen ympäristö ja tosi- ja virtuaalimaailmojen väliset erot. Väitöskirjatyössä kehitettiin myös uutta tietokonenäköteknologiaa käytettävyyssuunnittelun vaatimusten mukaisesti. Esim. kamppailupeli Kick Ass Kung-Fu:ssa useat pelaajat voivat taistella yhteistyössä tietokonevastustajia vastaan. Pelin tietokonenäkö ei aseta rajoituksia vaatetuksen tai käytettävien aseiden suhteen. fi
dc.format.extent 61, [62]
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Helsinki University of Technology en
dc.publisher Teknillinen korkeakoulu fi
dc.relation.ispartofseries Publications in telecommunications software and multimedia. A en
dc.relation.ispartofseries 18 en
dc.relation.haspart Perttu Hämäläinen and Johanna Höysniemi. 2003. A Computer Vision and Hearing Based User Interface for a Computer Game for Children. In N. Carbonell, C. Stephanidis (Eds.): User Interfaces for All, Lecture Notes in Computer Science 2615, 299-318, Springer-Verlag Berlin Heidelberg. First appeared in Proceedings of the 7th ERCIM International Workshop on User Interfaces for All, Paris, France, October 23-25, 2002.
dc.relation.haspart Perttu Hämäläinen, Mikko Lindholm, Ari Nykänen and Johanna Höysniemi. 2004. Animaatiokone: an Installation for Creating Clay Animation. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI 2004), Vienna, Austria, April 24-29, 2004, 17-24.
dc.relation.haspart Perttu Hämäläinen, Teemu Mäki-Patola, Ville Pulkki and Matti Airas. 2004. Musical Computer Games Played by Singing. Proceedings of the 7th International Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004, 367-371.
dc.relation.haspart Perttu Hämäläinen. 2004. Interactive Video Mirrors for Sports Training. Proceedings of the Third Nordic Conference on Human-Computer Interaction, Tampere, Finland, October 23-27, 2004, 199-202.
dc.relation.haspart Perttu Hämäläinen, Johanna Höysniemi, Tommi Ilmonen, Mikko Lindholm and Ari Nykänen. 2005. Martial Arts in Artificial Reality. Proceedings of ACM Conference on Human Factors in Computing Systems (CHI 2005), Portland, Oregon, USA, April 2-7, 2005, 781-790.
dc.relation.haspart Johanna Höysniemi and Perttu Hämäläinen. 2006. Children's and Parents' Perception of Full-Body Interaction and Violence in a Martial Arts Game. GAIN: AIGA Journal of Business and Design, March 7, 2006. First appeared in Proceedings of the 2005 Conference on Designing for User eXperience (DUX 2005), San Francisco, CA, USA, November 3-5, 2005.
dc.subject.other Computer science en
dc.title Novel applications of real-time audiovisual signal processing technology for art and sports education and entertainment en
dc.title Uusia reaaliaikaiseen kuvan- ja äänenkäsittelyteknologiaan perustuvia järjestelmiä taiteen ja liikunnan harjoitteluun fi
dc.type G5 Artikkeliväitöskirja fi
dc.description.version reviewed en
dc.contributor.department Department of Computer Science and Engineering en
dc.contributor.department Tietotekniikan osasto fi
dc.subject.keyword computer vision en
dc.subject.keyword interaction design en
dc.subject.keyword signal processing en
dc.subject.keyword mixed reality en
dc.subject.keyword sports en
dc.subject.keyword animation en
dc.subject.keyword music en
dc.subject.keyword computer games en
dc.subject.keyword tietokonenäkö fi
dc.subject.keyword vuorovaikutussuunnittelu fi
dc.subject.keyword signaalinkäsittely fi
dc.subject.keyword liikunta fi
dc.subject.keyword animaatio fi
dc.subject.keyword musiikki fi
dc.subject.keyword tietokonepelit fi
dc.identifier.urn urn:nbn:fi:tkk-009128
dc.type.dcmitype text en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.type.ontasot Doctoral dissertation (article-based) en
dc.contributor.lab Telecommunications Software and Multimedia Laboratory en
dc.contributor.lab Tietoliikenneohjelmistojen ja multimedian laboratorio fi


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account