Tools and experiments in multimodal interaction
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Doctoral thesis (article-based)
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2006-12-14
Major/Subject
Mcode
Degree programme
Language
en
Pages
79, [69]
Series
Publications in telecommunications software and multimedia. A, 15
Abstract
The goal of this study is to explore different strategies for multimodal human-computer interaction. Where traditional human-computer interaction uses a few common user interface metaphors and devices, multimodal interaction seeks new application areas with novel interaction devices and metaphors. Exploration of these new areas involves creation of new application concepts and their implementation. In some cases the interaction mimics human-human interaction while in other cases the interaction model is only loosely tied to the physical world. In the virtual orchestra concept a conductor can conduct a band of virtual musicians. Both the motion and sound of the musicians is synthesized with a computer. A critical task in this interaction is the analysis of the conductor motion and control of the sound synthesis. A system that performs these tasks is presented. The system is also capable of extracting emotional content from the conductor's motion. While the conductor follower system was originally developed using a commercial motion tracker, an alternative low-cost motion tracking system was also made. The new system used accelerometers with application-specific signal processing for motion capture. One of the basic tasks of the conductor follower and other gesture-based interaction systems is to refine raw user input data into information that is easy to use in the application. For this purpose a new approach was developed: FLexible User Input Design (FLUID). This is a toolkit that simplifies the management of novel interaction devices and offers general-purpose data conversion and analysis algorithms. FLUID was used in a virtual reality drawing applications AnimaLand and Helma. Also new particle system models and a graphics distribution system were developed for these applications. The traditional particle systems were enhanced by adding moving force fields that interact with each other. The interacting force fields make the animations more lively and credible. Graphics distribution become an issue if one wants to render 3D graphics with a cost-effective PC-cluster. A graphics distribution method based on network broadcast was created to minimize the amount of data traffic, thus increasing performance. Many multimodal applications also need a sound synthesis and processing engine. To meet these needs the Mustajuuri toolkit was developed. Mustajuuri is a flexible and efficient sound signal processing framework with support for sound processing in virtual environments.Tämän tutkimuksen tarkoitus on selvittää erilaisia menetelmiä multimodaaliseen/keholliseen ihmisen ja tietokoneen väliseen vuorovaikutukseen. Siinä missä perinteiset järjestelmät pohjautuvat tavallisimpiin laitteisiin (hiiri, näppäimistö) ja vuorovaikutusmenetelmiin (komentorivi, ikkunointi), multimodaalisten käyttöliittymien sovellusmahdollisuuksia etsitään uusien laitteiden ja menetelmien kautta. Tutkimuksessa uusien sovellusalueiden etsiminen on sisältänyt uusien sovelluskonseptien suunnittelun toteutuksen. Joissakin toteutetuissa tapauksissa vuorovaikutus jäljittelee ihmisten välistä vuorovaikutusta, kun toisaalla vuorovaikutus ei pohjaudu fyysisiin esikuviin. Ensimmäisessä sovelluksessa - DIVA virtuaaliorkesterissa - kapellimestari voi johtaa virtuaalisia muusikoita. Sekä ääni että muusikoiden animaatio syntetisoidaan tosiajassa tietokoneella. Järjestelmän tärkeimpiä osatehtäviä on tulkita kapellimestarin liikkeitä ja kontrolloida synteesiä sen pohjalta. Väitöskirjassa esitellään tarkoitusta varten kehitetty järjestelmä. Järjestelmä pystyy myös tunnistamaan kapellimestarin liikkeistä tunneinformaatiota. Alkuperäinen järjestelmä käytti kaupallista liikkeenseurantajärjestelmää, joka on sekä kallis että helposti hajoava. Näiden puutteiden korjaamiseksi kehitettiin kiihtyvyysantureihin perustuva liikkeenseurantamenetelmä. Kapellimestariseurannassa ja muissa elekäyttöliittymissä ohjelman pitää muokata mittalaitteesta saatava raakadata käyttökelpoisempaan muotoon. Tätä varten kehitettiin uusi menetelmä: Flexible User Input Design (FLUID). FLUID-komponentin tarkoitus on helpottaa harvinaisten syötelaitteiden hallintaa ja tukea signaalinkäsittelyä ja -analyysiä. FLUID-järjestelmä kehitettiin keinotodellisuuspohjaisia AnimaLand ja Helma -piirto-ohjelmia varten. Näitä ohjelmia silmällä pitäen kehitettiin myös uusia graafisia menetelmiä. Perinteisiä partikkelisysteemejä parannettiin lisäämällä liikkuvia voimakenttiä jotka vaikuttavat toisiinsa. Toisiinsa vaikuttavat voimakentät tekevät animaatiosta eloisampaa ja uskottavampaa. 3D grafiikan piirron hajautuksesta tuli ongelma, kun haluttiin käyttää useampaa tavallista tietokonetta 3D grafiikan piirtämiseen. Tätä varten kehitettiin menetelmä joka pohjautuu nopean paikallisverkon broadcast-teknologiaan. Menetelmä vähentää lähetettävän data määrää ja siten parantaa järjestelmän suorituskykyä. Ääni on oleellinen osa monissa multimodaalisissa käyttöliittymissä. Tarkoitusta varten kehitettiin yleiskäyttöinen Mustajuuri-ohjelmisto. Mustajuuri on joustava ja tehokas äänenkäsittelyjärjestelmä, joka tukee erityisesti äänenkäsittelyä keinotodellisuusympäristöissä.Description
Keywords
gestural interaction, conductor following, virtual reality, digital art, graphics clusters, particle systems, 3D sound, digital signal processing, elekäyttöliittymät, kapellimestariseuranta, keinotodellisuus, digitaalinen taide, grafiikkaklusterit, partikkelisysteemit, 3-ulotteinen ääni, digitaalinen signaalinkäsittely
Other note
Parts
- Ilmonen, Tommi and Kontkanen, Janne. Software Architecture for Multimodal User Input – FLUID. In Universal Access. Theoretical Perspectives, Practice, and Experience, 7th ERCIM International Workshop on User Interfaces for All, Lecture Notes in Computer Science 2615, pages 319-338, Springer Berlin / Heidelberg, 2003. [article1.pdf] © 2003 Springer Science+Business Media. By permission.
- Ilmonen, Tommi and Takala, Tapio. Conductor Following With Artificial Neural Networks. In Proceedings of the International Computer Music Conference, pages 367-370, Beijing, China, 1999. [article2.pdf] © 1999 by authors.
- Ilmonen, Tommi and Jalkanen, Janne. Accelerometer-Based Motion Tracking for Orchestra Conductor Following. In Proceedings of the 6th Eurographics Workshop on Virtual Environments, Amsterdam, Netherlands, 2000. [article3.pdf] © 2000 Eurographics Association. By permission.
- Ilmonen, Tommi and Takala, Tapio. Detecting Emotional Content from the Motion of an Orchestra Conductor. In Gesture in Human-Computer Interaction and Simulation, 6th International Gesture Workshop, Lecture Notes in Artificial Intelligence 3881, pages 292-295, Springer Berlin / Heidelberg, 2006. [article4.pdf] © 2006 Springer Science+Business Media. By permission.
- Ilmonen, Tommi and Reunanen, Markku. Virtual Pockets in Virtual Reality. In Virtual Environments 2005, Eurographics/ACM SIGGRAPH Symposium Proceedings, pages 163-170, 2005. [article5.pdf] © 2005 Eurographics Association. By permission.
- Ilmonen, Tommi. Mustajuuri – An Application and Toolkit for Interactive Audio Processing. In Proceedings of the 7th International Conference on Auditory Display, pages 284-285, Helsinki, Finland, 2001. [article6.pdf] © 2001 by author.
- Ilmonen, Tommi and Kontkanen, Janne. The Second Order Particle System. Journal of WSCG, 11 (2): 240-247, 2003. [article7.pdf] © 2003 UNION Agency - Science Press. By permission.
- Ilmonen, Tommi, Reunanen, Markku, and Kontio, Petteri. Broadcast GL: An Alternative Method for Distributing OpenGL API Calls to Multiple Rendering Slaves. Journal of WSCG, 13 (2): 65-72, 2005. [article8.pdf] © 2005 UNION Agency - Science Press. By permission.