Augmented Collaboration in Mixed Environments
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology |
Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Authors
Date
2009
Department
Major/Subject
Informaatiotekniikka
Mcode
T-61
Degree programme
Language
en
Pages
(10) + 52 s. + liitt.
Series
Abstract
Telecommunication and -collaboration has always been an important part of multinational business and international collaboration in general, High definition video conference systems have been adopted for high profile meetings but everyday telecommunication still relies more on e-mail and telephone. Multi-user virtual worlds are providing interesting opportunities as a low cost alternative for remote collaboration but are lacking the natural feeling of presence. Integrating multiuser virtual worlds into the real world using augmented reality techniques can bring the benefits of virtual worlds into real world use. The main objective of this thesis was to develop and test the feasibility of a mixed reality teleconference system. In the system, a virtual world and the real world are combined by augmenting the real world with virtual avatars and by controlling the avatars with natural gestures. We implemented a prototype system called "Augmented Collaboration in Mixed Environments" (ACME) using Second Life client, head worn display and external cameras for hand and head tracking. Additionally, visualizing avatars within a video conference display was evaluated. Natural gestures detected from the cameras were used to control the avatar, limiting to two head gestures, shaking and nodding, and controlling the left hand of the avatar. Users were also able to interact with virtual objects using hand gestures by highlighting objects of interest and by moving the objects on the table. So far the system has been tested mainly by the project team. As preliminary results we can say that users like the idea of being able to see avatars within the real world and that adding even simple head and hand animations make the avatar appear more realistic. Yet, the impact of naturally controlled avatars on the efficiency of user collaboration is still uncertain. Using commercially available, user grade head worn displays was considered to be inconvenient. Visualizing avatars within video conference display would be a more practical approach. The system can be flexibly used with different hardware setups, starting from a single laptop with an integrated webcam. Overall, we believe this early work with the ACME system has demonstrated the feasibility of using a mixed reality environment as a means to enhance a collaborative teleconference. Certainly, the ACME system is not a replacement for a face to face meeting, but it could enhance the 3D meeting experience to the point where mixed world teleconference meetings could be a low cost, effective alternative for many business meetings. However, many technical issues still need to be resolved before the system is really a usable application.Kansainvälisessä liiketoiminnassa ja yhteistyössä etäneuvotteluilla on aina ollut merkittävä asema. Videoneuvottelut ovat jo jossain määrin käytössä mutta useimmiten viestinnässä käytetään yhä sähköpostia ja puhelinta. Usean käyttäjän virtuaalimaailmat ovat mielenkiintoisia ja edullisia vaihtoehtoja etäneuvotteluympäristöiksi. Niistä kuitenkin puuttuu luonnollisen kanssakäymisen tunne. Todellisuuden ja virtuaalimaailmojen yhdistäminen lisätyn todellisuuden menetelmin voi tarjota uusia etäneuvottelumahdollisuuksia. Diplomityöni päätavoitteena oli tutkia kuinka sekoitetun todellisuuden järjestelmä, jossa virtuaalimaailma ja todellisuus yhdistetään lisäämällä virtuaalisia henkilöhahmoja eli avatareja osaksi todellisuutta ja ohjaamalla näitä avatareja luonnollisilla eleillä, toimii etäneuvotteluympäristönä. Työssäni keskityttiin erityisesti teknisen toteutuksen prototyypin rakentamiseen. Toteutimme järjestelmän prototyypin "Augmented Collaboration in Mixed Environments" (ACME) käyttäen Second Life asiakasohjelmaa, silmikkonäyttöä ja käden ja kasvojen tunnistukseen tarkoitettuja kameroita. Lisäksi tutkimme avatarien visualisointia videokonferenssijärjestelmän näytöllä. Käyttäjän eleet tunnistettiin kameroiden avulla ja eleillä ohjattiin sekä avataren pään liikkeitä, eli ravistamista ja nyökkäämistä, että avataren vasenta kättä. Käden eleillä käyttäjät pystyivät myös vuorovaikuttamaan virtuaalisten esineiden kanssa korostamalla haluttuja esineitä ja siirtelemällä niitä pöydän pintaa pitkin. Tähän mennessä järjestelmän testauksesta on vastannut lähinnä projektitiimi. Alustavina tuloksina voimme mainita että suurin osa käyttäjistä kokee avataret miellyttäviksi ja että yksinkertaisten pään ja käden liikkeiden lisääminen tekee avatareista aidomman tuntuisia. Luonnollisilla eleillä ohjattavien avatarien vaikutus keskustelun tehokkuuteen on silti avoin kysymys. Kaupallisten, yleisesti saatavilla olevien päähän puettavien näyttöjen käyttö koettiin epämiellyttäväksi. Käytännöllisemmäksi nähtiin avatarien visualisointi videokonferenssilaitteiston näytölle. Järjestelmää voidaan joustavasti käyttää erilaisilla laitteistoilla, yksinkertaisemmillaan pelkällä kannettavalla tietokoneella ja siihen sisäänrakennetulla webkameralla. Mielestämme tämä alustava työ ACME:n parissa antaa viitteitä siitä, että tällainen sekoitetun todellisuuden järjestelmä tarjoaa lisäarvoa etäneuvotteluihin. ACME järjestelmästä ei tietysti ole kasvokkain tapahtuvan tapaamisen korvikkeeksi mutta se voi parantaa virtuaalimaailman kokemusta niin, että tapaamiset sekoitetuissa maailmoissa olisivat edullinen ja tehokas vaihtoehto moniin liike-elämän tarpeisiin. Useita teknisiä ongelmia tulee kuitenkin ratkaista ennen kuin järjestelmästä tulee käyttökelpoinen sovellus.Description
Supervisor
Oja, ErkkiThesis advisor
Korkalo, Otto-PetteriKeywords
Augment reality, lisätty todellisuus, telecommunication, telekommunikaatio, Second Life