aalto1 untyped-item.component.html
Integration of a Leap Motion Controller with the HoloLens to enable improved gesture interactions
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
SCI3042
Language
en
Pages
84 + 1
Series
Abstract
Microsoft’s HoloLens is restricted in many aspects, such as the feld of view, but it still allows developers to start the discovery process of fnding what does and doesn’t work for holographic applications. But there is one area which is so limited that it can’t be explored properly: gesture based interactions. To solve this issue this work presents a system which integrates a Leap Motion Controller (LMC), a device which provides very detailed hand tracking data, with the Hololens. To calibrate these two devices a method using the Hololens’s attached RGB camera, the 3D data from the LMC, and pose estimation using Perspective-n-Point is presented. This provides a lightweight, markerless method for calibration requiring only the user’s hands. The result is a system where the LMC, attached to a separate computer, wirelessly streams real-time hand tracking data to the HoloLens.
Microsofts HoloLens är begränsad i många aspekter, t.ex. synfältet, men den gör det möjligt för utvecklare att börja processen att utforska vad som fungerar och inte fungerar för holografska applikationer. Men inom ett område är HoloLensen så begränsad att det inte går att forska: gest-baserade interaktioner. För att lösa detta problem så presenterar detta arbete ett system som integrerar en Leap Motion Controller (LMC), en apparat som förser med högt detaljerad handspårningsdata, med HoloLensen. För att kalibrera dessa två apparater presenteras en metod som använder sig av HoloLensens inbyggda RGB kamera, 3D data från LMC:n, och ställnings estimering m.h.a. Perspective-n-Point. Detta erbjuder en lätt, markörlös metod för kalibrering som endast kräver användarens händer. Resultatet är ett system var LMC:n, vilken är fast i en skild dator, trådlöst överför handspårningsdata till HoloLensen i realtid.