Integration of a Leap Motion Controller with the HoloLens to enable improved gesture interactions

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2017-12-11
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
84 + 1
Series
Abstract
Microsoft’s HoloLens is restricted in many aspects, such as the feld of view, but it still allows developers to start the discovery process of fnding what does and doesn’t work for holographic applications. But there is one area which is so limited that it can’t be explored properly: gesture based interactions. To solve this issue this work presents a system which integrates a Leap Motion Controller (LMC), a device which provides very detailed hand tracking data, with the Hololens. To calibrate these two devices a method using the Hololens’s attached RGB camera, the 3D data from the LMC, and pose estimation using Perspective-n-Point is presented. This provides a lightweight, markerless method for calibration requiring only the user’s hands. The result is a system where the LMC, attached to a separate computer, wirelessly streams real-time hand tracking data to the HoloLens.

Microsofts HoloLens är begränsad i många aspekter, t.ex. synfältet, men den gör det möjligt för utvecklare att börja processen att utforska vad som fungerar och inte fungerar för holografska applikationer. Men inom ett område är HoloLensen så begränsad att det inte går att forska: gest-baserade interaktioner. För att lösa detta problem så presenterar detta arbete ett system som integrerar en Leap Motion Controller (LMC), en apparat som förser med högt detaljerad handspårningsdata, med HoloLensen. För att kalibrera dessa två apparater presenteras en metod som använder sig av HoloLensens inbyggda RGB kamera, 3D data från LMC:n, och ställnings estimering m.h.a. Perspective-n-Point. Detta erbjuder en lätt, markörlös metod för kalibrering som endast kräver användarens händer. Resultatet är ett system var LMC:n, vilken är fast i en skild dator, trådlöst överför handspårningsdata till HoloLensen i realtid.
Description
Supervisor
Takala, Tapio
Thesis advisor
Kinnunen, Teemu
Keywords
HoloLens, markerless calibration, skin detection, hand segmentation, pose estimation, fingertip detection
Other note
Citation