Framework for virtual reality digital services leveraging digital twin-based crane
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Insinööritieteiden korkeakoulu |
Master's thesis
Author
Date
2021-10-18
Department
Major/Subject
Mcode
Degree programme
Master's Programme in Mechanical Engineering (MEC)
Language
en
Pages
91
Series
Abstract
Digital twin and Virtual Reality are the impressive technologies for the Fourth Industrial Revolution. Digital twin realizes the real-time synchronized data transformation between the virtual world and the physical world. Meanwhile, Virtual Reality is a kind of immersive virtual technology for humans to realize similar experiences in the physical world, which can deepen and widen the human-machine interaction experience. It is necessary to combine the capacities of the digital twin to perform a simulation environment with the capacities of the immersive virtual environment in terms of interactions. In this paper, a ROS and Unity-based framework leveraging digital twin-based overhead crane is provided. At first, the VR environment is developed. The VR environment contains basic locomotion, digital twin-based models, and relevant, interactive functionalities. Then, the overhead crane simulation platform combining MoveIt and Gazebo is provided, including the configuration of MoveIt and communication between MoveIt and Gazebo. Next, ROS works as a middleware through WebSocket protocol to build communication between the Gazebo simulation platform and Unity VR environment. In addition, the connection between ROS and MATLAB, Unity, and DT document is completed, which guarantees the extensibility of the framework. Finally, through the VR headset device, two digital services based on the VR environment are provided. The first is the remote monitoring platform application, an initial prototype validating the communication between the ROS simulation platform and the Unity VR environment. The other one is a VR training application that provides a virtual experience and integrates all the basic functionalities of the overhead crane. By analyzing the usability test on the VR training application, the potential improvement areas are provided.Digitaalinen kaksoset ja virtuaalitodellisuus ovat neljännen teollisen vallankumouksen vaikuttavia tekniikoita. Digital Twin toteuttaa reaaliaikaisen synkronoidun datamuunnoksen virtuaalimaailman ja fyysisen maailman välillä. Samaan aikaan Virtuaalitodellisuus on eräänlainen mukaansatempaava virtuaalitekniikka, jonka avulla ihmiset voivat toteuttaa samanlaisia kokemuksia fyysisessä maailmassa, mikä voi syventää ja laajentaa ihmisen ja koneen vuorovaikutuskokemusta. Simulaatioympäristön suorittamiseksi on välttämätöntä yhdistää digitaalisen kaksosen kapasiteetti vuorovaikutuksen kannalta mukaansatempaavan virtuaalisen ympäristön kapasiteettiin. Tässä artikkelissa esitetään ROS- ja Unity-pohjainen kehys, joka hyödyntää digitaalista kaksoispohjaista nosturia. Aluksi kehitetään VR -ympäristöä. VR-ympäristö sisältää perusliikenteen, digitaaliset kaksoispohjaiset mallit ja asiaankuuluvat interaktiiviset toiminnot. Sitten tarjotaan ylänosturin simulointialusta, jossa yhdistyvät MoveIt ja Gazebo, mukaan lukien MoveIt -konfiguraatio ja MoveItin ja Gazebon välinen tiedonsiirto. Seuraavaksi ROS toimii väliohjelmistona WebSocket -protokollan kautta luodakseen viestintää Gazebo -simulointialustan ja Unity VR -ympäristön välillä. Lisäksi yhteys ROS: n ja MATLABin, Unityn ja DT -asiakirjan välillä on valmis, mikä takaa kehyksen laajennettavuuden. Lopuksi VR -kuulokelaitteen kautta tarjotaan kaksi VR -ympäristöön perustuvaa digitaalista palvelua. Ensimmäinen on etävalvonta -alustasovellus, ensimmäinen prototyyppi, joka vahvistaa ROS -simulointialustan ja Unity VR -ympäristön välisen viestinnän. Toinen on VR -koulutussovellus, joka tarjoaa virtuaalisen kokemuksen ja joka yhdistää kaikki ylänosturin perustoiminnot. Analysoimalla VR -koulutussovelluksen käytettävyystesti, mahdolliset parantamisalueet saadaan.Description
Supervisor
Tammi, KariThesis advisor
Tu, XinyiAutiosalo, Juuso
Keywords
digital twin, virtual reality, overhead crane, ROS, Unity, digital serivce
