Cloth Manipulation Through Online Simulation

Thumbnail Image

Files

master_Piironen_Benjamin_2024.pdf (17.16 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Electrical Engineering | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-09-30

Department

Major/Subject

Control, Robotics and Autonomous Systems

Mcode

Degree programme

Master's Programme in Automation and Electrical Engineering

Language

en

Pages

47

Series

Abstract

This thesis aims to investigate the effectiveness of concurrent simulation in accomplishing a practical, highly deformable material manipulation task, using the NVIDIA Omniverse Isaac Sim robotics simulation platform. In achieving this goal, a simulation environment utilizing a novel real-to-sim-to-real feedback loop was created. Additionally, a robot behavior network utilizing the state of the simulation to inform decision making was developed. This behavior network and its associated functionality is designed within the Isaac Cortex framework. A shirt folding task was completed in parallel both in simulation and in reality by synchronizing the simulated robot with a real Franka Emika Panda robot. A review of the literature surrounding the simulation of deformable materials is conducted, and the features of various commonly used simulation platforms are compared and contrasted with those of Isaac Sim. The design and specifications of the simulation environment implemented in this work are discussed, including features of the simulated shirt model, implemented robot behavior, as well as methods for transferring real world data into the simulation environment. Two types of experiments were performed in order to evaluate the effectiveness of the Isaac Sim simulation platform and the proposed method. First, the success rate of a simple sleeve folding task with a disturbance was tested and analyzed. The second set of experiments was used to estimate the size of the sim-to-real gap when utilizing different configurations of motion tracking markers on the shirt during folding. In both sets of experiments, point-based real-to-sim feedback was found to improve results significantly compared to relying only on pure simulation. The accuracy and reliability of the system vary significantly as the number and positions of tracked markers are altered. The highest accuracy was achieved when utilizing a set of twelve tracking markers, with two on each shirt sleeve, two on the shirt chest, and six along the hem. Increasing the number of tracking markers was found to have mixed effects on the stability of the system.

Tämän diplomityön tarkoituksena on tutkia rinnakkaissimulaation kykyä tukea hyvin paljon muotoaan muuttavien materiaalien manipulaatiota, käyttäen robotiikan tarpeisiin erikoistunutta NVIDIA Omniverse Isaac Sim -simulaattoria. Työssä luotiin simulaatioympäristö, jota päivitetään jatkuvasti vastaamaan oikean vaatekappaleen tilasta saatavaa informaatiota. Tästä seuraavaa simulaation tilaa käytetään vuorostaan ohjaamaan robotin päätöksentekoa Isaac Cortex -ohjelmistokehyksen puitteissa. Lyhythihainen paita viikataan näin samanaikaisesti sekä simulaatiossa että laboratorioympäristössä synkronoimalla simuloidun ja oikean robotin tilat keskenään. Työssä tarkastellaan ensin aiempaa tutkimustyötä muotoaan muuttavien aineiden manipulaation simuloimisen suhteen. Useiden suosittujen robotiikkasimulaattoreiden piirteitä verrataan Isaac Sim -alustan ominaisuuksiin. Monia näistä ominaisuuksista käsitellään tarkemmin toteutetun simulaatioympäristön kuvailun yhteydessä. Algoritmeista, joilla informaation kulku todellisuudesta simulaatioon on toteutettu, annetaan myös lyhyet kuvaukset, joiden yhteydessä arvioidaan niiden vahvuuksia ja heikkouksia. Työn päämäärän saavuttamiseksi toteutettiin kahdenlaisia kokeita. Ensimmäisissä kokeissa tarkasteltiin pelkän hihan viikkaamisen onnistumisastetta häiriön vaikutuksen alla. Toisissa kokeissa tutkittiin miten simulaation tarkkuus koko paidan viikkaamisen aikana riippuu paitaan kiinnitettyjen liikkeenseurantatunnistimien asetelmasta. Simulaation tilan päivittämisen oikean esineen tilan perusteella huomattiin parantavan tuloksia merkittävästi. Simulaation tarkkuus ja luotettavuus vaihtelevat merkittävästi sekä oikeaan esineeseen kiinnitettyjen jäljittimien määrän että niiden sijaintien muuttuessa. Korkein tarkkuus saavutettiin käyttämällä kahtatoista jäljitintä, joista neljä on asetettu paidan hihoihin, kaksi rintaan, ja kuusi paidan helmaan. Jäljitinmerkkien määrän kasvun huomattiin vaikuttavan järjestelmän vakauteen vaihtelevasti.

Description

Supervisor

Kyrki, Ville

Thesis advisor

Shintemirov, Almas

Keywords

robotics, simulation, manipulation, highly deformable material, deformable material simulation, sim-to-real, real-to-sim-to-real

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202411217319

Collections

[dipl] Sähkötekniikan korkeakoulu / ELEC