Adversarial Robotic Cloth Manipulation

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Department

Major/Subject

Mcode

SCI3042

Language

en

Pages

62

Series

Abstract

Robotic cloth manipulation is still a largely unresolved problem, even though many of our day-to-day tasks involve clothes. Generative adversarial methods have been applied for generating realistic and difficult tasks for rigid object manipulation algorithms. Continuing from this, the main contribution of this thesis is a novel algorithm for generating adversarial clothes. In addition, we propose a simple method for estimating the success of cloth unfolding for complex meshes during simulation time only based on images. The novel adversarial clothes generation algorithm was tested by training the FlingBot model with the generated clothes. Then we evaluated the model performance on four novel dynamic clothes unfolding data sets, consisting of skirts, trousers, shirts, and socks. To our knowledge such a variety of items has not been previously tested on dynamic cloth manipulation tasks. Our adversarially trained model performed equally well compared with a model trained on easy tasks and outperformed a model trained with domain randomized clothes.

Kankaiden automaattinen käsittely on pitkälti vielä ratkaisematon ongelma, vaikkakin monissa päivittäisissä askareissamme käsittelemme erilaisia kankaita. Kilpailevia generatiivisia neuroverkkoja on käytetty tuottamaan haastavia, mutta realistisia esineitä, joita on käytetty käsittelyalgoritmien koulutuksessa. Näiden tutkimusten inspiroimana, tämän diplomityön tärkein kontribuutio on uusi generatiivisia kilpailevia neuroverkkoja käyttävä vaatteiden muokkausalgoritmi. Lisäksi diplomityössä esitellään yksinkertainen metodi kankaiden suoristumisen arviointiin käyttäen vain ylhäältä otettuja kuvia. Uutta vaatteiden muokkausalgoritmia testattiin kouluttamalla Flingbot-mallia generoiduilla vaatteilla. Opetetun mallin suorituskykyä arvioitiin testaamalla sitä neljällä uudella vaatesetillä, joihin kuului hameita, housuja, paitoja ja sukkia. Aiemmin näin monipuolisia vaatesettejä ei ole testattu dynaamisilla kankaankäsittelyalgoritmeilla. Kilpailevella generatiivisilla neuroverkolla koulutettu malli toimi yhtä hyvin kuin helpommalla vaatesetillä opetettu malli ja se oli parempi kuin satunnaistetuilla vaatteilla opetettu malli.

Description

Supervisor

Kyrki, Ville

Thesis advisor

Blanco, David
Luck, Kevin

Other note

Citation