Learning compliant assembly skills from demonstrations
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Electrical Engineering |
Doctoral thesis (article-based)
| Defence date: 2019-06-07
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2019
Major/Subject
Mcode
Degree programme
Language
en
Pages
129 + app. 87
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 91/2019
Abstract
Robotic assembly is mainly used inside factories where both the environment and the task for each robot stays constant and the batch sizes are large, with car factories presenting a prime example. However, in manufacturing Small and Medium-sized Enterprises (SMEs) or construction yards the level of automation is very low, mainly due to the changing environment causing two major problems for robots: firstly, the programming of robots is often difficult and thus it can take too long to make the same robot perform multiple tasks interchangeably. Secondly, the use of robots with traditional control methods requires an accurate model of the environment, which can be either costly to acquire and prone to accidental changes in the real environments SMEs or simply infeasible (construction). To enable the use of robots in new environments, robots must be easy to teach and able to adapt to small changes in the environment. In this thesis we propose to use Learning from Demonstration (LfD) with compliant motions to overcome the aforementioned problems. In LfD the user can show the robot how to perform a required task, using either teleoperation or kinesthetic teaching where the teacher physically holds a gravity-compensated robot and leads it through the desired task. We developed methods to ease the use of compliance on three different levels in programming a robot: on the control level, on the primitive level and on the motion sequencing level. On the control level, we propose using either direct force control for cases where either the robot or the object is free-floating, and impedance control for cases where both the manipulator and object are ground based. On the primitive level we present a new impedance control-- based motion primitive which can be used to learn and encode motions that use the environment to mitigate pose uncertainties. Humans naturally have the skill to exploit contact forces in insertion tasks, and we want to convey this skill from human to robot in an efficient way. On the motion sequencing level we first show how a complex human demonstration can be segmented into phases, each of which can be modeled with the primitive. Then we present how the primitives can be sequenced online to successfully reproduce the task. Additionally, we show that the presented motion primitive can also be applied effectively for bimanual assembly tasks. Finally, we present how to learn from human teachers search motions similarly as a human inserting a plug into a socket in darkness, which can be used as efficient exception strategies in assembly. To conclude, this thesis present a framework that can accelerate the degree of automation in tasks where currently the use of robots is infeasible.Robotit suorittavat kokoonpanotöitä enimmäkseen tehtaissa missä robotin ympäristö ja tehtävä pysyvät samana sekä tuotantoerät ovat suuria, kuten autotehtaissa. Sen sijaan pienissä ja keskisuurissa valmistusyrityksissä tai tehtaiden ulkopuolisessa kokoonpanotyössä, kuten rakennustyömailla, jatkuvasti muuttuva ympäristö ja erilaiset työtehtävät tekevät robottien käyttöönotosta hankalaa, erityisesti kahdesta syystä: ensimmäiseksi, robottien ohjelmointi on hankalaa, jolloin robotteja ei kannata käyttää tilanteissa joissa työtehtävä jatkuvasti muuttuu. Toiseksi, robottien käyttö vaatii usein muuttumattoman ja tietokoneella mallinnetun ympäristön. Ympäristön mallinnus on kuitenkin usein aikaa vievä toimenpide ja herkkä virheille erityisesti tilanteissa, missä ihmiset ja robotit työskentelevät samassa tilassa: jo työpöydän liikkuminen muutamalla senttimetrillä tarkoittaa, että tietokoneen malli ei enää vastaa ympäristön tilaa ja mallia täytyisi päivittää. Jotta robotit pystyisivät tehokkaasti työskentelemään uusissa tehtävissä ja ympäristöissä, robottien täytyy olla helposti ohjelmoitavissa ja niiden täytyy olla riittävän älykkäitä ja joustavia jotta pienet muutokset ympäristössä eivät estä tehtävän suorittamista. Tässä väitöskirjassa ehdotamme esimerkillä ohjelmointia joustaviin liikkeisiin yhdistettynä ratkaisuksi yllä esitettyihin ongelmiin. Esimerkillä ohjelmoinnissa käyttäjä voi näyttää robotille miten tarvittava tehtävä suoritetaan, käyttäen joko kauko-ohjausta tai kinesteettistä ohjausta missä käyttäjä tarttuu painovoimakompensoituun robottiin ja suoraan robottia liikuttamalla näyttää, miten tehtävä tulisi suorittaa. Kehitimme menetelmiä joustavien liikkeiden käyttämiseksi kolmella eri tasolla robotin ohjelmoinnissa: säätötasolla, primitiivitasolla ja primitiivien sekvensointitasolla. Säätötasolla esitämme ratkaisuksi suoraa voimasäätöä tilanteissa, missä joko robotti tai kohde on vapaasti kelluva, ja impedanssisäätöä tilanteissä missä sekä robotti että kohde ovat painovoiman vaikutuksen alla. Primitiivitasolla esittelemme oman impedanssisäätöön perustuvan liikeprimitiivimme, jonka avulla voi tehokkaasti oppia ja kuvata liikkeitä jotka hyödyntävät ympäristöä paikka- ja asentoepävarmuuksien lieventämiseksi samalla tavalla kuin ihminen esim. asetellessaan avainta lukkoon pimeässä. Liikkeiden sekvensointitasolla näytämme miten monimutkaisen ihmisen näyttämän esimerkin voi automaattisesti jakaa vaiheisiin, joista jokaista voi kuvata yhdellä primitiivillä, ja miten nämä opitut primitiivit toistetaan oikeassa järjestyksessä ja oikealla hetkellä jotta robotti suorittaa opitun tehtävän kokonaan. Lopuksi esitämme miten robotti voi oppia etsimään kohdetta samalla tavalla kuin ihminen tilanteissa, missä näkö ei riitä tehtävän suorittamiseen, kuten sähköpistokkeen asettaminen pistorasiaan ilman näkösensoria. Tämä väitöskirja esittää kokonaisuuden, joka mahdollistaa robottien tehokkaan käytön tilanteissa, joissa käyttö ei tällä hetkellä ole kannattavaa.Description
Supervising professor
Kyrki, Ville, Prof., Aalto University, Department of Electrical Engineering and Automation, FinlandKeywords
robotics, learning from demonstration, compliant motions, impedance control, robotiikka, esimerkistä oppiminen, joustavat liikkeet, impedanssisäätö
Other note
Parts
-
[Publication 1]: Markku Suomalainen, Ville Kyrki. Learning compliant assembly motions from demonstration. In International Conference on Intelligent Robots and Systems (IROS), Daejeon, Korea. pp. 871–876, 09, 2016.
DOI: 10.1109/IROS.2016.7759153 View at publisher
-
[Publication 2]: Markku Suomalainen, Ville Kyrki. A geometric approach for learning compliant motions from demonstration. In International Conference on Humanoid Robots (Humanoids), Birmingham, United Kingdom. pp. 783–790, 11, 2017.
DOI: 10.1109/HUMANOIDS.2017.8246961 View at publisher
-
[Publication 3]: Shikha Sharma, Markku Suomalainen, Ville Kyrki. Compliant Manipulation of Free-Floating Objects. In International Conference on Robotics and Automation (ICRA), Brisbane, Australia. pp. 865-872, 05, 2018.
DOI: 10.1109/ICRA.2018.8462889 View at publisher
-
[Publication 4]: Tesfamichael Hagos, Markku Suomalainen,Ville Kyrki. Segmenting and Sequencing of Compliant Motions. In International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain. pp. 6057–6064, 10, 2018.
DOI: 10.1109/IROS.2018.8593710 View at publisher
-
[Publication 5]: Markku Suomalainen, Janne Koivumäki, Santeri Lampinen, Ville Kyrki, Jouni Mattila. Learning from Demonstration for Hydraulic Manipulators. In International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain. pp. 3579–3586, 10, 2018.
DOI: 10.1109/IROS.2018.8594285 View at publisher
- [Publication 6]: Dennis Ehlers, Markku Suomalainen, Jens Lundell, Ville Kyrki. Imitating Human Search Strategies for Assembly. Accepted for publication in International Conference on Robotics and Automation (ICRA), Montreal, Canada, 05, 2019. https://arxiv.org/abs/1809.04860
- [Publication 7]: Markku Suomalainen, Sylvain Calinon, Emmanuel Pignat, Ville Kyrki. Improving dual-arm assembly by master-slave compliance. Accepted for publication in International Conference on Robotics and Automation (ICRA), Montreal, Canada, 05, 2019. https://arxiv.org/abs/1902.07007
- [Publication 8]: Markku Suomalainen, Ville Kyrki. Learning 6-D compliant motion primitives from demonstration. Submitted to Autonomous Robots, 02, 2019. https://arxiv.org/abs/1809.01561