Dynamic movement primitives and reinforcement learning for adapting a learned skill
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2016-08-24
Department
Major/Subject
Space Robotics and Automation
Mcode
AS3004
Degree programme
SST - Space Science and Technology (TS2005)
Language
en
Pages
9+83
Series
Abstract
Traditionally robots have been preprogrammed to execute specific tasks. This approach works well in industrial settings where robots have to execute highly accurate movements, such as when welding. However, preprogramming a robot is also expensive, error prone and time consuming due to the fact that every features of the task has to be considered. In some cases, where a robot has to execute complex tasks such as playing the ball-in-a-cup game, preprogramming it might even be impossible due to unknown features of the task. With all this in mind, this thesis examines the possibility of combining a modern learning framework, known as Learning from Demonstrations (LfD), to first teach a robot how to play the ball-in-a-cup game by demonstrating the movement for the robot, and then have the robot to improve this skill by itself with subsequent Reinforcement Learning (RL). The skill the robot has to learn is demonstrated with kinesthetic teaching, modelled as a dynamic movement primitive, and subsequently improved with the RL algorithm Policy Learning by Weighted Exploration with the Returns. Experiments performed on the industrial robot KUKA LWR4+ showed that robots are capable of successfully learning a complex skill such as playing the ball-in-a-cup game.Traditionellt sett har robotar blivit förprogrammerade för att utföra specifika uppgifter. Detta tillvägagångssätt fungerar bra i industriella miljöer var robotar måste utföra mycket noggranna rörelser, som att svetsa. Förprogrammering av robotar är dock dyrt, felbenäget och tidskrävande eftersom varje aspekt av uppgiften måste beaktas. Dessa nackdelar kan till och med göra det omöjligt att förprogrammera en robot att utföra komplexa uppgifter som att spela bollen-i-koppen spelet. Med allt detta i åtanke undersöker den här avhandlingen möjligheten att kombinera ett modernt ramverktyg, kallat inlärning av demonstrationer, för att lära en robot hur bollen-i-koppen-spelet ska spelas genom att demonstrera uppgiften för den och sedan ha roboten att själv förbättra sin inlärda uppgift genom att använda förstärkande inlärning. Uppgiften som roboten måste lära sig är demonstrerad med kinestetisk undervisning, modellerad som dynamiska rörelseprimitiver, och senare förbättrad med den förstärkande inlärningsalgoritmen Policy Learning by Weighted Exploration with the Returns. Experiment utförda på den industriella KUKA LWR4+ roboten visade att robotar är kapabla att framgångsrikt lära sig spela bollen-i-koppen spelet.Description
Supervisor
Kyrki, VilleThesis advisor
Hazara, MurtazaKeywords
learning from demonstrations, dynamic movement primitives, reinforcement learning, robotics