Learning dynamic bag manipulation from human demonstration

Abstract

Robotic manipulation of deformable objects has been a major focus in recent research. As these objects are ubiquitously encountered in settings like logistics, healthcare, and industry, the value of enabling their robotic manipulation is clear. In contrast to rigid objects, deformable objects are notoriously difficult to manipulate, as they change shape when exposed to forces. Moreover, three-dimensional objects like bags pose additional challenges due to their more complex structure compared to lower-dimensional objects like cloths or ropes. Dynamic primitive actions have shown great potential for more efficient manipulation than pick-and-place actions. However, previously dynamic bag manipulation has been done with either non-standard end-effectors or with fully pre-programmed motions. Since optimal dynamic actions can be hard to define in advance, the value of learning them instead is clear.

This thesis aims to develop a system that fills the research gap of learning dynamic manipulation primitives for opening bags using standard robot grippers. As Reinforcement Learning (RL) relies heavily on simulation, and simulating bags and the aerodynamic effects during dynamic manipulation are extremely difficult, the Learning from Demonstration (LfD) framework Dynamic Movement Primitives (DMPs) was selected. The high velocities and accelerations characteristic of the demonstrated dynamic fling accentuate the difference in capabilities between the human demonstrator and the robot manipulators. Three DMP-based methods were studied to fit a constrained trajectory that adheres to the physical limits of robots. The best-performing method allowed the path to distort but kept the original duration and, thus, retained high velocity. Therefore, the proposed system is the combination of the dynamic fling from the superior constrained DMP and a non-dynamic motion for refining the roundness of the opening. The system is highly efficient, as the dynamic primitive is learned from a single demonstration. Experimental results showed that the proposed system is capable of opening bags initialized in a difficult, highly crumpled state. The broad generalization capability of the system was also shown, as it generalizes to a wide range of bags, including larger ones than the bag used when recording the demonstration.

Robotisk manipulation av deformerbara föremål har fått stor uppmärksamhet i den senaste forskningen. Eftersom dessa föremål är ständigt förekommande på områden som logistik, hälsovård och industri, är värdet av att möjliggöra robotisk manipulation av dem stort. I motsats till rigida föremål, så är deformerbara föremål erkänt svåra att manipulera, eftersom de ändrar form då de utsätts för krafter. Dessutom medför tredimensionella föremål som påsar ytterligare utmaningar på grund av deras mera komplexa struktur jämfört med föremål med lägre dimension som tyger eller rep. Dynamiska primitiva handlingar har visat stor potential för effektivare manipulation än plocka-och-placera-handlingar. Tidigare har dynamisk manipulation av påsar dock utförts med antingen ovanliga arbetsdon eller med fullständigt förprogrammerade rörelser. Eftersom optimala dynamiska handlingar kan vara svåra att definiera på förhand så är värdet av att lära in dem i stället tydligt.

Denna avhandling ämnar utveckla ett system som fyller forskningsluckan att lära sig dynamiska manipulationsprimitiver för att öppna påsar med vanliga robotgripare. Eftersom förstärkningsinlärning är mycket beroende av simulation, och det är extremt svårt att simulera påsar och de aerodynamiska effekter de utsätts för under dynamisk manipulation, så valdes ramverket dynamiska rörelseprimitiver för inlärning via demonstration. De höga hastigheterna och accelerationerna hos den demonstrerade dynamiska slängen understryker skillnaden i förmåga mellan den mänskliga demonstratören och robotmanipulatorerna. Tre metoder baserade på dynamiska rörelseprimitiver studerades för att anpassa en begränsad bana som håller sig till robotens fysiska gränser. Den bäst presterande metoden tillät ändringar i banans form men bevarade varaktigheten, och sålunda hög hastighet. Därmed är det föreslagna systemet en kombination av den dynamiska slängen från den bästa begränsningsmetoden och en icke-dynamisk rörelse för att förbättra öppningens rundhet. Systemet är mycket effektivt eftersom den dynamiska primitiven är inlärd från en enda demonstration. Experimentella resultat visade att det föreslagna systemet behärskar det svåra öppnandet av mycket skrynkliga påsar. Systemets breda generaliseringsförmåga påvisades också, eftersom det generaliserar till påsar med bred variation, också större än den som användes vid demonstrationen.