Creative skill use in robots

Abstract

Stworzenie uniwersalnych robotów usługowych do użytku w środowiskach skoncentrowanych na człowieku, takich jak domy, szpitale i sklepy, stanowi duże wyzwanie. Ludzie w tych miejscach działają naturalnie, wykazując kreatywność, improwizację i dostosowując umiejętności do zmieniających się warunków. Dlatego też, aby roboty mogły być skutecznie wykorzystywane w różnych scenariuszach, muszą one także posiadać zdolność adaptacji. Niniejsza rozprawa koncentruje się na problemie adaptacji umiejętności, w szczególności na rozumieniu zadań oraz adaptacji umiejętności motorycznych. Aby rozwiązać problem adaptacji umiejętności motorycznych, rozprawa ta proponuje formalizację elastycznego schematu szablonu umiejętności oraz algorytmu adaptacji umiejętności, który koordynuje moduły percepcji i ruchu. Zaproponowany algorytm jest testowany na systemie robotycznym PR2, wykonującym różne codzienne zadania manipulacyjne. Zdolności generalizacyjne proponowanej metody są demonstrowane przez jej zastosowanie z różnymi obiektami i w różnych sytuacjach. Dla problemu rozumienia sceny i zadań, rozprawa proponuje grafową reprezentację wiedzy opartą na afordancjach. Zaprojektowano dwa algorytmy: jeden do konstruowania grafów sceny, a drugi do uczenia się reprezentacji zadań z demonstracji. Ewaluacja tego podejścia przeprowadzana jest na danych wejściowych w postaci chmur punktów zarejestrowanych za pomocą kamery głębi. Proponowane podejście wykazuje obiecujący kierunek do poprawy niezawodności i elastyczności systemów robotycznych w złożonych środowiskach rzeczywistych. Creating universal service robots for human-centric environments like homes, hospitals, and shops presents a significant challenge due to their diverse, unstructured, and dynamic nature. Humans navigate these environments naturally with creativity, improvisation, and skill adaptation. To address this challenge, this dissertation focuses on skill adaptation, specifically task understanding and skill adaptation. To tackle the problem of skill adaptation, a flexible skill template scheme is formalized, along with a skill adaptation algorithm that orchestrates task execution and coordinates perception and motion modules. This algorithm is evaluated on a complete robotic system and tested on a real PR2 robot performing three everyday manipulation tasks. Its generalization capabilities are demonstrated with different objects, showing versatility without the need for reprogramming. For scene and task understanding, an affordance-based graph knowledge representation is proposed, representing objects and tasks in terms of their constituent parts and relations. Two algorithms are designed: one for constructing scene graphs and another for learning task representations from demonstrations. The approach is evaluated using a vision system on tasks involving hanging and stacking items, providing qualitative and quantitative results, along with ablation studies and computational complexity analysis. Overall, the approach shows promise in enhancing the robustness and flexibility of robotic systems in complex real-world environments.