Deep reinforcement learning for robotic industrial assembly

Abstract

Od współczesnych linii produkcyjnych wymaga się elastyczność, która pozwala na szybką adaptację linii do zmieniających się warunków produkcyjnych, w szczególności w procesach montażowych. Obiecującym rozwiązaniem tego problemu, jest zastosowanie technik sztucznej inteligencji takich jak uczenie ze wzmocnieniem (ang. reinforcement learning, RL), które mogą znacząco usprawnić procesy produkcyjne. Celem zaprezentowanych w rozprawie badań było opracowanie metody opierającej się na uczeniu ze wzmocnieniem do montażu różnych elementów na liniach produkcyjnych. Efektem prac badawczych było stworzenie nowatorskiego algorytmu zwanego Multimodal Variational DeepMDP (MVDeepMDP), a także wydajnej procedury do uczenia agenta RL na robocie przemysłowym. Opracowana metoda pozwala na szybką adaptację wstępnie nauczonego agenta RL do nowych produktów, poprzez integrację algorytmu Soft Actor-Critic z wielomodalnym wariacyjnym autoenkoderem. Procedurę przetestowano za pomocą zadania montażu elementów elektronicznych, wykazując wysoką wydajność w porównaniu do konwencjonalnych metod. Przeprowadzone eksperymenty wykazały, że MVDeepMDP jest w stanie od razu montować nowe elementy, lub, w razie potrzeby, po douczeniu się trwającym maksymalnie 5 minut. Podsumowując, zaproponowane rozwiązanie pozwala na szybką adaptację zrobotyzowanych stacji montażowych, co jest wymagane we współczesnym przemyśle.

Modem production lines demand a level of flexibility that enables quick adjustments to changing production conditions, particularly in assembly processes. A promising approach to address this challenge is the use of artificial intelligence techniques, such as reinforcement learning (RL), which can significantly improve production processes. The research presented in this dissertation focused on developing a method based on reinforcement learning for the assembly of various components on production lines. The result of this research is the development of a novel algorithm called Multimodal Variational DeepMDP (MVDeepMDP), along with an efficient framework for training an RL agent on an industrial robot. This method facilitates the quick adaptation of the pre-trained RL agent to new products by integrating the Soft Actor-Critic algorithm with a multimodal variational autoencoder. The framework was evaluated using the electronic parts insertion task, demonstrating great performance compared to conventional methods. The experiments conducted indicated that MVDeepMDP is capable of performing zero-shot transfer to unseen components or, if necessary, fine-tuning within a maximum of just 5 minutes. In summary, the proposed solution enables the quick adaptation of robotic assembly stations, a critical requirement in the modem manufacturing industry.