Abstract

precision based manipulation from visual using RL는 기존 방식의 어려움을 해결했습니다. 하지만 정밀한 motor control은 visual input만으로 해결하기 여렵습니다. 이를 위해 egocentric view와 3인칭 view를 사용하여 cross attention으로 해결한 것이 본 논문의 contribution입니다.

Introduction

기존의 방식들은 세세한 calibration, predefined action 등 많은 세팅을 필요로 합니다. 이를 해결하기위해 calibration이 필요없는 egocentric, third person view system을 제안합니다. 3인칭에서의 global 정보 뿐아니라 egocentric으로 local 정보를(ROI) 얻으므로 더 좋은 성능을 보입니다. 정보 fusion을 위해 cross attention을 사용하고 이는 RL policy에 활용됩니다. 4개의 task를 제시하고 해당 task에서의 성능을 실험을 통해 제시합니다.

Related Work

추후 보완