0. 개요
이 논문은 A3C에 관한 논문이다. DQN과 마찬가지로 이 논문 역시 유튜브 팡요랩의 영상을 참고하였다.
영상링크
팡요랩
1. 논문 요약
1.1. 논문 개요
- 논문 제목: Asynchronous Methods for Deep Reinforcement Learning
- 논문 저자: Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Tim Harley, Timothy P. Lillicrap, David Silver, Koray Kavukcuoglu.
1.2. 배경
- 이전의 강화학습
이전의 강화학습은 Experience Replay를 통해서 Atari 2600에서 좋은 성과를 보였고 데이터의 상관성을 줄여서 학습할 수 있었다. 그러나 이것에도 문제가 있었는데 Experience Replay를 쓰면 많은 메모리를 사용하게 되고 옛날 폴리시에서 학습을 하는 off-policy가 된다. 그래서 experience replay 대신 asynchronous한 방법을 제시한다.
1.3. 연구 방법
핵심 방법으로 2가지를 사용한다. 첫 번째는 asynchronous이고 두 번째는 Actor critic이다. Asynchronous Advantage Actor critic이라서 A3C라는 이름이 붙었다.
-
Asynchronous(비동기) 학습
A3C는 여러 개의 병렬 액터-학습기(actor-learners)가 각각 독립적으로 환경과 상호작용하면서 학습을 진행한다. 이러한 비동기 학습 방식을 통해 Experience replay 없이도 안정적인 학습이 가능하며 각 액터-학습기 간의 상관성을 줄여 학습 안정성을 높였다. 각 학습기 별로 다른 입실론 값도 설정이 가능하다. -
Actor-Critic
A3C는 Actor-Critic 알고리즘을 사용하여 에이전트가 행동을 선택(Actor)하고, 선택한 행동에 대한 가치를 평가(Critic)한다. Actor는 정책 네트워크를 통해 다음 행동을 결정하고, Critic은 가치 네트워크를 통해 행동의 어드밴티지(Advantage)를 평가한다. 어드밴티지 함수는 특정 행동이 현재 상태에서 평균적으로 얼마나 좋은지 평가하는 식으로 A(s,a)=Q(s,a)−V(s) 이렇게 정의된다.
1.4. 주요 결과
A3C는 다양한 Atari 게임과 연속 제어 문제에서 테스트되었으며, 그 결과 기존의 강화학습 방법들과 비교해 더 빠르게 학습하면서도 뛰어난 성능을 보였다. DQN과 비교했을 때 A3C는 16개의 CPU 코어를 사용해 단 하루 만에 인간 정상화 점수를 두 배 빠르게 달성했고, GPU가 아닌 CPU 기반에서도 높은 성능을 발휘했다.
3D 레이싱 시뮬레이터인 TORCS에서 A3C는 12시간 만에 인간의 75%~90% 수준의 점수에 도달하며 우수한 성능을 보였고 MuJoCo 물리 시뮬레이터에서도 픽셀 기반 입력으로 효과적인 학습을 수행했다. 이러한 결과는 A3C의 비동기 방식이 다양한 환경에서의 학습 속도와 안정성을 높여준다는 점을 보여준다.
1.5. 개인 의견
Asynchronous한 방법을 보고 운영체제 시간에 배웠던 스레드가 생각났다. 실제 영상에서도 스레드라는 단어를 사용하기도 했다. 생각보다 되게 단순한 방법인데 이걸로 효과가 좋아졌다는 것이 조금 신기하기도 하다.
