🐶 Playing Atari with Deep Reinforcement Learning

🐵 Euron

🌱 Value Based vs Policy Based

• value: 보상을 따라서 학습
• policy: 정책(행동)에 초점을 맞춰서 학습

🌱 Q-러닝

💡 에이전트를 큐-테이블로 표현하여 계속 업데이트

1) 모두 0으로 초기화
2) 임의로 선택한 행동에 따라 최적 경로 탐색 ➡️ 탐욕 알고리즘 사용
3) 가장 높은 큐 값을 갖는 행동을 선택

🌱 Q-함수

• 에이전트가 행동을 취했을 경우 받을 수 있는 보상의 기댓값을 예측하는 함수
• 시간이 지날수록 보상의 가치가 감소 ➡️ 할인률 적용

📌 할인률: 미래의 돈은 현재의 돈보다 가치가 낮아 할인률을 적용 ➡️ 현재는 해당 돈을 가지고 투자 가능, 미래는 불가능하므로 가치가 낮다.

# Why Deep?

---

Abstract

⏰ 19 Dec 2013

본 연구는 딥러닝 모델을 통하여 고차원적인 감각 입력으로부터 제어 규칙을 학습하는데 성공하였음. 해당 모델은 Q-러닝을 변형 + CNN을 사용하여 입력으로는 raw pixel을, 출력으로는 미래 보상을 예측하는 value function을 사용함. 해당 모델을 아키텍처나 학습 알고리즘을 조정하지 않은채로 Atari 2600이라는 게임에 적용을 하였고 결론적으로는 이전의 접근 방식과 전문가를 능가하는 성과를 보였음.

1. Introduction

딥러닝의 발전으로 raw 감각 데이터에서 고수준의 특징을 추출할 수 있게 되어 비전과 음성 분야에서 획기적인 성과를 이루어냄. 이러한 방법들은 CNN, RNN 등 다양한 신경망 구조와 지도/비지도 학습을 활용해옴. 이러한 기술들이 감각 데이터를 사용하는 RL에도 유용한지 의문이 생겼음.

강화 학습은 딥러닝 관점에서 다양한 어려움이 있음.

🚨(1) RL 알고리즘의 데이터셋
대부분의 성공적인 딥러닝 응용은 대량의 수작업으로 라벨링된 학습 데이터를 필요로함. 그러나 RL 알고리즘은 대부분 희박하고 잡음이 섞여있으며 지연된 스칼라 보상 신호로부터 학습해야함.

🐶 지연된 스칼라 보상

• '지연된': 에이전트가 어떠한 행동을 했을 때 그 행동의 결과로 얻는 보상이 즉시 주어지는 것이 아니라 몇 번의 다른 행동을 수행한 후에 주어지는 것
• '스칼라': 보상이 단일한 숫자로 표현되는 것
  ➡️ 지연된 보상은 강화 학습을 어렵게 만드는 요인 중 하나임. 입력과 목표 간의 직접적인 연관성을 가지는 지도 학습에 비해 어려움이 있음.

🚨(2) 고도로 상관된 상태들의 Sequence
딥러닝은 데이터 샘플 대부분이 독립적임. 그러나 RL에서는 알고리즘이 새로운 행동을 학습함에 따라서 데이터의 분포가 변화하는데, 이는 고정된 기저 분포를 가정하는 딥러닝 방법들에 대해 맞지 않을 수 있음.

본 논문은 CNN이 RL환경에서 raw 비디오 데이터로부터 성공적인 제어 규칙을 학습할 수 있음을 보여줌.

• Q-러닝 알고리즘의 변형과 SGD를 사용하여 가중치를 업데이트하여 학습
• 경험 재생 매커니즘: 상관된 데이터와 비정상적 분포 문제를 해결하기 위하여 전환 상태를 무작위로 샘플링

✅ 해당 접근법을 Atari 2600 게임들에 적용하여 (비디오 입력, 보상 및 종료 신호, 가능한 행동 집합)만으로 학습하여 7개 중 6개가 이전의 모든 알고리즘을 능가하였으며 그 중 3개는 전문적인 사람 수준을 능가함.

2. Background

🐶 본 논문은 에이전트가 환경 E(즉 Atari 에뮬레이터)와 상호작용하며 행동, 관찰, 보상의 단계를 수행하는 작업을 고려함.

• 각 시간 단계에서 에이전트는 가능한 게임 행동 집합 A={1,...,K}에서 행동 📌at를 선택함.
• 해당 행동은 애뮬레이터에 전달되어 내부 상태와 게임 점수에 영향을 미침.
• 에이전트는 에뮬레이터의 내부 상태를 관찰할 수 없고, 현재 화면을 나타내는 원시 픽셀 값의 벡터인 이미지 📌xt를 관찰함.
• 게임 점수의 변화를 나타내는 보상 📌rt를 받음.

➡️ 게임 점수는 이전의 모든 행동과 관찰 시퀀스에 따라 달라지며 피드백은 수천 타임스텝이 경과한 후에야 받을 수 있음.

에이전트는 현재 화면의 이미지만을 관찰하기 때문에 위의 작업은 부분적으로 관찰됨 ➡️ 화면 xt만으로는 현재 상황을 완전히 이해할 수 없음.

💡 따라서 행동과 관찰의 시퀀스 st = x1, a1, x2, ... 를 고려하며 이러한 시퀀스에 의존하는 게임 전략을 학습함.

• 📌st: 시간 t에서의 상태 표현으로 표준 강화 학습 방법을 MDP에 적용할 수 있음

🐶 마르코프 결정 과정(MDP)

• 의사 결정을 수학적으로 모델링하는 프레임워크. 목표는 에이전트가 최적의 행동 규칙(총 보상을 극대화)을 찾는 것 ➡️ 현재 어떤 행동을 선택해야 미래 보상이 최대화되는지 학습 가능함.

✅ 에이전트 목표: 에뮬레이터와 상호작용하며 미래 보상을 최대화하는 행동을 선택하는 것

• 미래 보상은 γ로 할인되며, 전체 시간을 Y라고 했을 때 Rt
  

• 최적 행동-가치 함수 Q*(s,a)는 어떠한 행동 a를 했을 때 받는 가장 큰 보상 값

• Bellman 방정식: 최족 행동-가치 함수가 따르는 항등식 ➡️ 시퀀스 s'의 최적 가치 Q(s', a')이 모든 가능한 행동 a'에 대하여 알려져있다면 최적 전략은 r + rQ(s', a')를 최대화하는 행동을 선택하는 것이라는 직관

🚨 가치 반복 알고리즘은 최적 행동 가치 Q* 에 수렴하나, 시퀀스에 대한 행동 가치 함수를 별도로 추정하므로 비현실적임

• 함수 근사치를 사용하여 Q(s,a;θ)를 Q*(s,a)로 추정하는 것이 일반적
  💡 선형 함수 근사치를 사용할 수도 있지만 nn과 같은 비선형 함수 근사치를 사용 ➡️ Q-네트워크

🐶 현재 상태에서의 행동 가치를 다음 상태에서의 최적 행동 가치로 갱신하는 것(Q는 현재 상태의 가치 평가 Q'은 다음 상태에서의 가치 평가)

위의 손실함수는 SGD로 더 효율적으로 계산 ➡️ 에피소드마다 가중치를 갱신하고, 기댓값을 행동 분포 ρ와 에뮬레이터 𝐸에서 단일 샘플로 대체함.

✅ 해당 알고리즘은 모델 프리이며, 에뮬레이터 E의 추정을 명시적으로 구성하지 않고서 샘플을 직접 사용하여 RL 작업을 해결함. 상태 공간의 충분한 탐색을 보장하는 행동 분포를 따르면서도 Greedy 전략에 대해 학습함.

+) 실제로는 'ϵ-Greedy 전략'이 사용: 확률 1−ϵ로 Greedy 전략을 따르고, 확률 ϵ로 무작위 행동을 선택합니다.

🐶 모델 프리

• 환경의 명시적 모델을 구축하지 않고 직접 경험을 통해 학습하는 방식

3. Related Work

(1) TD-gammon에 MLP를 활용하여 model-free RL을 활용한 연구가 있었으니ㅏ, 체스/바둑/체커와 같은 게임에서는 성공적이지 못했음.

🚨 해당 방법은 TD-gammon에만 적용이 되는 특수 케이스 => 주사위의 확률 분포가 가치 함수를 더 부드럽게 만들어주었을 것

(2) 제한 볼츠만 머신: 가치 함수 추정에 사용, Q-러닝 변형으로 제어 규칙을 학습할 때 수렴하는 것으로 입증

🚨 비선형 제어로 확장되지 않음

(3) NFQ: 손실 함수의 시퀀스 최적화를 위해 RPROP 알고리즘 사용, Q-네트워크 파라미터 업데이트 + 데이터셋 크기에 비례하는 계산 비용을 가진 batch 업데이트 사용 + 단순한 현실 세계의 제어 작업에만 성공적

✅ 본 연구는 대규모 데이터셋으로 확장할 수 있는 SGD를 사용 + 시각적 입력에서 RL을 적용하여 행동 가치를 구별하는데 직접적으로 관련된 특성들을 학습

4. Deep Reinforcement Learning

🐶 목표: RL 알고리즘을 직접 RGB 이미지에서 작동하는 심층 신경망과 연결하고, SGD 업데이트를 사용하여 훈련 데이터를 효율적으로 처리하는 것!

➡️ TD-Gammon과 달리 'experience replay' 기술 사용

• 각 시간 단계의 에이전트의 경험을 데이터셋 D = e1, ... eN -> 많은 에피소드를 메모리에 저장
• 알고리즘의 내부 루프에서 경험의 샘플인 e~D를 무작위로 추출하여 Q-러닝 업데이트/미니배치 업데이트 적용
• ER를 적용한 후, 에이전트는 Greedy에 따라 행동을 선택하고 실행함.

+) 임의의 이력 길이를 nn에 넣는 것은 어려울 수 있음 => Q함수 대신 함수 φ에 의해 생성된 이력의 고정된 길이 표현 사용

🐶 연속된 샘플에서 직접 학습하는 것은 샘플의 강한 상관 관계 때문에 비효율적 => 무작위 선택하여 상관 관계를 깨고 업데이트의 분산을 줄임

🐶 On-policy: 현재의 매개변수가 훈련되는 다음 데이터 샘플을 결정

• 최대화 행동이 왼쪽으로 이동한다면 훈련 샘플은 왼쪽에서 선택된 샘플일 확률이 높음 => 훈련 분포가 변경되는 것

🚨 원치 않는 피드백 루프로 매개변수가 지역 최솟값에 갇히거나 발산할 수 있음

➡️ Experience Replay를 사용하여 행동 분포가 많은 이전 상태에 의해 평균화되어 학습이 부드럽고 매개 변수의 진동/발산 방지

+) ER로 학습할 때 현재 매개변수가 샘플을 생성하는데 사용된 매개변수와 다르기 때문에 Off-policy 학습이 필요하며 이것이 Q-러닝을 선택하는 동기가 됨

📌 On/Off - policy

• 온 폴리시: 현재 사용되고 있는 정책에 따라 데이터를 수집하고 평가함. ex. SARSA
• 오프 폴리시: 다른 정책으로 수집된 데이터를 사용하여 평가하고 학습함. ex. Q-러닝

✅ Q-러닝은 에이전트가 현재 정책과는 관계없는 행동을 선택하고, 그 결과로 받은 보상을 사용하여 최적의 정책을 찾게 됨.

4.1 Preprocessing and Model Architecture

🚨 Atari 게임의 raw 프레임을 직접 다루는 것은 계산적 요구가 높음

➡️ (1) 입력 차원을 줄이기 위한 기본 전처리 단계 적용

• RGB 표현을 그레이스케일로 변환, 110 x 84로 다운 샘플링
• 플레이 영역을 대략적으로 캡처한 84 x 84 영역

(2) 신경망을 사용하여 Q를 매개변수화: 상태 표현만이 신경망의 입력으로 사용되는 아키텍처

• 출력은 입력 상태에 대한 개별 행동의 예측된 Q값
  ➡️ 장점: 단일 전방 전달로 주어진 상태에서 가능한 모든 행동의 Q값 계산

💡 아키텍처 Deep Q-Network(DQN)
(0) 신경망의 입력: φ에 의해 생성된 84 × 84 × 4 이미지
(1) 은닉층 1: 16개의 8 x 8 필터를 4 stride하는 CNN => Relu
(2) 은닉층 2: 32개의 4 x 4 필터를 2 stride하는 CNN => Relu
(3) 은닉층 3: FC, 256 Relu Unit
(4) 출력: 각 유효 행동에 대한 단일 출력(행동은 게임마다 4-18

5. Experiments

RMSProp, Greedy 행동 정책, 프레임 건너뛰기 기술 사용 ➡️ Atari 게임 7개에 대한 실험에서 견고함을 보임.

5.1 Training and Stability

훈련 시작 전 랜덤 정책 실행하여 고정된 상태 집합을 수집하고 이에 대한 최대 예측 Q값의 평균을 추적 ➡️ 예측된 Q값이 원활하게 증가 + 발산 문제X

• 이론적 수렴 보장이 없지만 강화 학습 신호와 SGD를 사용하여 대규모 신경망을 안정적으로 훈련

• 왼쪽 2개는 ϵ-greedy policy 사용, 오른쪽 2개는 본 논문에서 제안한 Average Q 사용
  ✅ 확실하게 안정적으로 훈련됨을 확인할 수 있음

5.2 Visualizing the Value Function

• 위 그림은 게임에서 학습된 가치 함수의 시각화임. 예측된 값이 화면 왼쪽에 적이 나타나면 급격하게 증가함. 에이전트가 적에게 어뢰를 발사하고 어뢰가 적에게 명중하기 직접에 예측된 값이 최고점에 이르게 됨. 적이 사라진 후에는 값이 원래 값으로 떨어짐.

✅ 본 논문에서 제안한 방법이 상당히 복잡한 사건의 일련에 대한 가치 함수의 변화를 학습했음을 보여줌.

5.3 Main Evaluation

• DQN: 각 게임에 대하여 Random, Sarsa, Contingency보다 높은 성능을 보임

✅ 본 논문에서의 방법은 Atari 게임에서 다른 방법들보다 우수한 성능을 보이며, 사전 지식 없이도 raw RGB 스크린샷을 사용하여 객체를 감지하여 일반화되어 있음.

6. Conclusion

본 연구는 DQN 구조를 활용하여 딥러닝을 RL에 적용시켜, raw pixel만을 입력으로 사용하여 SOTA 결과를 보임.

🐵 강화학습에 대해서는 관심만 있었지 잘 몰랐는데, 이렇게 쌩으로 게임 화면을 입력값으로하여 학습이 가능하다는 것은 처음 알았다. 본 논문은 13년도 논문인데 17년도 알파고도 이와 비슷한 아키텍처인지 궁금하고, 24년도인 지금은 어느 수준까지 왔는지 궁금하다.