Playing Atari with Deep Reinforcement Learning Week - 2.6

총정리

Summary

  고차원 감각입력, 즉 다양한 입력값으로 제어정책을 학습하는 최초의 딥러닝 모델을 소개합니다. 이 모델은 가공되지 않은 픽셀데이터를 입력받고 미래보상을 추정하는 가치함수를 출력합니다. 아키텍처나 학습알고리즘을 조정하지 않고 7가지 Atari 2600 게임에 적용한 결과, 6개의 게임에서 이전의 모든 접근방식을 능가했으며, 3개의 게임에서는 전문가를 능가했습니다..

Introduce

  고차원 감각입력을 통해 에이전트를 제어하는 방법을 학습하는 것은 강화 학습의 오랜 과제 중 하나였습니다. 이런 영역에서 운영되는 대부분의 RL 응용프로그램들은 수작업으로 설계된 특징들에 의존해왔습니다.

  최근 딥러닝의 발전은 원시 데이터에서 높은 수준의 특징을 추출할 수 있게 되어 컴퓨터 비전과 음성 인식에서 큰 성과를 이끌어냈습니다. 이러한 방법들은 다양한 신경망 아키텍처를 활용하며, 지도 및 비지도 학습 모두를 이용해왔습니다.

  그러나 RL은 딥러닝 관점에서 여러가지 과제를 제시합니다.
1. 강화학습은 종종 보상 지연이 수천 타임스텝에 이를 수도 있는, 지연된 스칼라보상 신호로부터 학습해야 하기 때문에 딥러닝에서 사용되는 대량의 수작업으로 레이블링된 훈련데이터로는 학습하기 어렵다.
2. 딥러닝에서는 훈련데이터 샘플이 독립적이라고 가정하지만 RL에서는 상관관계가 높은 연속적인 데이터를 다룬다. 또한 RL은 새로운 행동을 학습함에 따라 데이터 분포가 변하는데, 이는 고정된 분포를 가정하는 딥러닝 방법에 문제가 될 수 있다.

  이 글에서는 합성곱 신경망(CNN)을 이용하여 복잡한 RL환경에서 가공되지 않은 데이터로부터 성공적인 제어정책을 학습할 수 있음을 보여줍니다. 해당 네트워크는 가중치를 업데이트 하기 위해 확률적 경사하강법을 사용한 변형된 Q-learning 알고리즘으로 학습됐습니다. 우리는 상관된 데이터 문제와 비정상 분포 문제를 완화하기 위해 경험 재생 메커니즘을 사용하여 이전 경험을 무작위로 샘플링함으로써, 과거 행동을 기준으로 훈련분포를 평탄화했습니다.

  우리는 이 방법을 여러 Atari 2600 게임에 적용했습니다. Atari 2600은 고차원 시각 입력을 에이전트에게 제공하는 도전적인 RL 테스트베드입니다. 우리의 목표는 가능한 많은 게임을 성공적으로 플레이할 수 있는 단일 신경망 에이전트를 만드는 것입니다. 이 네트워크는 구체적인 정보나 수작업으로 설계된 시각적 특징을 제공받지 않았고, 에뮬레이터의 내부 상태를 알 수 없었으며, 오직 비디오 입력, 보상 신호, 종료 신호, 가능한 행동 세트만을 바탕으로 플레이어와 같은 방법으로 게임을 진행하여 학습했습니다. 네트워크 아키텍처와 훈련에 사용된 모든 하이퍼파라미터는 모든 게임에서 동일하게 유지되었습니다. 현재까지 6개의 게임에서 이전의 모든 접근방식을 능가했으며, 3개의 게임에서는 전문가를 능가했습니다.

Background

  우리는 에이전트가 환경 E와 상호작용하며 일련의 행동, 관찰 및 보상을 수행하는 작업을 고려합니다. 각 단계에서 에이전트는 게임동작의 집합 A = {1, ..., K}에서 행동 $a_t$를 선택합니다. 선택된 행동은 에뮬레이터에 전달되어 내부 상태와 게임 점수를 수정합니다. 에이전트는 에뮬레이터의 내부 상태를 관찰하지 않고, 대신 현재 화면을 나타내는 원시 픽셀값 $x_t ∈ R^d$로 관찰합니다. 행동의 결과로 게임 점수의 변화를 나타내는 보상 $r_t$를 받습니다. 게임 점수는 이전의 행동과 관찰 시퀀스에 따라 달라질 수 있으며, 행동에 대한 피드백은 수천 타임스텝이 지나서야 받을 수 있습니다.

  에이전트는 현재 화면의 이미지만 관찰하기 때문에 작업이 부분적으로 관찰되고, 많은 에뮬레이터 상태가 앨리어싱된다. 즉 현재 화면 $x_t$만으로는 상황을 완전히 이해할 수 없습니다. 따라서 우리는 행동과 관찰 시퀀스 $s_t = x_1, a_1, x_2, ... , a_{t-1}, x_t$를 고려하고, 이 시퀀스에 따라 달리지는 게임전략을 학습합니다. 에뮬레이터의 모든 시퀀스는 유한한 시간 단계 내에 종료되는 것으로 가정합니다. 이 형식은 마르코프 결정과정(MDP)를 유도하며, 결과적으로 완전한 시퀀스 $s_t$를 시간 $t$의 상태 표현으로 사용하기만 하면 표준 강화 학습 방법을 MDP에 적용할 수 있습니다.

  에이전트의 목표는 미래 보상을 최대화하는 방식으로 행동을 선택하면서 에뮬레이터와 상호작용하는 것입니다. 우리는 미래보상이 시간 단계당 할인 요인 $γ$로 할인된다는 표준 가정을 하고, 시간 $t$에서의 미래 할인 보상을 $R_t = \displaystyle\sum_{t^′=t}^{T}{γ^{t'-t}}r_{t'}$으로 정의합니다. T는 게임이 종료되는 시간 단계입니다. 우리는 최적의 행동-가치함수 $Q^*(s,a)$를, 일부 시퀀스 s를 본 후 행동 a를 취했을 때 얻을 수 있는 최대 기대보상으로 정의합니다. $Q^*(s,a)= max_π E [R_t|s_t = s, a_t = a, π]$, 여기서 $\pi$는 시퀀스를 행동에 매핑하는 정책입니다.

  최적의 행동가치 함수는 벨만 방적식으로 알려진 중요한 항등식을 따릅니다. 이 방정식은 다음 직관을 기반으로 합니다. 만약 모든 행동 가능한 $a'$에 대해 다음 시간 단게에서의 시퀀그 $s'$의 최적값 $Q^*(s',a')$을 알고 있다면, 최적의 전략은 $\gamma + \gamma Q^*(s',a')$을 최대화하는 행동 $a'$을 선택하는 것입니다.

  많은 강화학습 알고리즘의 기본 아이디어는 벨만 방정식을 반복적으로 사용하여 행동 가치 함수를 추정하는 것 입니다. 하지만 행동 가치 함수는 각 시퀀스에 대해 별도로 추정되기 떄문에 일반화가 이루어지지 않기 때문에 , 기본적인 접근법은 비효율적입니다. 대신 일반적으로 함수 근사기를 사용합니다. 가중치 $\theta$를 가진 신경망 함수 근사기를 Q-네트워크 라고 부릅니다. Q-네트워크는 반복 $i$에서 변화하는 손실 함수의 최소화를 통해 학습됩니다. 강화학습이 시작되기 전에 목표값이 고정된 지도 학습과는 달리, 이 알고리즘의 목표값은 네트워크 가중치에 의존합니다. $\nabla_{\theta_i} L_i(\theta_i) = \mathbb{E}_{s,a \sim \rho(\cdot); s' \sim E} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta_{i-1}) - Q(s, a; \theta_i) \right) \nabla_{\theta_i} Q(s, a; \theta_i) \right]$ 손실함수를 가중치에 대해 미분하면 다음과 같은 기울기를 얻습니다. Q-러닝에서의 기울기 계산은 일반적으로 기대값(평균)을 구하는 연산을 포함하지만, 실제로는 이러한 기대값을 모두 계산하는 것은 매우 비효율적일 수 있습니다. 특히, 강화학습에서는 매 시점마다 모든 상태와 행동의 가능한 경우의 수를 고려해야 하기 때문에 계산 비용이 매우 높습니다. 따라서 확률적 경사 하강법을 사용하여 손실 함수를 최적화하는 것이 더 효율적입니다. 확률적 경사하강법은 기대값대신 단일 샘플을 이용해 기울기를 계산하고, 이를 기반으로 네트워크 가중치를 업데이트 합니다.

  Q-러닝 알고리즘은 model-free입니다. 즉 에뮬레이터 E에서 직접 샘플을 사용하여 강화 락습 문제를 해결하며, E에대한 명시적인 추정치를 만들지 않습니다. 또한 이 알고리즘은 off-policy 방식으로 학습합니다. off-policy는 행도을 선택하는 정책과 학습하는 정책이 다르다는 의미입니다. 이는 greedy 전략에 대해 학습하면서도, 상태공간을 충분히 탐색할 수 있도록 행동분포를 따르는 것입니다. 실제로는 탐욕적 전략을 통해 행동분포가 선택되며, 확률 $1 - \epsilon$을 따르고, 확률 $\epsilon$로 무작위 행동을 선택합니다.

중요도 낮은듯?
강화학습의 가장 유명한 성공 사례 중 하나는 TD-gammon입니다. 이는 강화학습과 자기 대전을 통해 학습한 백개먼 프로그램으로, 인간을 능가하는 수준의 플레이를 달성했습니다. TD-gammon은 Q-learning과 유사한 모델 프리 강화학습 알고리즘을 사용하고, 다층 퍼셉트론(MLP)을 이용하여 가치 함수를 근사했습니다.

그러나 이 방법을 체스, 바둑, 체커와 같은 게임에 적용하려는 초기 시도들은 성공적이지 못했습니다. 이로 인해 TD-gammon 방식이 백개먼에만 특별히 효과적이라는 믿음이 널리 퍼졌습니다. 특히, 백개먼의 주사위 확률적 요소가 상태 공간 탐색을 돕고, 가치 함수가 매끄럽게 작용하는 것이라는 의견이 있었습니다.

또한, Q-learning과 비선형 함수 근사기를 결합하거나, 오프-폴리시 학습을 사용하는 경우 Q-네트워크가 발산할 수 있다는 것이 밝혀졌습니다. 그 후 대부분의 연구는 선형 함수 근사기와 결합된 강화학습 알고리즘에 초점을 맞추었으며, 이 방식은 수렴 보장이 더 우수했습니다.

최근에는 딥러닝과 강화학습을 결합하려는 시도가 다시 주목받고 있습니다. 딥 뉴럴 네트워크(DNN)를 통해 환경을 추정하거나, 제한된 볼츠만 머신(RBM)을 통해 가치 함수나 정책을 추정하는 방법들이 사용되었습니다. Q-learning에서 발생하는 발산 문제는 경사 기반의 TD(Temporal Difference) 기법으로 부분적으로 해결되었습니다. 이 기법들은 비선형 함수 근사기를 사용하여 고정된 정책을 평가할 때 수렴이 증명되었으며, 선형 함수 근사기와 제한된 Q-learning 변형을 결합하여 제어 정책을 학습할 때도 수렴이 증명되었습니다. 하지만 비선형 제어로까지는 확장되지 않았습니다.

우리의 접근과 가장 유사한 선행 연구로는 Neural Fitted Q-learning (NFQ)가 있습니다. NFQ는 손실 함수의 연속을 최적화하며, RPROP 알고리즘을 사용해 Q-네트워크의 파라미터를 업데이트합니다. 그러나 NFQ는 데이터 세트 크기에 비례하는 배치 업데이트를 사용하는 반면, 우리는 낮은 상수 비용으로 확장 가능한 확률적 경사 업데이트를 고려합니다. NFQ는 심층 오토인코더를 이용해 낮은 차원의 표현을 학습한 후, 이 표현에 NFQ를 적용하는 방식으로 시각적 입력을 사용하는 실제 제어 과제에 성공적으로 적용되었습니다. 반면, 우리의 방법은 시각적 입력으로부터 직접적으로 강화학습을 수행하여, 행동-가치 차별화에 직접적으로 관련된 특징을 학습할 수 있습니다.

또한 Q-learning은 경험 재사용(Experience Replay)과 단순한 신경망과 결합된 사례가 있었지만, 이 역시 저차원 상태에서 시작한 방식이었으며, 원시 시각적 입력을 사용하지는 않았습니다.

Atari 2600 에뮬레이터를 강화학습 플랫폼으로 사용하는 것은 [3]에 의해 도입되었으며, 이들은 선형 함수 근사기와 일반적인 시각적 특징을 사용하여 표준 강화학습 알고리즘을 적용했습니다. 이후 더 많은 특징을 사용하고, 이를 낮은 차원의 공간으로 무작위 투사하는 tug-of-war 해싱을 통해 결과가 개선되었습니다. HyperNEAT 진화적 아키텍처는 각각의 게임에 대해 별도로 신경망을 진화시키는 방식으로 Atari 플랫폼에 적용되었으며, 에뮬레이터의 리셋 기능을 사용해 반복적인 학습을 통해 여러 게임의 설계 결함을 악용하는 전략을 개발할 수 있었습니다.

  TD-Gammon 또는 다른 유사한 온라인 접금 방식과는 달리, 우리는 경험 재사용기법을 사용합니다. 이 기법은 매 시긴 단계에서 에이전트의 경험을 데이터셋에 저장하고 여러 에피소드에서 수집한 경험을 리플레이 메모리에 저장합니다. 알고리즘의 내부 루프에서 우리는 저장된 샘플 풀에서 무작위로 추출한 경험에 대해 Q-러닝 업데이트 또는 미니배치 업데이트를 적용합니다. 경험 재사용기법을 수행한 후에 에이전트는 $\epsilon$-그리디 정책에 따라 행동을 선택하고 실행합니다. 하지만 이런 히스토리들이 너무 길어지면 신경망 입력으로 사용하는 것은 어려울수 있기 때문에, 저자의 Q-함수는 히스토리의 고정 길이 표현을 사용하는 함수 $\phi$를 사용합니다. 알고리즘은 다음과 같습니다.

Initialize replay memory D to capacity N
Initialize action-value function Q with random weights

	for episode = 1 to M do
    	Initialize sequence s1 = {x1}
    	Preprocess sequence φ1 = φ(s1)

    	for t = 1 to T do
       		With probability ε, select a random action at
        	Otherwise, select at = max_a Q*(φ(st), a; θ)
        
        	Execute action at in the emulator and observe reward rt and image xt+1
        	Set st+1 = (st, at, xt+1)
        	Preprocess φt+1 = φ(st+1)

        	Store transition (φt, at, rt, φt+1) in D

        	Sample random minibatch of transitions (φj, aj, rj, φj+1) from D
        
        	If φj+1 is terminal:
            	Set yj = rj
        	Else:
            	Set yj = rj + γ max_a' Q(φj+1, a'; θ)
        
        	Perform a gradient descent step on (yj - Q(φj, aj; θ))²

    	end for
	end for

먼저, 리플레이 메모리 D를 크기 N으로 초기화하고 행동가치함수 Q를 무작위 가중치로 초기화합니다.

에피소드 1에서 최종 에피소드 M까지
초기상태 $s_1$을 설정하고, 이를 전처리 하여 $\phi_1 = \phi(s_1)$을 얻습니다. 각각의 에피소드에서 게임이 끝날때까지 아래 알고리즘을 반복합니다.
1. 확률 $\epsilon$에 따라 무작위 행동를 선택하거나, greedy 정책을 선택합니다. 이때 선택된 걸 $a_t$ 라고 정의하겠습니다.
2.에뮬레이터에서 $a_t$를 실행하고, 보상 $r_t$와 이미지 $x_{t+1}$을 관찰합니다.
3.보상과 이미지를 이용하여 상태$s_{t+1}$를 업데이트하고 전처리된 데이터 $\phi_{t+1}$을 얻습니다. 전단계와 현단계의 데이터 $(\phi_t, a_t, r_t, \phi_{t+1})$을 리플레이 메모리에 저장합니다.
4.리플레이 메모리 D에서 하나의 미니배치를 샘플링합니다.
5.$\phi$가 종단상태, 즉 해당 에피소드가 끝났을 경우, $y_j = r_j$, 끝나지 않았을 경우 $y_j = r_j + 할인률 \gamma * greedy 정책$으로 Q값을 업데이트 합니다.
6.마지막으로 손실함수에 대해 경사하강법으로 가중치를 업데이트 한후 다음 에피소드를 진행합니다.

  이 접근방식은 표준 Q러닝에 비해 여러가지 이점을 제공합니다.
1.각 경험 단계가 여러번 사용 가능합니다. 즉 같은 데이터를 반복적으로 활용할 수 있기떄문에 더 적은 데이터로도 효과적인 학습이 가능해집니다.
2. 연속적으로 샘플을 사용하는 경우, 샘플 간의 상관관계가 높아져 학습이 비효울적입니다. 하지만 저자의 Q러닝은 샘플을 무작위로 선택함으로써 이 상관관계를 줄이고, 업데이트의 분산을 감소시켰습니다.
3.on-policy 학습에서는 현재 파라미터가 다음 샘플을 결정하게 되는데, 이는 특정 방향으로 치우친 피드백 루프를 초래할 수 있습니다. 하지만 경험 재사용을 통해 off-policy 학습을 함으로써, 샘플의 다양성을 높였고, 파라미터의 발산이나 진동을 방지했습니다.

  하지만 저자의 알고리즘은 리플레이 메모리에서 최근 N개의 경험 튜플만 저장하고, 업데이트를 수행할 때 D에서 무작위로 샘플링하기 때문에 중요한 샘플이 무시되고 최근의 샘플로 덮어쓰여질 수 있습니다. 같은 맥락으로 리플레이 메모리에 있는 모든 샘플에 동일한 중요도를 부여하게 되어, 학습에 효과적인 샘플을 우선적으로 활용하지 못하게 됩니다. 이런 한계를 극복하기 위해 우선순위를 정한 스위핑과 유사하게 가장 많이 배울 수 있는 샘플을 강조할 수 있습니다.

  이 연구에서는 아타리 게임의 원시 프레임을 효율적으로 처리하기 위한 전처리 과정을 도입했습니다. 원래 210×160 픽셀 크기에 128색 팔레트로 이루어진 이미지를 그레이스케일로 변환한 후, 110×84로 다운샘플링합니다. 이후 84×84 크기의 영역을 크롭하여 신경망의 입력으로 사용합니다. 이 마지막 크롭 과정은 GPU에서 2D 컨볼루션을 처리하기 위해 사각형 입력이 필요하기 때문에 수행됩니다. 알고리즘 1에 제시된 함수 $\phi$는 이 전처리를 마지막 4개의 프레임에 적용하여 Q-함수에 입력을 제공합니다.

  Q-함수를 신경망으로 매개변수화하는 방법에는 여러 가지가 있습니다. 일부 기존 접근 방식에서는 히스토리-액션 쌍을 신경망의 입력으로 사용했지만, 이는 각 행동의 Q-값을 계산하기 위해 별도의 순전파가 필요해 행동 수에 따라 비용이 선형적으로 증가하는 단점이 있습니다. 이 연구에서는 상태만을 신경망 입력으로 사용하고, 가능한 각 행동에 대해 개별 출력을 제공하는 방식을 채택했습니다. 이렇게 하면 한 번의 순전파로 모든 행동의 Q-값을 계산할 수 있습니다.

  연구에서 사용된 정확한 신경망 구조는 다음과 같습니다. 입력으로 84×84×4 크기의 이미지를 사용하며, 첫 번째 은닉층은 8×8 필터 16개를 스트라이드 4로 입력 이미지에 컨볼루션하고, Rectifier 활성화 함수를 적용합니다. 두 번째 은닉층은 4×4 필터 32개를 스트라이드 2로 컨볼루션한 후 렐루 활성화 함수를 다시 적용합니다. 마지막 은닉층은 256개의 렐루 유닛으로 이루어진 완전 연결층으로 구성되며, 출력층은 각 행동에 대해 하나의 값을 예측하는 완전 연결 선형층입니다. 우리는 이것을 DQN(Deep Q-Networks)이라고 부릅니다.

  이 실험에서는 Beam Rider, Breakout, Enduro, Pong, Q*bert, Seaquest, Space Invaders 등 7개의 인기 있는 아타리 게임에서 실험을 진행했습니다. 모든 게임에 동일한 네트워크 아키텍처, 학습 알고리즘, 하이퍼파라미터 설정을 사용하여 게임 특화 정보를 사용하지 않고도 다양한 게임에서 접근법이 잘 작동함을 보여주었습니다. 훈련 중에 보상 구조를 변경하여, 보상의 크기를 통일(모든 긍정 보상은 1, 부정 보상은 -1)했으며, 이는 에러 파생값의 범위를 제한하고 동일한 학습률을 여러 게임에서 쉽게 사용할 수 있도록 했습니다. 다만, 보상을 클리핑하는 것이 에이전트 성능에 영향을 미칠 수 있음을 지적했습니다.

  이 실험에서 RMSProp 알고리즘을 사용했고, 미니배치 크기는 32로 설정했습니다. 훈련 중 행동 정책은 ε-탐욕 정책을 사용하였으며, ε은 첫 백만 프레임 동안 1에서 0.1로 선형적으로 감소하고 이후에는 0.1로 고정되었습니다. 총 1000만 프레임 동안 훈련을 진행하고, 최근 100만 개의 프레임을 리플레이 메모리에 저장했습니다. 또한, 이전 연구처럼 프레임 건너뛰기 기법을 사용하여, 에이전트가 모든 프레임이 아닌 매 k번째 프레임에서만 행동을 선택하고, 건너뛴 프레임에서는 마지막 행동을 반복하도록 했습니다. Space Invaders에서만 레이저가 깜빡이는 주기 때문에 k=4가 아닌 k=3을 사용했습니다. 이는 유일한 하이퍼파라미터 차이였습니다.

  훈련과 안정성에 대해 설명합니다. 감독 학습에서는 훈련 및 검증 세트를 사용해 성능을 쉽게 추적할 수 있지만, 강화 학습에서는 에이전트의 진행 상황을 정확히 평가하기가 어렵습니다. 여기서는 에피소드당 총 보상을 평가 지표로 사용했으며, 훈련 중 이를 주기적으로 계산했습니다. 그러나 이 지표는 매우 불안정한 경향을 보이며, 작은 가중치 변화가 방문 상태 분포에 큰 변화를 초래할 수 있습니다. 보다 안정적인 지표로는 정책의 행동 가치 함수 Q가 있으며, 이는 에이전트가 특정 상태에서 정책을 따름으로써 얻을 수 있는 할인된 보상을 예측합니다. 훈련 전에 무작위 정책을 실행해 고정된 상태 집합을 수집하고, 이 상태들에 대해 예측된 Q의 평균 최대값을 추적했습니다. 이 값은 보다 부드럽게 증가하는 경향을 보였고, 다른 게임에서도 유사한 결과를 나타냈습니다. 이는 이 방법이 이론적인 수렴 보장이 없음에도 불구하고 큰 신경망을 안정적으로 훈련할 수 있음을 시사합니다.

  Figure 2에 대한 설명입니다. 왼쪽의 두 그래프는 Breakout과 Seaquest에서 에피소드당 평균 보상이 어떻게 변화하는지를 보여주며, 10,000 스텝 동안 ε=0.05로 ε-탐욕 정책을 실행하여 통계를 계산했습니다. 오른쪽의 두 그래프는 Breakout과 Seaquest에서 예측된 행동 가치 Q의 평균 최대값을 보여줍니다.

  Figure 3은 Seaquest 게임의 30프레임 구간에 대한 예측된 가치 함수(Q-value)를 보여줍니다. 가장 왼쪽에 있는 그래프는 이 30프레임 동안의 Q-value 변화를 나타냅니다. 또한, A, B, C로 표시된 프레임 3개의 스크린샷이 제공되며, 이는 그래프에서 각각의 프레임이 어떤 장면인지 시각적으로 설명하고 있습니다.

  Figure 3은 Seaquest 게임에서 학습된 가치 함수의 시각화를 보여줍니다. 그림에 따르면, 예측된 가치가 화면 왼쪽에 적이 나타난 후 급격히 상승합니다(지점 A). 에이전트가 적을 향해 어뢰를 발사하면, 어뢰가 적에 맞기 직전에 예측된 가치가 최고치에 도달합니다(지점 B). 마지막으로, 적이 사라진 후 가치는 원래 값으로 돌아옵니다(지점 C). Figure 3은 우리의 방법이 복잡한 이벤트 시퀀스에서 가치 함수가 어떻게 진화하는지를 학습할 수 있음을 보여줍니다.

  우리는 우리의 결과를 RL 문헌에서 나온 최고 성능을 보인 방법들과 비교합니다. Sarsa 알고리즘은 Atari 작업을 위해 설계된 여러 가지 특징 세트에서 선형 정책을 학습했으며, 우리는 이 중 가장 성능이 좋은 특징 세트의 점수를 보고합니다. Contingency는 Sarsa와 같은 접근 방식을 사용하지만 화면에서 에이전트가 제어하는 부분을 학습하여 특징 세트를 보강한 방법입니다. 이 두 방법은 모두 배경 제거 및 128가지 색을 각각의 채널로 취급하는 등 시각적 문제에 대한 사전 지식을 사용했습니다. 반면, 우리의 에이전트는 순수한 RGB 스크린샷만을 입력으로 받아 물체를 직접 감지해야 했습니다.

  학습된 에이전트 외에도, 우리는 전문 인간 플레이어와 무작위로 행동을 선택하는 정책의 점수도 보고합니다. 인간 성능은 각 게임을 약 2시간 동안 플레이한 후 얻은 중간 보상입니다. 우리의 인간 점수는 Bellemare 등의 연구에서 보고된 점수보다 훨씬 높습니다. 학습된 방법들은 ε-greedy 정책(ε = 0.05)을 일정한 프레임 동안 실행한 후 평균 점수를 보고했습니다. 표 1의 첫 다섯 행은 각 게임에서 평균 점수를 보여주며, 우리의 접근법(DQN)은 모든 게임에서 다른 학습 방법을 크게 능가했습니다.

 
표 1은 다양한 학습 방법에 따른 게임당 평균 보상을 비교하며, HNeat와 DQN의 최고 성과 에피소드 결과를 보고합니다. HNeat는 항상 동일한 점수를 얻는 결정론적 정책을 생성하지만, DQN은 ε = 0.05를 사용하는 ε-greedy 정책을 사용했습니다.

  우리는 또한 진화적 정책 탐색 방법과의 비교를 포함합니다. HNeat 방법은 Atari 화면에서 객체의 위치와 유형을 출력하는 객체 감지 알고리즘을 사용합니다. HNeat Pixel 점수는 8색상 채널을 사용하는 Atari 에뮬레이터의 특수한 표현을 기반으로 합니다. 이 방법은 결정론적 상태 시퀀스를 찾아내는 데 의존하며, 이는 무작위 변화에서 일반화하기 어려울 수 있습니다. 반면, 우리의 알고리즘은 다양한 상황에서 ε-greedy 제어 시퀀스로 평가되며, Space Invaders를 제외한 모든 게임에서 우리의 방법이 더 나은 성능을 보였습니다.

  마지막으로, 우리의 방법은 Breakout, Enduro, Pong에서 인간 플레이어보다 더 나은 성과를 기록했으며, Beam Rider에서는 인간과 거의 동등한 성과를 보였습니다. Q*bert, Seaquest, Space Invaders 게임에서는 인간 성능에 미치지 못했는데, 이는 이 게임들이 장기적인 전략을 필요로 하기 때문입니다.

  결론적으로 이 논문은 새로운 딥러닝 모델을 사용한 강화학습 방법을 소개하고, Atari 2600 게임에서 어려운 제어 정책을 학습할 수 있음을 입증했습니다. 우리는 온라인 Q-학습의 변형을 제시했으며, 이를 통해 미니배치 업데이트와 경험 재사용을 결합하여 딥 네트워크 학습을 더욱 원활하게 만들었습니다. 우리의 방법은 테스트된 7개의 게임 중 6개에서 최첨단 성과를 달성했으며, 네트워크 아키텍처나 하이퍼파라미터를 조정할 필요가 없었습니다.