Coarse coding

Coarse coding & State Aggregation

state aggregation을 위한 구획 분할을 정확히 하는 것이 아닌 다른 방식으로 해보는 것 (arbitary shape)
여러 공간에 겹칠 수 있음을 표현할 수 있게 하는 것이 특징

Generalization

아래 예시에서 원이 더 커질 수록 더 일반화된다.
반면에 원의 넓이를 줄이고 더 많은 원을 배치할 수록 세밀하게 분류한다.

Tile coding

Multiple & Overlap

여러 개의 격자무늬를 겁쳐 놓으면 그 안에 세밀한 격자무늬가 생기는 점에 서 착안

Tile coding with TD

TD에서 Tile coding을 사용하면
one-hot인 X vector와의 내적에서 쓸데없는 계산들을 최소화할 수 있다.

4 영역 격자 무늬 2개로 위의 상황을 치환하면 다음과 같다
각 격자에 대해 일렬로 늘어놓은 뒤 포함된 영역에만 1로 표시한다

Random Walk에서 이를 표현한다면 다음과 같다