[Farm System🪴] 인공지능 스터디 5주차(상태와 행동)

🙌서론

이번 주차 내용은 상태와 행동입니다. 교재의 예제로는 n목이 있습니다. 사실 저번주차에 이번 주차 내용의 단원 명만 봤을 때 이제 강화학습의 무언갈 배우겠구나 라고 생각했지만 학습하다보니 저번주차 처럼 예제 하나를 가지고 알고리즘 공부를 하는 느낌이긴 했습니다. 그래도 교재순서대로 차근차근 학습해 보겠습니다.

🤔상태와 행동

사실 단어 그대로 의미를 유추하는 것이 편하긴 하겠습니다. 교재에 적혀있는 것 그대로(교재에는 오목을 예시로 말했습니다) 말하자면 아래와 같이 정의 가능합니다.

상태 : 바둑판 위에 흑백의 돌들이 놓인 국면
행동 : 참여자가 두는 수

✨N목 환경

우선 이번 주차 스터디에서는 다음과 같은 모듈/패키지를 이용했습니다.

import numpy as np
import time

환경은 다음과 같이 설정했습니다.

• 흑돌과 백돌은 각각 +1/-1
• 돌을 놓지 않은 곳은 0으로 표현

따라서 초기 상태의 보드는
np.zeros(shape, dtype=int)이고 shape는 틱택토는 (3,3), 오목은 (9,9) 등입니다.

유저 인터페이스는 GUI, CUI가 있지만 여기서는 CUI를 이용하겠습니다.

가능한 착수점

돌이 두어지지 않은 곳을 0으로 나타내므로 board에서 0인 요소들의 인덱스를 반환하면 됩니다.

def get_legal_actions(board):
	zero_idx = np.where(board == 0)
    legal_actions = list(zip(zero_idx[0], zero_idx[1]))
    return legal_actions

위 함수는 0인 요소들의 인덱스를 반환하는 함수입니다.
np.where로 0인 곳의 인덱스를 찾고 행과 열이 따로 반환된 이것을 zip을 이용하여 (행, 열) 형태의 튜플로 묶고 그것을 리스트에 담아 반환합니다.

승리 판단

승리는 n개의 돌이 가로/세로/대각선 방향으로 연달아 나오면 됩니다. 즉 -1/+1 이 n개가 연달아 있는지 여부로 판단하면 됩니다.

가장 간단한 방법은 길이가 n인 창을 한칸씩 이동시키면서 창안에 보이는 모든 요소들이 +1이나 -1 인지 확인하면 됩니다. 이와 같은 기법을 활주창기법이라고 합니다.
다른 방법으로는 창안의 요소들의 합이 +5인지 -5인지 확인하면 됩니다.
아래의 코드와 같이 작성가능합니다.

n_connects = 5

board_1d = np.zeros(10000, dtype=int)
board_1d[-n_connects:] = 1
win_mark = np.ones(n_connects)

for i in range(len(board_1d) - (n_connects-1)):
	window = board_1d[i:i+5]
    if (window==win_mark).all():
    	print("WIN")

대각선 방향은 조금 까다롭습니다.
대각선은 두가지 방향이 있는데 하나는 왼쪽위에서 오른쪽 아래로, 다른 하나는 오른쪽 위에서 왼쪽 아래로 향하는 방향이 있습니다.

주어진 배열은 np.diag로 얻을 수 있는데, 정 중앙의 주대각선에서 몇칸 떨어져 있는 대각선에 대해서인지는 인자 k[+는 위쪽, -는 아래쪽]로 지정가능합니다.
아래의 코드와 같이 작성가능합니다.

delta_row = n_rows - n_conn
delta_col = n_cols - n_conn

# diagonal forward (up left to down right)
for k in range(-delta_row, delta_col+1):
	l = list(np.diag(board, k))
    result = check_n_mok_in_list(l, player_type, n_conn)
    if result == True:
    	break
        
# diagonal backward (up right to down left)
for k in range(-delta_col, delta_row+1):
	l = list(np.diag(upside_down_board, k))
    result - check_n_mok_in_list(l, player_type, n_conn)
    if result == True:
    	break

게임종료/무승부 판단

돌을 더 둘 곳이 있는지 판단하면 됩니다.
돌이 놓이지 않은 곳이 0이므로 board의 모든 요소들을 곱한 값이 0인지 확인하면 됩니다.

def check_if_game_finishied(board):
	if board.prod() == 0:
    	return False
    else:
    	return True

🧙‍♀️ 대국자

인간 대국자

인간 대국자의 수는 보드의 행과 열의 인덱스를 요소로 하는 튜플로 입력받습니다.

def human(state):
	legal_actions = state.get_legal_actions()
    while True:
    	action = input("input player action (e.g., '0,0'): ")
        if "," in action:
        	action = tuple(int(float(x)) for x in action.split(","))
            if action in legal_actions:
            	break
            else:
            	print('invalid format")
        return action

오타 또는 착수 불가는한 수가 입력되는 것을 방지하기 위하여, 착수가 가능한 수가 입력되기 전까지는 "invalid format"을 출력하고 while루프가 반복되도록 합니다.

무작위적인 수를 두는 인공지능

착수 가능한 수 중에서 아무 수나 무작위적을 선택하여 대국하는 대국자를 구현한 함수입니다.

def AI-random(state):
	legal_actions = state.get_legal_actions()
    random_idx = np.random.randint(low=0, high=len(legal_actions))
    action = legal_actions[random_idx]
    return action

😀마무리

이번 주차 스터디도 이렇게 마무리되었습니다. 사실 하다보니 저번 주차처럼 인공지능 보다는 파이썬과 numpy에 익숙해지고 이것들을 이용해서 간단한(?) 알고리즘을 작성해 본 것 같습니다. 확연히 np.random만 사용한 저번주차 보다 numpy를 더 다양하게 이용해 본 것 같긴 합니다.

코드들을 보고 작성해보면서 느낀 것인데 생각보다 파이썬도 복잡하게 코드가 작성할 수 있겠구나 싶었습니다. 아니면 실제로 복잡한 것이 아닌데 제 실력이 부족해서일 수도 있고 혹은 정말 이 교재의 코드가 쓸데없이 복잡한 것일 수도 있을 것입니다. 아무튼 방학때 파이썬도 조금 더 공부해야 겠다고 느꼈습니다.

벌써 6월 입니다. 그리고 시험이 다가오는군요..😱😱
그만큼 종강이 별로 안남았다는 뜻이니 저도 화이팅하고 이글을 보는 모든 분들도 화이팅입니다!!