[밑바닥부터 시작하는 딥러닝] #17 max pooling, im2col

Max Pooling

학습할 가중치가 없다. 규격만 있다.

합성곱 신경망의 구조

더 높은 층에서의 필터가 적용된 픽셀값은 앞선 픽셀들과 채널들의 정보를 포함하고 있으므로 더 높은 밀도를 가지고, 이는 좀더 추상화된 feature를 찾는 결과를 만들어낸다.

im2col

example

코드구현

# conv 층을 거쳤을때 만들어질 out_h, out_w를 바탕으로
# 2차원의 행렬을 만들어준다.
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
    '''
    input_data : 4차원 배열 형태의 입력 데이터
    filter_h, filter_w : conv에서 사용할 필터의 크기
    stride, pad : 필터의 stride와 pad
    '''
    
    N, C, H, W = input_data.shape
    out_h = (H + 2*pad - filter_h) // stride + 1
    out_w = (W + 2*pad - filter_w) // stride + 1
    
    img = np.pad(input_data, [(0,0), (0,0), (pad, pad), (pad, pad)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))
    
    for y in range(filter_h):
        y_max = y + stride*out_h
        for x in range(filter_w):
            x_max = x + stride*out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]

	# 행의 개수인 N*out_h*out_w가 이해하기가 어렵다.
    # 하지만 im2col을 2차원 인풋 데이터라고 생각하면 행의 개수는
    # Affine이 이루어지는 연산의 횟수라고 생각할 수 있다.
    # 즉 conv에서 filter가 움직이는 연산의 횟수가 행의 개수와 동일하다.
    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N*out_h*out_w, -1)
    return col