📝이 포스트는 Pooling Layer 에 대해 알아보겠습니다.

---

정의

Pooling Layer란 Convolution Layer의 연산 결과로 출력된 Feature map의 사이즈를 감소시키면면서도 특징을 보존하기 위한 과정이다.

일반적으로 Convolution Layer은 합성곱 연산 결과로 나온 Feature map의 non-linearity 성질을 주기 위해 활성화 함수 연산을 수행하는 것이 일반적입니다.

그 다음 Pooling Layer가 연산됩니다.

---

목적

1. 합성곱의 연산 결과로 나온 Feature map 크기 줄여서 신경망의 파라미터와 연산량을 줄이기 위해서
2. 신경망에 미세한 변화가 있어도 민감하지 않도록 하기 위해서 (Average Pooling)
3. local의 잡음을 제거하고 중요한 특징을 추출하기 위해서

---

원리

Max Pooling

• Pooling Filter 내에서 가장 중요한 Feature를 추출하는 방식입니다.
  
• 위와 같은 방식으로 local에서 가장 큰 Feature를 추출하면서 Feature map의 크기를 줄입니다.
• 가장 큰 Feature를 추출하면서도 추출된 값보다 작은 덜 중요한 값들(잡음)을 제거하게 됩니다.

Average Pooling

• Pooling Filter 내의 Feature들의 평균을 구하는 방식입니다.
  
• 위와 같은 방식으로 locald에서 평균을 구히여 새로운 Feature map을 만듭니다.
• 평균을 구해 low-frequency 나 high-frequency 들을 감쇠시키는 역할을 합니다.

---

코드 이해

• Max Pooling

def max_pooling(input, pooling_size):
    # 입력 데이터와 풀링 영역 크기
    input_height, input_width = input.shape
    pool_height, pool_width = pooling_size

    # 풀링 결과를 담을 배열 생성
    out_height, out_width = input_height // pool_height, input_width // pool_width

    output = np.zeros((out_height, out_width))

    # Max pooling 수행
    for i in range(out_height):
        for j in range(out_width):
            # 풀링 영역에서 최대값 찾기
            local = input[i*pool_height:(i+1)*pool_height, j*pool_width:(j+1)*pool_width]
            output[i, j] = np.max(local)

    return output

위 코드는 Max Pooling을 low-level 에서 구현한 코드입니다.
그러면 이제 input 데이터를 생성하고 Max Pooling 사이즈를 결정해줍니다.

columns, rows = 8, 8

pooling_filter = (2, 2)

input_array = np.zeros(64).reshape(columns, rows)

for i in range(columns):
  for j in range(rows):
    input_array[i][j] = np.random.randint(1, 100)

print(input_array)

💻 결과 :

[[47. 95. 30. 66. 32. 16. 71. 54.]
 [70. 28. 25. 66. 34. 81. 86. 50.]
 [25. 71. 55. 38. 76. 18. 27. 55.]
 [51. 11. 84. 73. 11. 71. 46. 20.]
 [27. 56.  3. 28. 59. 68. 72. 60.]
 [85. 47. 53. 92. 59. 89. 41. 54.]
 [42.  2. 90. 81.  8.  7. 73. 91.]
 [91. 48. 35.  6. 81. 78. 24.  4.]]

함수에 입력 데이터를 변수로 입력

output_array = max_pooling(input_array, pooling_filter)

💻 결과 :

[[95. 66. 81. 86.]
 [71. 84. 76. 55.]
 [85. 92. 89. 72.]
 [91. 90. 81. 91.]]

각 풀링 필터가 순회하면서 가장 큰 값을 추출하는 것을 확인할 수 있습니다.

• Average Pooling

def average_pooling(input, pooling_size):
    # 입력 데이터와 풀링 영역 크기
    input_height, input_width = input.shape
    pool_height, pool_width = pooling_size

    # 풀링 결과를 담을 배열 생성
    out_height, out_width = input_height // pool_height, input_width // pool_width

    output = np.zeros((out_height, out_width))

    # Average pooling 수행
    for i in range(out_height):
        for j in range(out_width):
            # 풀링 영역에서 최대값 찾기
            local = input[i*pool_height:(i+1)*pool_height, j*pool_width:(j+1)*pool_width]
            output[i, j] = np.mean(local)

    return output

위 코드는 Average Pooling을 low-level 에서 구현한 코드입니다.
input와 Pooling 사이즈는 Max Pooling 때 썼던 변수 그대로 사용하겠습니다.

output_array = average_pooling(input_array, pooling_filter)

print(output_array)

💻 결과 :

[[60.   46.75 40.75 65.25]
 [39.5  62.5  44.   37.  ]
 [53.75 44.   68.75 56.75]
 [45.75 53.   43.5  48.  ]]

각 풀링 필터가 순회하면서 필터 내의 모든 인덱스의 값을 평균을 계산해 추출하는 것을 확인할 수 있습니다.