Neural Network의 Fully Connected Layer는 Linear Transform이다.

Neural Network 의 Fully Connected Layer는 사실 $y = x_1 + x_2 + 3$ 과 같이 Linear Transfom이 아니다.

Linear Transform 설명
:https://velog.io/@skkumin/%ED%96%89%EB%A0%AC%EA%B3%BC-%EC%84%A0%ED%98%95%EA%B2%B0%ED%95%A9Linear-combination%EC%84%A0%ED%98%95%EB%B3%80%ED%99%98Linear-Transformation

그렇다면 어떻게 Fully Connected Layer가 Linear Transform인지 아래의 예를 통해 설명하도록 하겠다.

이러한 Fully Connected Layer를 행렬 방정식으로 표현하면 다음과 같다.

이거는 $y = x_1 + x_2 + 3$ 와 똑같은 형태라고 할 수 있다.하지만 다음과 같은 방법으로 인해 선형 변환으로 바꿀수 있다.

원래 식의 입력값은 $x_1, x_2$이지만 마치 $x_1, x_2, (x_3=1)$ 과 같이 바꾼것이다. 이를 이용하여 위의 행렬 방정식을 선형 변환으로 바꾸면 다음과 같다.