Linear layer

신경망의 가장 기본적 구성 요소
• Fully-connected (FC) Layer 라고 불리기도 함
• 내부 파라미터에 따른 선형 변환을 수행하는 함수

Linear Layer 작동 방식
• 각 입력 노드들에 weight(가중치)를 곱하고 모두 합친 뒤, bias(편향)을 더한다.
ex) 파라미터 수 : (4 * 3) + 3 = 15

행렬 곱으로 구현 가능
• n차원에서 m차원으로의 선형 변환 함수

𝑥를 미니배치에 관계없이 단순히 벡터로 볼경우

𝑥를 미니배치(N 개) 텐서로 표현할 경우

input_dim : 3
output_dim : 2