[딥러닝]👽완전 연결층/ 다층 신경망

1. 딥러닝 모델

딥러닝 모델은 상호 연결된 여러 개의 네트워크 층으로 구성된다. 각 층a. 사이에서 정보가 전달되고 데이터 변형이 이루어진다. 특정 입력에 대응하는 출력을 낼 수 있도록 데이터의 전달과정을 학습한다.

---

2. 완전 연결 계층(FC)

한 층의 모든 뉴런이 다음 계층의 모든 뉴런과 연결된 상태를 말한다. 1차원 배열의 형태로 평탄화된 행렬을 통해 이미지를 분류하는데 사용되는 계층이다. 여러 개의 노드로 구성되고 다층 신경망은 완전연결층이 여러개로 사용된 딥러닝 모델이다.

완전 연결층의 내부구조

1) 노드

• 정보의 값을 보관
• 입력 노드 : 전달받은 데이터를 보관하는 노드
• 출력 노드 : 다음 층으로 데이터를 전달하기 위한 노드

2) 에지

• 노드 사이에서 데이터를 변환 및 전달하는데 사용
• 가중치 : 에지가 가지는 값
• 가중치가 1인 경우 입력노드가 그대로 출력으로 전달
• 가중치가 0인 경우 입력노드 값 상관없이 0으로 전달

완전 연결층의 출력

주어진 데이터에 가중치를 곱한 후 전체를 합하여 출력을 만듦
출력 수식: 𝑂1 = 𝐼1𝑤1 + 𝐼2𝑤2 + … + 𝐼8𝑤8 + b

• b : 선형함수를 보다 정확하게 나타내기 위한 bias(편향값)

예를 들어 입력 노드가 8개고 출력 노드가 2개일때, 에지는 총 16개가 만들어지고 각 에지마다 가중치가 주어진다. 즉, 완전 연결층의 출력은 각 (입력노드 x 가중치)값을 전체 합한 값이다. (+b)

• 2개 이상의 출력을 가지는 완전연결층이 최종 출력층인 경우, 두 출력 중 더 큰 값을 가지는 출력노드가 최종 결과를 대표함

📖 학습이란??

완전 연결층에서의 학습은 원하는 출력을 어디 위해 가중치를 계속해서 조절하는 작업을 말한다. 가중치에 따라 출력이 달라지기 때문에 ...

활성화 함수

각 노드마다 값이 존재하고 뉴런마다 가중치와 편향값이 존재하며 다른 계층으로 넘어갈 때 노드에 가중치를 곱하고 편향을 더한값이 넘어가게 된다. 이 과정에서 활성화 함수가 사용된다. 그 값이 특정 조건을 만족하게 되면 활성화 함수를 거친 값을 다음 노드로 보내 활성화하고, 조건을 만족하지 못했으면 해당 노드를 비활성화하는 함수가 활성화함수이다.
다양한 활성화 함수가 존재하고 어떤 활성화 함수를 사용함에 따라 출력값이 달라져 어떤 문제를 해결하느냐에 따라 적절한 활성화 함수를 사용하는 것이 중요하다.

---

2. 다층 신경망

다층 신경망은 완전 연결층이 여러개로 구성된 구조이다. 딥러닝 네트워크의기본 구조로 입력은 연결된 층을 따라 전달됨(전파)

📖 학습

다층 신경망의 목표 : 마지막 층에서 발생한 오차를 최소로 줄이는 것
노드의 수와 에지가 많아지면서 가중치가 복잡해져 학습(가중치 조절)이 어렵다. 이를 해결하기 위해 역전파 알고리즘을 사용한다.

• 단순한 오차 계산
  : 정답에서 출력값(예측값)을 뺀 값

역전파 알고리즘?

마지막 층에서 발생한 오차에서 시작해서 연결된 에지의 가중치를 수정하면서 앞 층으로 이동하며 같은 과정을 반복한다. 백트래킹??
학습속도와 정밀도를 높이기 위한 다양한 알고리즘이 존재

다층 신경망의 구조 조정

1. 출력 노드
   • 각 층의 출력 노드의 개수는 조정 가능
   • 각 층의 입력은 이전 층의 출력노드로 결정됨
   • 마지막 층의 출력 개수는 분류할 그룹의 수로 결정???
2. 층의 개수
   • 연결할 완전 연결층의 개수 조정 가능
   • 최소 1개, 최대 연결 가능한 개수에는 제한이 없음

다층 신경망과 방정식

다층신경망은 주어진 입력에 대해 원하는 출력을 내는 다항방정식으로 생각할 수 있다.
𝑂1 = 𝑓(𝐼1𝑤11 + 𝐼2𝑤21 + … + 𝐼8 𝑤81 + 𝑏) // 첫번째 층의 계산식
미지수(w)는 에지의 가중치로 노드/층의 개수가 많아질수록 많아짐
=> 노드/에지의 수가 늘어날수록 방정식이 복잡해짐

복잡도 해결

1차 방정식으로 해결할 수 있는 문제를 10차방정식으로 풀 이유는 없음
=> 데이터가 적은 경우 답을 찾지 못할 가능성이 높음
=> 복잡한 문제는 복잡한 모델로, 단순한 문제는 단순한 모델로 푸는 것이 정석이긴 함

---

역전파 알고리즘

마지막 층에서 발생한 오차를 시작으로 이전 층으로 이동 해 가중치를 조정하는 과정이 반복해서 이루어짐 == 전파의 반대방향 으로 이루어지기에 '역전파'

• 오차의 계산
  오차 = 목표치 - 출력 // 단순한 오차 계산
  손실 = 1/2(오차)^2 // 2로 나누는 것은 이후 미분 계산을 간편히 하기 위한 것
• 가중치 조정
  가중치는 손실을 줄이는 방향으로 조정되며 편미분을 사용해서 해결
  가중치 변화에 따른 손실함수의 변화량을 게산해 손실함수에 적용(뺌)
  새로운 가중치 = 기존 가중치 - 입력값 * (다음 층에서 직접 연결된 노드의 가중치) * (출력 - 목표값)

=> 만약 마지막 층의 바로 앞 층의 가중치를 계산 할때는 (다음 층에서 직접 연결된 노드의 가중치)값은 없다는 것을 주의하자.

이렇게 변화된 가중치를 사용해서 다시 손실값을 계산하고 손실이 최소가 될 때까지 반복해서 학습한다!!

끝