딥러닝 Deep learning - 이론

LSH·2023년 8월 28일
0

교육 정보

  • 교육 명: 경기미래기술학교 AI 교육
  • 교육 기간: 2023.05.08 ~ 2023.10.31
  • 강사: 양정은 강사님
  • 강의 계획:
    1. 딥러닝 소개 및 프레임워크 설치
    2. Artificial Neurons Multilayer Perceptrons
    3. 미분 기초 Backpropagation
    4. MLP 구현하기
    5. MLP로 MNIST 학습시키기(Mini-project)
    6. Sobel Filtering
    7. Convolutional Layers
    8. 이미지 분류를 위한 CNNs
    9. CNN으로 MNIST 학습시키기
    10. VGGNet, ResNet, GoogLeNet
    11. Image Classification 미니 프로젝트
    12. Object Detection 소개
    13. Region Proposal, Selective Search
    14. RCNN
    15. Single Shot Detection

Perceptron

  • 다수의 입력을 받아 하나의 출력 (0 or 1)을 내보내는 함수

y=w1x1+w2x2++wnxny = w_1x_1+w_2x_2+ \cdots +w_nx_n

입력이 2개인 perceptron이 있다면

y={0(w1×x1+w2×x2+)θ1(w1×x1+w2×x2+)>θ=y={0(w1×x1+w2×x2+)θ01(w1×x1+w2×x2+)θ>0=y={0(w1×x1+w2×x2+)+b01(w1×x1+w2×x2+)+b>0y = \begin{cases}0 & (w_1 \times x_1 + w_2\times x_2 +\cdots)\leq \theta\\1 & (w_1 \times x_1 + w_2\times x_2 +\cdots) > \theta\end{cases}\\ = \\y = \begin{cases}0 & (w_1 \times x_1 + w_2\times x_2 +\cdots) - \theta \leq 0\\1 & (w_1 \times x_1 + w_2\times x_2 +\cdots) - \theta > 0\end{cases}\\ = \\ y = \begin{cases}0&(w_1 \times x_1 + w_2\times x_2 +\cdots) + b \leq 0\\ 1& (w_1 \times x_1 + w_2\times x_2 +\cdots) + b > 0\end{cases}

위 식에서 w는 weight이고 특정 임계치인 세타 값을 넘으면 1 넘지 않으면 0의 출력을 내보내는데 결과적으로 원하는 값을 얻기위해 적절한 w 와 b (bias)을 구하는게 딥러닝의 목표

하지만 딥러닝의 모든 입력을 모든 뉴런이 처리해야 하고 / 딥러닝의 대부분이 연산은 행렬의 곱이기 때문에 연산의 양이 매우 많아 힘듦

이 기본개념을 토대로 목표에 맞춰 뉴런을 배치하여 모델링 + loss function (mse)을 설계하여 최상의 결과를 내야 함

다양한 딥러닝 모델의 시각화


논리게이트

  • Perceptron으로 논리 게이트 구현

기본 논리 게이트

  • AND, OR, NAND, NOR, XOR, XNOR
    Logic Gate
  • Half adder (carry 되어 넘어오는 값이 없는 경우 - 이전 계산이 없는 경우)
  • Full adder (carry 되어 넘어오는 값이 있는 경우 - 넘어오는 값은 0/1 둘다 가능)
    → 64비트의 덧셈을 구현하려면 (Half Adder1) + (Full Adder*63)가 필요
    Adder (electronics)


위와같이 linear한 logic은 single layer perceptron으로 구현 가능 (w, b 값을 설정 가능)


하지만 위와같이 non-linear한 logic은 single layer perceptron으로 구현할 수 없었음 (하나의 b, bias 값을 설정해서 영역을 설정 할 수 없음)
→ 추후 AND, OR, NAND 게이트를 사용해서 XOR 게이트를 구현 할수 있음을 알아냄

  • 이런 구조를 multi layer perceptron이라고 함
profile
:D

0개의 댓글