딥러닝(Deep Learning)

코린이·2022년 5월 17일
0

★ 딥러닝(Deep Learning)
ㄴ선형회귀로 풀어야 하는 문제 외 비선형으로 풀어야 하는 문제들이 있어 이들을 층(layer)으로
쌓아올려 딥하게 학습시킨 모델
ㄴDeep neural networks, multilayer Perceptron 등으로 불림

★ XOR 문제(논리게이트)

  • AND : 입력값들 중에 하나라도 1이면 1출력

  • OR : 입력값들 중에 하나라도 0이면 0출력
    ㄴ 게이트를 이용해 많은 문제를 풀었으며 머신러닝에도 적용하면 생각하는 기계를 만들 수 있다고 판단
    ㄴ 이걸 이용해서 수식화한게 "퍼셉트론(Perceptron)"

  • XOR : 입력값이 같으면 0출력 다르면 1출력
    ㄴ AND와 OR로는 선형회귀로 나타내지나, XOR은 불가능해서 퍼셉트론을 여러층으로 붙여 해결코자 함

  • 역전파(backpropagation) : 에러 발생시 뒤로 돌아가게 문제점을 수정하도록 하는 설계
    ㄴ XOR문제를 해결하는 설계 가능 및 수정하는 과정을 통해 딥러닝이 가능

★ 딥러닝 구성
ㄴ Input nodes : 입력레이어, 학습시키고자 하는 데이터 X값
ㄴ hidden nodes : 입력과 출력을 제외한 레이어, 학습과정으로 기록되는 곳
ㄴ output nodes : 출력레이어, 예측한 데이터 Y값

  • 베이스라인 모델 : 적절한 정확도의 딥러닝 모델 (mk-1 같은??)
    ㄴ 네트워크의 너비를 늘린다 : 성능테스트를 위함 히든 레이어의 노드수를 늘림
    ㄴ 네트워크의 깊이를 늘린다 : 성능테스트를 위함 히든 레이어의 층을 늘림

※활성화 함수의 종류
ㄴ sigmoid
ㄴ Leaky Relu
ㄴ tanh
ㄴ Maxout
ㄴ Relu : 0보다 작으면 그냥 0, 0보다 크면 그대로 output
ㄴ Elu

★ 딥러닝의 주요 스킬

  • 데이터 증강기법(Data augmentation) : 한정적인 학습 데이터의 양을 임의로 늘리는 방법으로
    예시로 이미지를 돌리거나, 사이즈조절이나, 색상조절 등을 이용한다
  • 드랍아웃(Dropout) : 무작위로 노드간 연결을 끊는 방법
  • 앙상블(ensemble) : 딥러닝 네트웍을 다중 설계 후 결과물들을 하나로 종합해서 나타내는 방법
  • 러닝 레이트 디케이 (learning rate decay) : 완전한 정답(global minimum)을 찾기는 어려우니 우선
    유사치(local minimum)에 빠르게 도달하도록 하는 방법 / 러닝 레이트를 큰폭에서 줄여나가는 방법
profile
갓 코딩 시작한 코린이

0개의 댓글