[딥러닝] RNN(장기 문맥 의존성)

Peter·2021년 7월 8일
0

딥러닝

목록 보기
41/47

장기 문맥 의존성

  • 위 문장에서 첫번째 '길동은'과 32번째 '쉬기로'는 아주 밀접한 관련이 있음
  • 관련된 요소가 멀리 덜어진 상황

문제점

  • 경사 소멸(W요소가 1보다 작을 때)

  • 경사 폭발(W요소가 1보다 클때)

  • RNN은 DMLP,CNN보다 심각하게 발생
    - 긴 입력 샘플이 자주 발생하기 때문
    - 가중치 공유 때문에 같은 값을 계속 곱함

  • LSTM은 가장 널리 사용되는 해결책

profile
컴퓨터가 좋아

0개의 댓글