딥러닝
1.Neural Networks
이러한 경계를 비선형 결정 경계(non-linear decision boundaries)라고 하는데요. 신경망은 이러한 비선형 결정 경계를 만드는 분류기 중 하나입니다. 따라서 신경망을 사용하는 이유는 성능이 더 잘 나오기 때문이라는 말도 맞지만 비선형 경계를 만들
2.Backpropagation
1. Introduction 이전 포스트에서 최대 마진 목적 함수를 통해 손실 함수를 계산하는 방법을 살펴보았습니다. 오답 점수가 정답 점수보다 더 큰 경우와 정답 점수가 오답 점수보다 더 큼에도 그 차이가 1($$\text{margin}$$)보다 작은 경우에 손실을 계산합니다. $$ \text{minimize}\ J = \text{max}(1 + s_...
3.신경망 실전 활용 1
이번 포스팅에서는 신경망을 실제로 사용할 때 일반적으로 사용되는 팁과 트릭을 살펴보겠습니다. 1. Gradient Check 기울기를 수치적으로 근사(numerically approximate)하는 방법은 모델의 분석적 미분이 올바른지 확인하는 용도로써 매우 정밀합니다. 하지만 실제 학습에 사용하기엔 계산 비용이 너무 크다는 단점이 있습니다. 따라서...
4.신경망 실전 활용 2
1. Data Preprocessing 대부분의 머신러닝 모델과 마찬가지로 신경망이 주어진 태스크에서 합리적인 성능을 얻기 위해서는 기본적인 전처리 절차가 매우 중요합니다. 입력 분포가 일정해야 뉴런의 활성화 분포도 안정적으로 유지되기 때문입니다. 입력 분포가 일정하지 않으면 한 레이어의 출력이 너무 크거나 작아지고 이로 인해 vanishing/exp...
5.Adaptive Optimization Methods
1. AdaGrad AdaGrad는 표준 확률적 경사 하강법(SGD)의 변형 기법입니다. 둘의 차이점은 각 파라미터 별로 학습률이 다르게 적용되는 것입니다. AdaGrad는 각 파라미터가 지금까지 얼마나 많이 업데이트 되었는지 추적합니다. 이때 덜 업데이트된 파라미터에 대해 더 큰 학습률을 주는 방식으로 작동합니다. AdaGrad의 수식은 다음과 ...
6.Neural Dependency Parsing
이번 포스팅에서는 신경망 의존성 구문 분석을 다뤄보겠습니다. 최근에는 전통적인 의존성 구문 분석 모델보다 신경망을 이용한 모델이 더 각광 받고 있습니다. 신경망 모델이 전통적인 모델과 비슷한 성능을 보이면서도 효율이 훨씬 높기 때문입니다. 그럼 왜 신경망 모델의 효율이 더 높은 지 살펴보겠습니다. 1. Traditional Models 이전 포스팅...