[DL] Linear vs Nonlinear

Linear vs Nonlinear

선형 (Linear) : 그래프가 직선 모양, 1차 함수의 그래프
비선형 (Nonlinear) : 그래프가 곡선 모양

비선형 변환

-단순한 선형 관계보다 복잡한 데이터의 패턴과 관계를 모델링 할 수 있다.
→ 복잡한 문제 해결
-신경망에서의 비선형 변환은 주로 활성화 함수를 통해 이루어진다.
-신경망의 각 노드에 적용되어 입력 데이터를 비선형으로 변환

• 비선형 변환 이점
  -복잡한 데이터 구조 학습
  -특징 추출 : 데이터에서 고차원적인 특징 추출
  -범용 함수 근사자 : 신경망 구조의 복잡성 + 충분한 데이터 + 비선형 활성화 함수
  

선형 변환

-선형 변환만을 사용하는 모델은 입력 데이터의 선형 조합을 통해 예측 수행
-하지만 많은 문제들은 선형 모델로는 충분히 표현할 수 없는 복잡한 비선형 구조를 지님
ex) 이미지 인식, 자연어 처리, 음성 인식 등 (데이터 간 복잡한 관계와 패턴 존재)

• 선형 모델
  변수(Samples)들을 파라미터들의 계수로 선형 결합한 구조
  모델의 출력이 입력 변수들의 가중합으로 표현