.png)
NOTE 3
- AutoEncoder(AE)의 구성
- AE 학습과정
- Latent variable의 추상적 개념 정의
- 잠재적 특징으로 기본적인 imformation retrieval problem을 해결
- AE 활용방안에 대해 생각하기
TDL
-
AE
: 비지도 학습 방식으로 효율적인 데이터 코딩을 학습하는데 사용되는 인공 신경망의 한 유형.
오토인코더의 목적은 네트워크가 신호 "노이즈"를 무시하도록 훈련함으로써 일반적으로 차원 감소를위한 데이터세트에 대한 잠재적 표현(Latent representation)을 학습하는 것.
데이터 차원의 축소(encoding)와 축소된 데이터에서 다시 재구성(decoding)하는 가중치들이 학습된다. 그리고 이 과정은 인코딩 모델과 디코딩 모델로 나눌 수 있다.
오터인코더를 이용하면 노이즈를 제거할 수 있고, 노이즈가 제거된 데이터의 특징값을 추출하는 특성값 추출기(Feature extractor)로 사용할 수도 있다. -
Origine input x - Encoder - Latent feature - Decoder - Reconstructed input x
-
Encoder : 입력값을 받아 특징값으로 변환. 데이터 차원의 축소
-
Latent feature : 신경망 내부에서 추출된 특징적인 값들
-
Decoder : 특장값을 출력값으로 변환. 정말 잠재된 특징인지 아니면 그냥 인위적인 것인지 역전파를 통해 조정하고 학습하는 역할. 축소된 데이터에서 다시 재구성(reconstruction)하는 가중치들이 학습됨.
-
ReConstruction Error = Reconstructed x - Origine x
재구성한 x와 입력된 x가 얼마나 차이나는지 Loss function으로 계속 훈련을 시키면 Latent space에는 x를 reconstruction(재구성)하기 위한 중요한 특징들만 들어가게 된다. -
비지도 학습의 표현학습, 특징학습
: 특징 탐지(Feature Detection)나 분류를 위해 필요한 특징점들을 자동으로 발견하는 시스템적 기법의 총체. 수식이나 룰을 설정해 특징을 발견하는 것이 아니라 자동으로 발견. -
차원을 축소하는 이유
: 차원의 저주. 고차원에서 데이터를 분석하거나 측정할 때 저차원 공간에서는 나타나지 않았던 여러가지 문제들이 발생하는 것으로. 일반적으로 차원이 증가할 경우 기하급수적인 데이터가 요구되는 현상이 있음) -
label이 없어도 이미지를 일정 크기의 벡터로 자동 표현할 수 있을까?
그러면 왜 고정된 크기의 벡터로 표현해야 할까?
