[AI] AutoEncoder란??

💻 AutoEncoder란?
입력 데이터를 압축하고 다시 복원하는 과정을 통해 데이터의 중요한 특징을 학습하는 모델

Autoencoder의 기본 구조

1. 인코더(Encoder):

   • 입력 데이터를 작은 차원으로 압축하는 역할
   • 예) 원래 1000개의 숫자로 구성된 데이터를 100개의 숫자로 줄임
   • 인코더는 입력 데이터에서 가장 중요한 정보만 남기고 나머지는 제거하려고 함

2. 디코더(Decoder):

   • 인코더가 압축한 데이터를 다시 원래 크기로 복원하는 역할
   • 즉, 100개의 숫자를 다시 1000개의 숫자로 확장하여 원래 입력과 최대한 비슷한 데이터를 만듦

Autoencoder의 목표

Autoencoder의 목적은 압축된 정보로부터 원본 데이터를 최대한 정확하게 복원하는 것
→ 이 과정에서 모델은 데이터의 중요한 패턴을 학습하게 됨.
만약 모델이 데이터의 중요한 특징을 잘 학습하면, 압축된 데이터만 가지고도 원래 데이터를 복원할 수 있습니다.

왜 Autoencoder를 사용할까?

1. 데이터 압축: 중요한 정보만 남기고 데이터를 압축해, 이미지나 음성 데이터처럼 크기가 큰 데이터를 효율적으로 처리
2. 잡음 제거(Denoising): 잡음이 섞인 데이터를 입력으로 넣으면, Autoencoder는 잡음을 제거한 깨끗한 데이터를 출력
3. 비지도 학습: Autoencoder는 라벨이 없는 데이터로 학습할 수 있기 때문에, 많은 데이터를 미리 학습하는 데 유용
4. 데이터 특징 학습: Autoencoder는 데이터를 압축하는 과정에서 데이터의 중요한 특징을 자동으로 학습

---

---

실험 코드

Autoencoder : ViT (Vision Transformer) 기반의 인코더와, 그 뒤에 딥러닝 기반의 디코더를 결합한 구조
→ 이 Autoencoder는 이미지의 중요한 특징을 추출하고, 그 특징을 다시 원본 이미지로 복원하는 작업 수행

각 부분 설명

1. ViT 인코더:

   self.vit = ViTModel.from_pretrained('google/vit-base-patch16-224')

   • Google에서 사전 학습된 Vision Transformer (ViT) 모델 불러와 사용
   • Vision Transformer (ViT) : 이미지의 패치를 입력으로 받아 이미지의 중요한 특징들 추출
   • ViT는 입력 이미지(여기서는 224x224 크기)를 일정한 크기의 패치로 나눈 후, 각 패치에 대한 정보를 처리하여 특징 벡터 생성
   • ViT의 출력은 여러 개의 패치 임베딩으로 이루어지지만, 이 코드에서는 그 중에서 첫 번째 패치 임베딩(CLS 토큰)을 이용해 특징 추출

     encoded = vit_outputs.last_hidden_state[:, 0]  # 첫 번째 토큰만 사용

2. 디코더(Decoder):

   self.decoder = nn.Sequential(
       nn.Linear(self.vit.config.hidden_size, 4096),
       nn.ReLU(True),
       nn.Linear(4096, 8192),
       nn.ReLU(True),
       nn.Linear(8192, 3 * 224 * 224),
       nn.Sigmoid()
   )

   • 디코더 : 인코더(ViT)를 통해 추출된 압축된 특징 벡터를 다시 이미지로 복원하는 역할
   • 세 개의 Fully Connected (FC) 레이어로 구성되며, 각 레이어는 비선형 활성화 함수 ReLU를 사용해 데이터 처리
     • 첫 번째 FC 레이어는 768개의 특징 벡터(인코더의 출력)를 4096 차원으로 확장
     • 두 번째 FC 레이어는 이 4096 차원을 8192 차원으로 확장
     • 마지막 FC 레이어는 이미지 크기에 맞게 3 224 224 (RGB 채널의 224x224 크기 이미지)로 출력
   • 마지막으로 Sigmoid 활성화 함수를 사용하여 출력 값을 0과 1 사이로 제한.
     이 값은 이미지의 각 픽셀의 RGB 값을 나타내며, [0, 1] 범위로 정규화된 값을 의미함..

3. 가중치 초기화:

   def _initialize_weights(self):
       for m in self.decoder:
           if isinstance(m, nn.Linear):
               nn.init.kaiming_uniform_(m.weight)
               nn.init.constant_(m.bias, 0)

   • 디코더의 각 Fully Connected 레이어(FC 레이어)는 Kaiming 초기화를 사용하여 가중치 초기화

손실 함수

criterion = nn.MSELoss()

• MSE (Mean Squared Error) 손실 함수를 사용해 출력된 복원 이미지와 원본 이미지 간의 차이를 계산함
  이 값이 작을수록 복원된 이미지가 원본 이미지와 비슷해짐

학습 과정

• Optimizer: Adam 옵티마이저를 사용하여 네트워크의 가중치 학습
  학습률은 lr=0.00005로 비교적 작은 값 사용
• Learning Rate Scheduler: StepLR을 사용하여 10 에폭마다 학습률을 절반으로 줄여 학습이 진행됨에 따라 더 세밀하게 학습되도록 함

학습 목표

Autoencoder의 목표는 원본 이미지를 압축한 후 다시 복원하는 것이며, 이를 통해 모델이 데이터의 중요한 특징을 학습할 수 있음.
→ 결국, 압축 과정에서 불필요한 정보를 제거하고 중요한 특징만을 남김

---

요약:
Vision Transformer (ViT)를 사용해 이미지의 특징을 추출(인코딩)하고, Fully Connected (FC) 레이어로 구성된 디코더를 사용하여 원본 이미지를 복원하는 방식