Today I Learned

오늘 배운 내용은 생성형 AI!

Generative AI

기존 데이터셋의 패턴을 학습하여 새로운 데이터를 생성하는 기계학습 모델
예측이나 분류가 아닌, 실제와 유사한 새로운 콘텐츠를 만들어낸다.

in NLP

Natural Language Processing, 자연어 처리
인간의 언어를 컴퓨터가 이해하고 처리할 수 있도록하는 AI 핵심 분야

• LLM(Large Language Model)
  방대한 양의 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 딥러닝 알고리즘
  수십~수백 TB의 텍스트 데이터와 수십~수백억 개의 매개변수를 사용하여 학습한다.
  별도의 파인튜닝 없어도 다양한 태스크가 수행이 가능하다.

• 발전과정
  초기에는 TF-IDF, BM25 같은 통계 기반의 LM이 제한적으로 사용됨
  Word2Vec 같은 딥러닝 기술이 도입되어 사용이 확장되었지만 단어 맥락 반영은 불가능
  BERT, GPT-2 같은 대규모 사전학습된 언어 모델 등장해 파인튜닝을 통해 다양한 태스크에 적용이 가능해졌다.
  이후 대량의 Corpus(수집된 언어 데이터)를 많은 파라미터에 사전학습시킨 LLM의 등장으로 사전학습되지 않은 태스크도 수행할 수 있고, Generative 능력을 가지게됨

in CV

생성형 이미지 모델은 특정 데이터의 분포를 기반으로 새로운 이미지를 생성한다.

• 학습 목표는 특정 데이터를 생성할 확률(likelihood)을 최대화하는 것

유형

이미지 출처 : jameskoo0503
Explicit Density : 데이터 확률 밀도함수를 직접 모델링. Tractble Density, VAE, ..
Implicit Density : 데이터 확률 밀도함수를 정의하지 않고 생성. GANs, ..

• GANs
  generator와 discriminator 두 개의 신경망으로 구성되어, 두 네트워크는 서로 경쟁하면서 학습하며, 생성된 데이터가 실제 데이터와 구별하기 어렵도록 만든다.
  TIL #425 참고

• AutoEncoder
  인코더와 디코더로 구성되어 입력 이미지를 latent space(잠재공간)으로 매핑해 잠재 변수 z로 변환하고 이를 복원하는 과정으로 이미지를 생성한다.
  AE(잠재변수 분포 정의 x), VAE(잠재변수 분포 정의), VQ-VAE(잠재변수 분포 이산화해서 정의)

• Flow-based Models
  input 이미지를 함수 f를 통해 잠재공간으로 변환하고, 역함수 $f^{-1}$를 통해 이미지를 복원(생성). 단, 함수는 연속적이고 미분이 가능하고 역변환이 가능해야한다.

• Diffusion Models
  input 이미지를 forward process(점진적으로 가우시안 노이즈를 추가)를 통해 잠재공간으로 변환하고 reverse process(앞의 노이즈를 추정해 제거)로 복원하는 구조.

분야

• Style Transfer : 이미지 스타일을 다른 이미지에 적용하는 방법(ex 화풍변환)
• inpainting : 손상된부분이나 누락된 부분 채우는 방법
• image editing : 이미지를 변경, 개선
• super resolution : 저해상도 -> 고해상도 복원
• Multi-Modal : text-to-image, text-to-video, image-to-video 등