모델이 학습한다는 의미

minsing-jin·2일 전
0

Background Knowledge

목록 보기
3/3

아직 처음 배운거라 오류가 있다면 알려주세용

ML, 넓은 의미로써의 학습

모델의 가중치값을 조정해나아가는 일련의 과정

LLM에서의 학습

모델의 단어들의 관계나 문장의 의미를 백터로 변환하는 "방법"을 배운 상태

DAE (Denosing AutoEncoder)

  1. transformer가 문장들을 임베딩하여 백터화하고 단어들의 관계를 학습함.
  2. 그리고 마스킹과 복원하는 작업을 통해 각 단어의 문맥적 의미를 배우고 문장의 의미를 백터화 하는 능력 향상
  3. 학습된 모델은 문장의 임베딩 백터로 변환

-> Chatgpt피셜이라 교차검증 필요
-> 백터화하는 과정과 denosing하는 과정은 따로 있는것 같다.

profile
why not? 정신으로 맨땅에 헤딩하고 있는 코린이

0개의 댓글