AI(인공지능)

Transfer Learning 이란? 특정 태스크(Task)를 학습한 모델을 다른 태스크 수행에 재사용하는 기법입니다. 트랜스퍼 러닝을 적용하면 기존보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 있습니다.(Bert / GPT 등등) 아래와

문장을 Token Sequence로 나누는 과정, 수행 대상에 따라 문자, 단어, 서브워드 세가지 방법이 있습니다.Tokenizer : 토큰화를 수행하는 프로그램단어 단위 / 문자 단위 / 서브워드 토큰화최조에 정보 압축 알고리즘으로 제안되었으나 최근에는 자연어 처리

Tramsformer란? Transformer는 기계 번역 등 sequence to sequence 과제를 수행하는 모델입니다. sequence to sequence란 특정 속성을 지닌 sequence를 다른 속성의 sequence로 변환하는 작업입니다. sequenc

딥러닝 모델 학습은 모델의 출력과 정답 사이의 오차를 최소화하는 방향을 구하고 이 방향에 맞춰 모델 전체의 Parameter들을 업데이트 하는 과정입니다.이때 오차를 Loss, 오차를 최소화하는 방향을 Gradient라고 합니다.Optimization : 오차를 최소화

언어 모델로 이전 단어들이 주어졌을 때 다음 단어가 무엇인지 맞히는 과정에서 Pre-train을 합니다. 문장 왼쪽에서부터 오른쪽으로 순차적으로 계산한다는 점에서 일방향(Unidirectional) 입니다.마스크 언어 모델로 문장 중간에 빈칸을 만들고 해당 빈칸에 어떤