갑작스럽지만 인턴 1개월 차에 챗봇 관련 멘토링에 참여하게 되었다. 그런데 LLM...? 잊어버린지 오래된 지식들을 정리하기 위해 기록해야겠다 싶어 다시 시작하는 벨로그! 내가 보려고 적는 벨로그!
그래서 LLM이 뭔데?
LLM이란 대형 언어 모델로 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 딥러닝 알고리즘이라고 할 수 있다. 즉, 딥러닝 기반의 언어 모델인 셈이다.
임베딩?
임베딩이란 데이터의 의미와 특징을 숫자로 표현한 것이다. LLM에서 임베딩을 통해 벡터화된 숫자는 사람들이 의미를 파악하기는 어렵지만, 서로 다른 단어나 문서로 추출된 임베딩 간 거리를 계산하여 의미적 관계를 파악할 수 있게 한다. 대표적인 예로 '워드 투 백'이 있다!
그러면 임베딩은 왜 필요한데? AI모델은 기본적으로 숫자 형태만 입력받을 수 있기에 문자를 숫자로 변형하여 입력하는 과정이 필요하다!
전이학습?
LLM에서는 대규모 데이터셋에 대한 사전 학습과 특정한 문제를 해결하기 위한 데이터로 추가학습하는 미세 조정으로 학습이 이루어진다. 사전 학습에서는 많은 양의 데이터를 노출시켜 언어에 대한 넓은 이해를 학습할 수 있게 한다. 이러한 학습 결과를 바탕으로 LLM을 특정 작업 및 도메인에 활용할 수 있도록 미세 조정을 한다. 이러한 일련의 과정이 전이학습이다.
sLLM?
작은 규모의 언어모델로 LLM과 같은 기능을 수행하지만 모델의 크기가 상대적으로 작다는 특징이 있다. 주로 FINE-TUNING을 통해 정확도를 높인다. 그렇기에 LLM에 비해 특정 도메인에 특화된 작업 수행이 가능하며 처리 속도가 빠르다!
환각 현상과 RAG
'환각 현상'이란 잘못된 정보나 실제로 존재하지 않는 정보를 만들어 내는 현상을 말한다. 이를 줄이기 위해 나타난 것이 RAG(검색 증각 생성) 기술이다. RAG는 LLM이 답변을 생성하기 전 외부의 학습 데이터를 추가하여 답변의 정확도를 높이는 기술을 말한다.
출처: https://www.igloo.co.kr/security-information/ragretrieval-augmented-generation-llm%EC%9D%98-%ED%95%9C%EA%B3%84%EC%99%80-%EB%B3%B4%EC%99%84-%EB%B0%A9%EB%B2%95/
이렇게만 공부해서는 감이 안온다.. 코드로 더 공부해 봐야지......!
