AI
1.[LLM] Prompt Engineering
저번에는 LangChain을 통해서 Prompt Engineering을 적용하는 법을 알아보았는데, 사실 Prompt Engineering 최근 LLM을 구성하는데 있어서 매우 중요한 기술이다. 따라서 Prompt Engineering Guide에서 학습 한 내용을 내
2.[LLM] Chunking
이번에는 저번 Prompt Engineering에 이어서 Chunking에 대해서 알아보겠다.청킹은 자연어를 특정 크기로 나누는 것을 의미한다. 각 나누어진 단위를 청크(chunk)라고 하며, 이러한 기법을 적용하는 도구를 텍스트 분할기(Text splitters)라고
3.[LLM] Overview
나는 이전 글에 Prompt Engineering과 Chunking에 대해서 정리를 했었는데, LLM의 기초부터 Velog에 정리를 해야 할 필요를 느꼈다. LLM의 개념에 대해서는 예전에 책으로 몇 번 보고, 영상이나 강의자료로 가볍게 본 기억이 있는데, 이번에 제대
4.[LLM] Transformer
오늘은 현대 LLM의 모델들이 활용중인 가장 중요한 요소인 Transformer에 대해서 알아보겠다. Transformer는 2017년 Google에서 발표한 「Attention is All you need」 논문에서 소개된 모델이다.Attention is All yo
5.[LLM] Fine-tuning
Transformer 구조를 이해했으니, 이제 자연스럽게 "그럼 이렇게 만들어진 모델을 어떻게 내 태스크에 맞게 쓰는가?" 라는 질문이 생긴다. 바로 여기서 Fine-tuning(파인튜닝) 이라는 개념이 나온다.LLM이나 Transformer 모델은 처음에 Corpus
6.[LLM] LoRA (Low Rank Adaptation)
LoRA (Low Rank Adaptation) 이제 대망의 LoRA(Low Rank Adaptation) 에 대해서 알아볼 시간이다. 「LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)」