Generative Ai LLM
1.pre-training과 fine-tuning이란 무엇일까?
본인은 현재 프론트엔드 포지션으로 재직 중 이지만, 최근 회사에서 LLM을 사용 하여 RAG를 구현 해볼 수 있는 기회가 생겼고 최근 LLM에 흥미를 갖게됐습니다. coursera에서 강의를 듣는 중에 pre-training과 fine-tuning에 대한 이야기가 나
2.Transformers 이전의 텍스트 생성 RNN
지난 몇 년 동안 LLM의 역량이 급격히 증가한 것은 주로 LLM을지원하는 아키텍처 덕분입니다.이전 세대의 언어 모델은 순환 신경망 (RNN) 이라는 아키텍처를 사용했습니다.당시로서는 강력했지만 Generative 작업을 잘 수행하는 데 필요한 컴퓨팅과 메모리의 양이
3.간단하게 Transformer architecture를 알아보자
Transformer architecture를 사용하여 대규모 언어 모델을 구축하면 이전 세대의 RNN에 비해 자연어 작업의 성능이 크게 향상되었고 생성형 기능이 폭발적으로 증가했습니다Transformer architecture는 문장에 있는 모든 단어의 관련성과 문맥
4.Prompting and Prompt Engineering
Prompt Engineering은 AI 애플리케이션의 효율성과 효과를 높입니다. 애플리케이션 개발자는 일반적으로 개방형 사용자 입력을 AI 모델로 전달하기 전에 Prompt 내에 캡슐화합니다.모델이 더 나은 결과를 도출하도록 하는 한 가지 강력한 전략은 모델이 수행하
5.Generative Ai Project Lifecycle
Generative AI Project Lifecycle을 살펴보겠습니다.Generative AI의 Lifecycle은 4가지 핵심 원칙을 다룹니다.LLM을 사용하여 해결하려는 문제 설명을 정의하여 어떻게 표현해야 하는지 결정합니다.LLM이 어떤 기능을 수행해야 하는지
6.Generative Configuration
이번 포스트에서는 모델이 생성에 대한 최종 결정을 내리는 방식에 영향을 미치는 데 사용할 수 있는 몇 가지 방법 및 관련 구성 매개변수들을 살펴보겠습니다.입력 단어나 문장을 모델에 전달하면 먼저 텍스트 임베딩으로 변환되고 self-attention Layer로 전달된
7.Pre training Large Language Models Transformers (BERT, GPT, etc..)
Transformers 모델의 아키텍처 차이는 주로 모델들이 학습하는 방식의 차이 때문이 있습니다.LLM은 언어를 깊게 이해하고 활용하기 위해 통계적으로 다양한 정보를 인코딩합니다. 이러한 이해력은 모델이 방대한 양의 비정형 텍스트 데이터를 학습하는 과정에서 형성됩니다
8.What is Instruction Fine-tuning?
먼저 Instruction Prompt를 사용하여 LLM을 Fine-tuning 하는 방법을 설명해 보겠습니다. https://velog.io/@o3omoomin/Prompting-and-Prompt-Engineering위 포스트에서 우리는 Instructio
9.Fine-tuning On a Single task - What is Catastrophic forgetting?
LLM은 한 모델 안에서 여러 가지 다른 언어 작업을 수행하는 능력으로 유명해졌지만, 우리의 애플리케이션은 단 하나의 작업만 필요할 수도 있습니다.Pre-training 된 모델을 fine-tuning하여 관심 있는 작업의 성능만 개선할 수 있습니다.예를 들어, 해당