prompt-engineering

1. 프롬프트 엔지니어링이 필요한 이유 프롬프트 설계는 웹에서 AI시대 개발을 준비하기 위해 필요한 밑거름이다. 프롬프트 설계 스킬은 프로그래밍 언어를 배우는 것과 같다. 2. LLM(Large Language Model)이란? -> LLM은 인간과 유사한 텍스트

Transformer Architecture 도입 배경기존 RNN은 입력을 순차적으로 처리해야 하는 근본적인 구조의 한계가 있어 병렬 처리가 어렵다. 또한 긴 시퀀스를 처리할 때 메모리가 부족해지는 Long-Term Dependencies 문제가 발생한다. 따라서 Pa

Base LLM학습된 데이터를 바탕으로 다음 단어를 예측하도록 설계된 언어 모델질문에 답변하거나 대화를 하는 등의 특정 작업을 수행하도록 설계되지 않음지시를 따르거나 작업을 수행하는 기능은 부족한 상태추가적인 튜닝 없이는 주어진 프롬프트의 의도를 이해하지 못할 수 있음

1. Be clear, direct, and detailed 프롬프트를 작성할때 명확하고 구체적으로 작성해야한다. 프롬프트의 절대적인룰 : 프롬프트를 동료에게 보여줬을 때 "나에게 질문 없이" 일을 할 수 있는가? (1) Be clear, direct 해야할 작업

프롬프트 엔지니어링의 핵심은 반복적인 개선이다. 하지만 측정할 수 없으면 개선할 수 없다. 그러므로 지속적인 프롬프트 평가가 중요하다Output : 모델의 출력 결과로 평가 대상이 된다Golden Answer(Optional) : 모델의 출력을 평가하기 위한 정답이나

1. In Context Learning이란? LLM이 Prompt내에 주어진 맥락을 통해 새로운 작업을 수행할 수 있는 능력을 가지는것. Prompt Design 원칙 중에 "Use Example"에 해당됨 LLM의 성능은 주어진 예시에 크게 의존함 이전에는 Fin

LLM의 추론 능력을 향상시키기 위해 나온 방법프롬프트에 자연어 추론 과정을 넣는 것으로 추론 작업에 도움이 된다모델이 문제를 해결할 때 단계별로 생각 과정을 거쳐서 해결하도록 하는 방법(입력, 사고 과정, 결과)의 예시들을 프롬프트에 추가시키는 방법모델에게 몇 가지

복잡한 문제를 더 간단한 하위 문제로 분할해서 모델이 처리하는 기법큰 모델에서만 해결할 수 있는 문제를 작은 모델에서도 해결할 수 있도록 해준다분해해서 처리하는 경우 성능이 약 24%정도 향상됨모델에 맞게 분해하는 것이 중요함Decomposition 기법의 주요 오류는

LLM은 스스로 향상될 수 있다 LLM이 고품질의 데이터 지도 학습 없이 스스로 성능 향상을 할 수 있다 LLM을 사용하여 라벨이 없는 데이터에 대해 스스로 라벨링을 생성한 후 파인튜닝 하는 기법을 활용 Chain-of-Thought + Self-Consistency 기법을 이용해서 생성 Self-Criticism에서의 LLM의 한계 모델은 여러 선택...

Ensembling이란? 하나의 프롬프트와 LLM만을 이용해서 응답을 만드는 것이 아니라 여러 개의 프롬프트로 응답을 얻은 후 이를 결합해서 최종 응답을 만드는 기법 In-Context Learning의 문제점은 예시 문제(기여도 측정, Context Window 한계)를 해결하기 위한 기법 단순히 예시를 연결하는 대신에 주어진 예시들을 여러 버킷으로 나...

Flow Engineering 기존의 프롬프트 엔지니어링은 하나의 프롬프트 설계로 원하는 작업을 수행했었음 Flow Engineering은 작업의 워크플로우를 설계해서 작업을 수행하는 것 코드 생성 작업에서 성능 향상을 보여줌 경쟁적 프로그래밍에서의 코드 생성 작업 능력을 평가함 단일 프롬프트로로의 최적화는 이 작업에서 높은 성능을 이끌어내기 어려움 Al...

Prompt 설계를 Progrmming 하듯이 가능하도록 만드는 도구Prompt 최적화 뿐 아니라 RAG, Fine-tuning, Agent Loop 등에서도 쓰인다주어진 텍스트에서 사람 이름을 추출하는 작업\-> Automatic Few-Shot Learning :