25.04.08 - AI지식 저장소

프롬프팅엔지니어링

1. 프롬프트와 컴플리션(답변)은 쌍을 이루어야함

2. 생성모델은 사람의 문장을 이해하기 위해 토큰화 시킴

3. 프롬프트엔지니어링은 다양한 모델 유형과 언어적 뉘양스에 맞추어 많은 반복이 필요한 학습된기술입니다.

4. 채팅모델은 컴플리션(모델의 응답)과 프롬프트(사용자의 입력)를 구분하기위해 마크업하기도함

5. 프롬프트의 구조는 모델마다 다르기 때문에 ai 생성형 모델을 사용하기전에는 프롬프트의 구조를 확인해야함.

6. 일반적인 프롬프트 구조 인스트럭션,콘텍스트,입력 데이터,출력 표시자

7. 인스트럭션 : 모델에 전달하는 텍스트입니다. , 모델이 수행하기를 원하는 작업을 설명하는 내용입니다. ( 모델로부터 정제된 답변을 받아내기위한 작업 )

8. 콘텍스트 : 모델이 잘 응답하도록 사용자가 전달하는 관련정보 또는 세부사항 입니다. 예시를 전달하는것 뿐만아니라 , 과거의 대화내용을 제공하는것 역시 콘텍스트 입니다. ex_ one-shot, few-shot

9. 콘텍스트 윈도우 : 모델이 컴플리케이션을 만들때 입력으로 받을 수 있는 토큰 수

10. 망각 : 모델이 긴 순서의 정보를 완전히 활용하지 못함

11. 제로샷 : 모델에 따로 세부지시사항없이 모델 스스로 일반화된 정보를 이용하여 답변하는것 1. 큰 모델의 경우 일반적으로 언어를 잘 이해하고 학습단계에서 보지 못한 작업에 더 잘 일반화할 수 있는 경향이 있습니다. 2. 적은 수의 작업, 주로 학습받은 작업과 유사한 작업에만 능숙합니다. 추론시에 레이어와 매개변수가 적은 모델이 속도면에서 더 빠릅니다.

12. 프롬프트 작성하는 꿀팁
    첫번째. 명확하고 간결하게 작성 , 단순화해서 작성
    두번째. 부정적인 표현은 피하는것이 좋다고합니다.
    세번째. 모델을 집중시키기위해 프롬프트 끝에 요청하는 출력크기를 포함
    ex 다음문장에서 중요도가 높은 순서대로 상위 3개를 출력해주세요.
    네번째. 구체적인 응답형식을 제시하세요.
    다섯째. 모델이 응답할수 없다면 예외처리 답변을 출력하도록 유도합니다.
    
    여섯번째. 단계별 사고를 하도록 유도합니다.
    일곱번째. 제약 조건을 추가해서 제어력을 높여주세요.
    여덟번째. 응답을 평가하도록 합니다.
    아홉번째. 프롬프트안에 XML/HTML 태그를 사용합니다.
    열번째. 선택적으로 집중할 수 있습니다.
    열한번째. 개인 식별 정모를 마스킹 할 수 있습니다. ex 개인식별정보는 xxx로 출력해주세요.

13. aws의 플레이그라운드에서 생성 모델을 활용
    첫번 째. 최대 새 토큰 수 : 모델이 횡성수설 하는것을 방지하기위해 사용, 답변의 길이에 제한을 둠 , 단지 길이를 줄이는 것이므로 환각( 그럴듯하지만 틀린 정보를 만들어내는 현상 )을 방지할 수는없음 다만 환각이 보이지 않도록 처리할수는 있습니다.