개념

Foundation Model

• 초거대 AI모델
• 엄청난 양의 HW와 개발자 필요
• 회사마다 공통된 LLM을 사용

LLM의 파라미터

• 비유상 AI의 뇌세포에 해당

프롬프트 엔지니어링, RAG, sLLM

• 회사마다 자체적인 파운데이션 모델을 가지기 어려워서, 이러한 개념들이 등장함

프롬프트 엔지니어링

• 생성형 AI를 잘 다루는 기법들을 의미

역할 설정해 질문하기

개발회사입장에선 LLM 사용자의 지식수준을 모르니 범용적인 대답을 하도록 세팅해둠
따라서 역할을 부여하면 범접할 수 없던 정보에 접근 가능해지는 경우가 많아짐

명확한 아웃풋을 요청하기

추가적인 정보를 제공하기

• 할루시네이션을 막기위한 막강한 방법
• 이는 RAG의 발전으로 이어짐

프롬프트 엔지니어링(심화)

생각의 사슬

1. 수학문제와도 같은 답이 명확한 대답을 요구하면 대부분 틀린다
2. 이때 풀이같은 중간과정을 넣어주면 답을 잘 찾는다고 논문으로 증명되어있다.

요즘의 AI검색 활용

챗GPT 기준

• pdf넣어서 기반 질문 가능
• video summerizer라고 해서, 유튜브 링크를 주면 이를 요약해줌
• 비즈니스에서 문서 자동화에 획기적인 활용
  - 구글 스프레드 함수를 이용하여, 해당 댓글들이 부정인지 긍정인지 판단
  - =GPT_CLASSFY(A12, "긍정, 부정")
  • 키워드 추출, 요약, 번역, 다른형식으로 개편 등
    • =GPT(A12, "이를 다른 형식으로 개편해줘")
  • 마케팅 활용
    • =GPT(A12-14, "이 셀들을 참고하여 홍보문구를 만들어줘")
  • 데이터 정리
    • 사용자 폼을 받은 전화번호를 010-xxxx-xxxx 형식으로 바꿔주기
      - GPT_FILL(A12-13, B16-20) // A12-13의 형태대로 B16-20의 형태를 바꿔줘

요즘의 LLM트렌드

RAG

Retrieval-Augmented Generation

• 용도 : 내부문서를 참고한 AI를 만들고 싶을때
• 구성 : 주로 내부 문서들의 집합, 사용자, 챗봇, LLM모델로 이뤄져있음
• 원리
  1. 사용자의 프롬프팅
  2. 챗봇이 이를 받아, 내부문서DB에서 정보를 가져오고, 사용자의 프롬프팅과 정제화한 내부문서 정보를 한꺼번에 LLM에 전송
  3. LLM의 결과를 챗봇이 받아서 이를 사용자에게 전달
• 챌린지 : 어떻게 내부문서들을 정제화하여 LLM에게 질문해야 결과가 좋을까?

Agent

특정 과업을 하나의 AI가 전체적으로 처리하는 것이 아니라, 과업의 세부요소를 적합한 AI에게 나눠서 질문하는 것

sLLM

경량화된 LLM모델

• 주로 보안을 위해 사용