GPT란?

Generative Pre-trained Transformer

• OpenAI에서 만든 초거대 언어 모델
  • 훈련과 예측에 전용 하드웨어를 사용
  • LLM : Large Language Model
• 처음에는 두 가지 모델을 제공
  • Word Completion
    • 다음 언어를 예측하는데 이를 자연어에 적용시킨것.
    • 한국어를 포함한 다양한 언어 지원
• code completion
  • 다음 언어를 예측하는데 이를 코드에 적용시킨것.
    • 예)파이썬 코드를 적으면서 이후에 어떤 코드를 써야될지 물어보는 것.
  • 참고로 네이버의 초거대 언어 모델은 Word completion만 지원

---

GPT 3 vs GPT 4

• GPT - 3
  • 175B 파라미터 = 800GB
    • 한번 훈련시 50억이상이 소요됨.
  • Context Window의 크기는 2,048+1
    • Context Window가 커질 수 록 기억력과 예측값이 좋아짐 하지만 그만큼 비용과 학습 시간 많이 듦
  • 단어의 경우 특정 차원에서 매핑을 해야 되는데 12,288개 워드벡터를 사용함.
• GPT - 4(2023.3)
  • 1T 파라미터
  • Context Window의 크기는 8,192+1
  • 32,768개의 워드벡터
  • 이미지 인식, 텍스트 투 스피치, 스피치 투 텍스트 지원

---

GPT 4 Turbo(GPT 4의 신규 버전) 2023.11 발표 됨

• context Window가 128k로 확장됨
  • 모델의 정확도가 개선
• API 기능 개선
  • 이미지를 API 입력으로 지원
    • “Be My Eyes”는 이를 이용해 시각장애인을 위한 서비스 생성
  • JSON 모드와 시드 제어, 다수 함수 동시 호출
• RAG 기능 제공
  • 신규 지식을 가져올 때에 외부 문서나 데이터베이스를 가져올 수 있음
    • 프롬프트 입력시 : “ 백종원의 제육볶음레시피를 위키피디아에서 정보를 가져와줘” 고 입력할때에 어디서 정보를 가져오라고 하는 기능이 RAG
• 정보 업데이트됨.
  • 기존 2021/9에서 2023/4로 갱신.

?여기서 궁금한 점

그렇다면 항상 GPT와 같은 대용량 언어 모델들만 사용해야 될까?

무조건 그런것 만은 아니다.

특정 분야에 특화된 언어 모델들이 생겨났다.(파인튜닝)

---

---

경량 언어 모델들

특정 분야에 특화함으로써 학습과 추론이 훨씬 정확해짐.

• 메타의 llama
• 스탠포드의 Alpaca
  • llama의 파인튜닝 버전
• 데이터브릭스의 Dolly
  • chat GPT와 같은 대화모델

---

ChatGPT의 소개

• 2022년 11월 30일 발표
• GPT를 챗봇의 형태로 파인튜닝함.
  • RLHF : Reinforcement Learning from Human Feedback
    • 사람들이 만들어준 대화예제를 바탕으로 훈련됨. 그 과정에서 만들어진 모델을 형태를 살짝 바꿔 다시 여러가지 대화를 한 뒤 사람들이 평가를 함. 그러한 피드백 가정을 거쳐서 다시 재트래이닝. 최종적으로 잘못된 대답이 나오지 않도록 다시한번 트레이닝 함.
    • 강화학습 기법 사용.
  • GPT의 지식을 챗봇의 형태로 활용 가능
    • Prompts 엔지니어링 탄생
• ChatGPT용도
  • 질문에 대한 답변
  • 정보 추출
  • 번역
  • 대화 생성
  • 글쓰기 지원
  • 코드 생성 및 리뷰
• 2023.11 통계 기준
  • 사용 개발자 수 : 200만명
  • 매 주 사용자 수 : 1억명
  • Fortune(경제잡지)에 속하는 500개의 회사 92%가 사용 중

---

좋은 프롬프트(명령)란?

안좋은 예 ) ~~를 해줘~(단순하게)

• 좋은 예)
  • gen ai에게 역할과 일을 부여해줌
    • “넌 작가이고 소설을 작성해야 돼”
  • 작성하고자 하는 글에대해 부연 설명을 해줘야 됨.
    • 소설을 읽는 대상은 20~30대이며 열정이 느껴지는 내용으로 적어줘
  • 반드시 넣어야 되는 내용과 넣으면 안되는 내용을 적기
    • “도전이라는 주제를 꼭 넣어줘”
    • “10줄 이상을 적지 말아줘”
  • 단계별로 생각하고 알려달라고 하기.
  • 칭찬을 하면 GPT는 성능이 더 좋아진다고 한다.

---

ChatGPT 신규 4.0기능

• 플러그인 기능
  • 여행계획을 짜달라고 했을때에 여행 계획만 짜주는 것이 아닌 여행관련 예약도 추천해줌.

---

GPTs : 에이전트 기능 구현 (커스텀 챗봇)

• GPTs는 특정 목적에 맞는 ChatGPT의 맞춤형 버전
  • 내 환경에 맞는 챗봇을 쉽게 만들 수 있음
  • GPT Builder 기능이 제공 → No Code 솔루션(coxlddmfh qlfeld)
• 직접 챗봇을 만들어서 다른 사람들에게 사용료를 받으며 판매할 수 있음
  • 판매가능한 시장 GPTs Store 가 만들어짐
    • 내가 만든 GPT를 외부로 퍼블리시하거나 개인용으로 사용 가능
    • Revenue Sharing 제공

---

GPTs 예제 살펴보기

• Code.org Lesson Planner : code.org(코딩 교육으로 유명한 교육처) 컨텐츠를 바탕으로 구성
  • 코딩 컨텐츠를 바탕으로 교사들에게 커리큘럼을 쉽게 만들 수 있는 챗봇
• Canva : 디자인하려는 내용을 자연언어로 처리
  • 원하는 디자인을 글로 적으면 디자인형태로 이미지화 해줌.

---

Assistant API: Assistant Agent

나만의 비서를 만들 수 있는 기능 제공

• Threading (긴 대화를 기록)
• Retrieval
  • 어시스턴트에게 더 많은 정보 제공 (파일 업로드)
• Code Interpreter
  • 어시스턴트가 업무 수행 중 필요하면 코드 작성해서 해결
• Function Calling
  • JSON 출력 모드 지원과 다수의 함수 호출 동시 수행
  • TTS와 STT 사용 가능
  • 필요한 정보를 인터넷에서 리얼타임으로 읽어옴