[머신러닝]Chat GPT

Chat GPT란?

OpenAI에서 개발한 GPT 3.5 기반의 대화형 인공지능서비스

• OpenAI?
  • 2015년 12월 설립된 인공지능 연구소(목표는 인류에게 이익을 주는 것) • DALL-E도 OpenAI에서 개발

• OpenAI와 MS와의 관계
  • MS가 1조 이상 투자하였으며 총10조 이상 투자 계획
  • MS가 GPT-3 라이선스를 독점 보유 협약
  • MS의 Bing에 적용 계획

• GPT란?
  • 사전학습 언어모델(Generation Pre-trained Transformer)

머신러닝의 활용 예시

1. 모자이크 제거/칼라 복원

• 모자이크 전후 사진 학습
• 컬러사진과 흑백사진 학습

• 데이터와 결과물 간의 상관관계를 학습

GPT2보다 GPT3의 학습량을 굉장히 증폭했는데, 그 결과는 매우 우수.

• 학습에 필요한 데이터의 양은 많을수록 좋다?
  -> 일반적으로는 맞는 말임.
• 그러나 많은 데이터를 사용하는 데 대한 문제점
  -> 데이터의 양과 학습의 질 사이의 Trade-off

대안으로 제시된 것이 사전학습(pre-training)

💡 사전학습모델을 활용한 학습

• 대규모 데이터로 미리 학습 진행
• 추가적으로 일부 데이터만으로 학습하여 모델 완성
  • 범용 모델의 경우에는 생략 가능
• Chat GPT에는 인류의 방대한 텍스트를 학습시킴
  • 추가 학습 없이 활용

2. 언어 모델

• 컴퓨터는 언어를 어떻게 인식할까?

• 컴퓨터에서 다루는 모든 정보는 결국 디지털로 처리(binary: 0 or 1)
  • 텍스트, 이미지, 음성, 영상 모두 동일한 방식

• 텍스트 모델링이란 텍스트를 숫자(벡터)로 바꾸는 방식
  • 진화된 모델일수록 숫자로 변환된 값을 인간이 이해하기 어려움

• GPT-3는 무수히 많은 텍스트에서 패턴을 학습한 뒤 가장 자연스러운단어를 가장 자연스러운 문장구조에 맞춰 출력해주는 것

Chat GPT 이슈

• 표절 문제
  • Chat GPT의 결과물을 쓴다면 표절인가?

• 정확도 문제
  • 거짓말(?)을 많이 함
  • 아는 건 많은데 말을 잘 못하는 사람 vs 아는 건 없는데 말만 잘하는 사람

• 프롬프트 명령
  • 질문이 상세해야 상세한 답변을 얻을 수 있음
  • 국어 실력 요구