Gen AI란?
- 학습된 컨텐츠 바탕으로 새로운 컨텐츠를 만드는 딥러닝 기술
- 입력값을 기반으로 학습 후 새로운 모델이 만들어짐(예 : GPT)
- 프롬프트를 바탕으로 대답을 예측하던지 새로운 컨텐츠를 생성
****
인공지능, 머신러닝, 딥러닝
- 인공지능 : 인간이 하는 일을 대신 해주는 시스템을 만드는 컴퓨터 과학
- 머신러닝 : 인공지능의 일부
- 딥러닝 : 머신러닝의 일부
- 머신러닝 중 요즘 뜨는 인공신경망을 딥러닝이라고 부름
- 인공신경망 : 사람이 생각을 하는 신경망을 흉내냄
- 이미지/비디오/오디오 등의 복잡한 데이터 처리에 강점
- 머신러닝 중 요즘 뜨는 인공신경망을 딥러닝이라고 부름
****
딥러닝과 Gen AI와 LLM의 관계
- Gen AI(Generative AI)는 딥러닝의 일부
- LLM(Large Langugage Model 대형 언어 모)은 Gen AI의 일부
- 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 상당한 양의 텍스트로 훈련된다
딥러닝은 인공신경망을 사용해서 기존 머신러닝 알고리즘이 처리못하는 복잡한 패턴을 처리 가능.
딥러닝의 모델 타입
- Discriminative - 식별해주는 모델
- 분류/예측을 하는 것으로 레이블이 존재하는 데이터에 적용
- 피처(특징)들과 레이블들간의 관계를 학습
- 예 ) 개 혹은 고양이 분류
- Gen 모델이 나오기전 가장 많이 사용 됨.
- Generative - 생성형 모델
- 훈련된 데이터와 비슷하지만 새로운 데이터를 생성
- 훈련된 데이터의 통계적 특성을 이해함.
- 예) 강아지 이미지를 학습해서 새로운 개 이미지를 생성.
- 비지도 학습에 해당 됨.
Gen AI모델과 일반 ML 모델의 동작방식
두 모델 다 y = f(x) 의 동작방식.
y=(출력)
f=(모델)
x=(입력)
- 일반 ML 모델에서 출력(y)은 보통 숫자, 카테고리, 확률 등이 됨
- Gen AI 모델에서 출력(y)은 보통 자연어 문장. 이미지. 오디오 등이 됨
결국 동작방식은 같지만 출력이 다르게 진행 됨.
Gen AI의 파운데이션 모델 - 1
- 파운데이션이라고 하는 이유. -> 특별한 학습없이 다양한 작업에 적용 가능하기 때문.
- 광범위한 데이터 세트에 대해 학습된 대규모 머신 러닝 모델의 한 유형
- 이미 일반적인 지식이 학습되어 있음(Pre - trainde)
- Unsupervised Learning(혹은 Self Supervised Learning)
- 정답을 정해주는 것이 아닌 데이터셋의 특성을 학습.
- 대용량 데이터로 학습하기에 엄청난 시간과 돈과 인력이 필요하여 대기업같은 곳에서 진행.
- 트랜스포머 모델 아키텍처를 사용함
- 트랜스포머안에 인코더와 디코더가 있음. (트랜스포머가 늘어날 수 록 엄청난 전력을 사용)
****
Gen AI의 파운데이션 모델 - 2
- 굉장히 일반적인 모델이라 특정 토픽에 대해 구체적이게 알기 보다는 다양한 토픽에 대해서 처리 가능.
- 파운데이션 모델 종류 예시
- GPT - 3 , GPT - 4
- BERT
- T5
- DALL-E
- 파운데이션 모델 종류 예시
Gen AI의 파운데이션 모델과 파인 튜닝
- 파운데이션 모델을 파인튜닝의 형태로 특정 지식을 학습 시킴
- 이미 GPT라는 모델이 있으니 여기에 특정 지식을 학습(파인튜닝)하여 사용
- 예시)GPT → ChatGPT
- Pre - trainde 된 일반 모델(GPT)에 특정 토픽의 구체적인 지식을 습득시킴(Fine-Tuning)(Chat GPT)
- 이미 만들어진 모델을 건드는 것이 아닌 새로운 레이어를 얹히고 다른 용도의 데이터로 훈련 하는것.(GPT는 이를 API로 지원 중)
- 우리 회사만의 챗봇을 만들어보자!
****
Gen AI 모델들
- Generative Language Models(언어)
- 훈련 데이터로 제공된 문장들로부터 언어 패턴을 학습한 모델
- 문장의 일부를 입력으로 받으면 다음 단어를 예측할 수 있다.
- Generative Image Models(이미지)
- Diffusion과 같은 기술을 사용해서 새로운 이미지를 만드는 모델
- 프롬프트를 입력으로 받아서 이미지 생성
- 이미지를 입력으로 받아서 여기에 특정 노이즈를 추가하여 이미지를 변환
- Diffusion과 같은 기술을 사용해서 새로운 이미지를 만드는 모델
Gen Ai모델의 헛소리/환각
- 모델이 부정확하거나 무의미, 조작된 정보를 생성하는 경우가 많으니 항상 사실확인이 필요함.
- 발생 이유
- 훈련 데이터의 불충분
- 훈련 데이터의 최신성 부족
- 훈련 데이터의 품질 이슈
- 모델에게 충분한 컨텍스트가 주어지지 않음 → 프롬프트 디자인이 중요해짐.
- 입력값을 너무 대충 주면 Ai가 답변을 잘 못할 수 있음. 명확하게 질문을 줘야 됨.
LV. 1