INSIGHT CON

codataffee·2024년 5월 31일
0

DATA

목록 보기
13/22
post-thumbnail

개요

  • 스파르타 빌더스 인사이트 컨퍼런스

AI 챗봇 구현하기


📌 컨퍼런스 요약

  1. 정보를 어떻게 학습시킬까?

  2. RAG(Retrieval Augmented Generation) 란?

  3. 실습


📌 학습

  • 종류
  1. AI 모델의 신경망을 직접 변경

  2. 필요한 정보를 배경지식으로 전달


📌 검색 증강 생성

  • RAG : Retrieval Augmented Generation


(이 구조를 RAG라고 함)

  • RAG의 작동 방식

검색 증강 생성은 검색에서 시작하여 생성으로 이어지는 다단계 프로세스

검색
RAG는 입력 쿼리로 시작됩니다.
이는 사용자의 질문일 수도 있고 자세한 응답이 필요한 텍스트일 수도 있습니다.
검색 모델은 지식 기반, 데이터베이스, 외부 소스 또는 여러 소스에서 동시에 관련 정보를 가져옵니다.
모델 검색 위치는 입력 쿼리가 요청하는 내용에 따라 달라집니다.
이렇게 검색된 정보는 이제 모델에 필요한 모든 사실과 컨텍스트에 대한 참조 소스 역할을 합니다.
검색된 정보는 고차원 공간의 벡터로 변환됩니다.
이러한 지식 벡터는 벡터 데이터베이스에 저장됩니다.
검색 모델은 입력 쿼리와의 관련성을 기준으로 검색된 정보의 순위를 매깁니다.
추가 처리를 위해 가장 높은 점수를 받은 문서나 구절이 선택됩니다.

생성
다음으로 LLM과 같은 생성 모델은 검색된 정보를 사용하여 텍스트 응답을 생성합니다.
생성된 텍스트는 문법적으로 정확하고 일관성이 있는지 확인하기 위해 추가적인 후처리 단계를 거칠 수 있습니다.
이러한 응답은 검색 모델이 제공한 추가 정보에 의해 다듬어졌기 때문에
전체적으로 더 정확하고 컨텍스트에 더 부합합니다.
이 기능은 퍼블릭 인터넷 데이터가 부족한 전문 도메인에서 특히 중요합니다.

출처


📌 실습

!pip install pdf2image
# pdf2image 라이브러리 임포트
from pdf2image import convert_from_path

# https://drive.google.com/drive/my-drive 접속하여 '내 드라이브(My Drive)' 에 뉴진스.pdf 업로드

from google.colab import drive
drive.mount('/content/gdrive')

FILE_NAME = "/content/gdrive/MyDrive/Colab Notebooks/[세션자료] 스파르타빌더스_30분 완성 AI 챗봇 구현하기/[인사이트 컨퍼런스] 학습자료_뉴진스.pdf"
profile
커피 좋아하는 데이터 꿈나무

0개의 댓글

관련 채용 정보