이 튜토리얼에서는 Kotaemon을 사용하여 AutoRAG를 배포하여 사용할 수 있는 방법에 대해서 안내합니다. 이 가이드를 통해 AutoRAG를 통해 최적화한 RAG 시스템을 멋진 채팅 UI로 활용할 수 있습니다.
튜토리얼 순서
- AutoRAG를 통해 RAG를 최적화합니다.
- 최적화한 RAG에서 API 서버를 실행합니다.
- AutoRAG x Kotaemon 웹을 fly.io에 배포합니다.
- 웹에서 API 서버를 연결해 사용합니다.
사전 요구사항
1. AutoRAG로 RAG를 최적화
먼저 최적화된 RAG 파이프라인을 찾아야 합니다.
최적화하는 방법은 이 튜토리얼을 참고하세요.
2단계: AutoRAG API 서버 실행
AutoRAG API 서버를 로컬에서 실행하려면 다음 명령어를 사용하세요:
autorag run_api --trial_dir /trial/dir/0 --host 0.0.0.0 --port 8000trial 디렉토리는 최적화 후 프로젝트 디렉토리 내부의 디렉토리입니다.
디렉토리 이름은 "숫자"입니다. 채팅 인터페이스의 백엔드로 사용하고자 하는 디렉토리 이름을 지정해야 합니다.
AutoRAG에서는 API 서버의 공개 액세스를 위해 NGrok을 사용합니다. 서버 실행 시 로그에서 공개 URL을 확인할 수 있습니다:
INFO [api.py:199] >> Public API URL: api.py:199
<https://8a31-14-52-132-205.ngrok-free.app>
터미널에 표시된 URL을 꼭 기억해주세요.
3단계: AutoRAG-kotaemon 배포
먼저, AutoRAG Kotaemon 저장소를 클론합니다:
git clone https://github.com/vkehfdl1/AutoRAG-web-kotaemon.git
cd AutoRAG-web-kotaemon그 이후에 fly.io
- Fly.io CLI 도구 설치:
brew install flyctlMac OS 사용자용입니다.
다른 OS를 사용하는 경우 여기를 참조하세요.
- Fly.io 인증:
fly auth login- Fly.io로 배포:
fly launch
위와 같이 설정해야 합니다. 이 때, Region이나 Name 등은 원하시는 대로 설정하면 됩니다.
참고: 초기 배포 과정은 10-15분 정도 소요될 수 있습니다.
또한, 원활한 실행을 위해서는 최소 1GB의 메모리가 필요합니다.
이제, 배포 완료가 되면 fly URL을 확인할 수 있습니다. CLI에서 찾지 못하면 fly.io의 대시보드에 접속해서 확인해 보세요. 클릭해보면 곧바로 Kotaemon 초기 설정 화면을 볼 수 있습니다.
5단계: Kotaemon 설정
가장 먼저 실행하면 다음과 같이 초기 설정 화면이 나옵니다. 여기서 OpenAI API Key 혹은 Cohere API key를 설정하거나, 빨간색 버튼을 눌러서 설정 없이 진행할 수 있습니다.
해당 api key를 설정하지 않으면 "대화 제목 자동 설정" 기능을 이용할 수 없습니다. 만약, private한 데이터를 다룬다면 해당 api 키를 설정하지 말고 빨간색 버튼을 눌러 다음 단계로 넘어가세요.
그리고 다음과 같이 로그인 화면이 나올텐데, 첫 실행에서는 id와 비밀번호 모두 admin으로 설정하세요. 그러면 문제 없이 사용할 수 있습니다.
실행 이후, 반드시 왼쪽 위의 Settings 탭에 들어가 Reasoning settings 탭에 들어가세요.
AutoRAG API Endpoint URL 탭에, 앞에서 기록해 두었던 API 서버의 URL을 넣으세요. 반드시 끝이 .app과 같은 형태로 끝나야 합니다. /를 끝에 적지 마세요.
마지막으로 Save Changes 버튼을 누르면 됩니다!
6단계 : 사용해보기
이제 최적화된 RAG 파이프라인을 Kotaemon으로 아래와 같이 사용할 수 있습니다!
Fly.io 배포 중지
Fly.io는 유료 서비스이므로, 사용하지 않을 때는 배포를 중지하는 것이 좋습니다.
Fly.io에서 애플리케이션을 중지하려면:
fly scale count 0을 입력하세요.
