안녕하세요.
이번 주제는 ChatGPT 등 LLM 기반의 서비스들을 비지니스에 사용하기 위해 입문할 때 가장 적절한 GUI 기반의 노코드 인터페이스를 가진 FlowiseAI 툴을 소개하고, 마지막에 간단하게 실습으로 다뤄보는 시간을 가져보겠습니다.
그럼 Flowise 의 메뉴 구성부터 설명하겠습니다.
메뉴
- Chatflows → 실제 Chatflows 그리는 Flowise 핵심 기능입니다.
- Marketplaces → Chatflows Template 이나 Tools Template 이 있는 곳입니다.
- Tools → 기본 제공 Tools 외 Custom Tool 을 정의하는 곳입니다.
- Assistants → OpenAI 의 Assistant API 를 사용해서 만든 Assistant 를 정의하는 곳입니다.
- Credentials → 각종 API Key 등 저장해놓고 감춰둬야할 정보들을 정의하는 곳입니다.
- Variables → 실행시에 가변적으로 넣어줄 변수 또는 미리 정의된 변수를 넣어놓고 Chatflow 에서 가져다 쓸 수 있게 만드는 곳입니다.
- API Keys → Flowise 를 외부에서 호출해서 사용할 때 쓰이는 API Key 를 생성하는 곳입니다.
그 중에서도 중요한 2가지 메뉴
1. MarketPlaces
MarketPlaces 에는 참고할만한 Chatflows Template 들이 있습니다.
각각 이름에 Template 의 특성이 나타나있고, 참고하기 좋다고 생각되는 템플릿을 들어가셔서 오른쪽 상단을 보시면 Use Template 있으니 알맞은 걸 사용하시면 됩니다.
참고로 아래의 실습에서는 Conversational Agent 를 사용해서 진행할 계획입니다.
2. Chatflows
우리가 직접 flow 를 만들수도, 아니면 위에서 Template 을 활용해서 만든 것을 저장할 수도 있는 Flowise 핵심 기능이 있는 메뉴입니다.
실습
실습을 진행하기 위해서는 먼저 준비가 필요합니다.
1) NodeJS 설치(https://nodejs.org/en) → 언제 실행하냐에 따라 버전이 달라지기 때문에 LTS 버전으로만 설치하시면 됩니다.
각자의 OS 에 맞게끔 설치하셨다면, 이제부터 실습을 진행해보겠습니다.
Flowise 설치와 실행
# NodeJS 설치 확인
node -v
# flowise 설치
npm install -g flowise
# 실행
flowise실행이 정상적으로 되었다면, localhost:3000 에 접속하면 드디어 첫 페이지를 볼 수 있습니다.
Marketplaces 에서 Conversational Agent 를 클릭해서 템플릿 사용을 위해 오른쪽 위 Use Template 버튼을 클릭해줍니다.
Conversational Agent Template 을 이용해 Flow 구성하고 사용
템플릿 내 비어있는 부분을 채우려고 보다보니, Credentials 에 정의하지 않은 것들이 있어서 난감하시죠?
괜찮습니다. Credentials 눌러보시면 -Create-New 메뉴가 있으니 바로 만들어주시면 됩니다!!
Model 은 gpt-4-turbo 또는 gpt-3.5-turbo 중 원하시는걸 선택하면 됩니다.
그리고 Serp API 는 구글 검색 등 검색에 관련된 편의성 API 를 제공하는 사이트인데, 저희는 지금 기본적인 채팅을 위한 Flow 를 구성하고 있기 때문에 지워주세요.
그럼 오른쪽 위에 디스크 모양을 눌러 저장해줍시다.
저장해줄 때 이름 바꿔주는거 잊지 마시구요!!
저장하고 오른쪽 보라색 책모양 클릭하시면 드디어 채팅을 나눠볼 수 있습니다.
첫번째 인사말은 Flowise 에서 고정해둔 것이고, 저는 갑자기(?) 그게 기분이 나빠져서 왜 반말하냐고 물어봤습니다.
이렇게 ChatGPT 가 아닌 OpenAI API Key 를 활용해서 채팅이 가능하도록 만든 시스템이 생겼네요!!
실습 Level Up - 간단한 RAG 시스템 구성하기
조금이라도 LLM 서비스에 관심 있으셨다면 많이 들어보셨을 RAG 시스템.
RAG 시스템을 이용해 Hallucination(환각증상) 을 개선할 수 있다 등 많이 들어보셨을 텐데요.
MarketPlaces 에서 Flowise Document QA Chatbot Template 을 선택했지만 저와는 좀 다른 부분이 있을겁니다.
사용자와 실제 대화를 나누는 모델은 ChatGoogleGenerativeAI (Gemini) 를 사용하고, 나머지 RAG 관련해서는 OpenAI 의 GPT 모델을 활용하는 구성을 준비해봤습니다.
여기서는 2가지의 준비물이 더 필요한데요.
- Gemini API Key 를 발급받기 위해서는 Google AI Studio(https://makersuite.google.com) 를 방문해야 합니다.
- Github Access Key 발급을 위해서는 (https://github.com/settings/tokens?type=beta) 를 방문해서 접근 가능한 키를 만들어주셔야 합니다.
이 과정이 끝났다면, 한번 대화 나눠볼까요?
Flowise Document QA Bot 은 자기가 참고한 문서를 아래쪽에 # 으로 보여주는 것을 알 수 있어요.
저는 이 문서에는 없는 질문을 했기 때문에, 아마도 제대로된 대답을 하지 못한거 같아요
근데 여러분 신기하지 않나요?
OpenAI 모델로 임베딩하고 Vector Store 에 저장했는데 저흰 Gemini 모델과 대화해서 결과를 찾아왔다는 사실을요!
과연 어떻게 이런게 가능할까요??
이렇게 다양한 LLM 을 사용해서도 우리가 원하는 시스템을 구성할 수 있다는걸 보여드리기 위해 준비했습니다.
끝으로
아주 간단한 RAG 시스템까지 구축해보았습니다.
어떠세요? 성능이 맘에 드시나요?
아주 디테일한 컨트롤이 불가능한 Flowise 에서 RAG 시스템을 시험해보기란 쉽지 않습니다.
특히 우리처럼 영어권 국가가 아닌 곳에서 영어가 아닌 언어의 문서를 임베딩해서 사용해서 높은 결과를 얻어내기란 참 쉽지 않죠.
하지만 복잡한 Flow 를 구성하기 위해선 간단한 Flow 부터 시작해야하는데 그 길을 Flowise 가 열어준 셈인데요.
이 글을 읽으시는 많은 분들이 더 쉽게 LLM 에 접근해서 나만의 서비스를 만드는 길을 개척해나가시길 바랄게요!
