무수한 테스터들의 실시간 사용 후기
오늘은 이 세계와 현실세계로 이어지는 방법들을 찾아보려고 한다.
여러가지 방법들을 분석한대로 정리해보자 한다.
0. open api를 활용한 HTML 연결
https://www.youtube.com/watch?v=rdWavi2M2HE&t=249s
코딩애플분이 설명해주신 가벼운 AI 와의 채팅이다.
내용은 정말 어렵지않다. 채팅이 가능한 HTML 화면을 구현하여 거기다 Playground에 나와있는
코드들을 복붙하여 HTML과 GPT간의 소통이 가능하게 구현을 하셨다.
여러분들도 충분히 할 수 있어 보이나, 유료결제가 필요한 부분이다.
1. Vtube Studio와 Whisper
https://www.youtube.com/watch?v=oB8C4FcZDD0&t=1s
이 분의 방법은
open ai의 Assistant기능을 이용하여 전에 필자가 써놓았던 게시물에 나와있던 GPTS 프롬프트 방법으로 진행을 하셨다.
그 후, XTTS 라이브러리(coqui) 를 사용하여 파인튜닝을 진행해 목소리 재생 학습 모델까지 완성 시키셨다.
그런다음 VB-cable이라는 가상 케이블에 목소리를 적용시켜 Vtube Studio에 가상 캐릭터의 입에 맞춰 음성을 재생하도록 하셨다.
마이크를 활용하여 대화를 하기위해 Whisper 모델까지 적용시키신것처럼 보인다.
실제로 대화가 가능함
2. selenium을 이용하여 물리 API 구현
https://www.youtube.com/watch?v=XPXXpIx0LCE&t=197s
Selenium 이라는 파이썬 웹 프레임워크를 이용해 GPTS화면을 크롤링하여 챗봇으로 구현하시는 것 같다.
여기서 크롤링이란, 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위라고 나무위키에 나와있다.
찾아보니까 Flask로도 API가 구축이 가능하다곤 한다.
더 빠른 FastAPI라는것도 있으니 찾아보면 좋을것도 같다.
이분은 TTS 모델로는 MB-iSTFT-VITS을 사용하셨다.
음성인식기능은 없지만, 채팅기능으로 프롬프팅한 GPTS와 연동하여 사용하시는것 같다.
GPTS만을 쓰셨기 때문에 유료결제를 하며 GPT를 쓰는 분들께는 그나마 해볼만 할수도있겠다.
이 아래부턴 필자가 이것저것 찾아본 방법들이다
3. Android+(Okhttp,Retrofit)
안드로이드 앱개발 방법이다. XML이나 Compose로 UI를 구성을 하고,
Okhttp와 Retrofit으로 API요청과 선언을 진행한다.
4. IOS+(URLSession,Alamofire)
IOS 방법이다. Swift UI와 List를 이용해 UI를 구성하고, URLSession나 Alamofire
같은 서드파티 라이브러리로 API를 받는다.
둘다 Lottie로 JSON 기반의 애니메이션을 제작하고
TTS로는 Google Speech-to-Text이나 TTS를 사용해도 된다고 한다.
필자는 Live 2d라는
대충 이런 버튜버 만드는 기능으로 제작을 해볼까 한다.
5. React+React Native
아직 어떻게할지 구상은 안되긴 하는데. JS 프레임워크라 0번과 비슷하게 진행이 될 것 같기는 하다.
하지만, Live2D Cubism SDK for Web을 이용하여 Live 2d도 적용이 가능하다하니 시도해볼만하다고 생각이 든다.
API 연동은 Axios나 Fetch API을 사용하여 OpenAI 서버와 통신이 가능하다한다.
Redux, Context API 같은 전역상태 관리도구로 실시간 채팅관리도 가능할것 같다.
리액트 네이티브도 비슷할것 같아 보인다.
마무리
기본적으로 공통적인 로직은, UI를 구성하고 API를 통해 open AI 혹은 GPTS와 상호작용을 하는 시스템인것 같다.
거기서 사용자가 쓴 채팅에 관한 데이터는 어떻게 관리해야할진 고민을 해봐야 할 것 같고
TTS 적용을 위해선 서버를 빌리는것도 필요해 보일듯 하다.
역시 공짜는 없다고 이 세계를 가는데도 돈은 필요하다.
