우리 서비스 “레플리”는 최근 내가만든 챗봇과 다른 유저들이 대화할 수 있는 챗봇 공유 기능을 업데이트했다. 공유 챗봇의 종류가 많아 질수록 컨텐츠가 다양해졌고, 유저들의 반응도 좋았다.하지만 지금은 챗봇 프로필 이미지를 선택할때 디바이스 갤러리에 있는 사진을 사용해야
1. 서버 스펙 및 구축 처음에는 GPU 추론도 서버리스가 왠지 있을 것 같아 찾아보기 시작했다. 서버리스에 익숙해지니 너무 편하고, 과금도 사용한 만큼내는 구조라 초기에 비용 부담이 없어보였다.그러나, 스테이블 디퓨전 Backborn 모델을 서버리스로 사용하는 것은
추론 최적화 이제 API 까지 구현이 완료된 상태에서 추론 속도를 빨라지게 할 필요가 있었다. A5000기준 최적화 하기전에 추론속도는 1장에 3초정도 소요되었다. 1. xformer xFormers는 Meta AI에서 개발한 파이썬 라이브러리로, Transfor