LLMops 구축을 위해 django backend 서버와 fastapi llm-ops 서버로 나누었다.

LangServe

langchain의 체인들을 rest api로 쉽게 배포할 수 있도록 도와주는 라이브러리이다.

https://python.langchain.com/v0.2/docs/langserve/

LangSmith

LLM 애플리케이션 개발, 모니터링 및 테스트를 위한 플랫폼이다.

https://python.langchain.com/v0.1/docs/get_started/quickstart/

Trouble Shooting

langsmith로 다양한 llm 모델을 사용하면서 결과를 분석할 예정이라 meta의 llama 모델을 huggingface api를 통해 가져오려 했다. 하지만, ollama를 통한 로컬 모델로는 가능하지만, 별도의 mete 허가 없이 api로는 불가능 하다는 것을 알았다.

Reload

django BE, React는 자동으로 reload가 되지만, fastapi는 되지 않는다. 따라서 app이랑 uvicorn을 seperate 시키고 reload 설정을 추가해야한다.