나만의 LLM 호스팅 따라하기

1. huggingface에서 사용할 lm 모델 다운로드 받기 2. Modelfile 설정하기 modelfile을 제대로 설정하지 않으면, 모델이 답변 후 헛소리를 반복하는 경향이 있다고 함. modelfile의 template는 모델 학습 시의 template을 확

이번에는 Langserve와 ollama에 올린 모델을 연결해본다.Langserve란, 공식 문서에 따르면 Langchain의 체인들을 REST API로 쉽게 배포할 수 있도록 도와주는 () 이다.테디노트님의 영상을 보고 따라만드는 중인데, 이 app폴더를 어떻게 만드

먼저 streamlit이 뭐냐면, python 기반으로 ML/DL, 데이터 관련 엔지니어가 쉽게 웹사이트 배포해주는 프레임워크. 장점은 간단하다는 것이다. (2)편에 이어 한번 가보자. 1. streamlit 패키지 설치하기 streamlit 웹 화면 확인 2.