📌 LangSmith
-
LangSmith 는 LLM 을 사용하여 동작할때 마다 추적 (Tracing) 하고 모니터링, 디버깅 할 수 있는 서비스입니다.
-
환경변수 (.env) 파일에 LangSmith 관련 변수들을 등록해두면 LLM 이 동작할때 마다 자동으로 LangSmith Tracing 에 기록되게 됩니다.
1️⃣ 회원가입 및 로그인
- https://smith.langchain.com/
LangSmith 페이지에서 회원가입 및 로그인 합니다.
2️⃣ 프로젝트 생성
- 좌측 상단의 Tracing Projects 메뉴에서 우측 상단의 + New Project 를 클릭합니다.
- 다음과 같이 튜토리얼 화면이 나오게 되는데, Generate API Key 버튼을 눌러 API Key 를 생성하고, Project Name 을 원하는 이름으로 수정하여 하단의 코드를 복사하여 환경변수에 추가합니다.
3️⃣ Tracing
-
이제 Tracing Projects 에 설정한 Project Name 으로 Project 가 있을텐데, 해당 프로젝트를 누르면 실행했던 LLM 동작들이 보일 것입니다.
-
해당 작업을 누르게 되면 하단의 이미지 처럼 어떤 식으로 동작되는지 구조를 알 수 있고, 소비한 토큰 수도 확인할 수 있습니다.
4️⃣ Dataset / Evaluation
- 좌측 메뉴의 Datasets & Experiments 에서 CSV 나 JSONL 파일을 활용하여 데이터셋을 추가하거나 Evaluation 실행 결과를 확인할 수 있습니다.
- 데이터셋 추가 및 평가 진행은 RAG 답변 평가 지표 포스트 하단에서 내용을 확인할 수 있으며, 혹은 + New Experiment 버튼을 클릭하면 튜토리얼 확인이 가능합니다.
