Deep Eval

DeepEval is...

A single-turn test case is a blueprint provided by deepeval to unit test LLM outputs, and represents a single, atomic unit of interaction

DeepEval에서는 LLM의 평가결과에 대해 확인하는 방법이 크게는 3가지가 있다.

결정적인 assertion과 의미 기반 Eval 판단에 대해 기재한다.LLM 자체를 테스팅해볼 수 있겠지만, LLM을 래핑한 무언가 (서버, mcp, 에이전트 등) 도 테스트할 수 있다.

평가 지표를 어떻게 선택해야하나를 기재한다.DeepEval에서는 몇가지 표준 메트릭(평가지표, 평가기준) 을 제공하고 있다.

custom metric에 대해 기재해본다.

Golden은 “무엇을 시험할지”, LLMTestCase는 “실제로 실행된 한 건”, EvaluationDataset은 “이 평가 항목들을 관리하는 묶음” 이다.

RAG 혹은 LLM 의 답변 평가 시에 답변의 근거를 가져오는 Retriever와 평가 지표에 대해 기재한다.

이번 포스트에서는 generator 평가방법에 대해 기재한다.