🧠 LangChain OutputParser

🔍 OutputParser 종류별 요약

1. PydanticOutputParser

• 📦 역할: LLM 응답을 Pydantic 모델에 맞게 파싱
• 🔧 타입 안전성, 자동 유효성 검사 제공

from pydantic import BaseModel

class Person(BaseModel):
    name: str
    age: int

LLM 응답이 이 구조에 맞지 않으면 에러 발생 → 수정 가능

---

2. CommaSeparatedListOutputParser

• 📦 역할: 콤마로 구분된 문자열을 리스트로 파싱
• ✅ 빠른 키워드 추출에 유용

"apple, banana, cherry"
↓
["apple", "banana", "cherry"]

---

3. StructuredOutputParser

• 📦 역할: 필드 스키마를 정의하고, 그에 맞는 출력 생성
• 🧾 ResponseSchema를 문서로 LLM에 전달

from langchain.output_parsers import ResponseSchema

---

4. JsonOutputParser

• 📦 역할: 문자열 형태의 JSON 출력을 dict로 변환
• ✅ 구조화된 API 응답, 데이터 정리에 적합

from langchain.output_parsers import JsonOutputParser

---

5. PandasDataFrameOutputParser

• 📦 역할: LLM이 생성한 표 형식 데이터를 DataFrame으로 변환
• 📊 분석, 시각화, 테이블 처리에 적합

from langchain.output_parsers import PandasDataFrameOutputParser

---

6. DatetimeOutputParser

• 📦 역할: "내일", "다음주 월요일", "2025-09-01" 등의 자연어 날짜를 datetime으로 변환
• 🕐 스케줄링, 이벤트 정리에 유리

from langchain.output_parsers import DatetimeOutputParser

---

7. EnumOutputParser

• 📦 역할: 출력값을 사전에 정의된 Enum 클래스의 값으로 제한
• ✅ 감정 분석, 등급 분류 등에 적합

from enum import Enum

class Sentiment(Enum):
    POSITIVE = "positive"
    NEGATIVE = "negative"

---

8. OutputFixingParser

• 📦 역할: 출력이 포맷에 맞지 않을 경우 자동 수정 시도
• 🔁 내부적으로 LLM을 다시 사용해 복원

from langchain.output_parsers import OutputFixingParser

fixing_parser = OutputFixingParser.from_llm(parser=original_parser, llm=chat)

---

🧩 OutputParser 비교 요약표

Parser 종류	출력 형태	활용 예시	강점
PydanticOutputParser	Pydantic 모델	구조화된 JSON 응답	타입 안전성, 유효성 검사
CommaSeparatedList	리스트	키워드 추출	간단하고 직관적인 출력
StructuredOutputParser	구조화 딕셔너리	명세 기반 응답	명세 문서 자동 생성
JsonOutputParser	JSON	API 응답 파싱	빠른 JSON 처리
PandasDataFrameOutput	DataFrame	테이블 출력	분석 및 시각화에 활용
DatetimeOutputParser	datetime 객체	시간 예약, 일정 추출	자연어 시간 파싱
EnumOutputParser	Enum 타입	감성 분석 결과, 다중 선택 분류	허용 값 제한, 정형화
OutputFixingParser	위의 파서들 보완	모든 파서에 연결 가능	오류 자동 복구

---

LangChain에서 모델 캐싱, 직렬화, 모델 호출 방식 정리

1. 모델 캐싱 (Caching)

🔍 정의

• 동일한 질문(prompt)에 대해 이전에 생성된 응답을 저장하고 재사용하는 기능
• LLM 호출 비용 절감 + 속도 개선 + 디버깅 용이

✅ LangChain에서 활성화 예시

from langchain.globals import set_llm_cache
from langchain.cache import InMemoryCache

set_llm_cache(InMemoryCache())

🔄 다양한 캐시 백엔드 지원

• InMemoryCache: 세션 내 임시 캐싱
• SQLiteCache: 디스크 기반 영구 저장
• RedisCache: 분산 환경에서 고속 캐시 사용

---

2. 모델 직렬화 (Serialization)

🔍 정의

• LLM 객체를 저장 가능한 형태(JSON, Pickle 등)로 변환
• 워크플로우 저장, 프로덕션 배포, 재현성 확보에 유용

✅ 사용 예시

llm.save("my_gpt_model.json")

• .json으로 저장하면 향후 불러올 수 있음

from langchain.chat_models import ChatOpenAI
ChatOpenAI.load("my_gpt_model.json")

---

3. 다양한 모델 호출 방식

✅ (1) OpenAI / Anthropic / Azure

from langchain.chat_models import ChatOpenAI
llm = ChatOpenAI(model_name="gpt-4", temperature=0.7)

• OpenAI API key 필요
• OpenAI 이외에도 AzureOpenAI, Anthropic(Claude) 등 지원

---

✅ (2) HuggingFaceHub (허깅페이스 엔드포인트)

from langchain.llms import HuggingFaceHub
llm = HuggingFaceHub(repo_id="google/flan-t5-xl", model_kwargs={"temperature": 0.7})

• HuggingFace에서 제공하는 Inference API 호출
• HUGGINGFACEHUB_API_TOKEN 필요

---

✅ (3) HuggingFacePipeline (로컬 모델 파이프라인)

from langchain.llms import HuggingFacePipeline
from transformers import pipeline

pipe = pipeline("text-generation", model="gpt2")
llm = HuggingFacePipeline(pipeline=pipe)

• 로컬에 설치된 transformers 모델을 pipeline으로 실행
• GPU 사용 가능
• 빠르고 저렴함, 단 메모리/환경 세팅 필요

---

✅ (4) LoRA (Low-Rank Adaptation, 경량 파인튜닝)

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-1.3B")
lora_model = PeftModel.from_pretrained(base_model, "path/to/lora")

• 작은 가중치(Low-Rank)를 덧붙이는 방식으로 파인튜닝
• HuggingFace Transformers 기반 모델을 경량화해서 학습/배포 가능
• LangChain에서 직접 LoRA 모델 로딩은 transformers + pipeline 연동을 통해 구현

---

✅ (5) Local LLM (로컬 언어 모델)

from langchain.llms import LlamaCpp
llm = LlamaCpp(model_path="./llama-7b.ggmlv3.q4_0.bin")

• GPU 없이 CPU로도 LLM 실행 가능 (ex: GGML 포맷)
• 대표 예: llama-cpp, mistral, vicuna, gpt4all
• HuggingFace에서 직접 다운로드 후 사용 가능

---

요약 비교

방식	설명	비용	속도	필요 환경
OpenAI	GPT-3.5/4 API 호출	💵 유료	⚡ 빠름	API Key 필요
HuggingFaceHub	HF에서 제공하는 모델 호출	💵 유료	⚡ 빠름	HF 토큰 필요
HuggingFacePipeline	로컬 모델 실행	💸 무료	⚡ 빠름 (GPU)	로컬 환경 필요
LoRA	경량화된 파인튜닝 모델 사용	💸 저비용	⚡ 빠름	transformers + PEFT 필요
LlamaCpp	로컬 CPU 기반 LLM 실행	💸 무료	🐢 느림	ggml 모델 필요