LangChain, OpenAI GPT, ChatPromptTemplate, 그리고 DateTimeOutputParser를 활용한 역사 퀴즈봇 개발 가이드

안녕하세요! 우리는 파이썬과 LangChain 라이브러리를 사용하여 역사적인 날짜를 맞추는 퀴즈봇을 만들 것입니다. 이 과정을 통해 다음과 같은 핵심 개념을 배우게 됩니다:

• 대형 언어 모델(LLM)과의 상호 작용 방법
• LangChain을 사용하여 프롬프트를 구성하고 출력을 파싱하는 방법
• 프롬프트 엔지니어링과 출력 파싱의 중요성
• 사용자 입력을 처리하고 결과를 계산하는 방법

---

프로젝트 개요

목표

• 역사적인 날짜를 맞추는 퀴즈봇 개발: 사용자가 특정 주제에 대한 역사적인 질문에 답하고, 그 답변의 정확성을 평가합니다.

학습할 개념

1. LangChain을 통한 프롬프트 구성: 시스템 프롬프트와 사용자 프롬프트를 사용하여 모델의 응답을 제어합니다.
2. 출력 파싱(Output Parsing): 모델의 응답을 원하는 형식으로 변환하고, 필요한 데이터를 추출합니다.
3. 사용자 입력 처리: 사용자의 입력을 받아 프로그램 내에서 활용합니다.
4. 날짜 계산: 두 날짜 간의 차이를 계산하여 사용자의 답변 정확도를 평가합니다.

---

LangChain이란 무엇인가요?

LangChain은 대형 언어 모델과의 상호 작용을 보다 쉽게 만들어주는 파이썬 라이브러리입니다. 프롬프트 템플릿, 출력 파서, 체인 등을 제공하여 개발자가 모델과의 대화를 구조화하고 제어할 수 있게 합니다.

주요 구성 요소

1. 프롬프트 템플릿(Prompt Templates): 모델에 전달할 프롬프트를 구성하는 데 사용됩니다.
   • 시스템 메시지(System Message): 모델의 역할이나 성격을 정의합니다.
   • 사용자 메시지(Human Message): 실제 사용자 또는 프로그램이 모델에게 전달하는 메시지입니다.
2. 출력 파서(Output Parsers): 모델의 응답을 특정 형식으로 파싱하여 필요한 데이터를 추출합니다.
3. 체인(Chains): 여러 개의 프롬프트와 모델 호출을 연결하여 복잡한 작업을 수행할 수 있게 합니다.

---

단계별로 개념 이해하기

1. 환경 설정

필요한 라이브러리 설치

먼저 프로젝트에 필요한 라이브러리를 설치합니다.

pip install openai langchain python-dotenv

• openai: OpenAI의 GPT 모델과 상호 작용하기 위한 라이브러리입니다.
• langchain: 앞서 설명한 대로 프롬프트 구성 및 출력 파싱을 도와줍니다.
• python-dotenv: .env 파일에 저장된 환경 변수를 로드하는 데 사용합니다.

API 키 설정

OpenAI API를 사용하려면 API 키가 필요합니다. 안전한 관리를 위해 .env 파일에 저장합니다.

# .env 파일 내용
OPENAI_API_KEY=your_openai_api_key_here

파이썬 코드에서 python-dotenv를 사용하여 환경 변수를 로드합니다.

from dotenv import load_dotenv
load_dotenv()

2. 모듈 임포트 및 클래스 생성

필요한 모듈 임포트

import os
from langchain.chat_models import ChatOpenAI
from langchain.prompts import (
    ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate
)
from langchain.output_parsers import DateTimeOutputParser
from datetime import datetime

• os: 환경 변수 접근을 위해 사용합니다.
• ChatOpenAI: OpenAI의 GPT 모델과 채팅 형식으로 상호 작용하기 위한 클래스입니다.
• Prompt Templates: 프롬프트를 구성하는 데 사용됩니다.
• DateTimeOutputParser: 모델의 응답에서 날짜 정보를 파싱합니다.
• datetime: 날짜와 시간 처리를 위한 표준 라이브러리입니다.

퀴즈봇 클래스 생성

클래스를 사용하여 코드를 구조화하면 재사용성과 유지보수성이 높아집니다.

class HistoryQuizBot:
    def __init__(self):
        # OpenAI의 GPT 모델 초기화
        self.chat_model = ChatOpenAI(
            model_name='gpt-3.5-turbo',
            temperature=0,
            openai_api_key=os.getenv("OPENAI_API_KEY")
        )

• __init__ 메서드: 클래스 인스턴스가 생성될 때 실행되며, 여기서 채팅 모델을 초기화합니다.
• temperature=0: 모델의 응답을 결정적으로 만들어 동일한 입력에 동일한 출력을 얻습니다.

3. 질문 생성 메서드 (generate_question)

이 메서드는 특정 주제에 대한 역사적인 질문을 생성합니다.

def generate_question(self, topic):
    # 시스템 프롬프트 설정
    system_template = (
        "당신은 역사적인 날짜에 대한 퀴즈를 내는 봇입니다. "
        "{topic}에 관한 정확한 날짜가 정답인 퀴즈 질문을 하나 내주세요. "
        "질문만 출력하고 추가 설명은 하지 마세요."
    )
    system_prompt = SystemMessagePromptTemplate.from_template(system_template)

프롬프트 엔지니어링

• 시스템 프롬프트: 모델의 역할을 정의합니다.
  • 여기서는 "역사적인 날짜에 대한 퀴즈를 내는 봇"으로 설정합니다.
  • {topic} 변수를 사용하여 동적으로 주제를 지정합니다.
• 프롬프트 템플릿 사용: SystemMessagePromptTemplate를 사용하여 시스템 프롬프트를 생성합니다.

    # 인간 프롬프트 설정
    human_template = "퀴즈를 생성해주세요."
    human_prompt = HumanMessagePromptTemplate.from_template(human_template)

• 인간 프롬프트: 모델에게 수행할 작업을 요청합니다.

    # 프롬프트 컴파일
    chat_prompt = ChatPromptTemplate.from_messages([system_prompt, human_prompt])
    prompt = chat_prompt.format_prompt(topic=topic)
    messages = prompt.to_messages()

• 프롬프트 컴파일: 시스템 프롬프트와 인간 프롬프트를 결합하여 최종 메시지를 생성합니다.
• format_prompt: 프롬프트에 필요한 변수를 삽입합니다.

    # 질문 생성
    response = self.chat_model(messages)
    question = response.content.strip()
    return question

• 모델 호출: 메시지를 모델에 전달하여 응답을 얻습니다.
• 응답 처리: 모델의 응답에서 불필요한 공백을 제거하고 질문을 반환합니다.

4. 정답 얻기 메서드 (get_answer)

이 메서드는 생성된 질문에 대한 정확한 날짜를 모델을 통해 얻습니다.

def get_answer(self, question):
    # 출력 파서 생성
    parser = DateTimeOutputParser()

출력 파싱(Output Parsing)

• 출력 파서: 모델의 응답을 원하는 형식(여기서는 datetime 객체)으로 파싱합니다.
• DateTimeOutputParser: 날짜 정보를 추출하는 데 사용됩니다.

    # 시스템 프롬프트 설정
    system_template = "당신은 역사적인 사건의 날짜를 알려주는 전문가입니다."
    system_prompt = SystemMessagePromptTemplate.from_template(system_template)

• 시스템 프롬프트: 모델의 역할을 "역사적인 사건의 날짜를 알려주는 전문가"로 설정합니다.

    # 인간 프롬프트 설정
    human_template = (
        "{question}\n\n"
        "{format_instructions}"
    )
    human_prompt = HumanMessagePromptTemplate.from_template(human_template)

• 인간 프롬프트:
  • {question}: 이전에 생성한 질문을 삽입합니다.
  • {format_instructions}: 파서가 요구하는 형식 지시사항을 삽입합니다.
  • 형식 지시사항은 모델이 응답을 특정 형식으로 반환하도록 유도합니다.

    # 프롬프트 컴파일
    chat_prompt = ChatPromptTemplate.from_messages([system_prompt, human_prompt])
    prompt = chat_prompt.format_prompt(
        question=question,
        format_instructions=parser.get_format_instructions()
    )
    messages = prompt.to_messages()

• parser.get_format_instructions(): 파서가 요구하는 형식 지시사항을 얻습니다.
• 프롬프트 컴파일: 시스템 프롬프트와 인간 프롬프트를 결합하고 필요한 변수를 삽입합니다.

    # 정답 얻기 및 파싱
    response = self.chat_model(messages)
    answer = parser.parse(response.content)
    return answer

• 모델 호출: 메시지를 모델에 전달하여 응답을 얻습니다.
• 응답 파싱: 모델의 응답을 파서를 통해 datetime 객체로 변환합니다.

출력 파싱의 중요성

모델의 응답은 사람이 읽기에는 좋지만, 프로그램에서 바로 사용하기에는 적합하지 않을 수 있습니다. 출력 파서를 사용하면 모델의 응답을 구조화된 형식으로 변환하여 프로그램에서 쉽게 활용할 수 있습니다.

5. 사용자 응답 받기 메서드 (get_user_response)

사용자로부터 날짜를 입력받는 메서드입니다.

def get_user_response(self, question):
    print(f"질문: {question}")
    print("날짜를 추측해 보세요.")
    year = int(input("연도를 입력하세요 (예: 1969): "))
    month = int(input("월을 입력하세요 (1-12): "))
    day = int(input("일을 입력하세요 (1-31): "))
    user_date = datetime(year, month, day)
    return user_date

• 질문 출력: 생성된 질문을 사용자에게 보여줍니다.
• 입력 받기: 사용자로부터 연도, 월, 일을 입력받습니다.
• datetime 객체 생성: 입력받은 값을 사용하여 datetime 객체를 만듭니다.

6. 답변 확인 메서드 (check_user_answer)

사용자의 답변과 실제 정답의 차이를 계산하여 알려주는 메서드입니다.

def check_user_answer(self, user_answer, correct_answer):
    difference = abs(correct_answer - user_answer)
    days_difference = difference.days
    print(f"정답과 {days_difference}일 차이가 있습니다.")

• 날짜 차이 계산: 두 datetime 객체의 차이를 계산합니다.
• 일 단위로 변환: timedelta 객체의 days 속성을 사용하여 일 수를 얻습니다.
• 결과 출력: 사용자에게 정답과의 차이를 알려줍니다.

7. 메인 함수 작성 및 실행

def main():
    # 퀴즈봇 인스턴스 생성
    bot = HistoryQuizBot()
    
    # 주제 설정
    topic = "달 착륙"
    
    # 질문 생성
    question = bot.generate_question(topic)
    
    # 정답 얻기
    correct_answer = bot.get_answer(question)
    
    # 사용자로부터 답변 받기
    user_answer = bot.get_user_response(question)
    
    # 답변 확인
    bot.check_user_answer(user_answer, correct_answer)

if __name__ == "__main__":
    main()

• 인스턴스 생성: HistoryQuizBot의 인스턴스를 만듭니다.
• 주제 설정: 원하는 주제를 지정합니다.
• 메서드 호출 순서:
  1. 질문 생성
  2. 정답 얻기
  3. 사용자로부터 답변 받기
  4. 답변 확인
• __name__ == "__main__": 이 스크립트가 직접 실행될 때만 main() 함수를 호출합니다.

---

핵심 개념 심화 이해

프롬프트 엔지니어링의 중요성

프롬프트 엔지니어링은 대형 언어 모델과의 상호 작용에서 매우 중요한 역할을 합니다. 올바른 프롬프트를 구성함으로써 모델이 원하는 방식으로 응답하도록 유도할 수 있습니다.

• 시스템 프롬프트를 통해 모델의 역할과 성격을 정의합니다.
• 인간 프롬프트를 통해 구체적인 작업을 요청합니다.
• 형식 지시사항을 제공하여 모델의 응답을 특정 형식으로 제한할 수 있습니다.

LangChain을 통한 출력 파싱

LangChain은 모델의 출력을 파싱하는 데 도움을 주는 여러 파서를 제공합니다. 이 프로젝트에서는 DateTimeOutputParser를 사용하여 모델의 응답을 datetime 객체로 변환했습니다.

• 출력 파서 사용 이유:
  • 모델의 응답이 항상 일관된 형식을 따르지 않을 수 있습니다.
  • 파서를 통해 응답을 구조화된 데이터로 변환하면 프로그램에서 쉽게 활용할 수 있습니다.

체인의 개념

체인(Chains)은 여러 개의 프롬프트와 모델 호출을 연결하여 복잡한 작업을 수행할 수 있게 합니다. 이 프로젝트에서는 간단한 형태의 체인을 사용하여 다음과 같은 작업을 순차적으로 수행했습니다.

1. 질문 생성
2. 정답 얻기
3. 사용자로부터 답변 받기
4. 답변 확인

LangChain을 사용하면 이러한 작업들을 더 복잡하게 연결하고 관리할 수 있습니다.

---

추가적인 고려 사항

에러 처리 및 예외 처리

실제 애플리케이션에서는 사용자 입력 오류나 모델 응답 오류에 대비한 에러 처리가 필요합니다.

• 사용자 입력 검사: 사용자가 올바른 형식의 데이터를 입력하도록 유도하고, 잘못된 입력에 대한 예외 처리를 해야 합니다.
• 모델 응답 검사: 모델이 예상치 못한 응답을 할 경우를 대비하여 예외 처리를 해야 합니다.

모델의 한계 이해

• 지식 컷오프: 모델은 2021년까지의 정보만 알고 있습니다. 따라서 그 이후의 사건에 대한 질문에는 정확한 답을 제공하지 못할 수 있습니다.
• 환각(Hallucination): 모델이 존재하지 않는 정보를 생성할 수 있습니다. 따라서 중요한 응답은 추가적인 검증이 필요합니다.

확장 가능성

이 프로젝트를 기반으로 다양한 확장이 가능합니다.

• 다양한 주제 추가: 주제를 동적으로 받아서 다양한 역사적 질문을 생성할 수 있습니다.
• 퀴즈 유형 다양화: 날짜뿐만 아니라 인물, 장소 등 다양한 유형의 퀴즈를 만들 수 있습니다.
• UI 개선: 터미널이 아닌 웹 인터페이스나 GUI를 통해 사용자 경험을 향상시킬 수 있습니다.

---

전체 코드 정리

import os
from dotenv import load_dotenv
from langchain.chat_models import ChatOpenAI
from langchain.prompts import (
    ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate
)
from datetime import datetime

import re

# 환경 변수 로드
load_dotenv()

class HistoryQuizBot:
    def __init__(self):
        self.chat_model = ChatOpenAI(
            model_name='gpt-3.5-turbo',
            temperature=0,
            openai_api_key=os.getenv("OPENAI_API_KEY")
        )

    def generate_question(self, topic):
        # 시스템 프롬트 설정
        system_template = (
            "당신은 역사적인 날짜에 대한 퀴즈를 내는 볼입니다. "
            "{topic}에 관한 정확한 날짜가 정답인 퀴즈 질문을 하나 내주세요. "
            "질문만 출력하고 추가 설명은 하지 마세요."
        )
        system_prompt = SystemMessagePromptTemplate.from_template(system_template)

        # 인간 프롬트 설정
        human_template = "퀴즈를 생성해주세요."
        human_prompt = HumanMessagePromptTemplate.from_template(human_template)

        # 프롬트 컨피백
        chat_prompt = ChatPromptTemplate.from_messages([system_prompt, human_prompt])
        prompt = chat_prompt.format_prompt(topic=topic)
        messages = prompt.to_messages()

        # 질문 생성
        response = self.chat_model(messages=messages)
        question = response.content.strip()
        return question

    def get_answer(self, question):
        # 시스템 프롬트 설정
        system_template = "당신은 역사적인 사건의 날짜를 알려주는 전문가입니다. 날짜는 반드시 'YYYY-MM-DD' 형식으로만 제공해 주세요."
        system_prompt = SystemMessagePromptTemplate.from_template(system_template)

        # 인간 프롬트 설정
        human_template = "{question}에 대한 정확한 날짜를 알려주세요."
        human_prompt = HumanMessagePromptTemplate.from_template(human_template)

        # 프롬트 컨피백
        chat_prompt = ChatPromptTemplate.from_messages([system_prompt, human_prompt])
        prompt = chat_prompt.format_prompt(question=question)
        messages = prompt.to_messages()

        # 정답 얻기
        response = self.chat_model(messages=messages)
        answer_text = response.content.strip()
        
        # 날짜 파싱 시도
        try:
            match = re.search(r"\d{4}-\d{2}-\d{2}", answer_text)
            if match:
                correct_answer = datetime.strptime(match.group(), "%Y-%m-%d")
            else:
                print("정확한 날짜 형식을 파싱할 수 없습니다.")
                correct_answer = None
        except ValueError:
            print("정확한 날짜 형식을 파싱할 수 없습니다.")
            correct_answer = None

        return correct_answer

    def get_user_response(self, question):
        print(f"질문: {question}")
        print("날짜를 추측해 보세요.")
        try:
            year = int(input("연도를 입력하세요 (예: 1969): "))
            month = int(input("월을 입력하세요 (1-12): "))
            day = int(input("일을 입력하세요 (1-31): "))
            user_date = datetime(year, month, day)
            return user_date
        except ValueError:
            print("잘못된 입력입니다. 다시 시도해주세요.")
            return self.get_user_response(question)

    def check_user_answer(self, user_answer, correct_answer):
        if correct_answer is None:
            print("정확한 날짜를 확인할 수 없습니다.")
            return
        
        difference = abs(correct_answer - user_answer)
        days_difference = difference.days
        print(f"정답과 {days_difference}일 차이가 있습니다.")

def main():
    bot = HistoryQuizBot()
    topic = input("퀴즈 주제를 입력하세요 (예: '제2차 세계 대전'): ")
    question = bot.generate_question(topic)
    correct_answer = bot.get_answer(question)
    user_answer = bot.get_user_response(question)
    bot.check_user_answer(user_answer, correct_answer)

if __name__ == "__main__":
    main()

---

실행 예시

퀴즈 주제를 입력하세요 (예: '제2차 세계 대전'): 프랑스 혁명
질문: 프랑스 혁명이 시작된 날짜는 언제인가요?
날짜를 추측해 보세요.
연도를 입력하세요 (예: 1969): 1789
월을 입력하세요 (1-12): 7
일을 입력하세요 (1-31): 14
정답과 0일 차이가 있습니다.

• 사용자가 정확한 날짜를 입력하여 정답과 차이가 없습니다.

---

결론

이번 프로젝트를 통해 우리는 LangChain을 활용하여 대형 언어 모델과 효과적으로 상호 작용하는 방법을 배웠습니다. 특히, 프롬프트 엔지니어링과 출력 파싱의 중요성을 이해하고, 이를 통해 모델의 응답을 제어하고 활용하는 방법을 익혔습니다.

• 프롬프트 엔지니어링: 모델의 역할과 응답 형식을 정의하여 원하는 결과를 얻습니다.
• 출력 파싱: 모델의 응답을 구조화된 데이터로 변환하여 프로그램에서 활용합니다.
• 사용자 입력 처리 및 예외 처리: 사용자 경험을 향상시키고 프로그램의 안정성을 높입니다.
• 날짜 계산 및 결과 평가: 사용자에게 의미 있는 피드백을 제공합니다.

이러한 개념들은 자연어 처리 및 인공지능 애플리케이션 개발에 있어 핵심적인 요소입니다. 이번 기회를 통해 더욱 깊이 있는 이해를 하셨기를 바랍니다.

---

즐거운 코딩 되세요! 추가로 궁금한 점이나 도움이 필요한 부분이 있다면 언제든지 질문해 주세요.