🤖 AI를 통한 PR 내용 생성 자동화

배경

현재 Git-flow 전략을 사용하고 있다.
feature 브랜치에서 작업을 끝내고 develop 브랜치에 머지를 하고나서 develop 브랜치를 main 브랜치로 PR을 생성해야하는데 이 부분에서 정해진 규칙도 없고, 매번 develop PR과 비슷한 내용을 작성해서 번거로움만 느끼고 있었다.
그래서 main으로 올리는 PR은 AI에게 맡겨보는 게 좋을 것 같다는 생각을 했다.

작업 절차

0. 사전 작업

순서

AI가 PR을 생성해주는 플로우는 아래와 같다.
develop에 푸시가 됐을 때 main에 머지하는 PR을 자동으로 생성해주는 방법도 있지만,
우리 프로젝트 특성상 이 방법보단 개발자가 PR을 생성했을 때 PR 내용을 자동으로 수정해주는게 적절하다고 보아 그렇게 진행했다.

1. main PR 생성
2. AI가 PR 내용 수정
	2-1. 커밋에서 Jira 티켓 번호를 추출하여 Jira API를 통해 이슈 내용 가져오기
    2-2. Jira 이슈 내용과 git diff 내용을 참고하여 AI에게 PR 내용 요청하기

또한, git diff 만 보지 않고 Jira API 호출을 통해 Jira 티켓 이슈의 내용을 함께 알려주어 내용의 정확성을 올렸다.
확실히 diff 만 보는 것보단 커밋의 배경을 알게 되니 내용이 더 좋아진 것을 볼 수 있었다.

준비 사항

OpenAI API를 사용하기 위해서는 API Key가 필요하다.
나는 이미 API Key가 있어서 또 발급받진 않았다.

Jira API를 사용하기 위해서도 Jira에서 API Token을 발급받아야 한다.
먼저, 우측 상단의 프로필 이미지를 눌러 Account settings를 누른다.

그 후, 상단 탭 중 보안에 들어간다.
하단에 보면 API 토큰 섹션이 있다. API 토큰 만들기 및 관리를 누른다.

그러면 생성한 API 토큰 목록이 나온다. 나는 이미 PR 업데이트용 토큰을 만들어놓았다.
없다면 API 토큰 만들기로 토큰을 생성한다.

간단하게 이름과 만료 날짜만 선택하면 된다.

이렇게 발급받은 OpenAI API Key와 Jira API Token을 레포지토리 환경 변수에 넣어준다.
레포지토리 Settings > Secrets and variables > Actions 에서 설정 가능하다.

---

1. workflow yml 파일

다음은 실제로 특정 행동이 발생했을 때 동작할 workflow를 생성한다.

workflow name과 언제 이 workflow를 실행할건지 설정해준다.
PR이 생성될 때, 코드가 추가될 때 실행하도록 설정한다.

name: AI PR Updater

# main PR이 생성될 때(opend), 코드가 추가될 때(synchronize) 실행
on:
  pull_request:
    types: [opened, synchronize]
    branches:
      - main

커밋의 모든 히스토리를 가져온 후 git diff 명령어로 현재 버전과 과거 버전의 Diff를 추출하여 pr_diff.txt 파일로 저장한다.

jobs:
  update-pr:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v4
        with:
          fetch-depth: 0

      - name: Get Diff
        id: get_diff
        run: |
          git diff origin/${{ github.base_ref }}...origin/${{ github.head_ref }} > pr_diff.txt

우리 프로젝트는 라이브러리를 Poetry를 통해 관리하고 있기 때문에(openai 포함) poetry 설치 후 install 받는다.

      - name: Install Poetry
        run: pipx install poetry

      - name: Set up Python
        uses: actions/setup-python@v6
        with:
          python-version: '3.12.1'
          cache: 'poetry'

      - name: Install dependencies
        run: poetry install --no-interaction --no-root

AI 사용시 필요한 정보들을 env로 설정 후 스크립트를 실행한다. (스크립트 내용은 아래 나온다.)

그 후, AI 응답값으로 PR 내용을 수정해준다.
PR 내용을 수정하기 위한 권한도 부여해준다.

	  # **AI를 통해 PR 내용 생성 (스크립트에서 사용할 환경변수를 env로 설정)**
      - name: Generate AI Summary
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
          JIRA_API_TOKEN: ${{ secrets.JIRA_API_TOKEN }}
          JIRA_EMAIL_ADDRESS: ${{ secrets.JIRA_EMAIL_ADDRESS }}
        run: |
          poetry run python .github/scripts/ai_summary.py

	  # PR 내용 수정 (gh pr edit ...)
      - name: Update PR Description
        env:
          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
        run: |
          gh pr edit ${{ github.event.pull_request.number }} --body-file ai_summary.txt

# 쓰기 권한 부여
permissions:
  contents: read
  pull-requests: write

최종 코드는 아래와 같다.

[ ai-pr.yml ]

name: AI PR Updater

# main PR이 생성될 때(opend), 코드가 추가될 때(synchronize) 실행
on:
  pull_request:
    types: [opened, synchronize]
    branches:
      - main

jobs:
  update-pr:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v4
        with:
          fetch-depth: 0
          
      # 현재 버전과 과거 버전의 Diff를 추출하여 *pr_diff.txt* 파일로 저장
      - name: Get Diff
        id: get_diff
        run: |
          git diff origin/${{ github.base_ref }}...origin/${{ github.head_ref }} > pr_diff.txt
          
      # openai 라이브러리를 poetry로 관리하기 때문에 poetry 설치
      - name: Install Poetry
        run: pipx install poetry

      - name: Set up Python
        uses: actions/setup-python@v6
        with:
          python-version: '3.12.1'
          cache: 'poetry'

      - name: Install dependencies
        run: poetry install --no-interaction --no-root

	  # **AI를 통해 PR 내용 생성 (스크립트에서 사용할 환경변수를 env로 설정)**
      - name: Generate AI Summary
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
          JIRA_API_TOKEN: ${{ secrets.JIRA_API_TOKEN }}
          JIRA_EMAIL_ADDRESS: ${{ secrets.JIRA_EMAIL_ADDRESS }}
        run: |
          poetry run python .github/scripts/ai_summary.py

	  # PR 내용 수정 (gh pr edit ...)
      - name: Update PR Description
        env:
          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
        run: |
          gh pr edit ${{ github.event.pull_request.number }} --body-file ai_summary.txt

# 쓰기 권한 부여
permissions:
  contents: read
  pull-requests: write

---

2. AI 호출 스크립트

Generate AI Summary 단계에서 언급한 스크립트를 작성할 차례다.

우리는 커밋메시지 맨 앞에 prefix로 Jira 티켓 번호를 붙이는 규칙이 있다.
이를 이용해서 커밋메시지의 Jira 티켓 번호를 추출하고, 해당 번호로 Jira API를 호출하여 이슈 내용을 가져와, 해당 이슈 내용과 Diff 기반으로 AI가 PR 내용을 작성해주도록 작성했다.

최종 코드는 아래와 같다.

[ ai_summary.yml ]

main 함수

import os
import re
import subprocess
from openai import OpenAI
import sys
import requests
from requests.auth import HTTPBasicAuth

DIFF_FILE = 'pr_diff.txt'
MODEL_NAME = 'gpt-4-turbo'
SUMMARY_FILE = 'ai_summary.txt'
JIRA_BASE_URL = 'base_url'
DEFAULT_MESSAGE = "No text"


def generate_pr_summary():
    # 지라 티켓 번호 추출 후 이슈 내용을 가져온다
    ticket_id = get_jira_ticket_id()
    jira_description, jira_summary = DEFAULT_MESSAGE, DEFAULT_MESSAGE
    if ticket_id:
        jira_description, jira_summary = get_jira_issue_details(ticket_id=ticket_id)

	# yml 파일에서 설정해둔 환경변수 값을 가져온다
    api_key = os.getenv("OPENAI_API_KEY")
    if not api_key:
        print("Error: OPENAI_API_KEY is not set.")
        sys.exit(1)

    client = OpenAI(api_key=api_key)

    # diff 파일 읽기
    try:
        with open(DIFF_FILE, "r", encoding="utf-8") as f:
            diff_text = f.read()
    except FileNotFoundError:
        print("Error: pr_diff.txt not found.")
        sys.exit(1)

    # 프롬프트를 설정해준다.
    # 영어로만 작성했더니 가끔씩 영어로 PR 내용을 적어주는 이슈가 있어서 영어와 한국어를 같이 사용했다.
    system_prompt = ("You are a professional Senior Software Engineer."
                     "You must communicate only in Korean and use Markdown for formatting.")
    user_prompt = f"""
    Analyze the provided Jira ticket information and Git Diff to write a concise GitHub Pull Request (PR) description.

    [Context Data]
    - Jira Ticket ID: {ticket_id}
    - Jira Summary: {jira_summary}
    - Jira Description: {jira_description}
    - Git Diff:
    {diff_text}

    [Response Guidelines - 반드시 한국어로 작성하며 마크다운 형식을 사용하세요]
    1. **Jira 작업 요약**: 제공된 Jira 정보를 바탕으로 이 티켓의 작업 내용을 핵심 위주로 요약합니다.
       - 지라 정보가 부족하면 Git Diff를 분석하여 해당 작업이 왜 필요한지 유추해서 작성하세요.
    2. **PR Overview**: 변경 사항의 핵심(What)을 한 문장으로 요약합니다.
    3. **Detailed Changes**: 각 파일별 변경점을 **마크다운 목록형(Bullet points)**으로 작성합니다.
       - 중요한 로직 변화를 우선 설명하세요.
       - **GROUP MINOR CHANGES**: 사소한 설정이나 의존성 변경은 한 줄의 목록으로 묶어서 요약하세요.
       - 형식: `1. 파일명: 변경 사항 설명`
    4. **Reviewer's Notes**: 리뷰어가 주의 깊게 확인해야 할 사항을 기술합니다.

    [Output Style & Rules]
    - **Language**: MUST be Korean (한국어).
    - **Format**: Use clear Markdown (Headers, Bullets, Bold text, `Code Backticks`).
    - **Visual**: **각 섹션 제목 앞에 적절한 이모티콘을 추가하여 가독성을 높이세요.**
    - **Tone**: Professional and formal.
    - No introductory phrases. Start with the content immediately.
    """

    # Create summary
    try:
        response = client.chat.completions.create(
            model=MODEL_NAME,
            messages=[
                {"role": "system", "content": system_prompt},
                {"role": "user", "content": user_prompt}
            ],
            temperature=0.2,
        )

        summary = response.choices[0].message.content

		# response로 받은 결과를 ai_summary.txt파일로 저장한다.
        with open(SUMMARY_FILE, "w", encoding="utf-8") as f:
            f.write("## 🤖 AI PR 분석 결과\n\n")
            f.write(summary)
            f.write("\n\n---\n*이 요약은 ChatGPT에 의해 자동 생성되었습니다.*")
    except Exception as e:
        print(f"Error during AI generation: {e}")
        sys.exit(1)
        
 if __name__ == "__main__":
    generate_pr_summary()
 

Jira 티켓 번호 추출 후 이슈 내용을 가져오는 함수

def get_jira_issue_details(ticket_id):
    api_token = os.getenv("JIRA_API_TOKEN")
    email_address = os.getenv("JIRA_EMAIL_ADDRESS")

    if not api_token or not email_address:
        print("Error: JIRA_API_TOKEN or JIRA_EMAIL_ADDRESS is not set.")
        return DEFAULT_MESSAGE, DEFAULT_MESSAGE

    try:
        url = f"{JIRA_BASE_URL}/rest/api/2/issue/{ticket_id}"
        auth = HTTPBasicAuth(email_address, api_token)
        response = requests.get(url, auth=auth)

        if response.status_code != 200:
            print(f"Error: Failed to get Jira issue {ticket_id}. Status: {response.status_code}")
            return DEFAULT_MESSAGE, DEFAULT_MESSAGE

        data = response.json()
        description = str(data['fields'].get('description', DEFAULT_MESSAGE))[:1000]
        summary = data['fields'].get('summary', DEFAULT_MESSAGE)

        return description, summary
    except Exception:
        return DEFAULT_MESSAGE, DEFAULT_MESSAGE

def get_jira_ticket_id():
    try:
    	# develop 브랜치의 마지막 커밋은 PR 머지한 커밋이기 때문에 하나 스킵하고 그 다음 커밋을 가져온다
        commit_msg = subprocess.check_output(["git", "log", "-1", "--skip=1", "--pretty=%B"]).decode()
        match = re.search(r"\[([A-Z]+-\d+)\]", commit_msg)

        return match.group(1) if match else None
    except Exception:
        return None

---

3. 테스트

main에 PR을 생성해본 결과, 가독성 있고 간단하게 PR 내용을 요약해주는 것을 확인할 수 있다.
(프롬프트 개선 및 커밋 가져오는 로직 수정을 한 작업에 대해 ChatGPT가 써준 PR 내용이다.)

결론

AI를 통해 번거로운 작업을 자동화로 전환하니 좋은 경험이었다.
자동화할 수 있는 다른 부분이 또 있을지 생각해보아야겠다.