1. 팀 이름 및 프로젝트 개요
프로젝트의 팀 이름은 DIET (Distilled Intelligent Efficient Thinking)로 정했다.
DIET는 지식 증류를 통해 핵심 정보만을 효율적으로 추출하고, 제한된 환경에서도 실용적으로 작동하는 AI를 구현하겠다는 의미를 담았다.
프로젝트를 구체화할때, 대규모 범용 AI 모델을 구축하는 것을 목표로 하지 않았다.
특정 도메인에서 실제 사용 가능한 경량화 AI 시스템을 구현하는 것을 핵심 목표로 설정했다.
2. 주제 방향성
2.1 도메인 정의
학교 및 공공기관 내부에서 사용되는 법률·지침·규정 문서를 처리하는 AI를 개발하는 것을 주제로 설정했다.
대상 문서는 교육공무원법, 초·중등교육법, 학교 내부 규정 및 지침 문서 등으로, 실제 학교 현장에서 빈번히 사용되지만 분량이 많고 해석이 어려운 문서들로 구성했다.
3. 사용자(페르소나)
프로젝트를 구체화하다보니, 실제 페르서나 예시를 찾아보고 싶었고, 실제 페르소나는 우리 고모로 설정을 하였다.
당진시 관내 초등학교에서 근무하는 50대 여성 교사는 이미 다양한 업무에서 AI를 활용하고 있었다.
수업 자료 준비, 가정통신문 문구 작성, 학습 활동 아이디어 구상 등 개인정보가 포함되지 않은 업무에서는 AI를 자연스럽게 사용하고 있었으며, AI는 이미 일상적인 업무 흐름의 일부가 되어 있었다.
그러나 학생 개인정보가 포함된 문서, 생활기록부 관련 자료, 학부모 민원 대응 문서, 학교 내부 규정이나 법·지침을 근거로 검토해야 하는 문서들에 대해서는 외부 AI 서비스를 사용할 수 없었다.
이러한 문서들은 분량이 길고 확인해야 할 내용이 많았지만, 보안 문제로 인해 AI의 도움 없이 직접 처리해야 했다.
외부 AI 서비스의 편리함을 인지하고 있었음에도, 입력한 문서가 외부 서버로 전송되거나 저장될 수 있다는 점 때문에 개인정보와 법률이 포함된 자료에는 AI 사용을 의도적으로 제한하고 있었다.
그 결과, AI를 활용할 수 있는 업무와 활용할 수 없는 업무 사이에 명확한 단절이 발생했다.
이러한 문제들을 실제 사례를 통해 파악했고, 우리팀은 이러한 단절을 해소하기 위해, 외부 서버와 통신하지 않고 로컬 또는 내부망 환경에서만 작동하는 AI를 제공하는 것을 목표로 설정했다.
4. 기술스택
4-1. Overall Pipeline 계획
SFT → QLoRA 기반 Fine-tuning → Model Compression → RAG → Local Serving
순서로 개발을 진행할 계획이다.
4-2. Data Preparation & SFT Setup 계획
데이터 수집 및 구성 계획
법률 및 지침 도메인 학습을 위해 AI Hub에서 제공하는 법률 관련 데이터 2종을 활용할 계획이다.
• 법률 지식 전반의 구조와 관계를 학습하기 위한 데이터
• 법률·규정 텍스트의 세부적인 행정 문맥을 학습하기 위한 데이터
이를 통해 모델이 단순 요약이 아닌,
법률 문서의 구조와 의미 흐름을 함께 이해하도록 설계할 계획이다.
SFT 데이터 형식 계획
수집한 원본 데이터를 그대로 사용하지 않고,
Instruction 기반 학습이 가능하도록 데이터 형식을 재구성할 계획이다.
각 데이터는 다음과 같은 구조로 변환한다.
• Instruction: 교사의 실제 질문을 반영한 요청 문장
• Input: 법률·지침 문서의 일부 문단
• Output: 교사가 빠르게 판단할 수 있는 요약 및 설명
이를 통해 실제 사용 시나리오와 유사한 학습 데이터를 구축할 계획이다.
4-3. QLoRA 기반 Fine-tuning 계획
Base Model 선정 계획
기본 모델로는 Qwen2.5-14B Instruct 모델을 사용할 계획이다.
해당 모델은 문서 이해 및 Instruction 기반 응답에 적합하다고 판단했다.
QLoRA 적용 계획
대형 모델을 효율적으로 학습하기 위해 QLoRA 기법을 적용할 계획이다.
• 가중치는 4-bit NF4 방식으로 양자화한다.
• LoRA 어댑터만을 학습 대상으로 설정한다.
이를 통해 GPU 자원이 제한된 환경에서도
대규모 모델에 대한 도메인 파인튜닝이 가능하도록 한다.
학습 환경 계획
학습은 Google Colab 환경에서 진행할 계획이며,
Unsloth 기반 학습 가속 기법을 적용해 학습 시간을 단축할 계획이다.
4-4. Model Compression 계획
지식 증류 전략
파인튜닝된 대형 모델을 그대로 배포하지 않고,
Knowledge Distillation 기반 경량화를 적용할 계획이다.
Teacher 모델이 생성한 법률 문서 요약 결과를 pseudo-label로 활용하고,
이를 기반으로 더 작은 Student 모델을 학습시킬 계획이다.
Teacher–Student 구조 계획
• Teacher 모델은 법률·지침 문서 요약 생성 역할을 담당한다.
• Student 모델은 Teacher의 출력 결과를 모방하도록 학습한다.
• 요약 구조, 말투, 핵심 정보 추출 방식을 중심으로 지식을 전달한다.이를 통해 Student 모델이 적은 파라미터 수로도
법률 문서 요약 성능을 유지하도록 할 계획이다.
4-5. RAG 적용 계획
RAG 구조를 적용하여,
사용자가 업로드한 법률·지침 PDF 문서를 기반으로 동작하는 시스템을 구축할 계획이다.
PDF 문서는 텍스트로 변환한 후,
질문과 관련된 문단만을 추출해 모델 입력으로 전달한다.
이를 통해 전체 문서를 입력하는 방식보다
응답 정확도와 추론 효율을 동시에 확보할 계획이다.
4-6. Local Serving 계획
로컬 실행 구조 계획
경량화된 Student 모델을 로컬 환경에서 실행할 계획이다.
모델과 RAG 파이프라인을 결합하여
문서 검색과 응답 생성을 하나의 흐름으로 구성할 계획이다.
5. WIL
계획을 처음에 할 때는 구체적으로 방향성을 어떤식으로 잡아야하는지 몰랐다. 처음에는 그냥 회사 내 자체 보안문제없는ai를 사용하면 되는거아닌가? 싶은 생각도 들었고, 기존 챗 gpt같은 llm이랑 다른점은 무엇일까라는생각도 들었다.하지만 실제사례를보니, 공무원계에서는 자체적인 ‘보안문제없는ai’가 없었고, 개인정보나 법률을 다루는데 정작 ‘보안문제없는ai'가 없는 분야가 공무원 관련된 직업이였다. 이로써, 점점 계획에 대한 구체적인 기획이 잡혔고, 우리는 우선은 법률에 관한 데이터들을 파인튜닝하고, 경량화하는 것을 목표로 잡았다.경량화 시킨 모델에 자주 바뀌는 교육계들의 법들을 굳이 넣지 않기로 했다. 이후 Rag 방식을 결합하여 교육계의 법들에 대한 문서들을넣어, 정말로 교육계에 특화된 변동의 유연성을 갖춘 ai를 만들어볼 예정이다. 우선 모델만 경량화에 성공하면 rag를 쓸 때 어떤 법률의 분야와 결합하냐에 따라 정말 많은 분야에서 쓰일 수 있는 문서ai를 만들 수 있을것이라 기대된다.
