실험 배경
- 학년 말 학생부 질의응답 게시판은 그 질문량을 전문가 답변이 따라가지 못함.
- 기존 게시판 질의응답을 크롤링하여 다듬은 csv파일과 2024 학생부 기재요령 pdf를 바탕으로 RAG를 구현함.
- gpt-4o를 통해 구현한 챗봇은 프롬프트 엔지니어링을 통해 충분히 훌륭한 결과물을 보여서 학생부 점검단 선생님들의 반응이 좋았음.
- '더 성능을 올릴 수는 없을까?' 하는 마음에 파인튜닝을 시도해보기로 함.
OpenAI 파인튜닝 과정
- 대쉬보드에서 파인튜닝에 들어가서 크레이트를 누르면 가능했다.
- 기존 질의응답크롤링csv파일을 8:2로 나누어 트레이닝 데이터, 벨리데이션 데이터로 구성함.
Method = Supervised,Base Model = gpt-4o-2024-08-06으로 설정했다.- 하이퍼파라미터 설정은 모두
auto로 설정하였는데,Epochs = 3,Batch size = 2,LR multiplier = 2로 설정되었다.
아래는 결과 이미지
파인튜닝 토큰 및 비용
앞서 파인튜닝 시도하느라 테스트 한바퀴 해본 것도 포함해서 총 사용된 토큰과 비용은 다음과 같다.
- trained tokens = 2,371,998
- 비용 = $ 108.52
결론
- 오히려 정확도가 떨어졌다.
- 답변 길이가 짧아졌다.
- 시스템 프롬프트 말을 잘 안 듣게 되었다?
느낀점
아마도 전문적인 방법을 사용하지 않은 채 파인튜닝에 의존해서 그런 것 같다. 오히려 여러 전문가들이 답변한 데이터들이 혼란을 가중했는지도...
데이터 리트리버를 더 잘할 수 있도록 해야 정확도가 향상될 것 같다.
답변 내용 비교
사례 1.
질문:
휴직한 1학기 담당 세특의 오타를 수정하기 위해서는 권한부여를 다시 해야한다는 기록원의 답변은 받았습니다
다만 어떤 분에게 권한을 주는지를 별도로 학업성적관리위원회 심의를 받아야 하는지요?
아니면 이어서 수업을 맡은 분께 권한을 그냥 드려도 되는지요?
전문가 답변:
"안녕하십니까? 학교생활기록부 종합 지원센터입니다.
귀하께서 질의하신 내용에 대한 검토 결과를 다음과 같이 알려드립니다.
귀하의 질의 내용은 ‘1학기 교과 담당교사가 퇴직 등의 사유로 2학기에 근무하지 않을 때 1학기 교과세특 수정 절차 등’에 대한 것으로 이해됩니다.
1학기에 해당 항목을 입력한 입력 주체가 2학기에 없는 경우 학업성적관리위원회의 심의를 통해 1학기 과목별 세부능력 및 특기사항을 수정할 새로운 담당자를 지정하여 오·탈자 등을 수정할 수 있음을 안내하여 드립니다.
귀하의 질의에 대한 답변은 위와 같습니다. 감사합니다.
[관련 근거 및 참고자료]
*「학교생활기록 작성 및 관리지침」(교육부훈령 제477호)
별표 9(교과학습발달상황 평가 및 관리)
5. 학업성적관리위원회의 설치 및 운영
바. 학업성적관리위원회는 다음의 사항을 심의한다.
5) 학교생활기록부의 기재방법 및 기재내용 등에 관한 사항"
gpt-4o:
- 질문요약: 휴직한 교사의 세부능력 및 특기사항(세특) 오타 수정 권한 부여와 관련하여 학업성적관리위원회 심의가 필요한지 여부.
관련내용:- 학업성적관리의 원칙: 학교생활기록부의 기록 및 수정은 학교의 학업성적관리위원회의 심의 및 의결을 거쳐야 하는 경우가 있습니다. 특히, 기록의 신뢰성과 정확성을 높이기 위해 교사 또는 담당자의 변경이 필요한 경우, 위원회의 심의를 받는 것이 일반적입니다.
- 권한 부여 절차: 일반적으로 교사가 휴직한 경우, 해당 업무를 이어서 담당할 교사에게 권한을 부여할 때는 학교 내부의 절차에 따라 진행되며, 학업성적관리위원회의 심의가 필요할 수 있습니다.
- 수정 권한 부여: 학교장은 필요한 경우, 기록의 신뢰성을 확보하기 위해 관련 교사에게 권한을 부여할 수 있으며, 이 경우에도 학업성적관리위원회의 심의를 거치는 것이 바람직합니다.
- 답변: 휴직한 교사의 세특 기록을 수정하기 위해 권한을 부여할 때, 일반적으로는 이어서 수업을 맡은 교사에게 권한을 부여할 수 있습니다. 그러나, 학교생활기록부의 기록은 신중하게 다루어야 하므로, 학업성적관리위원회의 심의를 받는 것이 권장됩니다. 이는 기록의 신뢰성과 공정성을 확보하기 위함입니다. 따라서, 학교의 내부 규정에 따라 절차를 진행하시고, 위원회의 심의가 필요한지를 확인하는 것이 좋습니다.
파인튜닝 모델:
질문요약: 세특 수정 권한 위임에 대한 처리 절차
관련내용: (2024 학교생활기록부 및 학년기말처리 유의사항)
답변: 위임에 대한 절차를 별도로 정하고 있지 않으며, 학업성적관리위원회의 심의를 받아야 하는 것도 아닙니다.
사례 2.
질문:
"안녕하세요^^
전학 온 지 2개월이 지났는데, 전출교에서 작성한 행동특성 및 종합의견을 수정하고 싶다는 요청이 들어 왔습니다.
이런 경우에 수정할 수 있는지 궁금합니다.
수정할 수 있다면 공문으로 수정 내용을 받아서 수정을 해줘야 할까요?"전문가 답변:
안녕하십니까? 학교생활기록부 종합 지원센터입니다.
귀하께서 질의하신 내용에 대한 검토 결과를 다음과 같이 알려드립니다.
귀하의 질의 내용은 ‘전입생의 당해 학년도 행동특성 및 종합의견 내용의 수정 가능 여부 및 방법’에 대한 것으로 이해됩니다.
전출교에서 당해 학년도에 입력하여 보내온 자료이므로 학업성적관리위원회 심의를 통해 내용을 확인하여, 반영 및 수정 여부를 결정할 수 있음을 안내하여 드립니다.
전입교와 전출교가 협의하여 전입 이후 행동특성 및 종합의견만을 자료이관하는 방법도 가능하므로 소속 시도교육청 나이스자문단의 도움을 받으시기 바랍니다.
귀하의 질의에 대한 답변은 위와 같습니다. 감사합니다.
[관련 근거 및 참고자료]
*2024 학교생활기록부 기재요령(중 113쪽)
12. 교과학습발달상황
[훈령]
별표 9(교과학습발달상황 평가 및 관리)
5. 학업성적관리위원회의 설치 및 운영
바. 학업성적관리위원회는 다음의 사항을 심의한다.
5) 학교생활기록부의 기재방법 및 기재내용 등에 관한 사항
6) 학교생활기록부 정정을 위한 증빙자료의 객관성 여부 등을 포함한 정정에 관한 사항
gpt-4o:
- 질문요약: 전출교에서 작성한 행동특성 및 종합의견을 전입교에서 수정할 수 있는지 여부와 수정 절차에 대한 질문
- 관련내용:
2024 학교생활기록부 기재요령에 따르면, 학교생활기록부는 학생의 전출입 시에 전출교에서 작성한 내용을 전입교에서 수정할 수 있는 경우가 명확히 규정되어 있지는 않습니다. 다만, 기록의 정확성과 신뢰성을 위해 특별한 사유가 있는 경우에 한해 수정이 가능할 수 있습니다.
전출입 관련된 기록의 수정은 통상적으로 전출교와 전입교 간의 협의에 의해 진행되며, 공문을 통한 공식적인 요청과 승인이 필요할 수 있습니다.
질의응답사례.csv에 따르면, 학생의 기록 수정은 신중하게 접근해야 하며, 기록의 신뢰성을 훼손하지 않는 범위 내에서 진행되어야 합니다. 특히 학교생활기록부의 내용은 학생의 중요한 교육적 기록이므로, 수정 시에는 그에 따른 명확한 근거와 절차가 필요합니다.- 답변: 전출교에서 작성한 행동특성 및 종합의견을 전입교에서 수정하려면, 우선 전출교와 전입교 간의 협의가 필요합니다. 이 과정에서 공문을 통해 공식적인 수정 요청과 승인 절차를 거치는 것이 일반적입니다. 기록의 신뢰성을 유지하기 위해 신중한 접근이 필요하며, 특별한 사유가 없는 한 기존 기록을 존중하는 것이 원칙입니다. 따라서, 전출교의 수정 요청이 정당한 이유가 있을 경우 이를 문서화하여 처리하는 것이 바람직합니다.
파인튜닝 모델:
- 질문요약: 전출교에서 요청한 행동특성 및 종합의견 수정 가능 여부 문의
- 관련내용: 2024 학교생활기록부 기재요령 145쪽 제14조행동특성 및 종합의견
- 행동특성 및 종합의견은 행동특성을 포함한 각 항목에 기록된 자료를 종합하여 학생을 총체적으로 이해할 수 있도록 학급담임교사가 문장으로 입력하여 학생에 대한 일종의 추천서 또는 지도 자료가 되도록 작성한다. 다. 행동특성 및 종합의견은 모든 학생에 대하여 입력하며, 행동특성을 포함한 각 항목에 기록된 자료를 종합하여 학생을 총체적으로 이해할 수 있도록 학급담임교사가 문장으로 입력하여 학생에 대한 일종의 추천서 또는 지도 자료가 되도록 작성한다. 2024 학교생활기록부 기재요령 149쪽 제15조자료의 정정 가. 당해 학년도 이전의 학교생활기록부 입력 자료에 대한 정정은 원칙적으로 금지하나 객관적인 증빙자료가 있는 경우에 한해서 학업성적관리위원회의 심의 절차를 거쳐 학교생활기록부를 정정할 수 있다. 2024 학교생활기록부 기재요령 164쪽 제15조자료의 정정 다음의 경우 객관적인 증빙자료를 구할 수 없으므로 정정할 수 없음. 1 당해 학년도 이전의 수상경력, 창의적 체험활동상황 영역별 특기사항, 교과학습발달상황 세부능력 및 특기사항, 행동특성 및 종합의견 2024 학교생활기록부 기재요령 165쪽 제15조자료의 정정 라. 학생정보의 정정은 학업성적관리위원회의 심의 절차 없이 증빙자료만으로 학교생활기록부를 정정할 수 있다.
- 답변: 전출교에서 전입교로 요청한 전출교의 행동특성 및 종합의견은 수정이 불가합니다.
사례 3.
질문:
자율활동 특기사항에 누가기록에 없는 내용은 입력하면 안되나요?
기재요령 97p 에 보면 자율활동의 경우 학교교육계획에 따라 학교가 주최하고 주관한 체험활동도 특기사항에 작성할 수 있다고
나와 있는데요
1학년의 경우 자유학기제로 시험을 보지 않을때 체험했던 내용을 특기사항에 입력해도 괜찮을 까요?
전문가 답변:
안녕하십니까? 학교생활기록부 종합 지원센터입니다.
귀하께서 질의하신 내용에 대한 검토 결과를 다음과 같이 알려드립니다.
귀하의 질의 내용은 ‘자유학기 시험기간에 실시한 체험활동의 특기사항 기재 여부’에 대한 것으로 이해됩니다.
학교생활기록부는 학교교육계획에 따라 편성된 교육과정에 맞게 해당 항목에 입력해야 합니다.
시험기간의 체험활동이 어떤 영역으로 편성하여 운영하였느냐에 따라 달라지므로 질의하신 내용만으로는 구체적인 답변을 드리기 어렵습니다.
창의적 체험활동상황의 영역별 체험활동 특기사항은 학교교육계획에 따라 학교가 주최하고 주관한 국내 체험활동 등 기재 가능 조건을 충족하는 경우 입력할 수 있습니다.
귀하의 질의에 대한 답변은 위와 같습니다. 감사합니다.
[관련 근거 및 참고자료]
*2024 학교생활기록부 기재요령
(중 29쪽)
마. 학교생활기록부 영역별 내용은 해당 영역에만 입력한다.
※ 입력 글자 수 초과를 이유로 특정 영역의 내용을 타 영역에 입력하지 않음.
(중 96쪽)
➊ 창의적 체험활동상황
가. 창의적 체험활동상황의 영역별 활동 내용은 누가하여 기록한다.
나. 창의적 체험활동상황의 영역별 체험활동 특기사항은 활동 장소가 국내일 경우에 한하여 다음 하나에 해당하는 경우에 입력할 수 있다.
1) 학교교육계획에 따라 학교가 주최하고 주관한 체험활동
※ 필요 입력 조건(모두 충족해야 함): ① 학교교육계획 ② 학교에서 주최와 주관 ③ 국내활동
(중_124쪽)
➋ 세부능력 및 특기사항
가. ‘세부능력 및 특기사항’은 학생참여형 수업 및 수업과 연계된 수행평가 등에서 관찰한 내용을 입력한다.
gpt-4o:
- 질문요약: 자율활동 특기사항에 학교교육계획에 따른 체험활동 내용을 입력해도 되는지 여부
- 관련내용:
2024 기재요령에 따르면 자율활동의 특기사항은 학교교육계획에 따라 학교가 주최하고 주관한 체험활동을 포함하여 기록할 수 있다고 명시되어 있습니다.
자유학기제 기간 동안의 활동도 학교교육계획에 포함되어 있다면 해당 활동을 자율활동 특기사항에 기록할 수 있습니다.
자율활동 특기사항은 학생의 활동을 구체적이고 명료하게 기록해야 하며, 활동의 주요 내용을 중심으로 기술하는 것이 바람직합니다.- 답변: 자율활동 특기사항에는 학교교육계획에 따라 학교가 주최하고 주관한 체험활동을 기록할 수 있습니다. 따라서 자유학기제 기간 동안의 체험활동이 학교교육계획에 포함되어 있다면, 해당 내용을 자율활동 특기사항에 입력하는 것이 가능합니다. 다만, 기록 시에는 활동의 목적, 내용 및 학생의 참여 정도를 구체적으로 기술하는 것이 중요합니다.
파인튜닝 모델:
- 질문요약: 누가기록에 없는 내용을 입력 가능 여부
- 관련내용: 2024학교생활기록부 기재요령 98쪽, 100쪽, 101쪽
- 답변: 학년 초 학교교육계획에 따라 실시한 자율활동의 구체적인 활동 내용이 특기사항에 입력 가능합니다. 자유학기 활동의 경우 자유학기 활동상황에 입력하되 상급학교 전형자료로 활용되는 항목은 입력하지 않습니다.
