이 논문은 영어를 외국어로 배우는(EFL) 쓰기 교육에서 교사 지원을 위한 LLM 기반 대시보드 개발에 중점을 둡니다.
핵심 기능
- 학생-ChatGPT 상호작용 요약
- 주간 채팅 빈도, 에세이 평가 결과를 데이터 시각화를 통해 제공
- 교사가 학생과 ChatGPT 상호작용 패턴을 한눈에 파악 가능
- AI 오용 감지
- 학생이 ChatGPT를 비교육적 목적(예: 번역, 학문 외 주제)에 사용하는 패턴 감지
- 12개의 주요 오용 패턴 감지 알고리즘을 개발
- 에세이와 로그 통합 분석
- ChatGPT 로그와 학생이 작성한 에세이 편집 기록을 연동
- 학습 목표별로 분석해 학생 행동 패턴과 성취 여부 평가
- 맞춤형 프롬프트 조정 기능
- 교사가 특정 교육 목표에 맞춰 ChatGPT 응답 방향을 사용자 정의 가능
- 이 기능을 통해 개별 학습 목표에 맞춘 맞춤형 피드백 제공
개발 접근법과 과정
- HCI 전문가와 영어 교육 전문가(TESOL)가 협력
- 교사 인터뷰 및 교육 데이터를 기반으로 요구 사항 수집
- NLP 분석을 통해 AI 패턴 분석 및 데이터 정리
데이터셋 및 모델
- 모델 사용: GPT-4로 에세이와 채팅 로그 분석 및 오용 패턴 감지
- 주요 오용 패턴: 의역 과다 사용, 비학업적 문의
- 데이터: 교사 채점 데이터와 분석 결과는 RECIPE4U 데이터에 결합
- 학습 목표 분류: GPT-4가 학생 프롬프트를 학습 목표로 자동 분류
프로토타입
주요 설계 목표 (DG):
- DG1. 학생-ChatGPT 상호작용 개요 제공
- 교사가 효율적으로 여러 학생 상호작용을 모니터링 가능하도록 요약 차트 제공
- 특징: 주간 채팅 빈도, 에세이 평가 및 오용 패턴 시각화
- DG2. ChatGPT 오용 패턴 감지
- 교육 목적 외 사용 방지
- 특징: 오용 프롬프트 강조 및 자동 감지
- DG3. 에세이 편집 및 채팅 로그 분석
- 교사가 학습 행동을 이해하고 전략을 맞춤화하도록 지원
- 특징: 채팅 로그와 에세이 기록 통합, 학습 목표 필터링
- DG4. 프롬프트 지침 사용자 정의
- 교사가 학습 목표에 맞춘 맞춤형 지침을 제공 가능
- 특징: 특정 교육 목표를 위한 지침 추가 기능
NLP 공부하는 사람