Knowledge Tracing(KT)은 교육 데이터 분석에서 중요한 개념입니다. 학습자의 풀이 이력을 바탕으로 학생이 특정 주제나 개념에 대한 지식을 얼마나 잘 이해하고 있는지 추적하고 예측하는 데 사용됩니다. 우리 주변에서는 주로 학습 관리 시스템(LMS)에서 쉽게 찾아볼 수 있고, 학생의 학습 진행 상황을 모니터링하여 맞춤형 학습 경로를 제공하는 데 활용됩니다. Fundamental models로는 Bayesian models, Logistic models, Deep learning models가 있습니다. 각 모델 별로 대표적인 방법론 한 가지씩을 소개합니다.
✅ BKT
가장 일반적으로 사용되는 기술 중 하나는 베이즈 네트워크를 사용하는 Bayesian models의 Bayesian Knowledge Tracing(BKT)입니다. BKT는 가장 전통적인 KT 모델 중 하나로, 학생의 지식 상태를 이진 변수(알고 있음/모르고 있음)로 모델링하여 학생이 문제를 맞히거나 틀렸을 때 그 학생이 해당 개념을 알고 있을 확률을 업데이트합니다.
BKT의 매개변수는 다음과 같습니다.
- 초기 확률 P(L0) : 사전에 학생이 해당 지식을 습득하고 있을 확률
- 전이 확률 P(T) : 학생이 학습 후 완전히 이해할 확률
- 추측 확률 P(S) : 학생이 해당 지식을 몰라도 찍어서 맞힐 확률
- 실수 확률 P(G) : 학생이 해당 지식을 알고 있는데도 실수할 확률
‘학습자는 한 번 배운 지식은 잊지 않는다.’는 가정을 바탕으로 문제를 맞혔을 때와 틀렸을 때 각각 다르게 계산하여 지식 상태를 업데이트하고 다음 문제를 맞힐 확률을 계산합니다. 하지만 BKT는 초기 요소들에 대한 값을 지정해 줄 때 어려움이 있고, 학생의 이해를 이진으로 표현하는 것이 비현실적이라는 비판을 받습니다. 또한, 복잡한 상호작용을 충분히 반영하기 어렵습니다.
✅ KTM
Logistic models에는 대표적으로 Knowledge Tracing Machines(KTM)가 있습니다. KTM은 Factorization Machines의 개념을 Knowledge Tracing에 적용하였습니다. 모든 문제가 그것을 풀 때 필요한 지식의 모음이 있다는 아이디어에서 출발하여, 다양한 데이터 피처를 포함할 수 있기 때문에 기존의 단순한 KT 모델보다 더 많은 정보를 활용할 수 있습니다. 이로 인해 복잡한 상호작용을 고려하여 정확도를 향상시킬 수 있고, 여러 교육 도메인에서 적용 가능하며, 맞춤형 교육 자료 추천 시스템 등에 활용될 수 있습니다.
✅ DKT
또한, 최근에는 딥러닝 기술을 적용한 Deep Learning Models의 Deep Knowledge Tracing(DKT)도 많이 연구되고 있습니다. DKT는 순환 신경망(RNN)을 사용하여 학습자의 문제 풀이 이력을 시퀀스 데이터로 처리하고, hidden state를 통해 학습자의 지식 상태를 지속적으로 업데이트합니다. DKT는 이론적으로 더 복잡한 학습 활동을 통해 지식 추적이 가능하다는 장점이 있습니다. 하지만 대량의 훈련 데이터가 필요하기 때문에 온라인 교육 환경에 적합하지만 소규모 강의실 환경에는 적용하기 어렵고, 많은 파라미터가 필요하다는 한계를 갖습니다.
✅ 계속 발전 중인 KT 기술
최근에는 그래프 구조를 활용하는 Graph-based Knowledge Tracing(GKT), Transformer의 self-attention 메커니즘을 KT에 적용한 Self-Attentive Knowledge Tracing(SAKT)과 같이 상황과 목적에 맞추어 정교한 예측을 목표로 하는 다양한 KT 모델들이 계속해서 나오고 있습니다.
참고 자료
Corbett, Albert T and John R Anderson (1994). “Knowledge tracing: Modeling the acquisition of procedural knowledge”. In: User modeling and user-adapted interaction 4.4, pp. 253–278.
Piech, Chris, Jonathan Bassen, Jonathan Huang, Surya Ganguli, Mehran Sahami, Leonidas J Guibas, and Jascha Sohl-Dickstein (2015). “Deep knowledge tracing”. In: Advances in Neural Information Processing Systems (NIPS), pp. 505–513.
Jill-Jenn Vie, Hisashi Kashima, Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing, 2018.
Upstage. (2021년 3월 10일). [Upstage Talks] Deep Knowledge Tracing(DKT). 유튜브. https://www.youtube.com/watch?v=Z2Vm62QXR_Y&t=2474s
라이브데이터. (2022년 2월 27일). [EdTech 입문] BKT란?_Bayesian Knowledge Tracing | 런핏. 유튜브. https://www.youtube.com/watch?v=ccUQzKP1Vgc
라이브데이터. (2022년 3월 8일). [EdTech 입문] DKT란?_Deep Knowledge Tracing | 런핏. 유튜브. https://www.youtube.com/watch?v=GArTg8bJtuo&t=21s
hcnoh. (2022년 6월 16일). knowledge-tracing-collection-pytorch. GitHub. https://github.com/hcnoh/knowledge-tracing-collection-pytorch
