
1. Introduction LLM & Continual Learning 인간은 새로운 정보를 받아들이고 기존 지식과 통합하며 이를 상황에 맞게 활용할 수 있는 능력을 지님. LLM이 인간 수준의 지능에 도달하기 위해서는 이러한 지속적인 학습(Continual Le
논문 출처: https://arxiv.org/pdf/1810.04805Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding."

OverView https://arxiv.org/abs/1706.03762 > - 기존의 RNN이나 CNN 구조 없이 오직 attention 매커니즘만으로 시퀀스 간의 의존성을 학습하는 transformer 모델을 제안한 논문 Self-Attention을 통해 문장 내