공부정리

Transformer 아키텍처에 기반한 딥러닝 언어모델로 대규모 텍스트 corpus를 학습하여 자연어의 패턴이나 의미구조를 학습한다. Statistical Language ModelsNeural Language ModelsPre-trained Language Model

Categories of early transformer-based PLMs 1. Encoder-only PLMs Encoder는 input text를 문맥적 표현을 파악하고 이해하는데 사용된다. Encoder는 입력 텍스트에 대해 양방향이므로 문맥을 파악할 수 있고

Sparse Retrieval 기존의 전통적인 검색 방식으로 검색어에 있는 단어가 많이 나오는 문서를 사용자에게 검색 결과로 제공한다. query와 document를 sparse vector로 표현함으로 0으로 대부분 채워져서 희소하고 query와 document간 공

Model Compression (경량화) 모델압축 또는 모델 경량화 기술들은 모델의 크기를 줄이고, 처리 속도를 개선하며, 메모리 사용량을 감소시키기 위해 사용된다. 왜 경량화가 필요한가? 파라미터 수를 감소시킴으로써 저장공간을 절약할 수 있다. 연산량이 감소하여

1. Retrieval-Augmented Generation (RAG)란? LLM이 외부 정보를 참조해 답변을 더 정확하게 생성할 수 있도록 도와주는 기법이다. 좀 더 구체적으로 RAG는 retrieval과 generation을 결합한 방식으로 동작한다. RAG의 과

1. 프롬프트 엔지니어링 AI 모델로부터 원하는 결과물을 얻기 위해 입력하는 프롬프트를 최적화하는 기술 2. Generated Knowledge Prompting(GKP) LLM에게 문제를 바로 푸는 대신 먼저 관련된 중간 지식을 생성하게 한 후, 생성된 지식을 다시

Attention Is All You Need (Ashish Vaswani et al. 2017) 1. Background 기존의 시계열 데이터 처리 방법은 RNN, LSTM, GRU 방법을 사용했다. 하지만 이 방법들은 병렬 연산이 불가능 하였다. 그래서 이 논문에