Foundation LLMs
1.SwiGLU 간단 정리
LLaMA의 activation function, SwiGLU 살펴보기
2024년 8월 29일
2.[RWKV] Reinventing RNNs for the Transformer Era: RWKV 리뷰
(다소 의역) 트랜스포머는 똑똑한 돼지일 뿐이다: RWKV 논문 리뷰
2024년 9월 6일
3.[Word2Vec] Efficient Estimation of Word Representation in Vector Space
현대 딥러닝 NLP 기술의 기초가 된 단어 임베딩의 시초, Word2Vec 논문 리뷰
2023년 8월 7일