Positional Embedding은 현재 Transformer기반 모델들에서 token의 위치를 알려주는데 있어서 중요한 부분이 되었다고 생각합니다. 오늘은 김성현 마스터의 "LLM과 Position Encoding" 특강을 듣고 그 내용을 한 번 정리해보려고 합니다. 개인적으로 내용은 어려웠지만 꼭 벨로그에 정리해볼 필요가 있다는 생각이 든 좋은 특강이었습니다.
배우고 공부하고 기록하는 것을 멈추지 않는다.
Positional Embedding은 현재 Transformer기반 모델들에서 token의 위치를 알려주는데 있어서 중요한 부분이 되었다고 생각합니다. 오늘은 김성현 마스터의 "LLM과 Position Encoding" 특강을 듣고 그 내용을 한 번 정리해보려고 합니다. 개인적으로 내용은 어려웠지만 꼭 벨로그에 정리해볼 필요가 있다는 생각이 든 좋은 특강이었습니다.