LLM
1.MoE (Mixture of Experts) 간단 개념
해당 글은 아래 글을 정리한 내용입니다. 목차는 아래 글과 동일하게 구성했으며 중간중간 이해에 필요한 추가 자료를 넣었습니다.https://huggingface.co/blog/moecomputing 자원이 고정된 상황이라면 큰 모델을 적게 훈련 시키는 것이,
2025년 2월 5일
해당 글은 아래 글을 정리한 내용입니다. 목차는 아래 글과 동일하게 구성했으며 중간중간 이해에 필요한 추가 자료를 넣었습니다.https://huggingface.co/blog/moecomputing 자원이 고정된 상황이라면 큰 모델을 적게 훈련 시키는 것이,