- ✨Align Your Steps: Optimizing Sampling Schedules in Diffusion Models
diffusion model에서 sampling은 중요하다. 어떤 scheduler로 sampling하냐에 따라 결과 이미지에 차이가 있기 때문이다. 이 paper는 NVIDIA에서 제시한 새로운 샘플러에 대한 내용을 담고 있다. quick guide를 보니 diffuser로 바로 접근할 수 있어서 활용도가 좋은 듯하다. - ✔ Multi-Head Mixture-of-Experts (MH-MoE)
MoE가 요새 정말 많이 쓰이는 것 같다. LLM에서 기존expert의 knowledge를 활용해서 새로운 모델을 활용하는 방식이 인기여서 그런 것 같다. 해당 논문은 MoE를 multi-head로 사용하는 방법을 제시한다. - OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework
Apple도 간간히 계속 paper를 내는 게 보인다. OpenELM이라는 자체 LLM을 만들었다고 한다. 그 폐쇄적인 회사가 무려 github에 hugging face까지 공개하다니, 후발주자로 LLM 시장에 뛰어들기까지 무슨 심경의 변화였을까?
공부