# Distillation

kameleon43

Methods 모델 압축을 위한 기본적인 접근 방법 가지치기(Pruning) 1) 학습 후 불필요한 부분 제거하는 방식 가중치의 크기에 기반한 제거, attention head 제거, layer 제거 2) 학습 중 prunability를 제거하기 위

cateto

출처(https://elapser.github.io/machine-learning/2019/03/08/Model-Agnostic-Interpretation.html한국어 자료가 있음에 지식 공유자님께 감사합니다. (\_ \_ )모델 경량화 논문에는 model

suubkiim

TinyBERT : Distilling BERT for Natural Language Understanding [TinyBERT Paper] TinyBERT: Distilling BERT for Natural Language Understanding 참고한 논문

tobigs-text1415

작성자 : 서울시립대학교 경제학부 박준영