[ML] BERT-of-Theseus

Paper

BERT-of-Theseus

요약

• Model-agnostic한 새로운 compression method, Theseus Compression입니다.

(Transformer-specific feature를 사용하지 않아 넓은 스펙트럼의 Model을 Compress 할 수 있습니다.)

• Compression 과정에서 task-specific loss function 하나만을 사용합니다.
• Original Model(predecessor model)이 successor model과 gradient-level에서 deeper interaction이 가능합니다.

발표 자료

[추후 업로드]

소스 코드

1. official

   GitHub - JetRunner/BERT-of-Theseus: ⛵️The official PyTorch implementation for "BERT-of-Theseus: Compressing BERT by Progressive Module Replacing" (EMNLP 2020).

2. keras

   bert-of-theseus/bert_of_theseus.py at master · bojone/bert-of-theseus

3. tensorflow

   GitHub - qiufengyuyi/bert-of-theseus-tf: tensorflow version of bert-of-theseus