# Knowledge distillation

9개의 포스트
post-thumbnail

Boosting Contrastive Learning with Relation Knowledge Distillation (AAAI/ 2022)

cluster-based와 contrast-based를 link하는 relation knowledge-distillation 기법 제안

4일 전
·
0개의 댓글
post-thumbnail

Paper Review : Intra-class Feature Variation Distillation for Semantic Segmentation

이 논문은 이전의 pairwise relation에서 knowledge distillation을 하던 것들과 달리 새로운 방법론을 제시한다. intra-class feature variation distillation (IFVD)인데 intra-class feature

2022년 6월 2일
·
0개의 댓글

Knowledge Distillation

모델이 발전할수록 모델이 요구하는 메모리와 용량이 커진다. 실시간으로 응답해야 하거나 개인정보처럼 민감한 정보를 처리하는 경우라면 반드시 온디바이스에서 처리해야 한다. 문제는 온디바이스의 메모리와 용량은 서버만큼 넉넉하지 않다.

2022년 4월 18일
·
0개의 댓글
post-thumbnail

Paper Review : Structured Knowledge Distillation for Semantic Segmentation

이 논문은 semantic segmentation 분야에 있어서 지식증류 기법(Knowledge Distillation)을 이용하였다.Knowledge Distillation을 Semantic Segmentation 분야에 이용하였다.GAN 구조를 이용하였다.이 논문에

2022년 3월 25일
·
0개의 댓글
post-thumbnail

Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation[., 2020]

오늘 소개드릴 논문은 다음과 같습니다. Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation https://arxiv.org/abs/2002.10345기존 연구에 따르면 BERT계열의 pre-t

2022년 3월 12일
·
0개의 댓글
post-thumbnail

Dataset Distillation 번역

Dataset Distillation 논문 번역입니다.

2022년 2월 17일
·
0개의 댓글
post-thumbnail

Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results[.,2017]

본 연구에서는 기존에 알려져 있는 Temporal ensembling 방법에서 한 단계 나아가 Mean teacher방법을 제안합니다. Mean teacher는 model의 weight를 평균 내는 방법인데, 적은 수의 label만 가지고 이전 방법에 비해 좋은 성능을

2021년 12월 29일
·
0개의 댓글
post-thumbnail

Distilling the Knowledge in a Neural Network[.,2015]

Model compression방법으로 knowledge distillation를 설명하도록 하겠습니다. Knowledge distillation은 teacher network와 student network의 ensemble을 기반으로 한 방법이라 설명할 수 있습니다

2021년 12월 29일
·
0개의 댓글