Ustage Week8 - 모델 경량화

가벼운 모델이 필요한 이유와 대략적인 방법

우리가 상식적으로 받아들이는 문제들이 과연 옳은지 생각해볼 필요가 있다.

제약조건 하에 원하는 성능을 최대로 하면서 비용은 최소화하는 optimization 에 대해 배운다.

모델은 공간 안에서 시간을 소요하며 최적화된 결과를 찾는다.

어떤 자료를 압축된 자료로 만드는 과정을 압축이라고 한다.

원래 속도보다 더 빠르게 만들어주는 작업을 가속화라고 한다.

딥러닝 레이어에서 중요한 (레이어) 파라미터와 안 중요한 파라미터 중 안 중요한 파라미터를 지워 (가지치기) 가볍게 만들자.

계산과 메모리에서 코스트가 많이 소요되는 연속형 수 (소수) 를 이산형 수 (정수) 로 변환하여 모델을 가볍게 만들자.

곤충은 애벌레 -> 번데기 -> 나비 로 진화를 하는데 각 단계마다 필요로 하는 상태 (에너지의 양과 무게, 행동 양식) 가 다르듯 우리가 사용할 모델도 원하는 목적에 맞게 무게라거나 상태를 다르게 만들 필요가 있다.

Factorization 를 통해 어떤 효과를 얻을 수 있을까?

주제 : It's UP to You