👩‍🎨 경량화

경량화

경량화.. 우리 팀 프로젝트 주제이다. 뭔가 어려워 보여서, 우리 팀은 경량화에 대한 논문을 읽어보기로 했다.
논문은 2개를 읽어보았다.
다음은 내가 선정한 경량화 논문 2개이다.

• SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size →https://arxiv.org/abs/1602.07360?utm_source
• Pruning and Quantization for Deep Neural Network Acceleration: A Survey →https://arxiv.org/pdf/2101.09671

경량화의 필요성

현재 여러 인공지능 신경망 모델은 성능 향상에 힘을 쓴다. 이에 따른 모델 파라미터 수 증가와 연산량 증가를 동반하며, 많은 문제를 발생시킨다.

• 모바일·임베디드·엣지 디바이스에서 실행하기 어려움....
• 메모리 사용량 및 전력 소비 증가
• 실시간 추론(latency) 요구를 만족하기 어려움...
  이러한 한계를 해결하기 위해 등장한 연구 방향이 바로 모델 경량화(Model Compression / Lightweight Model)이다.

경량화 연구는 크게 두 가지 방향으로 발전해 왔다.

• 모델 구조 자체를 가볍게 설계하는 방법
• 이미 학습된 모델을 압축·단순화하는 방법
  이 두 방향을 대표하는 논문이 각각
  -> SqueezeNet (2016)
  -> Pruning & Quantization Survey (2021)
  이다.

SqueezeNet

문제 인식

“정확도를 유지하면서, 모델 자체를 처음부터 훨씬 작게 설계할 수는 없을까?”
즉, 학습 이후의 압축이 아니라, 구조 설계 단계에서의 경량화를 하는 것이 Squeezenet의 목표이다.

SqueezeNet의 핵심 설계 전략

그렇다면 SqueezeNet은 어떻게 구조 설계 단계에서 경량화를 할까?
SqueezeNet은 파라미터 수를 줄이기 위해 3가지 방법을 사용한다고 한다.

1. 3×3 Convolution 최소화, 1×1 Convolution 적극 활용

CNN에서 파라미터 수는 커널 크기에 크게 의존한다.
3×3 Conv → 파라미터 많음
1×1 Conv → 파라미터 매우 적음
SqueezeNet은 1×1 Convolution을 최대한 활용하여 연산량과 파라미터 수를 줄인다.
파라미터가 적어지면 성능이 떨어지지 않을까? 라는 의문이 생길수도 있는데, 논문에서는 조건만 맞추면 정확도 유지 가능하다고 한다.

2. Fire Module 구조 도입

SqueezeNet의 핵심은 Fire Module이라는 새로운 블록이다.
Fire Module은 다음 두 단계로 구성된다.
1. Squeeze 단계
→ 1×1 Conv를 사용해 채널 수를 줄임
2. Expand 단계
→ 1×1 Conv + 3×3 Conv를 병렬로 사용해 특징을 확장
이 구조를 통해 3×3 Conv 사용을 최소화하면서 표현력은 유지할 수 있다.

글로만 보면 이해가 안 가서 인터넷에 정확한 개념을 찾아보았다.

위 그림은 1×1 Convolution을 이용해 입력 채널 수를 먼저 감소시한 후, 큰 커널(5×5)을 적용한 연산 과정을 나타낸 그림이다. 이 그림을 보게 되면, 동일한 출력 크기를 유지하면서도 연산량을 대폭 줄일 수 있음을 보여준다.

3. 다운샘플링을 네트워크 뒤쪽으로 지연

일반적인 CNN은 초반부터 pooling이나 stride를 사용해 feature map 크기를 줄인다.
SqueezeNet은 다운샘플링을 뒤로 미뤄 큰 feature map을 오래 유지함으로써 정확도 손실을 줄인다.

SqueezeNet의 의의

• AlexNet과 유사한 정확도 달성
• 파라미터 수 약 50배 감소
• 모델 크기 약 0.5MB 이하
  하지만 동시에 한계도 존재한다.

구조적 경량화의 한계

이미 학습된 대형 모델을 꼭 처음부터 다시 설계해야 하는가?가 의문이다.
이러한 문제의식에서 등장한 것이 모델 압축 기반 경량화 기법, 즉, Pruning과 Quantization이다.

기법적 경량화: Pruning & Quantization

Pruning: 불필요한 연결 제거

논문에서 강조하는 내용은 “모든 파라미터가 동일하게 중요한 것은 아니다.”이다.
즉, Pruning은 학습된 모델에서 중요도가 낮은 가중치, 채널, 필터를 제거하는 기법이다.
논문에서는 Pruning을 여러 기준으로 분류한다.

• 제거 수준별로
  - Weight-level (개별 가중치): 개별 가중치 단위로 제거하는 방식이다. 가중치의 절댓값이 작거나 중요도가 낮다고 판단되는 값들을 0으로 만든다.
  - Channel/Filter-level: CNN에서 하나의 채널 또는 필터 전체를 제거하는 방식이다.
  - Layer-level: 특정 레이어 전체를 제거하는 방식이다.

• 적용 시점 기준으로
  - Static Pruning (학습 후): 모델을 학습한 뒤 오프라인으로 중요없는 부분을 제거하는 방식
  - Dynamic Pruning (추론 중): 실행 시점에서 조건에 따라 가지치기를 수행하는 방식
  

Pruning의 장점은

• 연산량 감소
• 모델 희소성 증가
  이다. 하지만 과도한 pruning은 정확도 급감이라는 위험을 가진다.

Quantization: 수치 표현 정밀도 감소

Quantization은 모델의 가중치와 활성화 값을 32-bit floating point에서 8-bit 또는 그 이하 정수로 표현하는 기법이다.
논문에서 Quantization의 방식을 두가지 방식으로 나눈다.

• Post-Training Quantization (PTQ)
  → 학습 완료 후 양자화한다.
• Quantization-Aware Training (QAT)
  → 학습 과정에서 양자화 효과를 반영한다.
  

Quantization은

• 메모리 사용량 감소
• 연산 속도 향상
• 하드웨어 친화성 증가
  라는 장점이 있다. 하지만, 정밀도 감소로 인한 정확도 손실을 주의해야 한다.

Pruning과 Quantization의 관계

Pruning과 Quantization은 서로 경쟁하는 기법이 아니라 서로를 보완하는 관계라고 한다.
Pruning로 구조를 줄이고, Quantization로는 각 연산을 가볍게 만듦으로써 큰 경량화 효과를 얻을 수 있다고 한다.

실제 프로젝트 적용