[논문 리뷰] AutoFormer: Searching Transformers for Visual Recognition

김성윤(Jack)·2026년 7월 9일

NAS ViT

논문 리뷰

목록 보기

59/60

0. 3줄 요약

기본 정보: AutoFormer: Searching Transformers for Visual Recognition, Minghao Chen, Houwen Peng, Jianlong Fu, Haibin Ling 저, 2021년 발표 (Stony Brook University 및 Microsoft Research Asia).
핵심 목적 및 제안 방법: 수동적인 신경망 설계의 한계를 극복하기 위해 비전 트랜스포머(ViT)의 깊이, 임베딩 차원, 헤드 수, MLP 비율, Q-K-V 차원을 유연하게 자동 탐색하는 최초의 원샷(One-shot) NAS 프레임워크인 AutoFormer와 가중치 얽힘(Weight Entanglement) 훈련법을 제안함.
기술적 차별성 및 성과: 동일 레이어의 동종 후보 블록들이 가중치를 유기적으로 공유하도록 강제하여, 탐색된 서브넷들이 추가적인 미세조정이나 재학습 없이 가중치 상속만으로 처음부터 다시 학습한 수준의 최첨단(SOTA) 성능을 ImageNet에서 달성하게 만듦.

1. 배경 및 문제 정의

연구 등장 배경 및 비전 트랜스포머 설계의 난제

최근 컴퓨터 비전 분야에서는 비전 트랜스포머(Vision Transformer, ViT)와 DeiT 같은 순수 트랜스포머 기반 모델이 장거리 의존성 포착 및 강력한 표현 학습 능력을 증명하며 매우 활발하게 연구되고 있음. 그러나 비전 트랜스포머의 최적 아키텍처를 설계하는 것은 수많은 하이퍼파라미터가 맞물려 있어 지극히 까다로움. 네트워크의 깊이, 임베딩 차원, 주의집중 헤드의 수 등 다양한 설계 요인들이 모델 용량과 성능에 치명적인 영향을 미치기 때문임. 수동 설계 방식에서는 특정 깊이와 헤드 수를 초과하면 쉽게 과적합(overfitting)이 일어나며, 임베딩 차원을 과도하게 증가시켜도 성능 향상이 정체(plateau)되는 병목 현상이 관찰됨.

기존 방법론의 한계점

기존의 비전 트랜스포머 구조 설계는 대부분 인간 전문가의 경험적 탐색(manual crafting)에 의존하여 막대한 시행착오와 오버헤드를 유발함. 신경망 구조 자동 탐색(Neural Architecture Search, NAS)을 통해 이를 자동화하려는 기존 연구들은 기계 번역 등 자연어 처리(NLP) 도메인에 특화된 인코더-디코더 구조에 국한되어 있어 비전 인식 분야에 직접 대입하기 어려웠음.

더욱이, 연산 비용을 혁신적으로 아끼기 위해 널리 활용되는 원샷(One-shot) 가중치 공유(Weight Sharing) 기법을 트랜스포머에 단순 적용할 경우 다음과 같은 두 가지 핵심 문제가 발생함:
1. 느린 수렴 속도 (Slow Convergence): 전통적인 원샷 NAS는 레이어 내부의 개별 후보 연산자(블록)들의 가중치를 완전히 분리(independent)하여 학습함. 이 방식은 독립적인 파라미터들이 학습 에폭 중에 업데이트될 기회를 매우 적게 부여받아 슈퍼넷 전체의 수렴을 현저히 더디게 만듦.
2. 검증 평가 신뢰도 및 서브넷 성능 저하 (Low Performance): 분리된 가중치 학습의 영향으로, 완습된 슈퍼넷에서 가중치를 그대로 물려받은(inherited) 개별 하위 네트워크(Subnet)의 정확도가 처음부터 독자적으로 스크래치 학습(retrained from scratch)했을 때의 참된 성능보다 치명적으로 낮게 측정됨. 이로 인해 탐색 과정에서의 서브넷 성능 순위 신뢰도가 붕괴하며, 최종 최적 아키텍처를 찾은 후에도 막대한 비용을 들여 처음부터 끝까지 모델을 다시 전체 훈련시켜야 하는 불완전한 상태에 머물게 됨.

AutoFormer는 이러한 가중치 불충분 학습 문제를 원천적으로 개선하여, 단 한 번의 슈퍼넷 학습만으로 재학습이 필요 없는 고성능 서브넷을 즉시 추출할 수 있는 효율적인 탐색 엔진을 설계하고자 함.

2. 제안 방법 (Method)

핵심 직관: 가중치 얽힘 (Weight Entanglement)

AutoFormer의 주축을 이루는 개념은 가중치 얽힘(Weight Entanglement) 전략임. 이는 동일한 레이어 내부에서 구조가 서로 닮아 있는 동종(homogeneous) 후보 블록들이 공통적으로 포함하는 부분 공간의 가중치를 최대한 겹쳐서 공유하도록 제약하는 설계임. 이를 통해 특정 블록이 업데이트되면, 교집합 영역을 공유하는 다른 후보 블록들의 가중치 역시 결합하여 업데이트됨. 이는 독립된 경로로 가중치 블록을 격리시키는 기존 방식에 비해 가중치 학습 빈도를 기하급수적으로 늘려 수렴을 촉진함.

입력 데이터의 표현 및 정밀 변환 파이프라인

입력 이미지 데이터가 네트워크의 임베딩 시퀀스로 구체화되는 변환 파이프라인은 다음과 같음:
1. 패치 분할 (Patch Splitting): 2D 이미지 $I \in \mathbb{R}^{H \times W \times C}$ 를 겹치지 않는 크기 $P \times P$ (본 논문에서는 $16 \times 16$ )의 정방형 2D 패치들의 시퀀스로 일률 분할함. 이 패치들은 트랜스포머의 입력 토큰 역할을 전담함.
2. 평탄화 및 선형 사영 (Linear Projection): 각각의 2D 패치 데이터를 벡터로 펼쳐준(flatten) 뒤, 선형 사영 레이어를 거치거나 연속된 CNN 레이어를 관통시켜 최종 $D$ -차원의 벡터 공간으로 임베딩(patch embedding)을 가속 투사함.
3. 클래스 토큰 주입 및 위치 인코딩: 전체 이미지 표현력의 핵심이 되는 학습 가능한 특수 토큰인 [class] 임베딩을 구성된 패치 임베딩 시퀀스의 최전단 헤드에 정밀 결합함. 이후 데이터들의 고유한 평면 공간 정보를 반영하기 위해 위치 임베딩(position embedding)을 각 패치 벡터에 더해 최종 합성 입력인 $z \in \mathbb{R}^{N \times D}$ (단, $N$ 은 총 토큰 수, $D$ 는 가변 임베딩 차원)를 빌드하여 트랜스포머 인코더로 포워딩함.

모델 아키텍처 및 하이퍼파라미터 탐색 공간

AutoFormer 슈퍼넷은 전체 구조가 일체적이지 않고, 각 레이어 블록이 서로 다른 내부 구성을 가질 수 있도록 극도로 유연하게 설계됨. 탐색 공간이 다루는 5가지 조절 차원은 다음과 같음:

임베딩 차원 ( $e$ ): 이미지 토큰이 정사영되어 네트워크 내부를 통과하는 기준 채널 크기.
Q-K-V 차원 ( $d_h$ ): 자가 주의집중 연산 시 투영되는 내부 벡터 차원.
주의집중 헤드 수 ( $h$ ): 다중 주의집중 헤드 개수.
MLP 비율 ( $r$ ): MLP 블록 내부 은닉 차원의 확장 비율 ( $MLP\_dim = e \times r$ ).
네트워크 레이어 깊이 ( $d$ ): 총 배치되는 블록의 개수.

여기서 그래디언트의 안정적 거동을 위해 Q-K-V 차원과 헤드 수의 비율을 각 블록별로 고정시킴. 이는 헤드 개수가 가변적으로 바뀌는 탐색 중에도 주의집중의 중요 스케일링 인자인 $1/\sqrt{d_h}$ 를 상수로 동결시켜 수렴 안정성을 지탱하고, 각 헤드가 가지는 독립적 특징 표현 능력을 혼선 없이 깔끔하게 분리해 줌.

이 가중치 공유를 구현하기 위해 시스템은 물리적으로 레이어 내에서 최대 사양을 지닌 단 하나의 최대 크기 블록(largest block) 가중치만을 메모리에 탑재함. 그리고 탐색 과정에서 파생된 더 작은 하위 후보 블록들은 최대 블록 가중치에서 인덱싱 슬라이싱을 통해 파라미터를 동적으로 빌려와서 사용함.

핵심 수학적 수식 정의 및 해설

멀티헤드 자가 주의집중 (Multihead Self-Attention):
$Attention(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_h}}\right)V$
- $Q \in \mathbb{R}^{N \times d_h}$ , $K \in \mathbb{R}^{N \times d_h}$ , $V \in \mathbb{R}^{N \times d_h}$ 는 각 토큰 입력 시퀀스로부터 매핑된 쿼리, 키, 값 행렬을 뜻하며, $N$ 은 이미지 패치의 토큰 길이를 나타냄.
- $\frac{1}{\sqrt{d_h}}$ 는 두 행렬의 내적 연산 결과가 거대해짐에 따라 소프트맥스 함수 영역에서 활성 그래디언트가 소실(vanishing)되는 문제를 제어하는 스케일링 보정값임.
가중치 얽힘 정규화 규칙 (Weight Entanglement Constraint):
임의의 동일한 $i$ -번째 레이어 내부에서 선택 가능한 서로 다른 크기의 두 후보 블록 $b^{(i)}_j$ 와 $b^{(i)}_k$ , 그리고 이들의 파라미터 세트 $w^{(i)}_j$ 및 $w^{(i)}_k$ 사이에는 다음 포함 관계가 명시적으로 성립해야 함:
$w^{(i)}_j \subseteq w^{(i)}_k \quad \text{or} \quad w^{(i)}_k \subseteq w^{(i)}_j$
- 이는 두 임의의 블록 후보군이 서로에 대해 완전히 고립된 개별 공간으로 배정되던 클래식 가중치 분리(Classical Weight Sharing) 방식의 기본식 $w^{(i)}_j \cap w^{(i)}_k = \emptyset$ 을 완전히 뒤집어 상호 교집합을 극대화한 독창적인 형태임.

학습(Training) 및 추론(Inference) 단계의 실제 알고리즘 흐름

[학습 단계] 가중치 얽힘 원샷 슈퍼넷 트레이닝 (Supernet Training)

무작위 아키텍처 추출: 매 트레이닝 반복(iteration)마다 지정된 전체 탐색 공간 $\mathcal{A}$ 로부터 다차원 조합을 고려하여 임의의 서브넷 인스턴스 $\alpha = (\alpha^{(1)}, \dots, \alpha^{(l)})$ 를 균등 분포에 기반하여 확률론적으로 무작위 샘플링함.
차원 축소 가중치 슬라이싱: 해당 세대에서 선정된 서브넷 구조에 대응할 수 있도록 물리적으로 보관 중인 단일 최대 슈퍼넷 레이어 가중치 $W_{\mathcal{A}}$ 로부터 그에 매칭되는 부분 가중치 $w = (w^{(1)}, \dots, w^{(l)})$ 를 정확하게 잘라내 추출함.
포워드 연산: 슬라이싱된 가중치 파라미터 $w$ 와 선택 아키텍처 $\alpha$ 를 활용하여, 전처리 및 증강된 학습용 이미지 미니 배치 입력 데이터를 모델 내부 인코더로 순방향 추론시킴.
선택 가중치만 역전파 업데이트: 예측된 최종 손실값 $\mathcal{L}_{train}$ 을 계산한 직후 경사하강법을 개시하여, 이번 루프에서 실제로 선택되어 연산에 참여한 서브넷의 특정 파라미터 영역들만 수정 업데이트하고, 샘플링 경로 밖에 남은 가중치 요소들은 완전 동결(freeze) 처리함. 이 알고리즘을 총 500에폭의 긴 주기 동안 반복 적용함.

[추론 및 탐색 단계] 자원 제약 하 진화 탐색 및 제로-리트레이닝 배포 (Evolution Search & Direct Deployment)

진화 시드 풀 생성: 사용자가 타겟으로 설정한 하드웨어 환경의 자원 제약 조건(예: 타겟 매개변수 용량 범위)을 사전 한계선으로 정하고, 이 제약을 통과하는 임의의 아키텍처 $N$ 개를 선별하여 초기 부모 후보군을 마련함.
재학습이 배제된 즉각적 적합도 평가: 각 세대의 서브넷 후보 성능을 ImageNet 검증용 배치 위에서 측정할 때, 별도의 추가 에포크 훈련이나 튜닝 없이 이미 가중치 얽힘 학습이 완수된 슈퍼넷의 가중치 $W_{\mathcal{A}}$ 에서 그대로 슬라이싱 상속(inherit)하여 검증 Top-1 정확도를 초고속 연산함.
진화 연산: 가장 뛰어난 성능을 보인 상위 $k$ 개의 아키텍처 부모들을 기반으로 크로스오버와 자가 변이를 시도함.
- 교차(Crossover): 임의 선택된 두 서브넷 후보들의 내부 블록 구조 변수들을 교차해 섞음.
- 변이(Mutation): 깊이( $d$ ) 차원은 $P_d$ 의 낮은 독립 확률로 미세 튜닝하고, 블록별 파라미터는 $P_m$ 의 제어 확률로 독자 돌연변이시킴.
최종 모델 결정 및 추론 배포: 총 20세대의 탐색 세대 교체 루프를 끝낸 후 최상의 파레토 정확도를 낸 단일 최적 서브넷 $\alpha^*$ 를 모델로 선정함. 이 탐색 모델은 추가 미세조정이나 재훈련 단계가 1%도 필요 없으므로, 상속된 가중치를 달고 클라우드 및 에지 장치에서 추론에 즉시 투입 배포됨.

3. 실험 결과 (Experiments)

실험 세팅 및 데이터 환경

평가 환경: 핵심 성능 검증은 표준 벤치마크인 ImageNet-1k 이미지 분류 데이터셋에서 전개되었으며, 범용 성능 파악을 위해 5가지 다운스트림 전이 학습 데이터셋(CIFAR-10, CIFAR-100, Stanford Cars, Flowers, Oxford-III Pets)을 활용함.
실험 디테일: 모델의 안정적 최적화를 위해 AdamW 옵티마이저(학습률 1e-3, 코사인 가중치 감쇠 법칙 적용)를 쓰고 배치 크기를 1024로 맞추어 총 500에폭 동안 트레이닝을 주도함. RandAugment, Cutmix, Mixup 등의 전폭적인 고사양 데이터 기법을 탑재함. 진화 알고리즘에서는 부모 파퓰레이션 크기 50, 누적 변이 확률은 각각 $P_d=0.2, P_m=0.4$ 로 통제함.

주요 정량 평가 결과 및 해석

AutoFormer는 파라미터 제약 스케일에 맞춰 세 가지 주류 아키텍처군(Tiny, Small, Base)을 독립적으로 발굴해 냈으며, 모든 체급에서 수동으로 구축된 최고 사양의 비전 트랜스포머 경쟁작들을 단연 앞섬:

AutoFormer-tiny (5.7M parameters / 1.3G FLOPs): ImageNet Top-1 정확도 74.7%를 쟁취하여 동일 매개변수를 지닌 DeiT-tiny(72.2%)를 무려 +2.5%p 격차로 무력화함.
AutoFormer-small (22.9M parameters / 5.1G FLOPs): Top-1 정확도 81.7%에 도달하여 DeiT-S(79.9%) 대비 +1.8%p, ViT-S/16(78.8%) 대비 +2.9%p 우수한 고도 효율을 보임.
AutoFormer-base (53.7M parameters / 11G FLOPs): 정확도 82.4%를 달성하여 파라미터가 86M으로 훨씬 비대했던 DeiT-B(81.8%) 및 ViT-B/16(79.7%)을 가볍게 누르는 놀라운 성과를 구현함.

어블레이션 연구: 가중치 얽힘 도입에 따른 서브넷 정확도 유지력 검증

클래식 가중치 분리(SPOS 원샷 기법 등) 방식을 쓴 대조군 슈퍼넷은 추가 수렴 Epoch 연장이 불가능할 정도로 학습이 정체되며, 훈련 직후 서브넷이 파라미터를 곧장 인계받아 실행 시 Top-1 정확도가 71.5% 수준으로 고꾸라짐. 이들을 활용하기 위해선 무조건 300에폭가량 전면적 개별 스크래치 학습(Retrain)을 수반해야 모델이 80.4%로 생존함.

반면, 본 논문이 제안한 가중치 얽힘 기법으로 빚어낸 AutoFormer 서브넷은 가중치를 상속받은 즉시 81.7%의 최고 정점 정확도를 보여줌. 이는 재학습을 300에폭 돌린 완전 개별 학습군(81.7%) 혹은 40에폭 추가 튜닝군(81.8%)과의 성능 편차가 완벽히 무의미함을 증명하여, 가중치 얽힘이 수많은 서브넷 구조를 개별 전용 학습 수준으로 밀도 높게 단련시킬 수 있음을 입증한 놀라운 결과임.

4. 한계점 및 시사점

명확한 한계점

극도 제한 환경(에지 장치 등)에서의 효율성 열위: 비전 트랜스포머 계열 모델 전체가 안고 있는 본질적인 과제이기도 하지만, 모바일 환경 등에 완벽하게 밀착되어 메모리 및 자원 효율을 가속 극대화한 역잔차 블록(Inverted Residual Blocks) 기반 CNN 구조(MobileNetV3, EfficientNet 등)에 비하면 여전히 연산량 및 실질 구동 효율성이 열세에 놓여 있음.
트랜스포머 단일 빌딩 블록 설계 편향: 가중치 얽힘 메커니즘을 동일 레이어의 호환 가능한 MSA, MLP 차원에만 맞춰 설계하였기에, 보다 복잡한 CNN-Transformer 하이브리드 소자 간의 가중치 교집합을 전수 탐색하는 유연한 아키텍처 탐색 기법으로까지는 진보하지 못함.

학술적 의미 및 엔지니어링적 시사점

추가 학습 비용이 '0'인 최초의 비전 트랜스포머 NAS 프레임워크: 학습에 일주일 이상이 소요되는 거대 비전 트랜스포머 분야에서, 단 한 차례 슈퍼넷을 학습시키는 것만으로 자원 요구사항이 각기 다른 수백 개의 현장 맞춤형 서브넷들을 별도 학습 없이 공짜로 획득할 수 있게 만든 패러다임의 혁신을 이룩함.
일종의 강력한 정규화 메커니즘으로의 작동: 가중치 얽힘은 단순히 공유 아키텍처를 관리하는 데 그치지 않고, 다양한 크기의 서브넷이 가중치를 흔드는 과정에서 dropout이나 드롭커넥트(dropconnect)와 유사하게 개별 노드나 활성 유닛에의 편중 의존을 제거하는 강력한 정규화 거동을 보여줌.
딥-씬(Deep-thin) 트랜스포머 최적화 장벽 해소: 트랜스포머가 깊고 얇아질 때 흔히 생기던 역전파 그래디언트 소실 현상이, 가중치를 공용 점유하는 넓은 아키텍처(wide subnets)의 그래디언트 경로 덕택에 함께 안전하게 업데이트 수혜를 보아 최적화 능력이 상승하는 이론적 가치 또한 내포함.

김성윤(Jack)

AI 공부합니다

이전 포스트

[논문 리뷰] DASViT: Differentiable Architecture Search for Vision Transformer

다음 포스트