0. 3줄 요약

• 기본 정보 및 핵심 목적: 영국 Surrey 대학교의 Pengjin Wu, Ferrante Neri 및 중국 강남 대학교의 Zhenhua Feng 연구진이 arXiv를 통해 발표한 본 연구는, 최초로 경사하강법 기반의 미분 가능한 아키텍처 탐색(DARTS) 기법을 Vision Transformer(ViT) 인코더 설계에 이식하여 최적의 내부 토폴로지를 자동으로 모델링하는 DASViT를 제안한다.
• 기술적 차별성 및 메커니즘: ViT 구조 탐색 시 발생하는 폭발적인 GPU 메모리 소모와 단순 skip-connect 연산으로의 수렴 붕괴 문제를 해결하기 위해, 중요도가 높은 토큰 정보만 선별적으로 추출하는 어텐션 기반 부분 토큰 선택(Attention-based Partial Token Selection) 기법과 연산들의 불균형을 동적으로 억제하는 연산 공정성 정규화(Operation Fairness Regularization) 메커니즘을 결합하였다.
• 주요 성과 및 학술적 의의: 실험 결과 사전 학습이 없는 조건에서도 대조군인 ViT-B/16 대비 파라미터 수 41%(50.4M로 감축) 및 FLOPs 17.5%(9.9G로 감축)를 달성함과 동시에 분류 성능은 대폭 개선하여, 인간의 직관을 뛰어넘는 고효율의 비정형 자가주의 지향 인코더 구조를 도출해 냈다.

---

1. 배경 및 문제 정의

연구 등장 배경 및 해당 분야의 흐름

최근 수년간 다양한 딥러닝 작업에서 신경망 설계를 자동화하는 신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 기존 인간 전문가의 직관과 시행착오식 접근법을 극복하기 위한 혁신적인 도구로 평가받아 왔다. 초기 NAS 기법들은 강화학습이나 진화 알고리즘 기반으로 연산 효율성이 극도로 낮아 막대한 컴퓨팅 자원을 요구하는 결정적인 결함을 지녔었다.
이러한 연산 비용 장벽을 완화한 혁신이 바로 미분 가능한 아키텍처 탐색(Differentiable Architecture Search, DARTS)이다. DARTS는 이산적인 아키텍처 설계 공간을 연속적인 공간으로 완화하여 후보 연산들을 가중치가 부여된 연속적 조합 형태로 공식화하였다. 이로 인해 아키텍처 가중치 파라미터($\alpha$)를 모델의 네트워크 가중치와 동시에 경사하강법으로 직접 최적화할 수 있게 되면서, 탐색 비용을 수십~수백 분의 일로 절감하며 NAS 분야의 중요한 벤치마크로 자리 잡았다.

기존 방법들의 한계점

최근 컴퓨터 비전 분야는 Vision Transformer(ViT)가 기존 CNN의 로컬 특성 추출 패러다임을 글로벌 종속성 모델링으로 완전히 대체하며 주류로 자리 잡았다. 그러나 ViT를 대상으로 수립된 기존 NAS 방법론들은 다음과 같은 세 가지 심각한 한계에 봉착해 있었다:
1. 매크로 하이퍼파라미터 서치에 제한: 대부분의 ViT NAS 연구는 거대한 슈퍼넷(supernet)을 일차 학습시킨 후 이산적인 진화 알고리즘을 결합하는 방식에 머물렀다. 이는 단지 어텐션 헤드의 개수, 임베딩 차원 수, MLP 팽창 비율, 단순 레이어의 깊이와 같은 정형적인 하이퍼파라미터 조정에 치중할 뿐, 트랜스포머 인코더 내부의 미시적인 토폴로지(연결 구조) 자체를 새롭게 고안해 내지 못했다.
2. GPU 메모리 점유율의 폭발: DARTS의 연속적 완화 기법을 복잡도가 매우 높은 트랜스포머 레이어에 직접 적용하려고 할 경우, 각 노드를 연결하는 모든 혼합 엣지(edge)에서 다수의 후보 연산 텐서를 동시에 활성화하고 역전파용 경사도를 계산해야 한다. 이는 고정된 임베딩 차원과 패치 크기를 갖는 기본 환경에서도 배치가 아주 조금만 커지면 메모리가 즉시 고갈(Out-of-Memory, OOM)되는 연산 병목을 유발한다.
3. 스킵 커넥션 편향으로 인한 성능 붕괴: DARTS 알고리즘의 고유 성질상 파라미터가 없고 신호 전달 임피던스가 낮아 경사 흐름이 우수한 스킵 커넥션(skip-connect) 연산이 학습 초기에 비정상적으로 높은 가중치를 얻게 된다. 소프트맥스(softmax) 정규화 기법의 특성으로 인해 초기에 편향된 가중치는 경쟁 연산들의 탐색 기회를 완전히 차단하며, 결국 최종 결과물이 스킵 커넥션만으로 도배되는 독점 수렴(degeneration) 현상을 낳는다. 실제로 단순 데이터셋에서는 멀티헤드 셀프 어텐션(MSA) 구조가 단 하나도 남지 않는 구조적 붕괴가 발생하였다.

해결하려는 핵심 문제 정의

본 연구는 DARTS 계열의 수학적이고 고효율인 미분 가능 탐색 방법론을 Vision Transformer 분야에 접목하기 위해, 기존의 모든 한계를 근본적으로 타파하고자 한다. 이를 위해 다음 두 가지 핵심 문제를 명확히 정의하고 집중적으로 해결한다:

• 첫째, 탐색 시 트랜스포머의 계산 부하 및 활성화 메모리 사용량을 원천적으로 감소시킬 수 있는가?
• 둘째, 스킵 커넥션의 초기 편향성을 억제하고 다양한 연산 후보군(MSA, MLP) 간의 공정성을 확보하여 붕괴되지 않는 안정적인 미분 가능 탐색을 수행할 수 있는가?

---

2. 제안 방법 (Method)

전체 방법의 핵심 아이디어

DASViT의 최상위 직관은 트랜스포머 인코더 단위를 여러 개의 연산 노드와 이들을 연결하는 유연한 엣지로 이루어진 방향성 비순환 그래프(DAG)로 모델링하는 것이다. 이를 미분 가능한 아키텍처 탐색 기법으로 모델 가중치와 동시에 연속 최적화하여 기존 규칙성에 갇히지 않은 자유로운 비정형 연결 구조를 획득한다. 여기에 물리적으로 토큰 수를 축소하여 메모리를 절감하는 부분 토큰 선택 알고리즘과 연산의 편향성을 강력하게 규제하는 공정성 수학적 가중치 손실(Loss)을 부가하여 미분 가능 ViT 아키텍처 탐색의 안정성을 세계 최초로 성공시켰다.

입력 데이터의 표현 및 전처리 방식 (Data Ingestion & Transformation)

입력 이미지가 모델에 인입되어 연속적으로 데이터가 결합하고 흐르는 구체적인 수식적 변환 과정은 다음과 같다:
1. 패치 임베딩 단계:
입력 공간상의 이미지 $I \in \mathbb{R}^{H \times W \times C}$ ($H$: 높이, $W$: 너비, $C$: 채널 수)를 크기가 $P \times P$인 $N$개의 겹치지 않는 로컬 패치로 절단한다. $N = \frac{H \times W}{P^2}$는 추출된 총 패치의 수이다.
각 패치 $I_i \in \mathbb{R}^{P \times P \times C}$는 단일 1차원 벡터로 평탄화된 뒤, 가중치 학습 레이어를 통해 $D$차원의 패치 임베딩 공간으로 투영된다:
$E_i = \text{Linear}(\text{Flatten}(I_i)), \quad \forall i \in \{1, 2, \dots, N\}$
2. 위치 임베딩 합산 단계:
트랜스포머 구조 특유의 순서 보존을 위해 학습 가능한 위치 정보 파라미터 $P \in \mathbb{R}^{N \times D}$를 상기 벡터에 그대로 합산하여 초기 시퀀스 텐서 $Z_0$를 생성한다:
$Z_0 = E_i + P_i$
이 토큰 피처 행렬 $Z_0$가 다중 인코더의 기초 입력 벡터 역할을 수행한다.

모델 또는 알고리즘의 세부 구조와 수식 정의

DASViT 인코더는 $N$개의 정보 노드를 가진 DAG로 취급된다. 각 노드 $j$는 토큰의 특징 표현을 지칭하며, 엣지 $(i, j)$ (단, $i < j$)는 노드 $i$에서 노드 $j$로 흐를 때 가해지는 연속 혼합 연산을 가리킨다.

1. 연속 완화와 혼합 엣지 연산 공식:
   각 엣지 $(i, j)$에서의 혼합 출력 $\bar{o}_{i,j}(x_i)$는 가용 후보 연산 집합 $O = \{O_k\}_{k=1}^K$ 내 모든 원소들의 출력을 아키텍처 파라미터 가중치 $\alpha^k_{i,j}$ 하에 소프트맥스로 결합한 결과물이다:
   $\bar{o}_{i,j}(x_i) = \sum_{O_k \in O} \frac{\exp(\alpha^k_{i,j})}{\sum_{O_{k'} \in O} \exp(\alpha^{k'}_{i,j})} \cdot O_k(x_i)$
   각 노드 $j$는 이전 단계의 모든 하위 노드 결과들의 수학적 총합을 전달받는다:
   $x_j = \sum_{i<j} \bar{o}_{i,j}(x_i)$
   구체적인 내부 데이터 전파 식은 아래 시퀀스를 엄격히 준수한다:
   $x_1 = \bar{o}_{0,1}(x_0)$
   $x_2 = \bar{o}_{0,2}(x_0) + \bar{o}_{1,2}(x_1)$
   $x_3 = \bar{o}_{0,3}(x_0) + \bar{o}_{1,3}(x_1) + \bar{o}_{2,3}(x_2)$

2. 어텐션 기반 부분 토큰 선택 (Attention-based Partial Token Selection):
   탐색 도중 모든 후보군 연산에 소모되는 GPU 메모리를 한계치까지 낮추기 위해, 학습 중에 최적의 유익 정보를 지닌 일부 핵심 토큰만 압축 선택하는 구조를 구축하였다.

   • 입력 토큰 시퀀스 $X \in \mathbb{R}^{B \times N \times C}$ ($B$: 배치 사이즈, $N$: 총 토큰 개수, $C$: 임베딩 벡터 차원)에 대해, 학습용 가중치 파라미터 $W^Q, W^K \in \mathbb{R}^{C \times C}$로 쿼리 및 키 행렬을 동적 생성한다:
     $Q = XW^Q, \quad K = XW^K$
   • 모든 토큰 페어 간의 거동 연관 점수를 다음과 같이 스케일링 연산하여 산출한다:
     $\text{score}_{i,j} = \frac{Q_i K_j^\top}{\sqrt{C}}, \quad \forall i, j \in \{1, \dots, N\}$
   • 각 개별 토큰 $i$가 지니는 중요도의 평균 기여량 $s_i$는 해당 점수를 행방향으로 가중합하여 얻는다:
     $s_i = \frac{1}{N} \sum_{j=1}^N \text{score}_{i,j}$
   • 상기 기여량 점수 $s_i$를 내림차순 정렬하여 상위 $k = \lfloor \lambda N \rfloor$ ($\lambda \in (0, 1]$는 선별 임계 비중 매개변수)개의 토큰 인덱스 군 $I = \text{TopK}(s, k)$를 추출한 후, 이에 매핑되는 데이터 서브셋 $X_s = X[I]$만을 추려 탐색 전방 연산에 할당한다. 학습 초기 임의 초기화되었던 $W^Q, W^K$는 역전파 최적화에 맞물려 결과적으로 분류 작업에 가장 직결되는 정교한 토큰들을 식별할 수 있도록 점진적으로 최적 수렴한다.

3. 연산 공정성 정규화 (Operation Fairness Regularization):
   특정 경로의 편향 독점과 자가주의 본연의 표현력 손실을 해결하기 위해 손실 함수 영역에 공정성 제어 매개변수를 직접 가산한다:

   • 스킵 커넥션 규제 ($L_1$): 스킵 커넥션 후보 집합 $O_{\text{skip}} \subseteq O$에 대해 연산 가중치들의 평균값을 통제하여 과독점을 방지한다:
     $L_1 = \frac{1}{|O_{\text{skip}}|} \sum_{o \in O_{\text{skip}}} \alpha_o$
   • 연산 타입별 규제 ($L_2$): 연산 집합 $O$를 특정 연산 특성에 맞춰 개별 군 $T = \{T_1, \dots, T_K\}$ (예: MLP 및 MSA 연산 그룹)으로 파티셔닝한다. 각 그룹 가중치 총합인 $\alpha_{T_k} = \sum_{o \in O_{T_k}} \alpha_o$가 사전 임계 상한 $\gamma_{\text{max}}$를 초과하거나 하한 $\gamma_{\text{min}}$ 이하로 추락하면 페널티 혹은 리워드를 가하는 형태의 규제를 작용한다:
     $L_2 = \sum_{k=1}^K \left[ \zeta_1 \cdot \max(0, \alpha_{T_k} - \gamma_{\text{max}}) + \zeta_2 \cdot \max(0, \gamma_{\text{min}} - \alpha_{T_k}) \right]$
     (단, $\zeta_1, \zeta_2$는 패널티 및 리워드 스케일 계수이다.)
   • 종합 공정성 정규화 손실 ($L_{\text{fair}}$):
     $L_{\text{fair}} = a \cdot L_1 + b \cdot L_2$
     ($a, b$는 가중 규제 매개변수).

학습(Training) 및 추론(Inference) 단계의 파이프라인

학습(Training) 단계

• 다단계 점진적 탐색 (Progressive Search):
  탐색 단계와 최종 도출되는 평가/추론 단계의 깊이 불일치 현상을 최소화하기 위하여 총 $N$개의 Stage(실험에서는 $N=3$ 단계 설정)로 레이어 깊이를 늘려가며 비진화적으로 탐색을 제어한다.
  • Stage 1 (1~30 Epochs): 깊이 $L_n = 2$ 레이어 단계를 설계하고, 8개의 모든 후보 연산을 활성화하여 부분 토큰 가압 상태 하에 이중 최적화(Bi-level Optimization) 학습을 교대로 진행한다. Stage 종료 후 연산 가중치 점수 $\alpha$에 따라 하위 순위 연산들을 프루닝(Pruning)하여 상위 5개 연산만을 다음 단계로 보존한다.
  • Stage 2 (31~60 Epochs): 이전의 가중치 변수를 온전히 상속(Inherit)받은 뒤, 깊이를 $L_n = 4$ 레이어로 증가시키고 앞서 도출된 5개 연산으로 혼합 엣지를 정의하여 탐색을 이어간다. 단계 종료 후 다시 가중치 하위 연산을 전단하고 정예 상위 3개 연산만 승계한다.
  • Stage 3 (61~90 Epochs): 깊이를 $L_n = 6$ 레이어로 심화 확장하여 최종 3개 연산 중 최고의 수치를 선별하는 파이널 라운드를 수행한다.
• 이산 위상 도출 및 재학습 (Retraining from Scratch):
  최종 단계에서 수렴된 가중치 파라미터 $\alpha$가 가장 극대화된 연산을 엣지별로 단 하나씩 완전 선택하여 최종 이산 구조 $\alpha^*$를 고정시킨다. 이렇게 고안된 비정형 아키텍처를 원본 깊이 규격(예: 12개 스택 레이어)에 맞게 완전 적층 조립한 뒤, 임의 가중치 초기화 상태에서 토큰 스파스 필터링 없이 전체 토큰 시퀀스를 입력하여 타깃 이미지 데이터셋을 바탕으로 완전히 처음부터 500에폭 동안 수렴 학습시킨다.

추론(Inference) 단계

• 추론 구간에서는 이미지 데이터의 누락을 지양하고 분류 정확도를 완전하게 수립하기 위해, 학습용 '부분 토큰 필터링(Token Selection)' 모듈을 배제하고 원본 상태의 온전한 패치 토큰 세트를 네트워크에 전방향 주입한다.
• 탐색 완결된 정량 위상구조 $\alpha^*$에 의거해 MLP 및 MSA 분기가 계층 간 비정형적으로 직접 스킵 잔차 결합을 맺으며 입력 토큰 정보를 계층적으로 변환하고, 마지막 최상층 특이 토큰인 [CLS]의 최종 투영 출력을 사용하여 추론 레이블 값을 연산해 낸다.

기존 방법론과의 기술적/구조적 차별성

종래의 ViT 타깃 NAS 기법들은 기존의 정형화된 트랜스포머 시퀀셜 스택(스킵 커넥션을 가진 MSA $\rightarrow$ 스킵 커넥션을 가진 MLP)의 구조적 뼈대를 그대로 추종한 채 단지 어텐션의 차원, 은닉 차원의 깊이 등만을 기어 맞추는 수준의 튜닝을 보였다. 그러나 본 연구의 DASViT는 기존의 인식을 완벽히 허물고 트랜스포머 유닛 내부 구조의 데이터 분기 자체를 연속형으로 바꾸어 학습을 통해 연결 통로를 제정의함으로써, 기존 인간 연구자가 수학적으로 고안해 낼 수 없었던 고효율 고출력 전이 위상을 자유로이 도출할 수 있는 설계 독립성을 성취했다.

---

3. 실험 결과 (Experiments)

평가 데이터셋 및 연구 환경

제안된 기법은 아래의 대중적인 3대 멀티 클래스 비전 이미지 분류 벤치마크 데이터셋에서 면밀하게 평가되었다:

• CIFAR-10: 10개 객체 레이블, 총 60,000장 이미지(학습 50,000장, 검증 10,000장).
• CIFAR-100: 100개 상세 도메인 레이블, 총 60,000장 이미지(학습 50,000장, 검증 10,000장).
• ImageNet-100: 대규모 이미지 챌린지 ImageNet의 서브셋으로, 총 100개 클래스로 구분된 105,771장의 학습 세트 및 5,000장의 고유 평가 셋 구성.
• 인프라 및 정합성 수립: 가상 연산 가중치를 초기 배제한 상태에서, 단일 NVIDIA GeForce RTX 3090 GPU를 사용하여 사전 미세조정(Fine-Tuning) 가중치를 완전히 미적용한 순수 스크래치 상태(Train from Scratch)에서 학습 파라미터 규격을 오리지널 레퍼런스와 100% 공정하게 통일하여 평가를 이행하였다.

비교 대상 (Baselines) 및 실험 세팅의 주요 디테일

수동 설계된 최적의 CNN 기반 벤치마크인 VGG-16, ResNet-50, ResNet-152 및 자동 탐색된 고성능 CNN 모델인 EfficientNet-B7, RegNetY 계열 등과 정확도 및 연산 파라미터 효율성을 맞비교하였다. 이에 더해 표준 트랜스포머 아키텍처인 ViT-B/16, 구조적 개선 버전인 TNT-B 및 CaiT-S36, 그리고 ViT 대상 대표적 NAS 경쟁자인 AutoFormer-B를 직접적인 메인 비교 베이스라인으로 대조 배치하였다.

핵심 성능 결과 (정량 평가)

사전 학습(Pre-training)의 지원이 전무함에도, DASViT는 성능 개선 및 연산 가용량 대폭 감축의 다중 성과를 성공적으로 이끌어 내었다.

• CIFAR-10 챌린지 성과:
  • ViT-B/16: Top-1 정확도 78.8% / Top-5 정확도 97.9%
  • AutoFormer-B: Top-1 정확도 79.2% / Top-5 정확도 97.8%
  • DASViT (제안 모델): Top-1 정확도 80.1% / Top-5 정확도 98.4%
• CIFAR-100 챌린지 성과:
  • ViT-B/16: Top-1 정확도 45.7% / Top-5 정확도 72.0%
  • AutoFormer-B: Top-1 정확도 47.1% / Top-5 정확도 73.4%
  • DASViT (제안 모델): Top-1 정확도 54.4% / Top-5 정확도 78.5%
• ImageNet-100 챌린지 성과:
  • ViT-B/16: Top-1 정확도 39.7% / Top-5 정확도 66.1%
  • AutoFormer-B: Top-1 정확도 41.2% / Top-5 정확도 66.9%
  • DASViT (제안 모델): Top-1 정확도 46.8% / Top-5 정확도 72.3%
• 컴퓨팅 소모 가치 분석 (파라미터 및 FLOPs):
  • 대조군 ViT-B/16은 85.8M 파라미터와 12.0G FLOPs에 달하는 심각한 점유를 보인 것에 반해, DASViT는 자동 도출된 인코더 위상 덕분에 단 50.4M 파라미터(약 41% 감소) 및 9.9G FLOPs(17.5% 감소) 수준으로 경량화되었다. 이는 동일 영역 NAS 탐색 경쟁자인 AutoFormer-B(52.5M 파라미터, 11.6G FLOPs)의 연산 점유율과 대비해서도 한 차원 가볍고 유의미하게 뛰어난 효율이다.

성능 향상 메커니즘 해석 (어블레이션 및 위상 분석)

실제 DASViT가 CIFAR-10과 ImageNet-100 데이터셋 하에서 자율 탐색한 최종 인코더의 수학적 연결 위상은 기존의 수동 직렬 구조를 혁명적으로 깬 토폴로지를 드러낸다:

1. 이전 깊이 레이어들의 특징값인 $e_{k-2}$와 $e_{k-1}$를 병렬로 동시 수신해, 계산 손실이 매우 미미하고 차원 압축성이 가미된 은닉 비율 0.5인 MLP 모듈들로 각각 1차 가공한 뒤 병렬 합산하여 중간 노드 $o_0$를 산출한다:
   $o_0 = \text{MLP}_{r=0.5}(e_{k-2}) + \text{MLP}_{r=0.5}(e_{k-1})$
2. 가공된 신호 $o_0$를 핵심 MSA 블록(각 데이터셋 특성에 대응해 CIFAR-10은 8헤드, ImageNet-100은 12헤드 MSA 연결 자동 선별)에 흘려보냄과 동시에, 이전 데이터원 $e_{k-2}$를 독립적 구조의 MLP 모듈에 다시 직접 통과시킨 출력값과 더하여 노드 $o_1$을 계산한다:
   $o_1 = \text{MSA}(o_0) + \text{MLP}(e_{k-2})$
3. 최종 아웃풋 $e_k$는 별도의 직렬 처리 없이 중간 결과 노드 $o_0$와 $o_1$을 최종 바이패스 가산함으로써 획득된다:
   $e_k = o_0 + o_1$
   

이러한 비정형 위상은 인코더 내 다중 레이어 피처 소스 정보를 수평적으로 폭넓게 재활용하며, 계산 비용을 극대화하여 유발하는 높은 비율의 MLP 연산을 효율적인 저비용 MLP(비율 0.5)로 분산 배치하여 극도의 파라미터 효율성을 확보한 결과이다.

더불어 사전 전이 학습이 미제공된 가혹한 조건에서도, DASViT는 강력한 귀납적 제약 기반의 고성능 CNN(ResNet-152 등)들과 근접 수준의 성능을 발휘하여 구조 최적화가 모델의 대리 표상 능력을 획기적으로 향상시킬 수 있음을 입증하였다. 반면 ImageNet-100의 경우 비전 특유의 지역적 바이어스가 고유 구축된 CNN 백본 대비 다소 밀리는 현상을 확인했는데, 이는 사전 대량 학습 단계가 보장되지 않은 중소형 도메인에서 순수 자가주의 모델이 도메인 잔차를 완벽 수렴하기 위해서는 위상 개선에 더하여 데이터 보강 기법의 공조가 반드시 병행되어야 함을 알려주는 주요 학술적 지표이다.

---

4. 한계점 및 시사점

방법의 명확한 한계

• 사전 대규모 학습 결여 시 CNN과의 태생적 격차:
  DASViT는 기본 ViT 대비 우수한 공간 특징 수렴 능력을 가짐에도 불구하고, 기하학적 로컬 불변 바이어스(inductive bias)가 아키텍처에 선험적으로 가미된 강력한 CNN 계열(ResNet-152, RegNetY-12GF)의 스크래치 학습 정확도와 ImageNet-100상에서 비교해 볼 때 여전히 최대 약 15%의 Top-1 성능 편차가 존재한다. 순수 셀프 어텐션 위상 최적화만으로는 합성곱 연산 고유의 계층적 지역성(local receptive fields) 강점을 사전 데이터 정렬이 미비한 상태에서 100% 완전 수용하기란 이론상 한계가 있다.
• 기존 프리트레이닝 체크포인트 활용 불가:
  탐색을 거쳐 탄생한 인코더 블록의 내부 토폴로지가 표준 패러다임(시퀀셜 직렬 적층)과 철저히 이탈되어 있다. 따라서 기존 대규모 데이터(ImageNet-21k 등)에서 오랜 시간과 연산량을 소모하여 이미 완벽히 학습되어 있는 기존 바닐라 ViT 백본들의 막강한 미세 조정(Fine-Tuning)용 오픈소스 가중치 자원 및 전이 아키텍처 인프라를 전혀 계승 및 활용할 수 없다는 치명적인 엔지니어링적 고립이 수반된다.

실제 환경 적용 시 고려해야 할 엔지니어링적/이론적 과제

• DASViT 특화 독립적 데이터 증강 알고리즘 설계 필요:
  기존의 데이터 증강 전략(Mixup, RandAugment 등)은 수직 전방 결합을 전제로 균등 설계된 바닐라 ViT 구조에 가중 튜닝되어 있다. 병렬 피처 전파와 레이어 스킵 구조가 역동적으로 구성된 DASViT만의 유연한 표현 범위를 적극 부양하기 위해서는, 해당 모델 성향에 엄격하게 맞춘 비정형 모델용 증강(Augmentation) 파이프라인 개발 및 독자적인 대단위 자가 학습 전략 수립이 핵심 엔지니어링 과제로 수반되어야 한다.
• 이종 컴퓨터 비전 테스크(Downstream Tasks)로의 확장성 수립:
  현 탐색 파이프라인은 최종 출력의 글로벌 특성에 초점을 맞춘 이미지 분류(Classification) 단일 태스크 위주로만 목적 부합형 학습이 진행되었다. 공간적 해상도의 다단 복원(dense pixel prediction)이 핵심인 객체 탐지(Object Detection)나 세만틱 세그멘테이션(Semantic Segmentation) 영역에서 본 비정형 인코더 백본이 가시적인 피처 맵 계층성을 성공적으로 공급해 낼 것인지에 대한 추가적인 구조 변환 및 이론적 다운스트림 분석 실험이 요구된다.

연구가 가지는 학술적 및 기술적 의의

• 트랜스포머 아키텍처 탐색의 연속 미분 장벽 극복:
  메모리 포화와 수렴 붕괴 문제에 가로막혀 CNN 영역에만 국한되어 사용되던 경사도 기반 미분 가능 탐색(DARTS)을, 독자적인 '부분 토큰 선택'과 '공정성 가치가 부여된 정규화 수식'을 정비함으로써 비전 트랜스포머 탐색 도메인에 최초로 전면 활성화한 프론티어 연구라는 점 자체만으로 가치가 높다. 본 탐색 최적화 기술은 다양한 트랜스포머 기반의 대형 생성형 AI 구조 설계 자동화에도 훌륭한 청사진을 제공한다.
• 획일화된 신경망 설계 문법의 파괴 및 초경량 설계 가능성 입증:
  본 연구는 수동 설계에 정형화되어 고착화되었던 기존 트랜스포머 레이어 디자인 스택 가이드가 최적이 아님을 극명히 고발한다. 더 적은 파라미터(41% 감축)와 가벼운 FLOPs(17.5% 감축)를 이용하면서도 입력을 다채롭게 교차 결합한 저차원 MLP 및 셀프 어텐션 조합이 비전 인지 학습에서 한층 파워풀한 정보 집약율을 발휘할 수 있음을 실험적으로 선언하여, 차세대 초경량 임베디드형 비전 비선형 트랜스포머의 자율 토폴로지 설계 방법론으로서 무궁무진한 확장성을 시사한다.