Ablation

전체 파이프라인을 고정하고, 제안하는 요소를 하나씩 제거하거나 단순화하여 성능 변화를 확인

방법

공통 규칙$^★$

1. 한 번에 한 가지만 바꾸기 (나머지 고정)
2. Full 모델이 항상 포함돼야 한다
3. 성능뿐 아니라 비용(시간/메모리)도 같이 분석하여 설득력 증가

1) 구성요소 제거 ablation (leave-one-out)

각 요소가 “필수인지” 보여주는 정석적인 방법
만약 제안 방법이 A+B+C 라면:

• Full: A+B+C
• w/o A: B+C
• w/o B: A+C
• w/o C: A+B

2) 단계별 단순화 ablation (progressive build-up)

특정 부분을 더하여 +x%, 그 다음은 +y%”가 되어, 기여가 명확히 보여줌.
기본 → 점차적으로 추가하여 쌓는방식:

• Base: 기존 baseline
• Base + A
• Base + A + B
• Base + A + B + C (Full)

3) 대체(교체) ablation

“왜 이 설계가 좋은지”를 보여줄 수 있음
제안하는 모듈의 선택지를 교체:

• scoring 함수: cosine / dot / learned / heuristic로 교체
• tie-break 규칙: on/off로 교체

4) 하이퍼파라미터 민감도(sensitivity)

“우리 방법 튜닝에 과하게 의존하지 않음”을 보여줌
모델이 특정 값에만 의존하는지 확인:

• alpha, beta, tempertature, threshold, weight 등
• 보통 각 파라미터 후보는 2~5개 정도로 바꾸어보고, 한 그래프 내에서 표현

5) 데이터/상황별 ablation (slice analysis)

해석성이 높아져 논문의 완성도가 높아짐.
전체 평균만 분석한 것이 아니라, “어느 부분에서 좋아지는지” 알 수 있음:

• input 길이: short, medium, long
• input/case 난이도, 카테고리
• model 종류별
• noisy 포함 여부

설계 및 구현

보통 “처음 설계할 때부터 ablation을 염두하고 모듈화”하고,
구현은 “full pipeline에 옵션으로 끄고 켜는(on/off) 방식”으로,
개별적인 것이 아니라 설계 + 구현을 함께 하는 구조

이상적인 방법 (대부분)

설계

• 파이프라인을 모듈 단위로 쪼갬

  • Query
  • Retrieval
  • Encoder
  • Reranking
  • Selection

• 각 모듈은 독립적으로 교체할 수 있도록 인터페이스 고정

일반적인 구현 방식$^*$

full pipeline은 하나로 보며, flag / config로 분기함.

full_pipeline(
  use_encoder_ensemble = True,
  use_rerank = True,
  use_weighting = True
)

Ablation은:

• w/o rerank → use_rerank=False
• w/o ensemble → use_encoder_ensemble=False
• simple rerank → rerank_mode="cosine"

“full 코드 + 수정본 여러 개” (거의 ❌)

• 코드 중복
• 버그 위험
• 재현 불가
• reviewer 질문 대응 불가

해당 내용을 논문에 작성한다면,

“We disable component X while keeping the rest identical.”

이미 full pipeline이 있다면?

보통:

코드 “수정”보다는 “옵션 추가”.

1. full pipeline을 기준선으로 둠
2. 각 구성요소에 bypass 경로 추가
   • rerank skip
   • encoder single로 고정
3. scoring/selection 단계에서 대체 로직만 추가

구현 체크리스트 (일반적인 기준)

Ablation이 용이한 파이프라인:

• 각 단계가 함수/클래스로 분리돼 있음
• 입력/출력 형태가 고정돼 있음
• 내부 state 공유 없음
• scoring / selection이 분리돼 있음
• config 파일 or argparse로 제어 가능

논문 작성 문구

• 예시

All ablation studies are conducted by disabling or replacing individual components in the full pipeline, while keeping the rest of the system unchanged.

We implement ablation settings by selectively bypassing specific modules within the same implementation to ensure consistent experimental conditions.