SOTA(State-of-the-Art)
논문을 분석하는 업무를 하다가 마주친 단어.
SOTA란?
SOTA = State of the Art 는 현시점 최고의 기술을 의미한다.
예를 들어, 논문에서 이런 문장을 볼 수 있다.
“Our model achieves SOTA results on the Spider dataset.”
이건 "우리가 만든 모델이 Spider 데이터셋 기준으로 현재까지 제일 좋은 성능을 냈다!" 라는 뜻이다.
SOTA는 어떻게 정해지는지?
데이터셋마다 성능을 평가하는 지표가 있다.
Spider 같은 경우는 예를 들어:
- Exact Match Accuracy (예상 SQL이 정답 SQL과 완전히 일치했는가?)
- Execution Accuracy (실제로 실행했을 때 결과가 맞는가?)
이런 지표를 기준으로 여러 모델을 비교해 보고, 가장 성능 좋은 모델이 SOTA가 되는 것
사실 "좋다" 라는 말은 주관적이기 때문에 "무슨 데이터를 기준으로?" "어떤 지표로?" 라는 전제가 꼭 필요하다.
따라서 SOTA 는 어떠한 맥락에서 "가장 잘하는 모델"을 정의하는 기준이기 때문에 공신력이 있는 "기록"이다.
다만, SOTA는 고정된 게 아니라, 새로운 연구 성과가 나오면 계속 갱신된다.
정리
- SOTA = 현 시점 최고 성능 (State of the Art)
- 그냥 주관적인 “좋음”이 아니라, 공식 지표 기준으로 제일 좋은 성능
- 논문에 자주 등장하는 표현
- 연구가 진행될수록 갱신된다 (오늘의 SOTA, 내일은 또 다를 수 있음)
- Spider처럼 벤치마크 데이터셋이 존재하기 때문에 가능한 개념
앞으론 논문 볼 때 이 SOTA 가 보이면 아래처럼 생각해보기
- "어떤 기준으로?"
- "무엇을 제치고 1등이 된 거지?"
