FLOPs(Floating Point Operation)

FLOPs(Floating Point Operation)

모델이 실제로 수행하는 연산 횟수(부동소수점 연산 횟수)
즉, 컴퓨터가 얼마만큼의 실수 연산을 해야 하는지를 수치로 표현한 것
GPU 속도(GFLOPS, TELOPS)와 직접 연결됨
모델이 얼마나 빠르게 돌아갈지, 얼마나 많은 GPU가 필요한지 평가할 때 핵심 지표

여기서의 연산 : 덧셈(add), 곱셈(multiply)
예를 들어 3 X 4 = 12 -> 곱셈 1개 -> FLOPs = 1
(3X4)+5 -> 곱셈 1 + 덧셈 1 -> FLOPs = 2

FLOPS가 중요한 이유

(1) Inference 속도와 직결

• 연산량이 많을 수록 모델이 느림

(2) 학습 비용 (Training Cost) 계산할 때 필수

• 이 모델을 100만 스텝 학습시키면 얼마의 GPU가 드는지? -> FLOPs로 계산

(3) 모델 효율성 비교할 때 기준

A 모델 : 80B params, 200 TFLOPs
B 모델 : 15B params, 300 TFLOps

-> 파라미터가 적어도 FLOPs는 더 많을 수 있음

참고

파라미터 수

• 모델의 '정적 크기'만 알려줌

FLOPs

• 모델이 실제로 '얼마나 계산해야 하는지' 알려줌

실제속도 (Latency)

• FLOps 외의 메모리 I/O, 커널 최적화, FlashAttention, 병렬화, 이런 모든 변수를 고려한 '진짜 결과'

모델 성능을 평가할 때 고려해야 하는 중요도와 실제성의 단계
파라미터 수 < FLOPs < 실제속도