LLM

LLM 모델 용량 계산

70B 70 1000000000 2(Byte)=16bit / 1000 / 1000 / 1000 = 140GB
70B 70 1000000000 4(Byte)=32bit / 1000 / 1000 / 1000 = 280GB

적정 GPU
35GB 모델을 쓰려면 VRAM이 40GB는 필요하다.
추론시 모델 크기 * 1.5배의 메모리 필요

FLOPs(Floating Point Operations Per second) - 초당 연산 속도

PEFT(Parameter-Efficient Fine-Tuning)

• 만약 모든 weight를 다시 튜닝하려면 모델 크기 * 2만큼 VRAM 필요

LLM 평가지표

BLUE Score (BiLingual Evaluation Understudy)

• 기계 번역의 품질을 평가
• 번역된 텍스트가 타겟과 얼마나 유사한지 [0,1] 또는 [0,100] 구간 값으로 성능 평가

RODGE Score (Recall-Oriented Understudy for Gisting Evaluation)

• 문서 요약 작업에서 주로 사용되는 평가 지표

Perplexity

• 언어 모델이 주어진 텍스트를 얼마나 잘 이해하고 있는지를 나타내는 척도