잡생각

전제 LoRA(Low-Rank Adaptation)는 전체 모델 파라미터의 극히 일부(보통 1% 미만)만 추가 학습하여 비용을 크게 절감할 수 있어 매력적인 방법이다. 핵심은 "학습비용절감"이다. 의문 샘 알트먼이 “사람들이 ChatGPT에 'please'나 'thank you' 같은 예의를 갖춘 표현을 사용할 때마다 전기 요금이 수천만 달러씩 더 든다”...