[경량화 챌린지] 1일차

• Hugging Face Hub이란?
  AI 관련 모델, 데이터셋, 데모를 공유할 수 있는 오픈소스 플랫폼.
  transformer 기반의 모델이 주를 이룸.
• Python 가상환경 생성
  pip install transformers torch accelerate bitsandbytes
  transformers: hugging face hub에 있는 모델을 쉽게 다운로드할 수 있게 해줌.
  accelerate: hugging face가 만든 보조 도구로, 코드를 거의 안바꿔도 모델을 여러 GPU에 분산하거나, VRAM이 부족할 때 잘 로드할 수 있게 도와줌.
  bitsandbytes: PTQ 툴킷.

참고: https://wikidocs.net/296877