[모델만들기] OPIc 도우미 모델만들기with 허깅페이스 사용법

허깅페이스란?
AI 분야 Github로서, 모델을 만들고 공유하고, 공유된 모델을 자유롭게 사용할 수 있는 플랫폼

허깅페이스 사이트에 접속해보면 원하는 model과 datset, 그리고 모델을 활용해 다른 모델을 만들 수 있는 spaces와 모델들을 연습하는 learn코스를 확인할 수 있다.

모델을 사용할 땐, 원하는 모델을 찾고 들어가 use this model을 클릭해 다양한 방식으로 사용하는 예제 코드를 코랩으로 만날 수 있다.

허깅페이스에서 클라우드를 이용해 모델을 사용하는 방법은 크게 3가지로 나뉜다.

허깅페이스에서 LLM모델을 다운받아 로컬에서 동작해보자 한다.

만들고자하는 모델은 OPIc 시험을 도와주는 챗봇이다.

이처럼 오픽에 특화되기 위해, 사용자가 취미를 입력하면 취미를 기반으로 모델이 질문을하게끔 만들었다.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"

# 모델 로드
tokenizer = AutoTokenizer.from_pretrained(model_id, cache_dir="./deepseek_model")
model = AutoModelForCausalLM.from_pretrained(model_id, cache_dir="./deepseek_model")
model.eval()

이러면 로컬에 모델이 다운된다.
이후작업은 RAG에서 마저하겠다^!^