Hugging Face - 개념 및 설치 방법

1. Hugging Face

• 자연어 처리(NLP)와 머신러닝(ML)을 위한 강력한 툴과 라이브러리를 제공하는 플랫폼
• 특히, Transformer 기반의 딥러닝 모델을 중심으로 한 생태계로 유명함

Hugging Face 홈페이지

2. 주요 라이브러리

2-1. Transformers 라이브러리

• Hugging Face에서 제공하는 가장 인기 있는 오픈소스 라이브러리
• GPT, BERT, T5, RoBERTa 같은 다양한 사전학습(pre-trained) 모델을 쉽게 활용할 수 있음
• 텍스트 분류, 번역, 요약, 문장 생성 등 다양한 NLP 작업에 사용 가능함

2-2. Datasets

• 다양한 데이터셋을 쉽게 다운로드하고 활용할 수 있는 라이브러리
• NLP뿐만 아니라 머신러닝 전반에 걸친 데이터를 다룰 수 있음

2-3. Model Hub

• 전 세계 개발자와 연구자들이 공유한 수많은 사전학습 모델이 올라와 있음
• 모델을 검색하거나 간단히 불러와서 사용할 수 있으며, 바로 활용하거나 Fine-tuning을 수행할 수도 있음

3. 설치 방법 및 예제

3-1. 설치 방법

• pip 명령어를 이용하여 간단히 관련 라이브러리를 쉽게 설치할 수 있음

# 핵심 라이브러리를 한꺼번에 설치
pip install huggingface_hub datasets transformers

3-2. 예제 코드(질의응답)

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

question = "What is Data Analysis?"

input_ids = tokenizer.encode(question, return_tensors="pt")
output = model.generate(input_ids, max_length=60, num_return_sequences=1)

answer = tokenizer.decode(output[0], skip_special_tokens=True)

print(answer)
# What is Data Analysis?
# Data analysis is a process of analyzing data to determine the best way to analyze it.

*이 글은 제로베이스 데이터 취업 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다.