허깅페이스 익히기
요즘 IT에서 발간한 AI 시대 개발자들의 놀이터 '허깅페이스'를 알아보자 의 아티클 내용을 정리하였습니다.
허깅페이스란
- AI에 대한 온라인 플랫폼이자 활발한 커뮤니티
- 사전 훈련된 모델과 사용하기 쉬운 도구를 제공하여 AI 기술을 쉽게 활용할 수 있음.
- AI 모델 개발에 대한 문턱을 낮추는데 큰 기여
- 오픈소스의 성격을 이용하여 집단 지성을 통해 모델의 개선에 기여 가능.
종류
허깅페이스 허브
- AI 모델, 데이터, 애플리케이션을 만드는데 필요한 모든 과정을 제공
- IDE의 워크스페이스
모델 허브
- 사전 훈련된 AI 모델이 모여있는 라이브러리
- 자연어 처리, 이미지 처리, 오디오 처리 등의 여러 종류의 데이터를 함께 다룰 수 있다.
- 모델 카드를 이용해서 사용법과 특징에 대해 알 수 있음.
데이터셋
- 모델 훈련 및 평가에 사용될 수 있는 학습 데이트를 제공
트랜스포머 라이브러리
- 수많은 사전 훈련 모델이 있는 오픈 소스 라이브러리
- BERT, GPT-2등의 모델을 파이썬 코드로 간단하게 사용 가능.
- 파이토치, 텐서플로우와도 호환 가능.
- 추론, 파인튜닝, 모델 학습까지 모든 과정을 지원
스페이스머신
- 머신러닝 애플리케이션의 라이브 데모를 만들어 공유하고 호스팅하는 서비스
- 웹 브라우저에서 데모를 실행해보며 가상으로 확인가능.
- 포트폴리오를 만들 수 있고, 다른 사람과 공유가 가능.
토큰나이저
- 텍스트를 토큰으로 바꾸는 과정이 필요한데 그 과정을 지원.
