KoBERT 설치 가이드 (linux)

·2023년 3월 2일
0

KoBERT 설치 가이드

CONTENTS


설치 환경

  • WSL Ubuntu 22.04.01
  • CUDA 11.8

Anaconda 가상환경 생성

다음 명령어로 KoBERT 를 설치할 가상환경을 만든다.

conda create -n '가상환경명' python==3.8
💡 여기서는 KoBERT의 dependency가 안맞을 수 있어, python 최신버전을 설치하지 않고 안전하게 **3.8** 를 설치했다. python 버전을 명시하지 않으면 최신버전인 **3.9** 가 설치된다.

conda env list 로 가상환경이 제대로 생겼는지 확인할 수 있다.

Pytorch 설치

💡 **[KoBERT github requirements.txt](https://github.com/SKTBrain/KoBERT/blob/master/requirements.txt) 를 보면 KoBERT에 설치에 필요한 library를 확인할 수 있는데, pytorch는 cuda버전과 매칭하여 설치하여야 하므로 조건에 맞게 수동으로 설치했다. KoBERT 가 요구하는 pytorch 버젼: torch >= 1.7.0, <=1.10.1**

아래 사이트에서 CUDA 11 을 지원하는 pytorch 1.10.1 를 찾아서 복사한다.

PyTorch

WSL Ubuntu에서 Anconda에 생성한 가상환경을 활성화하고 복사한 명령어를 입력하면 설치가 진행된다.

SKT KoBERT 설치

WSL Ubuntu 에서 KoBERT 를 설치하고자 하는 경로에 진입한다.

💡 여기서는 **mnt/c/Users/’유저명’/Documents** 에 앞으로 작업할 프로젝트 폴더를 생성하였다. mnt 경로로 들어가면 Windows에서 파일을 관리할 수 있어서 작업이 용이하다.

아래 사이트에서 리포지토리를 clone 한다.

GitHub - SKTBrain/KoBERT: Korean BERT pre-trained cased (KoBERT)

clone 후 KoBERT 가 받아진 것을 확인할 수 있다.

KoBERT 폴더 안의 requirements.txt 를 열어 torch 와 관련된 내용을 삭제한다. (여기서는 Windows 문서 폴더에 들어가서 수정했다.

WSL Ubuntu에 돌아와 작업할 가상환경에서 아래 명령어를 입력한다.

pip install -r requirements.txt

설치가 완료되면 python 스크립트를 열어 KoBERT 를 사용할 수 있다.

명령어 모음

Anaconda

가상환경 생성 명령어

# 최신버전의 Python 설치
conda create -n '가상환경명'
# Python 버전 명시
conda create -n '가상환경명' python=='버전'

가상환경 리스트 확인 명령어

conda env list
conda info --envs

가상환경 활성화 명령어

conda activate '가상환경명'

가상환경 비활성화 명령어

conda deactivate

PIP 명령어

requirements.txt 파일 dependencies 설치 명령어

pip install -r requirements.txt

0개의 댓글