Checkpoint 활용

체크포인트(Checkpoint)란 모델 학습 과정 중 특정 시점의 모델의 가중치와 파라미터를 저장한 상태이다. 이는 일종의 저장 상태로, 학습 중인 모델의 진행 상황을 특정 지점에서 보존하는 데 사용된다. 중단된 학습을 재개하거나 과적합을 방지하기 위해 조기에 학습을 멈출 때 유용하다.

또한 체크포인트는 모델의 일관성을 유지하고, 실험의 재현성을 보장하는 데 도움을 준다. 일반적으로 체크포인트는 주기적인 간격으로 생성되며, 이러한 주기는 학습자가 직접 설정할 수 있다.

---

Mecab 설치

Source : github.com/leekh4232

#01. Mecab 형태소 분석기

1. Mecab 소개

Mecab 형태소 분석기는 일본에서 만든 오픈소스 형태소 분석기

검색 엔진에 사용하기 위해서 만들어졌으며, 특정 언어에 국한되지 않고 범용적으로 설계되었기 때문에 한글을 지원하는 은전한닢 이라는 오픈소스 프로젝트로 한글화되어 사용되고 있음.

C++로 작성되었으며, 다양한 플랫폼에서 사용할 수 있습니다. 형태소 분석의 성능과 속도면에서 우수한 결과를 제공함

2. Mecab 설치

mecab-ko-msvc 설치 (본체)

1. https://github.com/Pusnow/mecab-ko-msvc/releases 에 접속
2. mecab-ko-windows-x64.zip 파일을 내려받는다.
3. 내려 받은 파일의 압축을 해제해서 나타난 mecab 폴더를 C드라이브 root로 옮김

C:\mecab

mecab-ko-dic-msvc 설치 (사전)

1. https://github.com/Pusnow/mecab-ko-dic-msvc/releases 에 접속
2. 같은 페이지에서 mecab-ko-dic-msvc.zip 파일을 내려받아 압축을 해제
3. 압축 해제된 폴더의 내용물만 C:\mecab 폴더 안으로 이동 (폴더병합)

python wheel 설치하기

1. https://github.com/Pusnow/mecab-python-msvc/releases 페이지에 접속
2. 자신의 파이썬 및 윈도우 버전에 맞는 버전을 내려받는다.
   • python 3.11 : cp311
   • Windows 32bit : win32
   • Windows 64bit : win_amd64
3. 내려받은 wheel 파일이 위치하는 폴더에서 명령프롬프트 실행
4. 아래 명령어로 설치 진행

   $ python -m pip install <whl파일명>

   $ python -m pip install mecab_python-0.996_ko_0.9.2_msvc-cp311-cp311-win_amd64.whl

설치 도중 C++ 관련 에러가 발생한다면 Visual C++ 재배포 가능도구 2015-2022를 설치후 다시 시도

https://learn.microsoft.com/ko-kr/cpp/windows/latest-supported-vc-redist?view=msvc-170

3. 사용자 사전 추가

C:\mecab\user-dic 폴더에 utf-8 형식의 csv 파일을 추가한다.

기존 파일들은 각각 고유명사(nnp.csv), 인명(person.csv), 지명(place.csv)을 담고 있는 파일

ex) C:\mecab\user-dic\mydic.csv

사전 파일의 체계

단어, 0, 0, 우선순위, 품사 태그, 종성 유무, 읽기, 타입, 첫 번째 품사, 마지막 품사, 원형, 인덱스 표현

추가예시

대우,,,,NNP,*,F,대우,*,*,*,*,*

---