파이썬 함수에 캐시 적용하기

Leeys·2022년 7월 22일
0

한이음2

목록 보기
4/8

kobert모델을 처음 로드하려면 필요한 데이터를 함수로 다운받고 모델에 인자로 설정해야 한다.

다시 모델을 로드할 땐 아래 그림처럼 처음 다운받았던 데이터를 캐시를 적용한다.

이걸 자바 소스코드에서 프로세스 빌더로 실행하려니까 캐시가 적용이 안되서 확인해보니 프로세스 빌더로 키면 캐시 폴더 경로를 못찾는 것 같았다.
그래서 캐시 파일을 직접 함수 인자로 넣어주는 코드를 작성했다.

캐시 파일 경로 확인

캐시 파일을 바이너리 파일로 다운로드

다운 받은 캐시 파일을 파이썬 코드에서 로드

위와 같이 저 tokenizer파일을 함수 인자로 넣어주려 했는데

데이터를 불러오는 함수에 캐시 경로를 지정할 수 있었다.....

이거 한줄로 돌아감

profile
공부 리마인드

0개의 댓글