Python
1.[파이썬 기본]경로 설정 & 모듈 탐색 경로 추가
절대경로 : 해당 파일의 전체 경로(url).ex. C:/home/Users/lecture/test.py상대경로 : 현재 해당 파일의 위치를 기준으로 연결하는 파일의 상대적인 경로ex. ../lecture/test.py문제 : 아래에서 현재 C:/data/MixSNIP
2.[파이썬 에러]파이참 허깅페이스 터미널 로그인_PyCharm Huggingface terminal login
허깅페이스에서 transformers의 Trainer는 모델의 학습, 평가를 한번에 할 수 있는 API를 제공한다. 이를 사용하면 간단하게 fine-tuning이 가능하다. 간단히 코드를 소개하자면 다음과 같다.from transformers import Trainin
3.[파이썬 에러]TypeError: expected str, bytes or os.PathLike object, not NoneType
다음 코드는 허깅페이스에서 'glue' 데이터셋의 'qnli'데이터를 불러오는 코드이다. 설치할거 다 설치하고, 코랩이랑 다른 컴퓨터에서도 다 잘 돌아가는 데이터 불러오는 간단한 코드에서 에러가 났다. data = load_dataset("glue", "qnli")환경
4.[파이썬 에러]ValueError: Unable to create tensor, you should probably activate truncation and/or padding with ‘padding=True’ ‘truncation=True’ to have batched tensors with the same length
Token classification 와 summarization fine-tuning 를 참고하면서 GPT2를 summarization task에 대해서 fine-tuning하고 있었다. 그러다가 제목과 같은 에러가 발생했다. 토크나이저에 매개변수를 추가하라고 나
5.[파이썬 에러]ValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token` `(tokenizer.pad_token = tokenizer.eos_token e.g.)` or add a new pad token via `tokenizer.add_special_tokens({'pad_token': '[PAD]
GPT-2를 CNN/Daily Mail dataset로 summarization task에 대해 fine-tuning하다가 패딩 토큰을 추가하라는 에러가 발생했다. 위키독스 GPT-2 요약을 참고하였다. 제목과 같은 에러가 발생하는 이유는 GPT-2는 pretraini
6.[파이썬 에러]ValueError: Expected input batch_size (4092) to match target batch_size (2044).
GPT-2의 summarization task에 대해 fine-tuning하는데 위와 같은 에러가 발생했다. 위키독스 GPT-2 요약을 참고하여 CNN/Daily Mail dataset에 대해 진행하였다. 이에 대한 자세한 소개는 추후 포스팅하겠다!
7.[파이썬 에러]ValueError: too many values to unpack (expected 2)
ValueError: too many values to unpack (expected 2)위와 같은 에러는 반환되는 값은 2개인데 2개 이상의 값을 언패킹하려고 할 때 나는 에러이다. 예를 들어 다음과 같이 2개의 값을 반환하는 함수를 실행하고, 3개의 값에 할당하는
8.[파이썬 꿀팁]파일에 맞는 인코딩 방식 확인
파일을 읽을 때, 인코딩 방식이 뭔지 몰라서 이것저것 시도해보곤 했는데, 파일에 맞는 인코딩 방식을 확인해볼 수 있다!! 아래 코드를 실행하여 인코딩 방식을 확인하고, 파일 열 때 해당 인코딩 방식으로 열면 된다. 처음 알아서 기록함요~