[ML] Quantization (양자화)

Quantization (양자화)와 Quantization Aware Training, 동적 양자화, 정적 양자화

4일 전
·
0개의 댓글
·

[ML] 모델 최적화, 경량화 방법

Knowledge distillation Quantization Pruning

5일 전
·
0개의 댓글
·

[RuntimeError]: element 0 of tensors does not require grad and does not have a grad_fn

1. element 0 of tensors does not require grad and does not have a gradfn 2. Found dtype Double but expected Float 3. 'bool' object is not callable

2022년 8월 4일
·
0개의 댓글
·

[RuntimeError]: element 0 of tensors does not require grad and does not have a grad_fn

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 기울기 계산 기능을 끈 tensor로 기울기 계산을 할 경우 발생하는 에러이다. grad_fn : 기울기 계산을 하는 function 해결 방법 : tensor를 생성할 때, requires_grad=...

2022년 8월 2일
·
0개의 댓글
·

[RuntimeError]: Expected floating point type for target with class probabilities, got Long

float 타입을 예상했는데, Long 타입의 변수가 입력되었다. 해결 : dtype을 float로 바꾸자! 정밀도가 많이 필요하지 않기 때문에 명시적으로 float16으로 선언하였다.(float로 해도 된다.) 여기서, dtype이 float64일 때, tensor은 torch.(cuda.)DoubleTensor로 인식한다. 마찬가지로 dtype이 fl...

2022년 8월 1일
·
0개의 댓글
·

dataset.load_metric('em'), squad, f1, em

datasets 패키지에 metrics도 구현되어있다는 것을 알았다. !pip install datasets 일단 설치를 한 뒤, 구현된 metric들의 목록을 보았다. `['accuracy', 'bertscore', 'bleu', 'bleurt', 'cer', 'chrf', 'codeeval', 'comet', 'competitionmath', 'c...

2022년 8월 1일
·
0개의 댓글
·

[RuntimeError]: The size of tensor a (580) must match the size of tensor b (512) at non-singleton dimension 1

tensor b의 크기가 최대 512이여야 하는데, 580의 크기를 가진 tensor가 들어왔다는 내용이다. 512에 맞게 잘라주면 된다. 잘라주기 위해서 truncate를 사용했으나 다음과 같은 에러가 발생했다. truncate가 아니라 truncation이었다. 해당 keyword가 없다는 내용이다. tokenizer에 커서를 가져다대거나 do...

2022년 8월 1일
·
0개의 댓글
·
post-thumbnail

Tensorflow, Pytorch 비교

자세한 사항은 아래를 참조해주세요! PyTorch 딥러닝 챗봇, 1.서론 [Pytorch vs. Tensorflow], wikidocs 2022년 PyTorch 와 TensorFlow 비교 | GeekNews [PyTorch] . Tensorflow(텐서플로) PyTorch(파이토치) 차이점 비교 PyTorch vs TensorFlow in 2022, fr...

2022년 7월 28일
·
0개의 댓글
·

[Error] OSError: image file is truncated

Error : 원인 image파일을 다운 받다 중간에 중지해서 img가 잘리게(crop)되었다. 내 경우는 img파일을 다운 받다가 중간에 keyInterrupt를 발생시켜 데이터를 바로 저장하지 못해서 생겼던 것으로 보인다. 해결 : 다시 data 다운 받았다. 일반적인 해결 방법 keras.preporcessor.image.imgtoarra...

2022년 7월 28일
·
0개의 댓글
·

[Python] zip파일 풀기(zipfile)

zipfile docs 바로가기 Python zip파일 풀기 zip 파일 풀기 zipfile.ZipFile : zip file 가져오기(as obj : with 구문 내에서만 작동하는 obj 변수에 저장하기) zipfilepath : zip파일이 저장되어 있는 경로 file : file 경로 mode : 'r'(읽기, default), 'w...

2022년 7월 26일
·
0개의 댓글
·
post-thumbnail

[SQL] MySQL/Oracle DDL, DML사용방법(create, drop, select) - 미완

※ sprint의 application.properties에 database 연결(localhost:3306/database이름?~ 이 된다) spring.datasource.url=jdbc:mysql://localhost:3306/task_agile?useSSL=false&autoReconnection=true RDB 용어 Row(행, tup...

2022년 7월 21일
·
0개의 댓글
·

BERT-QA(Question-Answering, 질문-응답) task workflow

소스코드 바로가기 task의 목표 : 주어진 질문에 대한 단락에서 답을 추출하는 것 input : 질문(Q)-단락(paragraph) 쌍(question-paragraph pair) Q : 면역 체계는 무엇입니까? paragraph : 면역 체계는 질병으로부터 보호하는 유기체 내의 다양한 생물학적 구조와 과정의 시스템입니다. 제대로 기능하려면 .... ...

2022년 7월 20일
·
0개의 댓글
·

데이터 전처리(Data Preprocessing) 이론

데이터 정제,분석변수 처리, 차원의 축소, 클래스 불균형

2022년 7월 13일
·
0개의 댓글
·

Pretraining, Fine tuning, Transfer learning이란? + workflow

Pretraining Model, Fine tuning, Transfer Learning이란?, BERT Fine-Tuning workflow

2022년 6월 27일
·
0개의 댓글
·

GPT, ALBERT, RoBERTa 간단 특징

GPT, ALBERT, RoBERTa

2022년 6월 27일
·
0개의 댓글
·

re 정규표현식, 정규식(regular expression, regex, pattern ) : 미완성

요약 정규표현식 ( regular expression, pattern ) 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하며 주로 복잡한 문자열을 처리할 때 사용한다. 정규표현식의 각 문자는 메타문자, 정규문자로 이해됨 정규 문자 : ex. 가, a 등 문자 그대로 매칭되는 문자 메타 문자 : 원래 그 문자가 가진 뜻이 아닌 특별한 용도로 ...

2022년 6월 27일
·
0개의 댓글
·

pandas DataFrame 생성 및 전처리 과정

pandas를 통해 DataFrame 생성 전처리 > 1. 필요없는 columns 제거, columns 이름 수정 > 2. 결측치, 중복 데이터 처리(제거 혹은 변경) > 3. 각 데이터의 type과 범위 확인 및 변경 => 이상치 확인 > 4. 이상치 처리(제거 혹은 변경) > 5. 데이터의 단위 통일, 분포 변환 > 6. 유의미한 결과 찾기 및 co...

2022년 6월 16일
·
0개의 댓글
·

Colab과 Drive 연결/ Colab에 파일 업로드

colab에서 drive 연결 Code를 통해 연결 ( 정석 ) 코드 실행 Google Drive에 연결 허용 링크 클릭 후 암호를 입력창에 복붙 Mounted 완료 => 왼쪽창의 drive가 Google Drive이다. UI를 통해 코드 생성 ui 클릭하면 위의 코드가 생성된다. 이 코드를 실행 Colab에 파일 upload하기 업로드 후에 ...

2022년 6월 16일
·
0개의 댓글
·

git 사용법 (add/commit/push/reset/revert/reflog)

git 사용법

2022년 6월 16일
·
0개의 댓글
·

git error 정리 ( 에러 발생 시 계속 추가 )

git error 정리 ( 에러 발생 시 계속 추가 )

2022년 6월 16일
·
0개의 댓글
·