Transfer Learning된 모델을 .. 데이터로 Fine-tuning
-_-;;
전처리(preprocessing): 머신 러닝 모델에 입력 데이터를 주입하기 전에 데이터를 정제하고 변환. .. 생성 프로젝트에서도 데이터 전처리는 중요한 단계이며, 효과적인 전처리를 통해 모델의 성능을 향상. 다음은 .. 데이터를 전처리하는 주요 단계들에 대한 설명:
1) 텍스트 정제 (Text Cleaning):
2) 토큰화 (Tokenization):
3) 불용어 제거 (Stopword Removal):
4) 텍스트 정규화 (Text Normalization):
5) 데이터 벡터화 (Data Vectorization):
6) 패딩 (Padding):
7) 데이터 분할 (Data Splitting):
8) 기타 특정 작업에 맞는 전처리:
07.21~ 8월 중순정도까지?
- 문제점
1) Pdf 파일 인식여부, 학습이 가능한지
2) Ocr, 텍스트로 인식 (or 텍스트로 변형해서 학습을 시켜야 하는지)
3) 실제로 적용 가능한지 (실험적 결과말고 실제로 좋은 결과를 이끌어낼 수 있는지 의문)
"파일 업로드"와 "코드 실행기"가 추가
Code Interpreter를 선택하고 데이터를 넣고 프롬프트를 입력하면 넣은 데이터를 알아서 분석하고 처리. 코드를 만들고 실행하면서 오류가 나면 바로잡아서 다시 수행.
활성화 방법
https://chat.openai.com/
ChatGPT에서 이름 클릭 > Settings > Beta features > Code Interpreter 활성화
사용한 데이터
https://lnkd.in/g_mseS5n
GPT-4 API
정말 좋은 정보 감사합니다!