프로젝트 진행 과정
1. 데이터 읽어오기
- glob 를 활용하여 모든 txt 파일 읽기
- raw_corpus 리스트에 문장 단위로 저장
2. 데이터 정제
- preprocess_sentence() 함수 사용
- 토큰화
3. 평가 데이터셋 분리
- tokenize() 함수로 데이터를 Tensor로 변환
- 훈련 데이터와 평가 데이터 분리
4. 인공지능 만들기
- 모델 설계하기
- 모델 학습하기
- 문장생성 함수 실행
구현한 프로젝트
회고
enc_train, enc_val, dec_train, dec_val에서 random_state가 필수적인지
다른 코드로 실행하는건데도, 실행할수록 epoch가 커지는 이유
