1. 강의 복습
Part 1 Part 2
정규 표현식
NLP 기초 이론은 2주에 걸쳐 진행 되었고, 1주차는 휴일과 git 강의, 스몰톡 같이 이벤트가 많아서 파트 1,2밖에 수강하지 못했다.
2. 과제 수행 과정
과제1은 문자열을 토큰화하는 과정을 알아보는 과제였다. 정규 표현식을 사용해서 문자열에서 필요한 문자들을 추출한 뒤 encode&decode 과정을 거친 걸 실습해봤다.
- 정규표현식은 자기가 쓰는 범위에서 필요한 것만 잘 다룰 줄 알면 됨
과제 2를 푸는데 bptt부분이 어려웠다.
- dropout으로 overfitting을 막을 수 있음.
- bptt는 일정한 단위로 잘라서 backpropagation을 수행. input의 길이가 길면 마지막 backpropagation이 처음까지 가는데 별로 영향을 미치지 않기 때문에 불필요한 연산을 줄이기 위해 잘라내는 것. 끊는 방법은
model.detach()사용
3. 피어세션
예정되어있던 화,금 nlp강의 일정을 무사히 마쳤다. 화요일 발표였는데 이해가 부족해서 설명도 부족했다. 다음 발표때는 3회독까지는 해야할 듯
수요일 스몰톡 때 오프라인으로 팀원을 만날 기회가 있었다. 말놓으면서 더 친해칠 수 있었다.
4. 학습 회고
본격적으로 도메인 별 공부 시작. nlp 기초를 공부하는데 cs224n강의가 도움이 되었었다. 거기다 교수님 강의력까지 너무 좋았음
과제하는데 시간이 좀 걸렸는데 아무래도 눈으로만 이해한걸 직접 코드로 짜려니 막혔던것 같고 구조를 이해해도 코드, 모듈은 처음보니 찾는게 시간이 좀 걸렸었다.
