Going Deeper
어제 일찍 잤는데도 오늘 아침에 너무 힘들었다. 며칠간 늦게 자서 그런가? 고잉 디퍼에 들어와서 계속 집중이 안 되는 느낌이다. 오전 중에는 쉬다가 뒤늦게 공부를 시작했다. 동기들이 와서 Bahdanau attention과 Luong attention의 차이점에 대해 질문을 하는 바람에 갑자기 궁금증이 생겨서 어텐션에 대해 정리하기 시작했다. 어텐션의 종류가 많고, 그것들을 따로 배우다 보니 전체적인 그림이 안 보였는데, 정리를 하다보니 왜 다 어텐션이라고 불리는지 알게 되었다. 어텐션 값을 구하는 어텐션 함수만 다를 뿐 과정이 다 비슷했다. 각각의 과정 중 조금씩 다른 부분이 있지만 대부분이 비슷한 흐름으로 가기에 어텐션이라는 이름이 붙은 것이다.
과정: 어텐션 스코어를 구하기 -> 어텐션 분포 구하기 -> 어텐션 값 구하기 -> 컨텍스트 벡터 구하기 -> 출력층의 연산 입력 계산 -> 예측 벡터 얻기
이번에 정리하면서 새로 알게 된 사실은 닷-프로덕트 어텐션을 루옹이 만들었다는 것이다. 전에 노드 공부하면서는 왜 안 보였을까? 공부 방법이 잘못 된건가. 너무 대충 공부하는 걸까? 공부와 정리를 해도 누군가에게 설명할 정도의 수준은 안 되는 것 같다.
코딩 마스터
오늘은 큐, 스택, 딕셔너리, 그래프에 대해 이야기를 나누었다. 각 자료 구조가 어떤 식으로 구성되는지는 알지만 구현은 어렵다. 왜 그렇게 구현하는건지 잘 이해가 안 된다. 그래서 우선은 코드 이해에만 신경을 쓰고 있다.
수업을 마치고
날씨가 좋지 않다. 덩달아 몸도 안 좋은 것 같다. 고잉디퍼에 들어와서는 계속 정신과 몸이 불안정하다. 좋았다가 안 좋았다가 널을 뛰는 것 같다.
아직 남은 프로젝트가 있지만 왜인지 자꾸만 할 것이 없다는 생각이 들까? 다음주에 쉬는 날이 있고, 그로 인해 풀잎 스쿨도 쉬니까 예습을 안 해도 된다. 지시머도 하루 쉬고. 쉬는 날이 하루 있으니 굉장히 많은 시간이 있는 것 같은 기분이다.
