시중에는 아직...핵심 원리를 담은 내용을 담은 책이 없다. 'why?'를 설명 하는 책이 없다.
나는 답을 봐야 빨리 이해 한다.
그래서 어떻게 하면 transformer를 여러 분야에 적용 할 수 있고 쉽게 적용 가능 한지 알고 싶었다.
운이 좋게도 그런 책을 찾았다.
예전에는 text의 감정을 분류 하려면 유/무료로 api를 써야 했다. 파인튜닝 트랜스퍼러닝 이런 건 보편적이지 않았고 쉽게 할 수 없었다. 그러나 지금은 마치 api를 쓰든 weights를 직접 받아서 쓸 수 있기 때문에 원하는 분야에 파인튜닝 트랜스퍼러닝을 매우 쉽게 할 수 있다. 2019년에는 상상도 못했는데 벌써 이렇게 빠르게 변화 하였다. 놀랍다.
아쉬운 부분은 8장 "BERT 다중 클래스 분류"에서 Pytorch의 제대로된 설명이 없다. 한줄, 한줄 설명이 있는데 파이토치를 모르는 사람은 왜 이렇게 쓰기고 structure가 되어 있는지 알 방도가 없다. (물론 chatGPT를 이용하나 한줄 한줄 배워가면 되지만)
이 책 역시 핵심 내용을 정확히 설명을 못한다. 이 저자 역시 공식을 외우고 전달하는 것에 끝이다. 왜 이런 공식이 나온지 설명을 못한다.
추가적으로 개념 설명이 잘되어 있다. 앞으로 읽어야 할 책에서는 개념설명이 없다. 그래서 중요한 개념인데 따로 표시도 되어 있지 않아서 그냥 일반적인 영어 단어니 하고 지나칠 때가 있다. 하지만 만약 "트랜스포머 with 파이토치"을 읽었다면 단어 개념 정리가 잘 되었으니, 다른 Transformer 책을 빠르게 흡수 할 수 있다. 하지만 아마존의 베스트 셀러임에도 불구하고 완벽한 transformer의 대한 설명이 없다. 핵심 원리를 빼먹었다.
비추천 이유:
아쉽게도 트랜스포머에 대한 제대로 된 핵심 설명이 없다. 국문학과 출신의 저자라서 쉬울 풀이를 기대를 했지만... 교수가 쓴 책과 비슷하다. 잘 못가르친다. 이유는 자신도 정확히 모르기 때문에...
특히 multi head가 왜 필요 한 지, query, key, value의 태생 그리고 왜 쓰이는 지 제대로 된 설명이 없다.
예시) Residual Connection이 vanishing/exploding gradient를 방지 하기 위해 하는 것도 "잔차 연결은 모델 중간에 블록을 건너뛰는 경로를 설정함으로써 학습을 쉽게 하는 효과까지 거둘 수 있습니다."에 비교적 짧은 설명으로 마무리를 한다.
추천 이유:
하지만 공식을 어떻게 사용 해야 되는 지는 자세히 설명되어 있다. 그래서 pytorch 한줄, 한줄 코드 이해를 할 때는 도움이 된다. 특히 4장 부터는 디테일하게 잘 설명이 되어 있다. 이외 transformer의 핵심 원리는 제대로 된 설명이 없었지만, 이미 널리 알려진 딥러닝 개념에 대해서는 핵심 내용을 비유적으로 잘 전달한다.
- 밑바닥부터 시작하는 딥러닝
강력 추천 이유:
거의 빠진거 없이 설명을 함
가장 많이 읽는 기본서
