Neural Network 발전과정: Attention, Transformer 이해하기

이제는 이걸 뭐라고 불러야 할지... 살짝 애매한 감이 있지만, 어쨌든 인공신경망과 관련한 역사적인(?) 내용을 정리할 일이 있어서 모처럼 쭉 다시 공부했다. 이제는 더 이상 이 부분들을 공부할 필요가 없나 라는 생각도 사실 강하게 들지만, 그래도 흐름을 알고 있는게 도움이 되지 않을까 한다. pdf파일로 정리한 자료와 실습 코드를 공유한다.

(+)
이 자료를 만들면서 ChatGPT의 도움을 많이 받았다. 자세하게 물어볼수록 정확한 답변이 나오는 걸 느꼈고, 내가 알고는 있지만 어떻게 설명해야 할 지 모르겠는 부분에 있어서 예시도 만들어주고 정리해주는 등 효율적인 작업을 가능하게 했다. 특히 실습 코드를 만들때 'Transformers 라이브러리를 활용한 BART 활용 코드를 스텝 바이 스텝으로 설명 주석과 함께 생성해줘'와 같은 요청에는 거의 수정이 필요없을 정도의 코드를 만들어줬다.

잘만 쓰면 정말 편한다!