주말에는 Fundamental node를 정리했다. 다행히 하려고 했던 것을 알고리즘 문제 풀이 외에 대충이라도 할 수 있었다. 생각보다 많이 쉬기도 했다. 그래도 월요일 아침은 항상 피곤하다.
Node
이번 노드가 분명 쉽다고 들었는데, 나는 왜 어려운 걸까? 처음 보는 개념들이 많아서 이해하는데 시간이 오래 걸렸다. 핵심어는 딥러닝과 머신러닝의 차이, 딥러닝의 철학(행동주의, 인지주의, 연결주의), 신경망, 함수, 내재적 표현, 선형모델, 퍼셉트론, 심층 신경망, LIME 라이브러리. 이해하기도 힘든 개념들이 많이도 나왔다. 게다가 문제는 왜 이렇게 많은 건지. 읽어야 할 자료들도 많고. 점점 노드 공부를 하는 시간이 느는 것 같다. 어쩌면 기본적인 개념인데도, 제대로 이해를 못 하는 느낌이 든다. 오늘의 노드 정리는 잘 할 수 있을지 모르겠다. 내 말로 설명하기가 너무 힘들다.
마지막에 나온 Open AI의 GPT-3은 매우 신기했다. 나보다 나은 것 같은 느낌? 나보다 코드도 잘 쓰고, 이미지 추측도 나보다 나은 것 같다.
풀잎스쿨 - CS231n
오늘의 내용은 예습해서인지, 미분이 나와서인지 모르겠지만 어렵지는 않은 부분이었다. 그러나 수업을 듣는 것 자체가 힘들었다. 의자도 불편하고 눈도 아프다. 주말에 새 의자를 주문했는데, 배송에 2-3주가 걸린다고 한다. 빨리 도착했으면 좋겠다.
헤드폰을 끼면 귀가 아파서 빼고 발표를 했더니 노이즈가 많았다고 한다. 주말에 주문했으니 내일쯤이면 이어폰이 올까?
오랜만에 편미분, 미분을 보니 재미있었다. backpropagation의 개념은 신기했다. 전체 기울기를 찾기 어려우니 나누어서 보다 쉬운 기울기를 구하고 그것을 합쳐 전체 기울기를 구한다니, 이걸 발명한 사람은 천재인가 보다. 오늘 노드에서는 쉬운 것은 계산할 수 있으나 layer가 많거나 하면 인간이 계산하기가 쉽지 않다고 하였다. 그렇지만 어쨌든 이론상 backpropagation을 사용하면 블랙박스 부분은 계산이 가능하다는 뜻이다. 시간과 노력이 굉장히 많이 들겠지만.
정리
오늘은 생각보다 조급하지 않은 날이었다. 정리를 해야 하고 알고리즘 문제를 공부해야 하지만 그래도 조금 여유가 있는 것 같다. 사실 오늘의 노드 정리는 반쯤 포기이다. 이해도 잘 안 되고 내용도 너무 많아서 여러 번 보는 것으로 해결해야겠다는 생각이 든다. CS231n 복습을 하고 알고리즘 문제를 봐야겠다. 알고리즘은 나만의 방식으로 푸는 것은 포기했고, 풀이법을 이해하는 것으로 대신하려고 한다.
내일은 exploration이다. 내일을 위해서 오늘은 조금 일찍 자야겠다.
