Atettion 정리
동영상 링크
어텐션은 확실히 all you need 인거같다. 데이터 자체의 상관성을 찾는다는 개념이 사실 엄청나게 특별하지는 않다고 생각한다. 존의 hidden vector에 과도하게 많은 incoder 정보가 쌓인다는걸 생각하고 attention으로 대체한건 정말 대단한 업적인것 같다. scaled inner product을 통해서 계산을 한다던가 특별할거 없을수도 있는 연산들로 대단한 결과를 만들어내다니 그 창조력이 부럽다. 기존에 배운 배운 자연어처리들은 뭔가 아쉬운점이 많았지만 Atettion은 많이 발전시켰고 쉬운점이 많았지만 Atettion은 많이 발전시켰다는게 느껴졌음...
인공지능대전 엑스포(코엑스)
출처
참가해서 여러 기업들을 살펴보았음. 주로 super resolution에 관련한 기업들, 데이터 처리,
api, gpu(의 진화한 다른 변종들)을 홍보하러 나온 기업들이 많았음. 사실 기업보다는 오프라인을 통해서 잘 보지못했던 ssac 일원들을 만날 수 있어서 좋았다. 카페, 식사, 간단한 술자리 다들 오프라인에선 처음 본 사이였지만 하두 온라인에서 봐서 그럴까 낯가리지않고 속마음을 털어 놓을 수 있었던것같다.
해커튼 2차
어떤것을 고를 것인가..
계속 학습할 수 있는 ai의 특성을 살릴 수 있는 그런걸 하고 싶다.는 게 생각
뽑히지 않는다면 어떤식으로 해야할지 어떤식으로 써먹을수있을지 고민해보기
건강
머리아프고 등아프고 어깨아프니깐 할수 있는게 없더라.. 너무 오랜만의 장거리 외출이었나..
공부중