NAACL 2024 참관기

NAACL 2024에 참관한 후기를 담은 세미나를 준비했다! 나는 포스터 발표를 위해 이번 NAACL에 다녀왔다. 시간이 많지 않아 내용을 다루는 PPT들과 마지막에 느낀 점 정도만 기록해두려 한다.

발표 자료

• 학회장을 떠난 뒤로, 두 가지 생각을 함. 하나는 NLP와 LLM 등이 어떻게 발전하고 어떤 연구들이 이루어질 것인지와, 내용을 떠나서 어떤 지점과 태도들이 중요한지 다시금 생각해볼 수 있었음.
• 먼저 내용적인 부분으론, 언어모델이 여전히 biological neural net의 발달과정과 비유적으로 표현될 수 있다고 생각.
• 오른쪽으로 뻗어나가는 선은 인간이 어릴 때부터 언어능력을 발전시켜오는 / 또는 우리가 새로운 언어를 배우는 타임라인이라고 생각,
  • 가장 왼쪽의 갓 태어난 인간은 supervised learning 을 할 수 없는 상태, 말그대로 다양한 form의 인풋을 많이 때려넣어야 하는 기간. / 더 좋은 foundation model 을 만드는 것이 목표이며, 특정 태스크보다 general 한 지식과 능력들을 갖추는 시기.
  • 중간의 시기는, 그 언어를 사용하는 사용자의 지시를 이해할 수 있는 수준에서의 학습. / 이때는 자연어로 학습이 가능하며, 따라서 instruction-tuning 또는 prompt 를 사용한 learning 과 연결 / 또 특정 문제들을 해결하기 위한 supervised learning 도 가능.
  • 오른쪽은, 자연어로 학습하고 이해하는 것을 넘어 자율성을 지니고 높은 수준의 사고를 하는 시기. / Reasoning 과 Planning 은 앞으로 계속 풀어야 하는 숙제.. / 이렇게 할 수 있는 것들이 많아질수록, 기계는 인간이 보이는 실수들도 하게 되는 것 같고, 어떤 라인을 넘어가지 않도록 alignment 하는 것도 큰 연구 주제.
• 이것들이 시간의 순서처럼 지나갔다고 다시 돌아오지 않는 것이 아니라, 규모와 스케일, 풀고 싶은 문제 등을 고려해서 계속해서 동시에 풀어나가야 할 문제라 생각.
• 그 다음은 무얼지 깊이 고민해보는 경험이 됨.

• 내용적인 부분 외에도 연구란 무엇인지, 연구를 잘 한다는 것과 학회장에 온 사람들의 공통점을 파악하려고 애씀.
• 대부분의 시간은 나의 실험을 계획하고 베이스가 되어주는 다른 연구들과 이론을 습득하는데 집중하나..
• 그것만큼이나 다른 사람들과 연결되는 것, 아이디어와 동기부여를 얻는 것, 본인의 생각을 잘 표현하고 상대와 교환하는 것까지가 연구임을 느낌.
• 그리고 Communication 을 가장 잘 할 수 있는 곳이.. Conference! “일년에 한 번은 꼭 좋은 논문을 써서 학회에 와야 한다”고 말씀해주심.

정리

• 정리하면, 학회에 참여하고 직접 발표해본 경험은 무엇과 바꿀 수 없을 정도로 소중하고 값진 경험이었음. 동시에 부족함도 많이 느낄 수 있었음.
• 그리고 학회에 가기까지 준비하는 일련의 프로세스가 연구자로서 어떤 능력을 갖춰야 하는지 재고하게 했음.
• 매일 공부하고 연구하는데 어떤 하루, 일주일만 목표로 보고 달려나가는 건 좋지 않다고 생각하는 편이나.. 학회는 그럴만한 가치가 있다고 생각.