또 다시 글또 at EMNLP 2023

"이번 주 일요일 마감 놓치지 말고 글 작성해보셔요. 첫 제출에 시간 없다고 패스쓰시는 것보단, "1회차니까 가볍게 다짐을 한 800자 정도만 작성해보자!"라고 생각하시면 너무 좋답니다"

처음으로 회사에서 컨퍼런스 (EMNLP)를 보내주게 되어서 참가하게 되었다. EMNLP 2023은 싱가포르, 센토사 섬 Resort World Sentosa 라는 곳에서 진행되었다.

변성윤님 말씀과 함께 싱가포르의 일정을 언급하는 이유는, 아무래도 싱가포르에서 여유 시간이 많아 글 작성을 할 시간이 충분할 것이라고 생각했으나, 회사 일과 학회 참가 (첫 참가)에 집중하느라 하나의 토픽을 잡아서 제대로 작성하는 것이 어려웠다. 하지만 마침 EMNLP를 참가했으니, 학회의 운영 방식과 참가 후기를 작성하고 그를 통해 나의 글또 활동의 각오를 담고자 한다.

또한 학회가 어떻게 운영되는 지, 솔직히 가보지 않아서 몰랐는데 누구한테 물어보기는 부끄러운 사람들이 가볍게 읽어보면 좋을 것 같다.

학회 운영 방식

• 2023.12.05 (화)
  • 창이 공항 도착
  • 주얼 창이 (Jewel Changi) 방문 및 식사
    • 송파 바쿠테에서 바쿠테 (싱가포르 갈비탕)
  • 학회장 근처 숙소 도착
• 2023.12.06 (수)
  • 본격 세션
  • 첫째날은 튜토리얼 위주로 진행
    • 튜토리얼은 하나의 분야에 대해 역사와 현황, 그리고 나아가야 할 방향에 대해 구석구석 살펴보는 세션
    • 진짜 해당 분야에 대해 지식이 적은 사람들에게 소개를 해주는 컨셉
  • 놀랍게도 튜토리얼을 대부분 Zoom으로 진행했는데, 들어가는 곳마다 Zoom 연결이 원활하지 않아 아무런 진행이 되지 않음
  • NLP+Vis: NLP Meets Visualization / LLM-driven Instruction Following: Progresses and Concerns과 같은 튜토리얼을 들어보려했으나, 전체적으로 와이파이 문제가 심해 불가능 (...)
  • 이전 ACL 2023 Retrieval-based Language Models and Applications과 같은 경우는 해당 분야의 역사와 현재 진행 방향과 Concerns를 한번에 이해할 수 있는 귀중한 시간이었는데 이번 EMNLP에서는 현장에서 제대로 된 튜토리얼을 못 들은 것이 아쉬운 시간
• 2023.12.07 (목)
  • 찐 본격 학회
  • 전날 하루 동안만 튜토리얼이 진행되기에 튜토리얼만을 들어, 워크샵을 놓쳤기에 워크샵에 올인
  • 학회 운영 방식
    * 학회 전반부 (튜토리얼 / 워크샵) > 학회 후반부 (Main Oral / Poster Session / After Party?)
    • 워크샵: 비슷한 주제의 논문들이 모여 서로 의견을 공유하고 논문을 발표하는 세션
  • BlackBoxNLP 2023 6th Workshop
    • https://blackboxnlp.github.io/
    • 보통 LM이나 Attention과 같이 모델의 세부 구조가 예측 / 분류에 어떤 영향을 주는지 살펴보는 워크샵
  • The Big Picture
    • https://www.bigpictureworkshop.com/
    • 가장 재밌게 들었던 튜토리얼
    • 1회차 워크샵이었는데 가장 많은 사람들이 모였다고 생각하는 것이, '스토리'가 주 핵심인 워크샵
    • The Big Picture는 연구 생태계에서 여러 의견들이 첨예하게 갈려온 역사 또는 현재 진행중인 논쟁을 정리
    • 예를 들어
      * Attention is not Explanation vs Attention is not not Explanation
      • In Context Learning을 수행할 때 정확한 Demonstration이 필요한가 vs 아닌가?
    • 즉, 연구자들이 이전이 펼친 논쟁이든 현재 진행되는 논쟁이든 랩 배틀 또는 이방원 vs 정몽주와 같은 시조 배틀과 같은 것이다.

• 2023.12.08 ~ 12.10 (금, 토, 일)

  • 기본적으로 금,토,일은 모두 비슷한 방식으로 진행

  • Main Conference Oral:
    비슷한 주제의 논문들을 묶어 방을 배정하고 좌장이 학회의 MC를 맡아서 진행하고, 12분 가량의 발표 / 3분의 질의를 수행한다. 3분의 질의 중, 참석한 사람들의 질의가 없으면 좌장이 생각해둔 질문을 한다.

  • Poster Session:
    Oral을 하지 않는 Main Conference Paper 또는 Findings Paper들이 발표를 한다. 하지만 Oral처럼 방 또는 강연장 내에서 진행하는 것이 아니라, 말 그래도 포스터를 벽에 붙이고 돗대기 시장마냥 지나가는 사람들을 향해

    	>   '잠시만요. 자기 어필을 좀 하겠습니다. 제가 열심히 만든 자식같은 논문입니다' 

    라고 소개하는 시간이다.
    실제로 지나가다가 'Do you want me to summarize the paper for you?'와 같은 제안을 받기도 하며, 정말 열띤 토론이 진행된다. 이번 EMNLP에서는 공간이 매우 협소했는데, 밀집된 공간에 많은 사람들이 있으면 등장하는 구름 (파오운)도 보였다.

  • Keynote: 유명 인사들의 한시간 정도의 강연 (Christopher D. Manning)

  • Social Event: 각 학회에서 진행하는 이벤트 (2023 EMNLP 같은 경우는 Universal Studio를 통째로 대관해서 학회 참가자들만 입장 가능하도록)

• 학회 느낀 점

  • 회사에서는 학회를 가기 싫어하는 사람들도 존재했는데, 이를 이해하지 못했다.
  • 하지만 역시 공짜로 보내주는 해외여행은 없으며, 학회를 제대로 탐닉하면 4~5시만 되도 모든 에너지가 방전된다.
  • 참가하는 방식
    • 학회 참가 이전에는 Poster Session을 참가해본 적이 없으니 Underline.io에서 볼 수 있는 Oral만 봐서 Oral이 중요한 줄 알았다.
    • 하지만 다음에도 기회가 있다면 Poster Session에서 자신이 관심이 있고 저자와 나누고 싶은 대화를 다 해본 뒤, Main Conference를 듣는 것이 더 좋을 것 같다.
    • 이유는 Poster Session이 좀 더 밀착한 대화 / 논문에 대한 질의응답이 매우 편리한 속성 과외를 받을 수 있기 때문
    • 하지만 Main Conference에서는 정말 놀랍게도 하나도 알아들을 수 없는 발음들이 많이 존재해서 앉아서 수동적으로 듣는 것보다는 능동적으로 자신의 취향에 맞는 Poster를 사냥하는 것이 더 좋을 것이다.
  • 각오
    • Conference 논문을 작성해 1저자로 해외 컨퍼런스에 당당하게 입성
    • 이를 위해, 냄비 근성이라도 당분간은 현재 연구 분야에 대한 논문 서치 및 정리 수행
    • 현재 LLM이 지배하고 있는 NLP 연구 시장이지만, LLM이 하기에는 애매하고 Cost In-effective하며, 특히 Input Size가 훨씬 더 큰 Bulk Corpus로 있기에 확실히 LLM으로 수행하기 힘든 Topic Modeling이나 Clustering에 대한 연구 성과 달성
    • LLM이 뜨기 시작하니 LLM Serving을 위해 수많은 Quantization / Compression / Inference에 대한 논문들이 EMNLP에 많이 등장했다. 모델 성능 또는 연구가 아니라 엔지니어링에 대한 논문들이 많이 접수된다는 뜻은 그만큼 수요가 많이 증가했음을 시사하기에 공부를 늦출 수 없다.
    • 작성한 논문 없이, 회사의 보은으로 참가한 학회에서, 학회의 운영 방식을 깨달았기에 하나의 논문을 보더라도 더 제대로 배경을 이해할 수 있게 되었으며, 논문 작성의 의지가 향상되었다.
    • 작성한 논문 없이 참가했기에 이상하게 Poster Session에서 저자들에게 질문하는 것이 다소 부끄러웠으나, 차후 참가 시에는 그런 일 없이 당당하게 걷기를 하고 싶다.

이상 EMNLP 2023 참가 후기 및 글또 또는 학업 각오를 마칩니다.
윤훈상 올림