탑티어 학회 참석이 처음이라 가서 어떤 것을 보고 듣고 올지를 준비해서 가야겠다...
우선 어떤 이벤트들이 있는지 확인해보자

---

Events

https://neurips.cc/virtual/2024/calendar?filter_events=&filter_rooms=

Affinity Event & Affinity Poster Session :

• 특정 커뮤니티나 그룹(예: 다양성, 포용성, 또는 특정 연구 주제)을 중심으로 조직된 네트워킹 및 협업 이벤트인듯함.
• Black, Women, Muslims, Queer 등 특정 그룹에 대한 이벤트임을 확인할 수 있음

Competition

• 머신러닝 및 인공지능 분야의 도전 과제를 다루는 경연 대회.
• Hackthon, Data challenge 등 대회가 진행됨
  

Creative AI

• 창의성과 AI의 교차점을 다루는 세션.
• 예술, 음악, 문학 등 창의적인 애플리케이션에서의 AI 활용을 탐구.
  

Expo Demonstration

ExpoTalk Panel

Expo Workshop

• Expo Demontration :

  • 산업, 학계, 또는 기관이 개발한 기술과 응용 프로그램을 실시간으로 시연.
    

• Expo Talk Panel :

  • 산업 리더와 연구자가 참여하는 패널 토론으로, 최신 트렌드와 산업 응용에 대해 논의.
    

• Expo Workshop :

  • 참가자들이 특정 주제에 대해 배우고 실습할 수 있는 심층적인 세션
    

Invited Talk

• AI 및 머신러닝 분야에서 저명한 연구자가 발표하는 강연.
  

Meetup

• 연구자들이 네트워크를 형성하고 특정 주제나 관심사에 대해 비공식적으로 논의할 수 있는 세션.
  (9 a.m. ~ 5 p.m.까지 열려있어서 자유롭게 들락날락할 수 있는 곳인듯)
  

Oral

• 선택된 논문 발표를 위한 구두 발표 세션
  

Poster Session

• 연구자들이 자신의 연구 결과를 포스터 형식으로 전시하고 참석자와 논의하는 시간.
  

Social

• 

Test Of Time

• 10년 이상 지속적인 영향력을 행사한 논문을 써낸 연구자에게 수여되는 상
  

Town Hall

• NeurIPS 조직위원회와 참석자 간의 대화형 세션.
  컨퍼런스 운영, 정책, 미래 계획 등에 대한 의견을 나눔
  

Tutorial

• 특정 주제를 깊이 있게 다루는 교육 세션.
• 참가자들에게 새로운 기술이나 지식을 학습할 기회를 제공.
  

---

Invited talk

Alison Gopnik

• Alison Gopnik은 University of California, Berkeley에서 심리학 교수이자 철학 겸임 교수로 활동 중인 세계적으로 저명한 심리학자.
  아동의 학습과 발달 연구에서 선구적인 역할,
  특히 아동의 인지와 발달 과정을 이해하는 새로운 접근 방식을 제안하며 학계와 대중 모두에게 큰 영향.
  “마음 이론(Theory of Mind)” 분야의 개척자 중 한 명으로, 아동이 타인의 마음 상태를 이해하는 방식을 연구.
  

• AI와 인간 지능을 바라보는 방식에 대해 두 가지 서로 다른 관점이 있음

  1. 전통적인 AI 관점 (AGI 중심 모델)

     • AGI(Artificial General Intelligence)는 하나의 단일 지능 척도로 모든 형태의 지능을 측정할 수 있다고 가정.
     • 이 관점에서 AI는 목표를 달성하고 효용을 최대화하는 능력(즉, 성숙한 어른의 합리적인 행동과 유사함)이 가장 중요한 지능의 정의로 간주됨.
     • AI 시스템은 이러한 지능을 더 많이 또는 더 적게 갖출 수 있는 에이전트(Agent)로 여겨짐.

  2. 인지과학 관점 (다중 지능 모델)

     • 인지과학은 지능이 단일 척도가 아닌, 여러 형태로 존재한다고 본다.
     • 이 지능들은 서로 trade-off 관계에 있을 수 있으며, 각 지능은 특정한 발달 과정을 가짐.
       예: 어린이는 탐구(exploration) 능력이 뛰어나지만, 능숙한 행동과 결정 능력은 부족함. 어른은 반대로 목표 달성에 능하지만, 탐구 능력은 상대적으로 줄어듦.
     • 인간 지능은 또한 문화적 전승(cultural transmission), 즉 세대 간 지식 전달에 크게 의존함.
       어린이는 이러한 학습에도 특히 뛰어나다.

• exploration과 transmission의 중요성

  • exploration의 관점: 어린이의 탐구 능력
    • 탐구(exploration)는 새로운 정보나 환경을 적극적으로 탐색하는 과정.
      이를 AI에 적용하기 위해, 강화학습(RL) 시스템이 내재적 목표(intrinsic objective)를 가지도록 설계할 수 있음.
      예: Empowerment gain이라는 목표를 사용하는 RL 시스템은 어린이와 비슷한 방식으로 환경을 탐구하도록 유도할 수 있음.
  • transmission의 관점: LLM의 역할
    • LLM이나 유사한 시스템은 전통적인 AI 에이전트와 달리, 문화적 기술(cultural technologies)로 볼 수 있다.
      이들은 인간처럼 독립적인 탐구를 수행하기보다는, 정보를 효과적으로 전달(transmission)하는 데 더 적합하다.
      예: 글쓰기, 그림, 인쇄와 같은 문화적 도구처럼, LLM은 지식과 정보를 축적하고 전달하는 역할을 합니다.

AI system은 exploration(어린이의 특징)와 transmission(문화적 기술)의 두 가지 측면에서 이해될 수 있다.
이를 통해 우리는 AI를 단순히 효용을 최대화하는 에이전트로 보는 것을 넘어,
탐구와 학습을 촉진하거나 지식을 전달하는 도구로 활용할 수 있다.
이러한 새로운 관점은 AI 연구와 설계 방향에 큰 영향을 미칠 수 있다.

---

Sepp Hochreiter

• Sepp Hochreiter(셉 호크리에터)는 오스트리아Johannes Kepler University Linz에서 머신러닝 연구소(Institute for Machine Learning)와 LIT AI Lab을 이끌며, ELLIS Unit의 디렉터를 맡고 있다.
  

  • LSTM(Long Short-Term Memory)의 창시자로, 딥러닝 역사에서 매우 중요한 인물로 평가됨
  • LSTM은 딥러닝의 대표적 모델 중 하나로, 특히 시퀀스 데이터(예: 언어, 음성) 처리에서 혁신적 기여를 함.
  • LSTM의 개념은 LLM과 같은 기술의 발전 기반이 되었으며, 이는 ChatGPT와 같은 시스템으로 이어짐.
  • Sepp Hochreiter의 회사 NXAI는 LSTM의 확장 버전인 xLSTM 같은 새로운 딥러닝 기술을 개발하고 있음

• Sepp Hochreiter는 기술적 변화가 basic(기초) → scale-up(확장) → industrial application(산업적 적용)의 3단계를 거친다고 설명.

  • 1단계: Basic Research(기초 연구)
    • 이 단계에서는 다양한 방법론이 실험적으로 탐구됨.
    • 예: AI 초기의 기본 개념과 이론 연구, LSTM 및 Transformer와 같은 모델의 창시 단계.
  • 2단계: Scale-Up(확장 및 대규모화)
    • 이 단계에서는 소수의 효과적인 기술이 선택되고, 이를 대규모로 확장하여 응용.
    • 현재의 AI에서 LLMs과 Transformer가 이 단계를 대표.
    • LLM은 지식을 표현하는 기술로 뛰어나지만, AI 자체를 근본적으로 발전시키지는 않았다는 한계가 있음.
    • 최근에는 상태공간 모델(State-Space Models)이나 순환 신경망(Recurrent Neural Networks, RNN)도 확장되고 있음.
    • 예: xLSTM은 Transformer보다 더 나은 성능을 보이는 경우도 있음
  • 3단계: Industrial AI
    • 지금은 산업 AI 단계로 전환되는 시기
    • 이 단계에서는 AI 기술을 실제 산업 응용에 적응시키는 것이 목표
    • 예: 로봇공학, 생명과학, 지구과학, 공학, 대규모 시뮬레이션 등.
    • 이 과정에서 AI는 단순히 데이터를 처리하는 도구를 넘어 산업적 가치를 창출하는 핵심 기술이 됨

---

Fei-Fei Li

• Fei-Fei Li는 중국계 미국인 컴퓨터 과학자(Chinese-American computer scientist)로,
  ImageNet을 설립하여 2010년대 컴퓨터 비전 분야의 급격한 발전을 이끌어낸 주요 인물.
  Li is a co-director of the Stanford Institute for Human-Centered Artificial Intelligence
  and a co-director of the Stanford Vision and Learning Lab.
  She served as the director of the Stanford Artificial Intelligence Laboratory from 2013 to 2018.
  

---

Lidong Zhou

• Dr. Lidong Zhou is a Corporate Vice President at Microsoft(MS의 기업 부사장),
  Chief Scientist of the Microsoft Asia Pacific R&D Group(MS Asia 태평양 R&D 그룹의 최고 과학자),
  and Managing Director of Microsoft Research Asia.
  

1. 현재 상황의 문제점:
   • AI의 발전 속도가 시스템 인프라의 성장 속도를 초과.
   • 기존의 시스템 설계 방식이 AI의 요구 사항을 충족하지 못하는 경우 증가.
2. 미래를 위한 시스템과 AI의 공진화:
   • 시스템 사고(Systems Thinking)와 핵심 원칙을 통해 새로운 방향을 모색.
   • 시스템 커뮤니티와 AI 커뮤니티가 공동으로 해결해야 할 대규모 과제(grand challenges) 정의.
3. 상호 성장의 비전:
   • AI는 시스템 설계를 더욱 지능적으로 만들어 효율성과 성능을 극대화.
   • 시스템은 AI가 초월적 수준의 성과를 달성할 수 있도록 지속적인 기반 제공.

• System과 AI는 서로를 강화하며 미래의 도전 과제를 해결하고 기술 혁신을 주도할 수 있는 공생적 성장(symbiotic growth)의 가능성을 제시.