2021년도 2학기부로 K대 일반대학원에 입학하게 되었는데, 장학금을 주는 학과전공 외 추가로 관심있었던 AI랩의 일원으로 함께하게 되었다. 지도교수님이 된 유학파 출신 L교수님의 인사이트는 가벼운 듯 하지만 곱씹을수록 뼈가 있어, 앞으로도 연구에 대한 나의 가치관 형성에 많은 기여를 할 것으로 보였다.
AI 관련 학회
다음은 주요 학회 일정에 관한 링크이다.
- https://aideadlin.es/?sub=ML,CV,NLP,RO,SP,DM
- https://www.usenix.org/conference/usenixsecurity22/call-for-papers
참고로, 교수님이 추천하는 학회 목록은 다음과 같다.
- 보안학회: S&P, CCS, NDSS, USENIX, etc.
- 인공지능학회: NeurIPS, ICLR, ICML, CVPR, AAAI, etc
요즘에 중국에서 물량공세를 엄청나게 한단다. ICML, AAAI같은 학술지엔 한 교수 밑으로 회당 100편씩 투고해서 10편실리고 한다고..
요즘 카이스트도 그런 전략을 펼친다고들 하는데.. 이 말을 듣고 나는 어떻게 받아들일지에 대해 잠깐 생각해봤다. 음악시장이랑 크게 다르지 않은 것 같아서랄까?
- 현실이 이런데 그 전략을 따라야하는게 아닐까? 국내 1위인 카이스트를 갈까?
- 교수님이 말한 감명받을 포인트들, 연구를위한연구(심사기준) 둘다 팔까?
연구를 위한 연구
오늘 했던 두 개의 발표 중 두 번째는 NDSS에서 발표한 추천 시스템(Recommendation System) 대상 데이터 감염 공격(Data Poisoning Attack)에 대한 내용이였다.
논문: Hai Huang, "Data Poisoning Attacks to Deep Learning Based Recommender Systems", NDSS, 2021
링크 : https://arxiv.org/pdf/2101.02644.pdf
이 논문의 마지막 저자이자 지도교수인 Mingwei Xu에 대해 언급하셨는데, 소속 대학인 칭와대를 비롯한 중국 학계 전체의 연구 문화에 대한 비판을 적지 않게 하셨다.
한 교수 이름으로 1년에 대략 AAAI 3편, NDSS 2편, KDD 3편 정도 규모의 논문이 Accept되는데, 탑 저널에 이만큼의 논문이 꾸준히 나오는 것이 대단하다고 생각할 수도 있지만, 다음과 같은 방식으로 굉장히 전략적으로 논문을 투고하는 경우가 많다고 한다.
- 새로운 기법을 2가지 썼음 (엄청 의미있진 않지만 reviewer들이 부정못하는거)
- 다음 3개의 reject되기 어려운 포인트를 반영했음
새로운 시도: recommandation system에 대한 data poisoning우수성 검증: 최적화 했는데 성능이 제일 잘 나왔음
(기존방법은 SOTA.. 기존 데이터 포이즈닝 중에서 가장 recommendation system에 성능안좋은걸 고른게 아닐까 하는 의문)기여: 새로운 recommandation system을 제안
Netflix Challenge가 끝난 시점에서 학계는 추천시스템에 대한 관심도가 떨어져 경쟁자도 별로 없었으며, AI쪽에서 투고를 했으면 분명히 reject 됐을거라고 한다.
(본 논문에서 투고한 학회는 NDSS이며, 분량적으로는 제일 길게 써야함)
- 제안 방법도 참신함/새로움(novelty)이 전혀 없고,
- 새로운 방법이란 것도 단순 한계 개선(Marginal Improvement)이고,
- NF(New Frontier: 미개척분야 <-> Old Frontier)도 전혀 아니라고.
배울점도 있다는 말씀 또한 하셨다.
" review라는건 criteria가 있으니까 이걸 잘 알고 투고하는 건 중요해요.
다만 이건 비유하자면 올림픽에 심사위원들의 심사기준을 알고
거기에만 맞춰서 공연하는 데 관중 입장에선 재미도 감동도 없는 느낌이죠. "" 반면 엄청 감명깊은 공연을 했지만 심사기준에는 안 맞아서 메달을 못따는 경우도 있겠죠? 그치만 평가는 보통 객관적 지표로 하니까 받아들이고 이를 고려하는것도 중요하긴 해요. " (이건 힙합이랑 다를게 없네요^^)
" 다시 말하지만 결론은 이 연구는
Recommending System에 대한Poisoning Attack이 기존에 시도되지 않았단 걸 알고 한거죠.
(어렵다기 보단 아무도 관심이 없었던 주제였다는 의미임.)
이것도 똑똑하긴 하죠. 그치만 연구를 위한 연구입니다, 세계인이 감명받을 만한 연구가 아니라. 그래서 학계에서 중국이 많이 까이는 겁니다. "
결론
이전부터 주변에서 중국 논문은 믿고 거르라는 말을 많이 들었다. 서로의 논문을 불필요하게 인용(cite)해서 좋은 논문으로 평가받기 위한 대표적인 지수인 citation 수를 높이고, 쉽게 accept되는 SCI 저널에 다수의 논문을 투고하는 물량공세를 통해 실적을 쌓아 학계의 질을 떨어뜨린다는 비판이였다.
앞서 말했듯 실질적으로 규모를 키우고 있으니 무조건 부정만 하는 것도 좋지 않은 자세같다. 하지만 내가 보아온 음악시장이 그러하듯, 기존 지표의 취약점만을 이용한 영혼 없는 새로움은 언젠가 시대의 변화에 한계를 드러내게 되는 것도 사실이다.
이러한 Trade Off를 잘 숙지하고, 중용을 잃지 않는 자세로 양쪽 모두의 Needs를 만족하는 훌륭한 컨텐츠를 세상에 내놓을 수 있도록 노력해야 겠다. 이상!
번외
발표자는 스티브 잡스 스타일로 발표를 하셨는데(슬라이드에 표 한장, 그림 하나만 크게), 교수님은 스티브 잡스가 프레젠테이션 스타일을 많이 망쳐놨다고 생각한다고 말씀하셨다.
Scientific한 발표에서는 개념, 가설, 실험 환경, 결과 검증 이런 상세 내용을 모두 발표자료에 명시해 주는 것을, 발표할 땐 그 중 핵심이 되는 내용만 읽는 형태로 설명해주는 것을 권장하셨다.
