[NeurIPS 2024] Adaptive Depth Networks with Skippable Sub-Paths

4학년 1학기 RISE라는 과목을 수강하고 있는데RISE는 학부연구생을 위해 한학기 동안 짧은 연구를 진행하는 수업이다.나의 연구 주제는 object detection task를 위한 efficient CNN을 개발하는 것.요즘 AI model들의 덩치가 커지고 있다.

RetinaNet-ADN을 Self Distillation하기 위해서여러 loss function들을 정의하여 실험하였고,hyper parameter setting에 대해서도 많은 실험을 진행하였다.Experiments :Github repository에 README.

탑티어 학회 참석이 처음이라 가서 어떤 것을 보고 듣고 올지를 준비해서 가야겠다...우선 어떤 이벤트들이 있는지 확인해보자https://neurips.cc/virtual/2024/calendar?filter_events=&filter_rooms=특정 커뮤니티나

연구의 최악은 high input low reward.Tier-1 paper는 high rewardlow input high reward면 좋지만, high input high reward도 좋음.high reward일수록 좋음예를 들어, Attention is all