떠오른 아이디어

• 그렇다면, 모델이 예측을 하고 그 예측 주변으로 한번 더 조정해주는 시스템을 구현해보면 어떨까?
• 모델이 예측을 한 번 뱉은 다음에, 그것을 조정해서 proposal을 만들거나 event관련해서 후처리하거나 등..
• 아래 논문과 같이 모델2개를 사용해서 distillation 방식으로 사용하거나 적절히 이용하는 방법도 생각해볼 수 있을 것 같다.

얻을만한 아이디어

• 경계가 명확하지 않는다는 문제점으로 시작해서 EMB를 이용한 것이 인상적 (Video Input에 dynamic하게)
• 앞으로 논문에도 Gaussian 분포로 soft하게 해주거나, input에 dynamic한 경계 설정을 좀 더 발전시켜서 넣는 것도 괜찮을 것 같다.
• 이전, 지금, 후 정보를 넣는 guided attention도 한 번 고려는 해볼만 한것 같다.
• 근데, 요즘은 saliency score도 3가지 loss를 모두 활용하고, moment도 IoU loss를 사용하는데 soft하게 어떻게 해줄지는 고민을 해봐야될 것 같다. (본 논문의 ablations에서 단순히 extend하는 건 오히려 성능이 떨어졌다는 말이 있고 gaussian 분포는 괜찮았다고했던 것 같다.)

Contribution

• Proposal Free 방식으로 Boundary 예측 + Proposal-based 방식으로 EMB 형성해서 더 유연하게
• Guided Attention으로 이전, 지금, 후 정보 반영

특이점

전체 아키텍쳐

• Alignment branch에서는 2D-TAN 구조로 가장 좋은 proposal 뽑아서 그걸 Pseudo boundary로 간주
• Bounding branch에서는 VSLNET 방식으로 start, end 확률 그래프 뽑아냄 (바로 Boundary 예측)
• 이때, guided attention을 써서 이전, 지금, 후 정보도 반영함
• EMB를 어떻게 쓰는지는 pseudo와 GT의 start 값 사이의 확률들을 전부 더해서 그것으로 CE loss를 돌림.