목차

1. "골 장면 추출" 문제 정의

• "골 장면 추출" task에는 어떤 고려사항이 있을까?
• 고려사항을 전부 반영할 수 있는 접근법을 선택해야 한다.

2. 어떤 video task 로 정의하고 해결하는게 적합할까?

• video task 종류 소개
• 그 중, "골 장면 추출"문제를 풀기에 적합한 video task 선택(나는 action classification이라고 생각함) 및 선택의 이유 공유

3. 골장면 추출을 위한 2가지 딥러닝 기반 접근 방법 소개

• 결국은 action classification task를 풀기 위해, 남이 잘 학습시켜놓은 pre-trained model에 fine-tuning을 하는게 좋아보인다.
  • 왜냐? 우리는 축구 골 데이터 개수가 적으므로
• 접근 방법 2가지
  • image Foundation Model을 가져다 쓰고, fine-tuning하는 방법
  • Video Foundation Model을 가져다쓰고, fine-tuning하는 방법
• 위 2가지 방법의 장단점을 소개

4. (~24.3) Video Foundation Model 연구 동향 소개

• Video Foundation Model 연구 동향 소개
• 어떤 opensource 코드를 선택해서 쓸 것인지, 그리고 그 이유는 무엇인지 소개

5. (25.1) 최신 논문 소개

6. 앞으로의 진행 계획 (시간순서대로 나열했음)

최종 논문 공부

• Video Foundation model 최신 연구 중, 중요한 8편 공부

실험

• action classification task 문제를, 아래 접근 방법 2가지를 전부 구현해서 실험해볼 게획
  • image Foundation Model을 가져다 쓰고, fine-tuning하는 방법
  • Video Foundation Model을 가져다쓰고, fine-tuning하는 방법
• 논의
  • Video LLM 기법은 too much 접근법이라고 생각하는데, 어떻게 생각하는지? (fine-tuning 관점에서 쉽지 않을 것 같다..?)