0. 글 5줄 요약

• input/output을 어떻게 정의했는지, 내 깊은 고민이 들어가 있으니 한번 읽어봐주시면 감사!
• 득점 장면 중, (공이 너무 빠르거나 골기퍼가 가려서) 골대에 공이 들어간 장면이 안보이는 경우도 -> 네트워크가 골로 판단할 수 있도록 개발 희망.
• 경기 중간에 부상을 입어서 잠시 경기 중단되었을 때, 사람들이 슈팅 연습하는 골 장면은 네트워크가 자동으로 노골로 판단해주는 네트워크 개발 희망
• 카메라 1대로도, 가까운 골대와 먼 골대 모두의 골을 잡아내는 네트워크 개발 희망
• 득점자가 누구이고, 도움자가 누구인지까지 자동으로 판단하는 것은 이번 문제 정의에서 제외

1. input/output 정의

• input
  • 카메라 1개에서 촬영한 비디오
    • 아래 type 들 중 어떤 방식으로 넣어주든 상관없이, 잘 되는 방법을 찾아 고르면 됨
      • 쿼터당 video 여러개든,
      • 쿼터 당 video를 더 짧은 clips로 쪼갠 후, 여러 clip videos를 넣든
    • 고려 사항 (연산량과 성능 사이 최적점 선택 중요)
      • 적절한 해상도 선택 중요
        • 많은 video foundation model이 pre-train시 사용한 224 by 224 사이즈로 우리 축구 영상을 줄여보니, 나조차도 공이 잘 안보임
      • 적절한 fps 선택 중요
  • (Optional) 촬영한 비디오의 오디오
• output
  • 아래 format 중 아무거나 (1번, 2번이 좋아보임)
    • 1번: 골이 골라인을 넘어가는 시각 (짧은 n초 정도의 오차는 있어도 무관)
    • 2번: 짧은 clip이 goal 인지 아닌지 판단하는 score 점수
    • 3번: 골 장면 시작시각, 끝시각 (개인적으로는 비추)
      • 참고로 골장면은 시작시각, 끝시각을 정의하는게 무척 어렵다.
      • 내가 쥐어짜내서 생각해본 정의는 아래와 같다.
        • 시작시각: 골이 골라인을 넘어가는 시각
        • 끝시각 : 골이 골라인을 넘어간 후, 공을 골대 밖으로 뺴내는 시각(골라인을 다시 빠져나오는 그 시각)
  • 참고사항
    • 먼 골대던 가까운 골대던 하나의 카메라로 골 장면을 전부 찾아낼거야

2. 골 장면 검출의 어려운 점

• 득점 장면 중, 공이 골대랑 겹쳐지는 frame이 아예 없는 경우도 가끔 있다.
  • 예: 골키퍼가 공을 가림 + 총알 같은 슈팅이 그물을 뚫고 공이 나가버림 등등
  • 예: 가끔 촬영할 때, 설치된 카메라가 충격에 의해 위치가 바뀌어서, 골대 일부가 촬영 화각에 들어오지 않는 경우가 있음
• 또한, 경기 중간 중간 잠시 누가 부상 당했을 떄, 사람들은 슛팅을 연습을 하면서(e.g. 효원님) 노는 경우가 있어서, 이 장면도 자동으로 걸러내야 합니다.

3. 나의 개인적 희망사항 목표

• 골이 아닌 장면이 최대한 포함되지 않는 방향으로 가고싶다. (사람들의 만족도를 위해)
  • 이유: 경기 하이라이트와 골 하이라이트는 다른 문제정의이고, 각각의 영상에 대해 사람들이 기대하는 바도 다르다.
  • 데이터가 확보될 수록 계속해서 성능이 좋아질 수 있는 방향으로 가야한다.
• 카메라 설치 위치/높이에 최대한 의존하지 않는 "골 장면 추출" 알고리즘을 개발하고 싶다.
  • 이유: 나는 최대한 우리가 덜 고생하는 방향으로 사람들에게 하이라이트를 제공하고 싶음.
    • 카메라를 항상 2개 설치해야 한다거나, 특정 높이나 각도를 무조건 맞춰야 한다던가가 나에게는 귀찮음으로 다가옴!
    • 매번 완벽하게 세팅할 순 그럴순 없어도, 골 하이라이트 장면은 늘 사람들에게 제공해주고 싶어!

4. 개인적 최종 결론

• 결론
  • 골 하이라이트 검지 알고리즘을 강건하게 만들려면, 아래의 요소들을 전부 종합적으로 다 고려해야 합니다.
    • 1 공의 위치와 골대의 위치
    • 2 득점 후 맥락을 고려해야 함: 골이 들어간 후, A팀과 B팀이 자기 자신의 진영으로 돌아가면서, 공을 경기장 중앙에 놔두는 모습(다만, 가~끔 공을 경기장 중앙에 두지 않고 재시작 하는 경우도 있음)
    • 3 골이 들어가면, 사람들의 표정이 바뀔 수도 있고, 음성으로 환호성을 외치는 경우도 종종 있음
• 2,3 번 정보를 이용하면, 카메라 반대편 골대의 득점 장면도 충분히 찾아낼 수 있을 것으로 판단됩니다.