비디오에서, 골 장면 추려내기

브레인 스토밍

• action recognition in video 기법을 써서, 골대 안에 공이 있는 장면 추출해내기.
• video retreival 기법을 써서, 골대 안에 공이 있는 장면 추출해내기.
• 공이 골대 안에 있는 데이터 셋을 내가 만들어서, 학습시키기.
• 공을 tracking해서, 내가 표시한 사각형(골대) 안에 들어가는지 체크하기.

나는 비디오에서, goal 장면을 어떻게 유추하는가?

브레인 스토밍

• 득점 한 선수가 슛을 하는 것을 봄
  • 공을 골대 안으로 차지 않아도, 상대 선수 맞고 들어갈 수도 있다.
  • 슛을 패스처럼 약하게 할 수 있잖아?
• 슛한 공이 골대 안으로 들어가는 것을 봄
  • 가까운 쪽 골대:
    • 공이 크게 보임.
    • 공이 골대 안으로 들어가는 과정을 확인 가능.
    • 공이 골대 안에 들어가 있는 것은 확인 불가.
  • 먼 쪽 골대
    • 공이 작게 보임.
    • 공이 골대 안으로 들어가는 과정을 확인 가능.
    • 공이 골대 안에 들어가 있는 것도 확인 가능
• 공이 골대에 들어간 후
  • 사람들이 외치는 소리가 평소와 다른데, 그것으로 판단하는 경우도 많음.
  • 골 넣은 팀의 행동이 평소와 다른데(하이파이브 등) 그것으로 판단.
  • 골 먹힌 팀의 행동이 평소와 다른데, 그것으로 판단.

중요 정보

• 공의 궤적. (가장 중요)
• 골대의 위치. (가장 중요)
• 팀 A, 팀 B 구분.
• 소리 데이터.
• RGB 이미지 그자체.

논문 서칭

An automated system for generating tactical performance statistics for individual soccer players from videos

• 좋은 논문
• https://ieeexplore.ieee.org/ielaam/76/9346111/9044306-aam.pdf
• 논문 1: 2020, 18회 인용
• 

abstract

• 비디오에서 여러 선수의 팀을 감지하고, 추적하며, 분류하고, 공을 제어하는 선수를 식별할 수 있는 자동 시스템을 제안
• 이 시스템은 선수에 대한 세 가지 매우 중요한 전술 통계를 생성
  1) 공 소유 지속 시간,
  2) 성공적인 패스 수,
  3) 성공적인 스틸 수.
• 이는 다음과 같이 컨볼루션 신경망(CNN)을 훈련하여 수행됩니다:
  • (a) 필드에서 선수를 찾아내고 추적하기,
  • (b) 감지된 선수의 팀을 분류하기,
  • (c) 공을 제어하는 선수를 식별하기,
  • (d) (a), (b), (c)에서 추출된 정보를 모아 선수의 통계를 생성하기.
• 특정 축구 경기에서 학습된 특징들이 다른 축구 경기에 일반화되지 않는 문제를 극복하기 위해,
  • 이 논문은 최소한의 경기별 주석과 데이터 증강을 제안하며,
  • 정확도를 높이기 위해 심층 컨볼루션 생성적 적대적 네트워크(DCGAN)의 변형을 사용
• 실험 결과와 탈락 연구는 제안된 접근 방식이 정확도와 처리 속도 측면에서 최신 접근 방식을 능가한다는 것을 보여줍니다.

AI-Based Video Clipping of Soccer Events

• 해당 논문을 인용한 논문들을 찾아보자.
• 2021, 8회 인용
• 

abstract

• 이 논문에서는 로고 전환 감지, 장면 경계 감지 및 선택적 장면 제거를 사용하여 하이라이트 생성 과정을 자동화
• 우리는 다양한 신경망 아키텍처를 다른 데이터 세트에 적용하는 다양한 접근 방식을 실험하고, 골 이벤트를 추출하기 위한 적절한 시간 간격을 자동으로 찾는 두 모델을 제시합니다.
• 이러한 모델은 양적 및 질적으로 평가되며, 결과는 우리가 로고 및 장면 전환을 높은 정확도로 감지하고 시청자에게 매우 수용 가능한 하이라이트 클립을 생성할 수 있음을 보여줍니다.

MMSys’22 Grand Challenge on AI-based Video Production for Soccer

• 좋은 논문
• 2022, 5회 인용

abstract

• 이벤트 탐지는 주석 처리와 분류, 적절한 클리핑, 짧은 설명 생성, 하이라이트 클립에 적절한 썸네일 선택 및 마지막으로 이벤트 하이라이트를 전체 게임 요약으로 결합하여 스포츠 뉴스에서 흔히 방영되는 것과 유사하게 강화되어야 합니다.
• 이벤트 태깅 작업이 지금까지 가장 많은 관심을 받았지만, 엔드투엔드 비디오 제작 파이프라인은 또한 축구 분석 자동화의 전반적인 목적을 수행하는 다양한 다른 작업을 포함합니다.
• 이 도전은 AI를 사용하여 이러한 제작 파이프라인의 자동화를 지원하는 것을 목표로 합니다.
• 특히, 이벤트가 탐지된 후에 이루어지는 향상 작업에 초점을 맞추고 있습니다.
• 즉 이벤트 클리핑(작업 1), 썸네일 선택(작업 2), 게임 요약(작업 3)
• 도전 웹사이트: https://mmsys2022.ie/authors/grand-challenge."

Soccer Game Summarization using Audio Commentary, Metadata, and Captions

• 게임 요약을 텍스트로 제공하는 논문
• 

abstract

• 이 작업의 목표는 AI를 사용한 자동화된 축구 경기 요약 파이프라인을 생성하는 것입니다.
• 특히, 우리의 초점은 원시 게임 멀티미디어, 그리고 적용 가능한 경우 게임 메타데이터 및 캡션을 기반으로
  • 길이 제한이 있는 연속 텍스트 형식으로 완전한 게임 요약을 생성하는 것
• 이를 위해 자연어 처리(NLP) 도구와 휴리스틱을 사용합니다.
• 우리는 여러 축구 데이터 세트를 큐레이트하고 확장하고,
• 텍스트 요약의 자동 생성을 위한 엔드투엔드 파이프라인을 구현하며,
• 이 파이프라인 내에서 다양한 입력 모드를 사용한 다양한 요약 방법의 비교 분석으로부터 초기 결과를 제시하고,
• 자동화된 게임 요약 분야의 개방된 도전 과제에 대한 논의를 제공"

나중에 필요하거나, 아쉬운 논문들

Deep soccer analytics: learning an action-value function for evaluating soccer players

• 2020년
• 78회 인용

abstract

• 이 연구에서는, 플레이별 이벤트 데이터로부터 축구의 모든 유형의 행동을 평가하는 새로운 접근 방식을 개발
• 우리의 접근 방식은 딥 강화 학습(DRL) 모델을 사용하여 행동 가치 Q-함수를 학습
• 우리가 알기로, 이것은 축구 행동의 포괄적 집합에 대한 DRL 방법을 기반으로 한 첫 번째 행동 가치 함수
• 우리의 신경망 구조는 연속적인 게임 컨텍스트 신호와 플레이 내 순차적 특성을 홈팀과 원정팀을 위한 두 개의 쌓인 LSTM 타워로 적합
• 모델 성능을 검증하기 위해, 학습된 Q-함수의 시간적 및 공간적 투사를 보여주고, 다양한 게임 컨텍스트에서 데이터 적합성을 연구하기 위해 보정 실험을 수행
• 우리의 새로운 축구 골 임팩트 메트릭(GIM)은 학습된 Q-함수에서 값들을 적용하여, 선수의 전체 시즌 동안의 행동들의 총 영향 가치로 선수의 전체 성능을 측정
• 영향 가치를 해석하기 위해, 게임 특성 중 가장 영향력 있는 요소를 찾기 위해 모방 회귀 트리가 구축
• 우리의 GIM 메트릭을 적용한 예로, 우리는 영국 축구 리그(EFL) 챔피언십의 선수들을 순위 매기는 사례 연구를 수행
• 경험적 평가는 GIM이 시간적으로 안정적인 메트릭이며, 축구 성공의 표준 측정값과의 상관 관계가 다른 최신 축구 메트릭으로 계산된 것보다 더 높다는 것을 나타냅니다.

Decomposing the immeasurable sport: A deep learning expected possession value framework for soccer

• http://www.lukebornn.com/papers/fernandez_sloan_2019.pdf
• 151회 인용

abstract

• 이 논문에서는 경기장에서 즉각적인 가치를 측정하고 밝히는 그러한 모델을 개발
• 구체적으로, 우리는 소유권의 모든 순간에서 예상되는 결과를 정량화하며,
  • 이는 경기장에서의 22명의 선수들의 전체 공간-시간적 특성뿐만 아니라
  • 공 드라이브, 슛, 또는 어떠한 위치로의 패스의 잠재적 가치에 대한 세밀한 평가에 의해 주도됩니다.
• 우리의 목표는 농구에서의 예상 소유 가치(EPV) 접근 방식과 유사하지만,
  • 축구에 대한 우리의 초점은 아래 3가지을 고려하기 위해 극적으로 다른 접근 방식을 필요로 합니다.
    • 소유의 느슨한 개념,
    • 패스와 드라이브가 어떤 위치에서든 일어날 수 있다는 점, 그리고
    • 공간-시간에 따른 볼 소유권 평가 등 스포츠의 미묘함
• 또한, 모델은 시각적 및 정량적 게임 상황 분석을 위한 훌륭한 해석력을 제공하는 분리된 방식으로 설계되었습니다.
• 특히, 공간-시간 전술의 복잡한 미묘함을 포착하기 위해 딥러닝 기반 구성 요소 모델이 구축되며, 고급 확률 과정 모델은 각 구성 요소 모델을 일관되고 해석 가능한 방식으로 결합합니다.
• 다음 섹션에서는 모델의 기술적 특성에 대한 설명을 제시한 다음, 논문의 나머지 부분에서는 패스, 비공 상태에서의 가치 창출 및 분배, 그리고 팀 및 선수 수준 의사결정에 대한 매우 상세한 평가를 다루는 여러 실용적 응용 사례를 보여줍니다.