목표

• 경기장 이미지에서, 최소 4개의 코너점을 찾도록 학습시키기

접근 방식

기존 방식이 어떻게 했는지 확인

• dataset을 그대로 활용해야만 함
• 풋살장에도 적용할 수 있을까?
• 
• 라벨링을 한 후, 이미지를 640 by 640으로 변경했음

1. 몇장의 데이터가 필요한지 직접 확인

• 몇장이 필요한가?
  • 255 / 34 / 32
• 어느정도의 시점 변환이 존재하는가?
• 데이터 자체가 640 by 640
• 라벨링? (TODO: 아래 정보 확인 필요)
  • (가시성, x좌표, y좌표)
  • 여기서 0과 1 사이의 값은 이미지 크기 대비 비율로 해석된다.

2. 데이터 모으기 계획

• 낮 데이터 모으기
• 밤 데이터 모으기
• 여러 각도에서 모으기

3. 직접 라벨링하고, 학습시키는 파이프라인 공부하기

• https://docs.roboflow.com/annotate/annotation-tools
• https://docs.roboflow.com/annotate/use-roboflow-annotate/annotate-keypoints
• https://blog.roboflow.com/train-a-custom-yolov8-pose-estimation-model/
• https://docs.ultralytics.com/tasks/pose/

4. football dataset 분석

• trains
  • images
  • labels

<class-index> <x> <y> <width> <height> <px1> <py1> <p1-visibility> <px2> <py2> <p2-visibility> <pxn> <pyn> <pn-visibility>

• 이 데이터셋에는 317개의 이미지가 포함되어 있습니다.

• Football-field-detection 데이터는 YOLOv8 형식으로 주석이 달렸습니다.

• 각 이미지에 다음과 같은 전처리가 적용되었습니다:

  • 픽셀 데이터 자동 방향 조정(EXIF 방향 정보 제거)
  • 640x640 크기로 리사이즈(스트레치 방식)

• 이미지 증강 기법은 적용되지 않았습니다.

Auto-orientation of pixel data

• Auto-orientation of pixel data (with EXIF-orientation stripping)는 이미지의 방향을 자동으로 조정하는 과정으로,
• 이미지를 카메라나 휴대폰으로 촬영할 때 발생하는 EXIF 메타데이터를 제거하는 것을 의미
• 이를 이해하기 위해서는 EXIF 메타데이터와 이미지 방향 문제에 대해 알아야 합니다.

요약

• EXIF 메타데이터는 이미지의 방향을 비롯한 여러 정보를 포함하는 메타데이터
• Auto-orientation은 EXIF 방향 정보를 기반으로 이미지를 올바른 방향으로 자동 조정하는 과정
• EXIF-orientation stripping은 조정 후 EXIF 메타데이터의 방향 정보를 제거하여, 이미지가 항상 올바른 방향으로 표시되도록 보장하는 작업입니다.

1. EXIF 메타데이터란?

• EXIF(Exchangeable Image File Format) 메타데이터는 카메라로 촬영된 이미지에 포함되는 추가 정보입니다. 여기에는 다음과 같은 정보들이 포함될 수 있습니다:

• 카메라 모델

• 촬영 날짜와 시간

• 렌즈 정보

• 노출 시간, ISO 감도 등 카메라 설정

• 이미지 방향 정보

• 이미지 방향 정보는 사진을 찍을 때 카메라가 수직으로 회전했는지, 가로 방향으로 촬영했는지를 나타냅니다.

• 즉, 카메라가 이미지의 상하좌우를 기록하는 방식에 따라, 이미지가 올바르게 표시되기 위해서는 이 EXIF 정보가 필요합니다.

2. EXIF 방향 문제

• 사진을 찍을 때 카메라가 물리적으로 회전하면, 이미지 파일 자체는 기본적으로 '가로' 상태로 저장됩니다.
• 하지만, 카메라는 이미지에 EXIF 방향 정보를 기록하여 "이 이미지는 오른쪽으로 90도 회전된 상태로 보일 것이다"와 같은 지시를 남깁니다.
• 그러나 모든 소프트웨어가 EXIF 방향 정보를 처리하는 방식이 다릅니다.
• 일부 프로그램이나 웹 브라우저는 이 EXIF 정보를 무시하고, 결과적으로 이미지를 잘못된 방향으로 표시할 수 있습니다.
• 예를 들어, 세로로 찍은 사진이 가로로 뒤집혀서 표시되는 문제가 발생할 수 있습니다.

3. Auto-orientation (자동 방향 조정)

• 이 문제를 해결하기 위해, Auto-orientation은 이미지에 포함된 EXIF 방향 정보를 기반으로 이미지의 실제 픽셀 데이터를 재조정하여 올바른 방향으로 자동 수정하는 과정을 말합니다.
• 즉, EXIF 메타데이터를 참고해서 이미지의 내용을 실제로 돌려놓는 작업입니다.

4. EXIF-orientation stripping (EXIF 방향 정보 제거)

• 이미지를 올바른 방향으로 자동 조정한 후, EXIF 메타데이터의 방향 정보를 더 이상 필요로 하지 않기 때문에 이를 제거(stripping)합니다.
• 이렇게 하면 이후에 이미지가 어떤 프로그램에서 열리더라도, 더 이상 EXIF 방향 정보에 의존하지 않고 항상 올바른 방향으로 표시됩니다.

5. futsal 라벨링 포멧 결정

• 정했음

6. 전체 과정 정리

• https://velog.io/@hsbc/keypoint-detection-전체-과정-정리

7. 비디오에서 frame 가져오기

8. 라벨링 해보기

9. 학습 돌려보기

• tensorboard 등으로 학습이 잘 되고 있는지 파악하게 만들기
• train / validation / test set 적용하기