AI Tech 2기 level2 p-stage [CV] object detection 리포트
🧾 대회 간단 개요
재활용 품목 분류를 위한 Object Detection
💾 데이터 : 길거리에 버려진 쓰레기가 포함된 사진
🔖 class : [General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing]
📌평가 방법 : mAP50
🎯 프로젝트를 수행하면서 설정한 개인 목표
- 실전과 같은 팀 프로젝트 연습
- 가설을 바탕으로 실험 후 결과를 도출하여 인사이트 형성
📝 목표 달성을 위한 계획
- 팀 회의를 통한 방향 설정, 프로젝트 구성
- 파트별 분업 후 공유를 통한 시너지
- 활발한 discussion을 통한 가설 설정 후 검증
📈 시행착오
협업
- 모든 구성원이 회의하여 방향 설정 및 프로젝트 구조를 설계하려고 했으나 수업과 동시에 진행되는 이번 프로젝트 특성 상 수업 이해도, 코드 이해도 등 여러 부분에서 속도차이가 발생
- 때문에 나의 성향이 너무 많이 반영되었는데 코드 재사용성, 구조화, 결과 기록 방법, github discussion을 통한 가설 기록 관리 등 효율적인 구조를 만들었다고 생각했지만 다른 문제가 있었음
- 비 전공자와 같이 수행하는 프로젝트 특성 상 GIT사용법이나 코딩자체에 어려움을 느끼는 조원이 있는데 촘촘한 프로젝트 규칙과 높은 재사용성을 요구하는 코딩을 버거워 했고 결과적으로 자신감이 하락하고 의견 표출이 줄어들어 커뮤니케이션 자체가 줄어드는 악순환을 만들었다.
- 실예로, 조건에 따라 라벨링된 이미지나 오브젝트들을 시각화 해주는 코드를 조건별로 새롭게 코딩하여 사용하는 상황이 생겨 pandas 문법을 활용해 범용적으로 쓸 수 있는 viewer를 개발하여 배포하였다. 하지만, 사용법을 물어보는 것 조차 어려워하는 분위기가 형성되어 내가 만든 프로그램을 잘 쓰고있는지 확인이 되지 않았다.
너무 완벽한 코딩이라 물어볼 필요조차 없었길 바랄 뿐이다... - 그밖에 효율성을 높힐 많은 프로그램을 개발했지만 잘 썼는지는 아직도 모른다.
- 추가적으로, 나는 코드리뷰가 매우 중요하다고 생각하여 pull request마다 적극적으로 피드백을 하는데 틀린 코드라 생각되는 것도 내가 생각하지 못한 다른 의도가 있을 수 있다고 생각해 왜 이렇게 작성되었는지 반복적으로 물어보게 되었는데 단순 실수를 반복적으로 언급하는 느낌이 되어 굉장한 압박이였다는 피드백을 받았다...
😭 미안해요... - 이번 프로젝트는 조 구성 후 서로를 알아갈 시간이 없이 바로 진행되어 특히 시행착오가 많았던 것 같다. 다음 프로젝트에서는 이런 점을 적극 고려할 것이다.
그래도 pull request와 discussion 기록을 보면 노력했다는게 보여서 만족 스러웠다.
모델 개선
- 제한된 제출 횟수를 보완하고 자체 평가 지표로 삼을 valid data set을 성공적으로 구성하여 실제 리더보드의 점수를 잘 반영하는 지표를 얻었다.
- 사용할 수 있는 모델들을 grid search하여 후보를 압축했는데 SOTA가 짱이였다. (Swin transformer, UniverseNet 채택)
- 결론적으로 Swin transformer에 argumentation을 적용한게 단일 모델 최고 성능을 찍었다.
- Swin transformer(argumentation) + UniverseNet을 앙상블하여 최종 제출했다.
결론
여러 실험들이 유의미한 성능 향상은 커녕 성능 하락이 일어나기도 하여 모델 개선 분량이 적은데 그 이유를 분석해보려고 한다.(자세한 실패기는 팀 리포트에)
1. 이번 대회 데이터 특성상 Object Detection 테스크에 맞게 잘 정제된 데이터가 아니였다. 때문에 대부분의 시도가 유효하지 않았다.
2. 무언가 개선해 보려고 해도 기승전 데이터문제가 되버려서 여러 시도를 해보기해 좋은 데이터셋은 아니였던 것 같다. 아무리 여러 경험이 중요하다지만 배울떄는 잘 정제된 데이터로 배우게 해줘요...
3. 우리는 단일 모델 최고 성능이 나왔던 Swin transformer를 바탕으로 여러 기법들을 적용했는데 상술했듯이 결과가 좋지 않았다.
4. 최상위권 솔루션이나 다른 팀을 봐도 여러 시도들의 결과가 좋지 못해 분위기가 전반적으로 다운되어 있음을 알 수 있었다.
5. 대회 중간중간 언급되었던 mAP metric의 한계 역시 의욕을 꺽는데 한목했다.
(우측이 더 점수가 높은건 아직도 용납이 안된다.)
6. 그래도 여러 악조건 속에서 5등이라는 결과는 만족스러웠다.
p.s 그 와중에 앵커박스 커스텀에 성공하여 큰 점수향상을 이룬 팀, 특정 모델에 한해서라도 추가 성능향상을 이룬 팀등 괴물들은 존재했다.
reference
네이버 커넥트재단 - 재활용 쓰레기 데이터셋 / CC BY 2.0
