Sketch image data classification (1st 🏅)

• 2024.09.11 ~ 2024.09.26
• ImageNet Sketch 이미지 데이터 분류 ( project )
• 1st Prize 🏆
• Naver Connect

• Sketch이미지 분류 경진대회는 주어진 데이터를 활용하여 모델을 제작하고 어떤 객체를 나타내는지 분류

Leaderboard

Sketch 이미지 분류 대회에서 0.939의 acc로 1등을 할 수 있었다. 1등을 할 수 있었던 이유는 조원과의 지식 공유, 주기적인 회의, 다양한 시도였던 것 같다. 그 결과 대회의 순위 뿐만 아니라 목표였던 다양한 지식도 함양할 수 있었다. 또한 협업의 중요성도 느낄 수 있는 기회였다. 처음은 역할을 정하지 않고 서로 하고 싶은 도전을 하는 것으로 시작했다. 이 대회를 준비하면서 계획을 세우고 준비했고, 대회에 대한 강의도 준비되어 있었기 때문에 강의를 참고하면서 준비했다.

계획

1. CNN 기반 모델 실험

• 학습이 빠른 ResNet50으로 여러가지 시도를 하여 인사이트 제공

1. 처음은 전이학습의 필요성
   전이학습을 사용했을 때와 사용하지 않았을 때는 명확하게 차이났다. 학습 시간 뿐만 아니라 validation의 loss와 acc는 크게 차이났기 때문에 전이학습을 이용하는 것이 맞다는 판단을 했다.
2. 하이퍼 파라미터 설정
   learning rate, decay, epoch, batch_size 등 다양한 시도를 엑셀로 정리했다. 그 결과 대규모 모델에서 하이퍼 파라미터 설정에 시간을 줄일 수 있었다.
3. 증강 실험
   albumentations library를 사용하여 증강 실험을 했다. 지금까지의 경험으로 너무 많은 증강은 오히려 성능이 저하되는 경험을 하여 크게 진행하지 않았다.

# 정규화
A.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
# 50% 확률로 좌우 뒤집기
A.HorizontalFlip(p=0.5)
# 밝기 및 대비 조정
A.RandomBrightnessContrast(brightness_limit=0.2, contrast_limit=0.2, p=0.5)
# 색조, 채도, 명도 조정
A.HueSaturationValue(hue_shift_limit=0.2, sat_shift_limit=0.2, val_shift_limit=0.2, p=0.5)

위 4개는 고정으로 하고 증강을 추가하면서 실행을 진행했다. Sketch image는 밝기와 대비, 채도 등 의미없는 것이라 판단하여 실험을 해 본 결과 성능 차이가 없는 것으로 판단하여 제거하기로 결정했다. VerticalFlip, ElasticTransform, GridDistortion의 증강을 후보로 두기로 했다.

2. Backbone 모델 탐색 및 선정

• 모델 탐색
  Train image는 15,021개
  Test image는 10,014개
  많은 양의 image이기 때문에 VIT와 같은 대규모 모델을 찾고 있는 과정에서 Huggingface에서 기록되어 있는 eva 모델에 관심을 가지게 되어 모델을 활용해 보았다. 그 결과 높은 성능을 보여 eva 모델을 구체화 하기로 결정했다.
• CNN에서 가졌던 인사이트를 통해 하이퍼 파라미터 설정
  eva_large 모델에 하이퍼 파라미터를 설정하고 증강을 추가하면서 정확도를 개선하기 위해 노력했다. eva_large는 학습하는데 1 epoch 당 약 30분 이상의 시간을 할애했기 때문에 CNN의 결과를 기록하지 않았다면 더 많은 시간을 필요로 했을 것이다. 기록의 중요성을 상기할 수 있었다.

3. 강의 참고

강의를 시청하면서 필요한 내용이 있을 때와 없을 때의 차이를 느꼈다. 필요한 내용이 있을 때 강의를 시청했고 그 중 두 가지의 도움을 작성하고자 한다.

• 이론적인 부분이 이해 안 될때
  classification을 하면서 k-fold를 적용하고 싶었지만 이론에 대해서 구체적으로 배우고, 기능을 학습하고 싶었다. K-fold에 대한 지식을 배울 수 있었고, 실습 과제를 통해 구현 방법도 배울 수 있어 빠르게 적용할 수 있었다. 두 모델 모두 K-fold를 적용하여 정확도가 개선되는 것을 확인할 수 있었다.
  
• 더 이상 개선이 되지 않을 때
  모델의 개선이 더 이상 되지 않을 때 강의에서 다루는 voting에 관심을 가졌다. 우리는 Hard Voting과 Soft Voting에 관심을 가졌고, 경우의 수를 조합하여 Voting을 진행했다.
  
  그 결과 아래와 같은 결과가 나왔고, 높은 성능을 기록할 수 있었다.
  

위와 같은 계획으로 성공적으로 프로젝트를 마칠 수 있었고, 다양한 지식도 또한 습득할 수 있었다.

---

협업

project Timeline

프로젝트에서 협업은 정말 중요하다. 집단지성이라는 말이 있듯이 프로젝트의 완성도를 높이는 점이 매력이다. 또한 부족했던, 몰랐던 내용을 대화하면서 서로 더 깊게 배울 수 있는 것도 매력이라고 생각한다. 협업을 통해 프로젝트의 완성도 뿐만 아니라 지식도 배울 수 있어 매우 중요하게 생각하는 부분이기도 하다. 협업으로 하이퍼파라미터 튜닝, 문제 정의 및 해결, 앙상블을 진행했다.

하이퍼파라미터 튜닝

accuracy 개선하기 위해서 회의를 진행하여 최적의 값을 찾고자 했다.
1. EVA 02-large 모델 validation loss, accuracy 분석

• 초기 학습률 0.001은 EVA 02-large 모델에게 너무 큼을 알 수 있음
• 초기 불안정한 학습으로 수렴까지 오래 걸림 (epoch 30, 최종 성능 : 0.9310)
• 학습률이 0.1배 줄어드는 10 epoch 이후에 loss가 감소하고 accuracy가 증가함

2. Learning rate & Decay 조정 (step size 10 → 4)

• 학습률이 변경되는 시점 전후로 loss가 더 안정적으로 수렴
• Decay를 조절함으로써 더 빠르고 안정적으로 수렴 가능 (epoch 15, 최종 성능 : 0.9300)
• 학습률이 0.1배 줄어드는 4 epoch 이후에 loss가 감소하고 accuracy가 증가함

3. 다양한 하이퍼파라미터 변경 성능 테스트

• Decay 와 Decay step size 조정을 통해 모델을 더 빠르고 안정적으로 학습시킬 수 있음
  → 여러 Scheduler를 사용하고 Decay step size를 변경하여 성능 테스트
• 추가적으로 Fine-tuning layers 를 변경하여 성능 테스트
  
• 문제를 정의하고 새로운 Method 를 적용할 때, Decay 조절을 통해 모델을 효율적으로 학습
• Fine tuning-layers 가 Linear 단일 레이어일 때보다 MLP-3 : Linear-ReLU-Linear 레이어일 때 성능이 좋음
• Decay 조절을 통해 보다 효율적이고 안정적으로 학습할 수 있다는 것을 확인

---

문제 정의 및 해결(1)

accuracy는 0.90이상으로 높은 성능을 보였다. 나머지 0.1를 찾기 위해서 예측에 실패한 이미지를 시각화 했고 이를 해결하기 위해서 회의를 진행했다.

• (a) 사람도 두 클래스의 차이를 구분하기 어려운 이미지 존재
• (b) 수직 변환된 이미지에 예측에 대한 취약점 발견

결과

사람도 구분하기 힘든 클래스를 구분하기 위해서 많은 시간과 노력이 필요할 것으로 예상하여 이보단 (b)의 수직에 대한 취약점을 보안하기로했다. Vertical Flip를 적용하여 성능 향상에 도움을 주었다.

---

문제 정의 및 해결(2)

회의 하는 과정에서 Curriculum learning 기법을 알게 되었다. 수직뒤집기를 추가 했을 때 뒤집지 않는 데이터에 미세하게 예측 실패하는 등 문제를 보이고 있어 이를 보안할 수 있다고 판단하여 적용해 보기로 했다. 아래의 가설을 통해 Curriculum learning 기법을 적용하여 문제를 해결해 보고자 했다.

1. Sketch 이미지 데이터 특성에 따른 문제 정의 및 가설 설정 (1)
   단순한 정보를 가지고 있지만, 같은 클래스라도 다양한 변형 발생 가능
   초기 학습 단계에서 증강 없이 기본적인 패턴을 먼저 학습 하면, 모델이 데이터의 기본적인 윤곽선과 패턴을 효과적으로 파악 가능할 것이다.

2. Sketch 이미지 데이터 특성에 따른 문제 정의 및 가설 설정 (2)
   초기 학습 단계에서 복잡한 변형이 포함된 데이터를 학습 시, 모델이 패턴을 제대로 학습하지 못함
   초기 학습 단계에서 증강 없이, 학습 중반 이후 부터 수직, 수평, 회전 변환 등의 간단한 변환 적용

3. Sketch 이미지 데이터 특성에 따른 문제 정의 및 가설 설정 (3)
   데이터의 불규칙성과 디테일 부족으로 인해, 모델이 과적합 되거나, 다양한 변형에 잘 대응하지 못하는 것으로 예상
   Elastic 변형, Grid Distortion 등 복잡한 변형을 학습 후반부에 적용하면 모델이 구조적 왜곡이나 다양한 변형에도 강한 일반화 성능을 갖출 수 있을 것이다.

Curriculum learning

• 증강 없이 → 간단한 변형 → 복잡한 변형 순으로 학습
• 증강이 바뀔 때마다 Learning rate 를 낮춰 학습을 안정화 함

1. 초기 단계(0-5 에포크) : 증강X
   스케치 데이터의 기본 패턴을 학습하는 데 집중하기 위해, 증강 없이 모델을 학습
   모델이 처음부터 복잡한 변형 없이 데이터의 본질적인 특징을 파악할 수 있도록 도움
   

2. 중간 단계(5-10 에포크) : 수직/수평 뒤집기, 최대 10도 회전
   모델이 다양한 구도에 적응할 수 있도록, 수직/수평 뒤집기와 10도 회전 같은 간단한 증강을 추가
   이 단계에서 모델은 다양한 각도에서 동일한 클래스를 인식하는 법을 학습
   

3. 후반 단계(10-20 에포크) : 수직/수평 뒤집기, 최대 15도 회전, Elastic 변형, Grid Distortion
   모델이 복잡한 변형에 적응할 수 있도록 Elastic 변형과 Grid Distortion 같은 고난이도의 증강을 추가
   모델이 구조적 왜곡과 변형된 이미지에서도 학습할 수 있게 되어, 더 다양한 상황에서 일반화 성능이 향상
   

---

결과

• 증강이 복잡해질 때마다, 정확도가 떨어지고 다시 올라가는 과정에서 모델이 보다 복잡한 패턴 학습
• Decay를 조절하여 증강이 바뀌는 5 epoch 마다 Learning rate를 감소시켜 갑작스러운 변화로부터 학습 안정화
• 최종적으로 단일 모델 최고 성능 달성 ( 최종 성능 : 0.9370 )

Curriculum learning 기법을 적용한 것이 대회에서 1등할 수 있던 것 같다. 이전에는 Curriculum learning 기법을 알지 못 했고, 이 프로젝트에서 새로운 지식을 습득할 수 있었다. 조원과의 소통에서 문제에 다가가는 방법과 해결능력을 기를 수 있던 것 같다.

---

모델 앙상블

높은 test accuracy 모델들을 가지고 앙상블을 통해서 최종 제출 파일을 만들고자 했다.

1. Hard Voting, Soft Voting
   

2. Soft-Soft
   

3. Soft-Hard
   

4. Hard-Hard
   

5. 앙상블 성능표
   

• EVA 02-large-Linear, EVA-giant-Linear, EVA 02-large-curriculum-mlp-3 를 hard-hard 앙상블한 모델이 가장 좋은 성능을 보였다.
• Soft-Soft, Hard,Hard 앙상블 Method 모두 비슷하게 좋은 성능을 보였다.

---

결론

• 성능 높은 Backbone 모델을 설정하고 하이퍼파라미터 튜닝을 통해 최적화
• 최적화된 모델의 문제점을 파악하고 개선
• 최종적으로 성능 좋은 모델들을 앙상블하여 최종 결과 생성
• 최종 성능 (0.9390) (리더보드 1등)

1등을 할 수 있던 이유는 꾸준한 협업과 역할분담이라고 생각한다. 서로의 지식과 좋았던 성과를 공유함으로서 지식도 함양하며, 좋은 결과물이 탄생할 수 있던 것 같다. 꾸준히 소통하는 개발를 선호한다는 이유를 알겠다. 만약 개인으로 프로젝트를 진행했다면 전체적으로 프로젝트의 완성도는 현재와 비교했을 때 현저하게 낮을 것이라 생각한다. 앞으로도 꾸준한 소통으로 성장할 것이다.

내가 한 행동의 결과로 어떤 지점을 달성하고, 어떤 깨달음을 얻었는가?

• 의미없는 시도는 없다는 것을 알게 되었다. 블랙박스라는 말이 있는 것처럼 내부 동작 방식에서 명확하게 해석할 수 없기 때문에 사람의 생각으로는 이게 왜 되는 거지? 라는 생각을 가질 수 있지만, 그 행동이 모델의 개선에 영향을 줄 수 있다는 것을 배웠다.

전과 비교하여 새롭게 시도한 변화는 무엇이고, 어떤 효과가 있었는가?

• 좋았던 모델이 있으면 그 모델로 유지 했다. 이번에는 좋은 모델이 있지만 학습에서 많은 시간이 필요한 모델보단 빠르게 많은 시도를 할 수 있는 모델을 선택하자는 마음으로 Giant에서 한 번 좋은 성적을 만들고, Large모델을 사용하여 다양한 시도를 했다. Giant보다는 Large모델은 결과가 좋지 않았다. 하지만 커리큘럼이라는 기능을 적용한 Large는 Giant보다 결과가 좋은 것을 배웠다. 잘못된 확신은 성장에 좋지 않은 요소가 될 것 같다.

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

• 정확도가 더 이상 미세하게 변화만 있었다. 문제를 해결하기 위해서는 모델 변경이나 알고리즘을 바꿔서 테스트를 해야 했다. 하지만, 시간이 없어서 다양한 시도를 못 한 것이 아쉽고, Giant모델을 애정 했었기 때문에 이를 더 다뤄보고 싶었는데 못 한 것이 아쉽다. 또한 Giant모델의 npy파일을 만들지 않아서 soft voting을 하지 못 한 것이 아쉽다.

한계/교훈을 바탕으로 앞으로의 계획

1. 체계적인 계획을 세워 시간이 부족하지 않도록 준비하는 것
2. 모델을 활용하기 위해서 모델에 대한 데이터(pt, npy)를 사전에 저장해서 빠르게 활 것
3. 기록을 제대로 못 한 것이 아쉽기 때문에 처음부터 정리하여 기록하기

참고

• git
• 보고서