13주차

Day 1. Monday

✏️ 복습

• data-centric AI란
  https://velog.io/@kupulau/Data-Centric-AI

🙌🏻 Peer Session

• EDA 및 1차 가설 설정

• 해야할 태스크 설정 및 역할분담

• 데이터 포맷 변경 (UFO → ICDAR or COCO?)

• OCR 태스크 관련 참고 블로그

• 학습 속도 높이는 방법 찾기

• baseline 학습 결과 보고 오류 분석

• cvat에서 bbox 확인하기 (autolabeling 기능도 있음!)

• 리라벨링 가이드라인 정하기
  • 특수문자?
  • 띄어쓰기?
  • 투명하게 비쳐지는 글자?

Day 2. Tuesday

✏️ 복습

• Optical Character Recognition
  https://velog.io/@kupulau/Optical-Character-Recognition

🙌🏻 Peer Session

• SAM-OCR 을 이용하면 auto-labeling할 수 있다?
• 1차 가설 baseline inference 후 결과 확인 & 분석
• 낙서, 그림, 로고, 특수문자 지우기
• 추후 실험 계획 : 배경 제거, 디노이징, Super Resolution, 생성 모델, 그림자 효과, 외부 데이터셋 추가
• train set과 test set이 너무 비슷해서 augmentation할 필요가 없어보임
• 기울어진 영수증에 대한 bbox 처리 방안?
  → UFO에서는 기울어진 것도 처리하는데, COCO로 변환하는 과정에서 기울기 정보가 소실됨. ICDAR을 활용하면 기울어진 bbox를 처리할 수도 있음
• :(콜론) 등에 쳐진 작은 bbox는 학습에 방해될 가능성이 크므로 삭제

Day 3. Wednesday

✏️ 복습

• Dataset
  https://velog.io/@kupulau/Dataset

🙌🏻 Peer Session

• 리더보드 활성화 → 결과 내보면서 앞으로의 전략 세우기
• 1st relabeling 성공 (특수 문자 선 없앤 것 : F1 score가 잘 나옴)
• augmentation issue
  • bbox가 잘 쳐지다가 엉뚱한 박스를 하나 더 치는 식의 오류가 보임
  • augmentation을 제거하는 것이 낫다?
• 각 언어별 추가 영수증 데이터셋 50개 + 라벨링하기

🏠 Homework

• 기본 과제 1 완료. 이번 대회에서 OCR을 수행하는 EAST 모델에서 loss를 어떻게 계산하는지 직접 구현해보면서 잘 이해할 수 있었다.

Day 4. Thursday

✏️ 복습

• OCR 모델 평가
  https://velog.io/@kupulau/OCR-모델의-평가

🙌🏻 Peer Session

• 우리 팀 리더보드 제출 점수 중 Recall 점수가 낮은 이유
  Recall이 낮다는 것은 예측해야 할 것을 예측하지 못하고 있다는 것이다.
  이를 위해서 또 새롭게 bbox 라벨링 기준을 개정하고 이에 따라 다시 작업했다.
  • 점선을 제외한 반복되는 특수 문자로 만들어진 선에 대한 bbox를 다시 만든다.
  • 원본 글자에서 25% 이상 잘린 글자에 대한 bbox는 지운다.

• 배경도 따로 학습할 필요가 있다!

🏠 Homework

• 기본 과제 2 완료. bounding box를 회전시키는 코드를 직접 구현함으로써 이미지 augmentation을 할 때 bounding box도 함께 변형시키는 방법을 배웠다.

👶 Mentoring

• kaggle 대회 솔루션

  • 그래프 이미지를 보고 그래프의 수치를 뽑아내는 대회
  • NRMSE → 수치의 정확도 평가 / NLev → 문자열의 정확도 평가
  • VQA(Visual Question Answering : 이미지나 비디오와 같은 시각적 정보를 기반으로, 자연어로 된 질문에 답변하는 인공지능 기술)를 이용
  • inductive bias
  • Matcha & Deplot tool 이용

Plot digitizer가 이런 머신러닝 알고리즘을 이용한건가?

📋 Memo

이번 대회는 참 어려운 것 같다. 난이도가 어렵다기 보다도, 정답으로 인식되는 bbox의 기준을 알기가 참 힘들고 그에 따라서 bbox를 이렇게 수정했다 저렇게 수정했다 새로운 데이터 모으기 정도밖에 할 수가 없어서...심지어 전부 노가다로 이루어진 것들이다.

Day 5. Friday

✏️ 복습

• annotation 도구
  https://velog.io/@kupulau/annotation-도구

🙌🏻 Peer Session

• 팀 회고록 작성
  • 잘한 점 : 가설을 설정하고 가설 검증을 위해 데이터 라벨링 기준을 확립하면서 열심히 리라벨링 & 실험을 했다.
  • 아쉬운 점 : 피어 세션 시간을 알차게 활용하지 못했다.
  • 도전할 점 : 대량의 데이터 셋을 준비해서 훈련 및 fine-tuning을 통해 성능을 향상시키겠다.
  • 느낀 점 : 데이터 라벨링은 정신력 소모가 심하다....

🏠 Homework

• 기본 과제 3 완료. text detection에 시점 변환을 적용하는 방법을 배울 수 있었다.

📋 Memo

굉장히 빡센 하루였다. 금요일에 스페셜 피어 세션 1번만 해도 낯선 사람들과 이런 저런 얘기를 나누느라 체력 소모가 심한데 이번 부캠살롱은 스페셜 피어 세션이 연달아 3번이나 있는 구조였다. 노션의 구인구팀 페이지를 켜놓고 자기소개하고 이런 저런 얘기를 하는 기회를 가질 수 있었다. 팀전 스페셜 피어 세션 같은 경우는 취지는 굉장히 좋았으나 너무 많은 사람이 얘기하는 바람에 정신이 하나도 없었다.