[AIFFEL] 22.Apr.07, GD_OCR_2

오늘의 학습 리스트

• What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis

  • Scene Text Recognition 관련한 모델들의 데이터셋 variance로 제대로 된 모델별 비교가 어려웠던 것 같아, 데이터셋을 고정시켜놓고 알려진 여러 STR 모델들을 구현해서 나온 정량 지표들을 정리해놓음
  • 데이터셋은 MJSynth, SynthText를 사용
  • Scene text 데이터셋의 경우 데이터셋 만드는 비용이 너무 커서 실제 데이터말고 컴퓨터를 통해 텍스트가 담긴 이미지를 만들어서 사용한 저 2개의 데이터셋을 사용할 수 있음

• Recognition 모델 만들기

  • An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
  • 2015년에 발표된 윗 논문을 통해 CRNN의 원조격인 recognition 모델 구현할 예정(Detectoin은 시간 관계상 keras-ocr 사용)

• lmdb 포맷의 파일을 쓴다는데 lmdb 가 뭔가....?

  • 위키피디아 설명
  • 공식 documentation도 있지만, 위키피디아가 왠일로 좀 더 쉽게 느껴진다...
  • 그런데 저런 자료구조(?)는 왜 만드는 것일까...
  • 참고로 확장자는 그냥 mdb인 것 같다.(예 : train.mdb)
  • 불러들일 때는 lmdb라는 라이브러리를 사용하고, lmdb.open() 함수를 통해 그냥 확장자 없는 경로명을 쓰면 되는 것 같다.
  • 이것도 .begin(), .close() 라는 메소드가 있고 with 구문을 통해 쓰는 것을 보아 데이터의 입출력(?)을 저런 식으로 하는 것 같다.

• tf.keras.backend.ctc_batch_cost

  • https://www.tensorflow.org/versions/r2.2/api_docs/python/tf/keras/backend/ctc_batch_cost
  • https://stackoverflow.com/questions/60782077/how-do-you-use-tensorflow-ctc-batch-cost-function-with-keras

• tf.keras.layers.Reshape()

  • target_shape=이라는 파라미터가 있는데, 배치 사이즈 제외하고 저 shape으로 맞춰준다.
  • return : (batch_size,) + target_shape

• model.compile(loss={'ctc': lambda y_true, y_pred:y_pred}, optimizer=...)

  • 어떻게 loss에 'ctc' 같이 string을 쓰고, 그것이 뭘하는 지 잘 모르겠다.
  • 약간의 힌트로는 gist
  • 원래 힌트로서 github에 제기된 issue 링크

• tf.keras.backend.ctc_decode()

  • https://keras.io/ko/backend/ <- 여기에 살짝 정보 있음