[AIFFEL] 22.Mar.21, GD - Data_Augmentation

오늘의 학습 리스트

• Data Augmentation의 실제 진행 과정

  • https://youtu.be/JI8saFjK84o 참고
  • 생각해보니 데이터를 training 과정 중에 augment 한단다.(코드로 그렇게 하는 걸 봤지만, 여태까진 그냥 미리 확대된 버전을 준비해놓고 training한다고 이해하고 있었다...)
  • 데이터의 flow
    • Harddisk -> CPU thread(여기서 distortion 후 parsing) -> CPU or GPU(training)

• Colour shifting 필요한 때

  • 참고로, RGB에 +, - 하는 값은 확률 분포를 사용함
  • 예를 들어 사진에 햇빛이 너무 많이 들어간 경우는 색깔 조절을 통해 다른 버전을 만들어줄 수 있음

• Flipping

  • detection, segmentation에서는 라벨의 위치도 flip해줘야 한다.

• 색상모델(Gray,RGB,HSV,YCbCr)에 대한 설명

  • https://darkpgmr.tistory.com/66
  • RGB
    • R=G=B인 구간은 gray scale임
    • (0, 0, 0)에서 어느 축으로라도 숫자를 늘리면 밝기가 밝아짐
      • 즉, 숫자에 밝기가 포함되어 있다는 뜻
    • 직관적으로 (0, 0, 0)은 색깔이 없는 거고 (255, 255, 255)는 색깔이 다 있는 것
    • 그런데 RGB는 경우의 수가 256*256*256개 인데,우리 눈은 그것보다 적게 색을 구별해서 어찌 보면 색깔을 저장하기에 inefficient한 방법임
  • YCbCr
    • https://www.youtube.com/watch?v=3dET-EoIMM8 참고
    • Y는 밝기 값만 나타냄
    • Cb, Cr은 파랑색, 빨간색 부분 타냄(그런데 RGB에서 R, B가 totally R과 B를 나타내는 것과는 약간 다름)
    • Y의 값을 고정(밝기를 고정)하고 Cb, Cr 각각의 값을 2차원 평면에서 움직인다고 보면 됨
    • 직관적 의미로는, 사람의 눈은 밝기에 더 민감하고, 색깔 차이에는 덜 민감하단다.(그래서 YCbCr이 좀 더 우리 눈에 더 효과적인 색 표현 방법일 수도)
    • 하지만 표현하려면 어떤 공식을 통해서 RGB로 바꿔줘야 한단다.(마찬가지로 RGB -> YCbCr 도 공식 이용)

• Image Augmentation 종류에 대한 이미지 예를 볼 수 있음

  • https://github.com/aleju/imgaug

• flip_ud_image = tf.keras.preprocessing.image.array_to_img(flip_ud_tensor)

  • plt.imshow() 범위에 맞지 않는 어레이여도 array_to_img() 메소드를 통해 plt.imshow()에 쓸 수 있는 이미지로 바꿔주는 것 같다.
  • "Converts a 3D Numpy array to a PIL Image instance"

• Affine Transformation

  • 뭔가 parallel 하게 값들을 transform하는 것인데,
  • Affine map에서 geometrically 한다고 보면 되는 것 같다.
  • 이 때 Affine transformation이 되려면 조건이 있는 것 같다.
    • 예를 들면, origin은 가만히 있는다던가

• Blurring은 언제 쓸까?

  • 내 생각에는 그냥 일반적인 classification에서는 blurring이 상당한 효과를 줄 수 있지 않을까 생각한다.(흐려져도 라벨은 같으니, 흐려졌을 때에 대한 학습이 될 듯)

• as_supervised=True tfds로 데이터 갖고 올 때 이거를 해줘야 target이 구분되는 것 같다.(그러면 model.fit()할 때 target 파라미터 안 넣어줘도 되는 듯)