📖개요

이번 4월 말에 에브리타임 게시판 보면서 시간 좀 보내고 있었는데 파이썬으로 이미지들을 붙이고 이미지로 그래프를 만드는 작업을 할 사람을 찾는다는 글을 봤다. 그래서 그냥 인풋으로 들어오는 이미지 한 두, 세 개 정도 자동으로 가로로 연결하는 간단한 프로그램이겠거니 하고 연락했다. 그런데 알고 보니 Open-CV를 사용하여 여러 이미지의 공통 부분을 찾아서 연결하여 큰 최종 이미지를 만드는 프로젝트였다.

쫌 까다로워 보여서 하지 말까 했는데, 친구가 OpenCV의 ImageStitcher 라이브러리라는게 있다고 해서 사용해보니 코드 몇 줄이면 금방 완성 됐다. 미세한 값들은 좀 테스트하면서 맞춰가면 금방 할 것 같다고 생각해서 수락했다. (그렇게 고난의 시작...)

이 프로젝트는 환경공학과 대학원에서 진행하는 연구이다. 이 연구의 목표는 "공중에서 드론으로 찍은 호수 이미지를 인풋으로 색상 값을 판별하여 녹조의 위치 및 정도를 파악하여 그래프로 표현하는 것"이다. 이 프로젝트에서 내가 프로그래밍적으로 맡을 부분은 크게 Image Stitching과 Graph Making의 두 파트로 나눌 수 있겠다.

🧩Image Stitching

🎯목표

• 여러 이미지의 공통 부분을 찾아서 하나의 큰 이미지로 합친다.

  

🤷‍♂️문제 해결 순서

• Image load
  • Image resize
• Image stitching
  • 이미지1과 이미지2의 겹치는 부분(matching point) 찾기
  • 이미지1을 기준으로 이미지2의 겹치는 부분을 2D 변형하여 붙이기
  • 모든 이미지에 대해서 위 동작을 반복

🤔문제 해결

• 이미지 로드

  • 로딩 : 작업대에 준비물을 올리는 작업

    

  • 이미지 용량이 크면? 작업이 오래 걸리거나 한 작업대에서 한 번에 처리 못 할 수도 있음

    

  • 이미지 리사이즈 : 그럴 경우에 이미지 크기를 줄여서 빠르고 많은 양을 한 번에 처리

    

• Image Stitching

  • 이미지 스티칭 : 여러 이미지에서 공통 부분을 찾아서 연결하는 것

    

  • 공통 부분(match point)찾기 : 두 이미지에서 공통 부분을 찾는다.

    

  • 공통 부분 연결 : 여러 이미지에서 공통 부분을 찾아서 2D 변형 후 연결하는 것

    

  • 2D 변형 : 평면에서 도형의 여러가지 변형

    

  • 2D 변형이 필요한 이유 : 같은 이미지라도 위치나 각도에 따라 다르게 보이기 때문에 이를 교정하기 위해서

    

  • 모든 이미지에 대해 반복

    

⌨코드

• 필요 모듈 임포트

  """\
  image_stitching.py
  module import part
  """
  import os
  import math
  from PIL import Image
  from imutils import paths
  import numpy as np
  import argparse
  import imutils
  import cv2

• 이미지 리사이즈

  """\
  image_stitching.py
  function resize
  파일 이름을 받아서 열고 이미지의 크기가 1MB보다 크면
  크기를 점점 줄여나가서 1MB보다 작게 되면 해당 이미지를 리턴하는 함수
  처음부터 1MB보다 작다면 그대로 리턴
  """
  def resize(filename):
      img = cv2.imread(filename)
      width, height = img.shape[:2]
      if height * width * 3 <= 2 ** 25:
          return img
      i = 2
      t_height, t_width = height, width
      while t_height * t_width * 3 > 2 ** 25:
          t_height = int(t_height / math.sqrt(i))
          t_width = int(t_width / math.sqrt(i))
          i += 1
      height, width = t_height, t_width
      image = Image.open(filename)
      resize_image = image.resize((height, width))
      filename = filename[:-1 * (len(filename.split(".")[-1]) + 1)] + "_resized." + filename.split(".")[-1]
      resize_image.save(filename)
      img = cv2.imread(filename)
      os.system("del " + filename.replace("/", "\\"))
      return img

• 입력 값 처리

  """\
  image_stitching.py
  argument parsing
  -i 입력 이미지들의 폴더 디렉토리
  -o 출력할 결과 이미지의 파일 이름
  """
  ap = argparse.ArgumentParser()
  ap.add_argument("-i", "--images", type=str, required=True,
                  help="path to input directory of images to stitch")
  ap.add_argument("-o", "--output", type=str, required=True,
                  help="path to the output image")
  args = vars(ap.parse_args())

• 이미지 로딩

  """\
  image_stitching.py
  loading images
  입력 받은 폴더의 모든 파일들을 리사이즈 시키고 리스트에 로드하는 부분
  """
  print("[INFO] loading images...")
  imagePaths = sorted(list(paths.list_images(args["images"])))
  images = []
  
  for imagePath in imagePaths:
      image = resize(imagePath)
      images.append(image)

• Image Stitching

  """\
  image_stitching.py
  image stitching
  이미지 스티칭하여 성공 여부(status)와 결과(stitched)를 받는 부분
  """
  print("[INFO] stitching images...")
  stitcher = cv2.createStitcher() if imutils.is_cv3() else cv2.Stitcher_create()
  (status, stitched) = stitcher.stitch(images)

• 결과 저장 및 예외 처리

  """\
  image_stitching.py
  exception handling
  status가 0인 경우(stitching 성공) 이미지를 아까 받은 이름으로 저장하고 보여준다.
  status가 0이 아닌 경우(stitching 실패 예외)의 메시지를 출력한다.
      1 : 이미지를 연결 시키기에 match point가 부족해서 나오는 에러, 이미지를 더 추가시켜줘야 한다.
      2 : 2D 이미지 변환을 하지 못하는 에러, 이미지를 다시 찍는 것을 추천한다.
      3 : 카메라 위치의 에러, 카메라의 방향이 잘못돼서 나오는 에러, 입력 이미지들을 같은 방향으로 회전시키거나 새로운 이미지를 찍어야 한다.
  """
  if status == 0:
      # write the output stitched image to disk
      cv2.imwrite(args["output"], stitched)
  
      # display the output stitched image to our screen
      cv2.imshow("Stitched", stitched)
      cv2.waitKey(0)
  else:
      if status == cv2.STITCHER_ERR_NEED_MORE_IMGS:
          print("[INFO] image stitching failed (1: STITCHER_ERR_NEED_MORE_IMGS)")
      elif status == cv2.STITCHER_ERR_HOMOGRAPHY_EST_FAIL:
          print("[INFO] image stitching failed (2: STITCHER_ERR_HOMOGRAPHY_EST_FAIL)")
      else:
          print("[INFO] image stitching failed (3: STITCHER_ERR_CAMERA_PARAMETERS_ADJUSTMENT_FAIL)")
  

🖨결과

• 입력 이미지

  

• 결과 이미지

  

📈개선 사항

위와 같이 겹치는 부분도 많고 매칭 포인트가 명확한 이미지는 쉬운데 결과가 잘 안 나오는 이미지도 많았다.

1. 호수 이미지가 어마 무시하게 커서 주변 땅 부분이 없고 물 부분밖에 없는 이미지는 매치 포인트 자체를 못 찾았다
2. 가끔 이미지가 뒤집힌 경우엔 잘 못 붙이는 경우도 있다.
3. 이미지에 패턴이 있는 경우는 2D 변환을 시킨게 티나고 연결 했을 때 끝과 끝이 정확하게 연결이 안 되는 경우도 있다. -> 이건 수정하게 되면 너무 오버 피팅이 될 것 같다.

📊Graph Making

🎯목표

• 이미지의 HSV 색상 데이터를 기반으로 녹조 위치와 정도를 나타내는 그래프를 만든다.

  

🤷‍♂️문제 해결 순서

• 이미지 로드
  • 이미지 리사이즈
• 이미지의 HSV 값 추출
• HSV 값에서 녹조 레벨 계산
• 계산된 값을 그래프로 만들기

🤔문제 해결

• HSV 값 추출

  • HSV

    

    • HSV 모델은 인간의 색인지에 기반을 둔 색상 모델
    • Hue(색조), Saturation(채도), Value(명도), 3가지 조합으로 표현
    • Hue(색조) : 색의 종류. 0º~360º의 범위를 갖는다.
    • Saturation(채도) : 색의 선명도, 진함의 정도(가장 진한 상태를 100%로 한다)
    • Value(명도) : 색의 밝기, 밝은 정도(가장 밝은 상태를 100%로 한다)

  • OpenCv의 BGR2HSV 라이브러리를 쓰면 됨

• 녹조 레벨 계산

  • 클라이언트에서 준 녹조 계산 방법을 갖고 녹조 레벨을 0부터 3으로 구분하는 함수를 만들었다.

    def set_range(h, s, v):
        if 72 >= h >= 66 and 91 >= s >= 59 and 255 >= v >= 66:
            return 3
        elif 75 >= h >= 73 and 234 >= s >= 31 and 118 >= v >= 0:
            return 2
        elif 134 >= h >= 35 and 59 >= s >= 0 and 100 >= v >= 73:
            return 1
        return 0

• 계산된 값으로 그래프 만들기

  • Plotly 라이브러리의 graph_object로 HeatMap과 3DGraph를 만들었다.

⌨코드

• 필요 모듈 임포트

  """\
  graph_maker.py
  필요한 모듈 임포트
  """
  import argparse
  import os
  import cv2
  import math
  import numpy as np
  import pandas as pd
  import plotly.graph_objects as go
  import plotly
  from PIL import Image

• 녹조 레벨 계산 함수

  """\
  graph_maker.py
  HSV 데이터로 녹조 레벨 계산하는 함수
  """
  def set_range(h, s, v):
      if 72 >= h >= 66 and 91 >= s >= 59 and 255 >= v >= 66:
          return 3
      elif 75 >= h >= 73 and 234 >= s >= 31 and 118 >= v >= 0:
          return 2
      elif 134 >= h >= 35 and 59 >= s >= 0 and 100 >= v >= 73:
          return 1
      return 0

• 그래프의 위경도 값 계산

  """\
  graph_maker.py
  위경도를 그래프의 x, y축에 표기하기 위해 위경도 값을 이미지의 너비/높이의 픽셀 개수만큼으로 나눠서 리스트로 리턴하는 함수
  파이썬 range로는 float 타입 데이터를 나누지 못 하므로 따로 제작
  """
  def float_range(start, end, cnt):
      list = []
      step = (end - start) / (cnt - 1)
      for i in range(cnt):
          list.append(start + i * step)
      return list

• 입력값 처리

  """\
  graph_maker.py
  argument parsing
  -i 그래프로 만들 이미지 파일 이름
  -o 출력으로 저장할 이미지 파일 이름
  -lat1 위도의 시작 값
  -lat2 위도의 끝 값
  -lon1 경도의 시작 값
  -lon2 경도의 끝 값
  lat1과 lat2는 둘 다 없거나 둘 다 있거나 해야함
  lon1과 lon2는 둘 다 없거나 둘 다 있거나 해야함
  """
  ap = argparse.ArgumentParser()
  ap.add_argument("-i", "--image", type=str, required=True,
                  help="path to input file name of images to stitch")
  ap.add_argument("-o", "--output", type=str, required=True,
                  help="path to the output image")
  ap.add_argument("-lat1", "--latitude1", type=float, required=False,
                  help="image's start latitude")
  ap.add_argument("-lat2", "--latitude2", type=float, required=False,
                  help="image's end latitude")
  ap.add_argument("-lon1", "--longitude1", type=float, required=False,
                  help="image's start longitude")
  ap.add_argument("-lon2", "--longitude2", type=float, required=False,
                  help="image's end longitude")
  args = vars(ap.parse_args())

• 이미지 로딩

  """\
  graph_maker.py
  이미지가 1MB보다 크면 줄이고 작으면 그대로 로드하는 부분
  """
  print("Image loading start")
  print("Image resizing start")
  img_color = resize(filename)
  height, width = img_color.shape[:2]
  print("Image resizing end")
  print("Image loading end")

• HSV 값 추출

  """\
  graph_maker.py
  이미지를 로드하면 처음엔 각 픽셀의 BGR(RGB)값을 가지는 numpy array로 저장되어 있다.
  이미지를 HSV형식으로 변형시키고 H, S, V 값을 각각 column으로 가지는 pandas DataFrame으로 변형 시킨다.
  """
  img_hsv = cv2.cvtColor(img_color, cv2.COLOR_BGR2HSV)
  print("Extracting HSV data start")
  data = pd.DataFrame(np.concatenate(img_hsv))
  print("Extracting HSV data end")
  data.columns = ["H", "S", "V"]

• 녹조 레벨 계산

  """\
  graph_maker.py
  DataFrame으로 변형시킨 데이터를 apply함수(각 인덱스에 입력 받는 함수를 적용)를 사용하여 아까 만든 set_range()를 모든 픽셀에 적용시킨다.
  그러고 출력해보니 이미지와 그래프가 거꾸로 나오는 것을 확인해서 뒤집어줬다.(flip())
  """
  print("Calculating \"Range\" data start")
  data["Range"] = data.apply(lambda x: set_range(x['H'], x['S'], x['V']), axis=1)
  data["Range"] = np.flip(data["Range"])
  print("Calculating \"Range\" data end")

• 녹조 레벨 데이터를 이미지 모양으로 만들기

  """\
  graph_maker.py
  현재는 column 하나짜리 DataFrame으로 되어 있으므로 그래프로 만들기 위해 높이 * 너비 크기의 DataFrame으로 만들어 준다.
  그리고 아까 위도나 경도를 받았으면 x, y축에 매핑해준다.
  """
  y = np.array(data['Range'])
  z_data = pd.DataFrame(y.reshape(height, width))  # Size variations according to pixel
  if args['longitude1']:
      z_data.index = float_range(args['longitude1'], args['longitude2'], height)
  if args['latitude1']:
      z_data.columns = float_range(args['latitude1'], args['latitude2'], width)

• HeatMap 만들기

  """\
  graph_maker.py
  plotly의 graph object를 사용하여 HeatMap을 만든다
  색상은 클라이언트에서 준 커스텀 색상으로 하고 타이틀과 마진을 준다.
  """
  fig_heatmap = go.Figure(data=go.Heatmap(z=z_data,
                                          connectgaps=True,
                                          colorscale=[[0.0, "rgb(0,8,135)"],
                                                      [1.0, "rgb(0,135,8)"]]))
  fig_heatmap.update_layout(title='HSV Graph', autosize=True,
                            margin=dict(l=65, r=50, b=65, t=90))

• 3D 그래프 만들기

  """\
  graph_maker.py
  plotly의 graph object를 사용하여 3D Graph를 만든다
  색상은 클라이언트에서 준 커스텀 색상으로 하고 타이틀과 마진을 준다.
  """
  fig_3d = go.Figure(data=[go.Surface(z=z_data.values,
                                      colorscale=[[0.0, "rgb(0,8,135)"],
                                                  [1.0, "rgb(0,135,8)"]])])
  fig_3d.update_layout(title='HSV Graph', autosize=True,
                       scene_camera_eye=dict(x=1.87, y=0.88, z=-0.64),
                       margin=dict(l=65, r=50, b=65, t=90))

• 이미지 저장 후 표시

  """\
  graph_maker.py
  실행 시에 입력 받은 이름에 각각 Heatmap과 3D_graph 이름을 붙여서 이미지로 저장하고
  웹 브라우저로 인터렉티브한 js 그래프를 띄어준다.
  """
  output = args['output']
  if '.' in args['output']:
      output = args['output'][:-1 * (len(args['output'].split(".")[-1]) + 1)]
  else:
      args['output'] = output + ".png"
  plotly.io.write_image(fig_heatmap, output + "_heatmap." + args['output'].split(".")[-1])
  plotly.io.write_image(fig_3d, output + "_3D_graph." + args['output'].split(".")[-1])
  fig_heatmap.show()
  fig_3d.show()

🖨결과

• 입력 이미지

  

• 결과 그래프

  • HeatMap

    

  • 3D Graph

    

📈개선 사항

• 원본 이미지, 녹조 위치를 표시해둔 이미지 데이터셋 입력을 줘서 머신러닝을 시킬 수도 있겠다.
• 내 도메인 지식이 아니라 정확하게 모르겠지만 끝날 때 쯤 든 생각인데, 환경(해의 위치, 구름, 계절 등)에 따라 이미지의 색상이 달라져서 녹조 데이터 검출 자체가 가능할지?에 대한 의문이 든다. 이 문제를 해결하기 위해 이미지 색상을 정규화시켜야 할 듯 하다.

⏲회고

👍잘한 점

• 📅중장기 프로젝트 성공!
  지금까지는 중장기적(3 ~ 4개월) 프로젝트를 병행하여 진행하기 힘들어 하고 한 번에 후딱 끝내버리는 것을 좋아해서 그렇게 해왔다. 이번 학기는 여러 프로젝트, 수업, 과제, 학습, 대외 활동이 겹쳤지만 잘 진행했다!
• 📷영상 처리 프로젝트 경험 획득
  이전에 영상 처리 관련 프로젝트를 해 본 적이 없어서 처음 주제를 받았을 때는 "내가 이걸 할 수 있을까?"란 생각이 들었다. 그런데 문제를 명확하게 파악하고 단계를 나누고 라이브러리를 잘 찾아보니 의외로 잘 처리할 수 있었다. 이번에 또 다시 느낀 것은 내가 궁금해 하고 코딩으로 처리할 수 있는 문제는 이미 누군가가 해결하고 라이브러리(혹은 논문)으로 만들어 놨다는 것이다. (구글링, 블로그, 스택오버플로우 최고)

😥아쉬운 점

• 📚라이브러리 세부 설정 실패
  처음에는 OpenCV Stitcher 클래스 문서를 참고하여 세부 설정을 하려고 했3다. 그런데, Stitcher 클래스는 자세히 설명해 둔 정보가 없었다. 그리고 github 레포에 가봐도 예시 코드에 세부 설정을 어떻게 하는지 잘 나와있지 않았다.... 그래서 문제를 단계별로 직접 코딩해서 해결해 보려고 했다. 하지만 2D 변경을 하니까 화질이 너무 깨지고, 이미지 입력 순서에 따라 이미지가 짤리는 이슈가 있어서, 결국 기간 내에 최종 문제를 해결하지 못 할 것 같아서 포기하고 기본 옵션으로 클래스를 사용해서 끝냈다. 영상 처리에 대한 지식이 좀 더 있고 라이브러리 문서가 잘 돼 있었으면 할 수 있었을 것 같아서 아쉽다.
• ☠예외 처리 부족
  입력 값에 대한 예외 처리가 좀 부족했다고 생각한다. 이미지가 너무 많거나 커서 나오는 오류는 이미지 리사이징을 통해 해결했다. 그런데 파일이 없거나, 동일 이름의 파일이 있는 경우에 예외 처리를 잘 못하고 끝났다는 아쉬움이 남는다.

📸발표 사진