📑프로젝트-얼굴인식

얼굴인식 프로젝트!

아마 내 인생 첫 프로젝트 였던 것 같다.
4명이서 같이 했는데 git bash가 계속 오류나서 끝까지 깃허브에 못 올렸던게 기억에 남는다 ㅋㅋ...
최대한 그 당시의 기억과 코드들을 되짚어보며 적어보도록 하겠다 ㅜㅜ

---

📔당시에 기록했던 보고서 ( 최종 수정일 2020.04.13 )

1.개요

팀원들끼리 프로젝트 주제를 정했다. 4명다 얼굴인식에 관련하여 관심이 있었기에 고심하여 주제를 정하고 프로젝트를 진행할 과정을 정했다. 주제는 얼굴을 제외한 화면을 블러 처리후 감정에 따라 배경을 바꿔주는, 일종의 인공지능 카메라(?)로 진행될 꺼 같다. 순서는 얼굴 틀따기->감정인식-> 감정에 따른 배경 바꿔주기로 진행하기로 하였으며, 프로그램은 가장 보편화되어있고 라이브러리(모듈,패키지)를 사용하기 용이한 파이썬 을 사용하기로 하였다.

2.라이브러리 선택

파이썬 프로그램중 어떤 라이브러리가 이 프로젝트에 가장 어울릴지 찾아보았다. 영상 처리와 관련해서 numpy,ImajeJ,PIL(Python Imaging Library)등 많은 영상처리 라이브러리를 조사해볼수 있었는데, 그중 압도적으로 영상 처리 분야에 쓰이는 대표적인 라이브러리가 있었다. 바로 Opencv. Opencv는 다른 라이브러리들과 함께 쓰며 영상처리 분야에 광범위하게 쓰이고, 사진을 쉽게 나눠 처리할 수 있으므로 편리하며 우리가 만들 프로젝트인 인공지능 감정 인식 카메라에 적합하다고 생각되어 우선 Opencv를 연구해보기로 하였다.

3.OpenCV 연습

일단 python에 Opencv를 설치하는 과정부터 연습해보았다. 전에 진행하던 게임 프로젝트와 엉키지 않기 위해 아나콘다를 설치, 아나콘다 프롬프트에 !pip install opencv-contrib-python을 설치하면 되는 간단한 과정이었다.
Opencv를 연습하기 위한 가장 기초 과정인 사진을 출력해보았다.

import cv2 
img_file = 'img/figures.jpg' # 이미지 불러오기
img = cv2.imread(img_file) # 이미지 변수 할당
cv2.imshow('IMG', img) # 화면 표시 창이름 : 'IMG' 
cv2.waitKey()
cv2.destroyAllWindows()

위 코드가 Opencv 사진출력의 가장 기본이 되는 코드다. img_file이란 변수에 자신이 담아올 이미지를 저장해주고, img는 이 이미지파일을 읽어준다. 그리고서 cv2.imshow라는 명령어를 이용해 사진을 보여준 뒤 destroyAllwindows를 사용하여 창을 닫아주면 된다.

💻프로젝트 시작

얼굴 틀따기

프로젝트의 첫번째 단계인 얼굴 틀따기를 시작하였다. OpenCv라이브러리에서 사물을 구분할 수 있도록 도와주는 알고리즘은 많았는데, 처음엔 Contour라는 알고리즘을 살펴보았다.

import cv2
img_color = cv2.imread('C:/Users/GhostDog/Desktop/test.png')
img_gray = cv2.cvtColor(img_color, cv2.COLOR_BGR2GRAY)
ret, img_binary = cv2.threshold(img_gray,127,255,0)contours, 
hierarchy = cv2.findContours(img_binary, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
print(contours)
cv2.drawContours(img_color, contours, 0,(0,0,255),3)
cv2.drawContours(img_color, contours, 1,(0,255,0),3)cv2.imshow("result",img_color)
cv2.waitKey(0)

실행 결과

Coutour라는 알고리즘은 명암 밝기를 판단하여 보여주는 알고리즘이다. 위에 Drawcontours로 두 그림에 (0,0,255)빨간색 테두리와 (0,255,0)초록색 테두리로 주변 밝기와 다른 별과 삼각형으로 구분을 해보았다. Contour를 사용하여 이번 단계의 목표인 얼굴 틀따기(얼굴과 전경 분리)를 시도해보았다.

보다시피 일부러 배경을 밝게하고 옷과 얼굴을 비교적 어두운 색으로 입어도 Contour로는 틀 구분이 되지 않았다. 자료 조사를 더해보니 Contour는 극단적인 색의 변화를 감지하고 주변 배경 사물이 너무 눈에 띄면 구분이 잘 되지 않으므로, 우리가 만드려는 프로젝트에 적용시키기에는 어려움이 있어 적용시키기 어렵다고 생각하였다.
얼굴과 전경 분리에 포커스를 맞춰 파이썬 라이브러리를 더 찾아보았다
.
위 사진은 얼굴과 전경 분리에 쓰이는 대표적인 툴들이다. 당시에 이미지 처리 라이브러리와 관련하여 특징과 장단점을 정리한 글이 있기에 적어봤다.

---

Magic Wand 사용자가 특정 위치나 영역을 지정하면, 그와 연결된 픽셀들 중 그 차이가 특정 값 이내인 픽셀들을 선택하는 방법입니다. Background와 Foreground의 픽셀 값 분포가 서로 겹치면 곤란해집니다.

Intelligent Scissors Mortensen, Barret의 제안한 방법으로 마우스를 움직여가며 대강의 포인트를 seed로 지정하여 영역을 선택하는 방법입니다. 실시간으로 현재 커서의 위치와 직전 seed 위치 사이의 minimum cost path를 계산하여 실시간으로 보여줍니다. 현재 표시되는 경로가 마음에 들면 경로를 고정하고 현재 위치를 다음 seed로 지정합니다. 이를 반복하여 영역을 선택하게 됩니다. 이 바업의 경우 텍스쳐가 복잡한 영역이거나 아예 텍스쳐가 없는 영역의 경우 minimum cost path가 유일하지 않아 문제가 됩니다.

Bayes matting 사용자가 정의한 Trimap을 바탕으로 투명도를 갖도록 컬러 분포를 모델링합니다. 사용자의 안쪽 영역과 바깥 영역 입력의 사용자 입력이 필요합니다.

Knockout 2 Trimap을 사용하는 Bayes matting과 비슷한 방법입니다.

Graph Cut Bayes Matting과 trimap, 확률 컬러 모델을 모두 갖는 방법입니다. 후에 따로 설명하도록 하겠습니다.

Level sets 편미분 방정식을 이용하여 에너지 최소화 방법을 통하여 풀어냅니다. 에너지를 정의하는 방법이나, 초기화 방법에 따라 결과가 달라질 수 있습니다.

---

저 툴들 중 Grabcut은 파이썬에 유용하게 쓰이는 라이브러리라고 들어서 Grabcut을 조사하게 되었다.
GrabCut 알고리즘은 이미지에서 배경이 아닌 전경에 해당하는 이미지를 추출해 내는 방법이다.

이미지에서 한번에 전경을 추출해 내는 것이 아닌 사용자와의 상호 작용을 통해 단계적으로 전경을 추출한다.

이 상호작용은 크게 2가지 단계로 진행되는데,

첫번째는 이미지에서 전경이 포함되는 영역을 사각형으로 대략적으로 지정한다. 단, 이때 지정한 사각형 영역 안에는 전경이 모두 포함되어 있어야 한다.

두번째는 첫번째에서 얻어진 전경 이미지의 내용중 포함되어진 배경 부분은 어디인지, 누락된 전경 부분은 어디인지를 마킹하면 이를 이용해 다시 전경 이미지가 새롭게 추출된다.

Grabcut을 이용하여 아까 contour로 전경 분리했던 이미지를 다시한번 분리해보았다.

import numpy as np
import cv2 from matplotlib 
import pyplot as plt
img = cv2.imread('C:/Users/GhostDog/Desktop/myface.jpg')
mask = np.zeros(img.shape[:2] ,np.uint8)
bgdModel = np.zeros((1 ,65) ,np.float64)
fgdModel = np.zeros((1 ,65) ,np.float64)
rect = (50 ,50 ,1200 ,700)
cv2.grabCut(img ,mask ,rect ,bgdModel ,fgdModel ,5 ,cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask==2) |(mask==0) ,0 ,1).astype('uint8')
img = img *mask2[: ,: ,np.newaxis]plt.imshow(img) ,plt.colorbar() ,plt.show()

아까보다 훨씬 전경분리가 잘 된 것을 볼수 있다. 그러나 색깔이 어두워진 것을 볼 수 있는데, 추후 테두리만 grabcut으로 분리하고 원본 이미지를 따서 합성하면 될 것 같다.

---

당시에 여기까지 보고서를 기록했다.

import numpy as np
import cv2

lowerBound = np.array([13, 155, 53])
upperBound = np.array([56, 216, 119])
##HSV 색상 영역이다, 원하는 색상 영역으로 바꾸면 된다

def showcam():
    try:
        print ('open cam')
        cap = cv2.VideoCapture(0)
    except:
        print ('Not working')
    cap.set(3, 480)
    cap.set(4, 320)
 # try-except 문법을 이용해 캠이 안열였을때 에러를 출력한다
    while True:
        ret, frame = cap.read()
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        #RGB -> HSV 변환
        color_mask = cv2.inRange(hsv, lowerBound, upperBound)
        #특정 색상 범위 mask 설치
        ret1, thr = cv2.threshold(opening, 127, 255, 0)
        #contours 를 찾기위한 이진화
        _, contours, _ = cv2.findContours(thr, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
        #contours찾기 _,는 사용하지 않는 인자라서 '_'로 받는다
        if len(contours) > 0:
            for i in range(len(contours)):
                area = cv2.contourArea(contours[i]) 
                #contours 영역 구하기
                if area > 100:  # 100이상 영역을 가진 물체가 있을 때만
                    rect = cv2.minAreaRect(contours[i])   #contours를 이용해 사각형을 만든다
                    box = cv2.boxPoints(rect) #사각형을 찾아 4점을 반환한다.
                    box = np.int0(box) 
                    cv2.drawContours(frame, [box], 0, (0, 0, 255), 2)   #사각형 모양을 그린다
        if not ret:
            print('error')
            break
        cv2.imshow('color_bitwise',color_mask)
        cv2.imshow('cam_load',frame)
        k = cv2.waitKey(1) & 0xFF
        if k == 27:
            break

    cap.release()
    cv2.destroyAllWindows()
showcam()

Countour를 테스트해보기 위해 당시 이런 코드를 작성해보기도 했었고

갖가지 실험 모델로 이미지 처리를 시도해보기도 했었다.
그래서 텐서플로우와 케라스를 활용하여 리스트를 만든다음 얼굴과 전경을 분리해 감정에 따른 배경을 꾸미게 했었는데 코드를 잃어버린 것 같다...

위 사진은 당시에 img 폴더에 background_happy가 사람의 감정을 happy로 인식하면 grabcut을 이용하여 전경을 분리한 건데..어째 결과물만 있고 코드가 없다 ㅋㅋ;
어쨌든 나의 좌충우돌 프로젝트는 이렇게 끝이 났다.

추가로 이미지 처리에 추가로 라플라시안에 대해 조사했던 보고서가 있어 같이 첨부한다.

---

1.라플라시안이란?

위와 같은 식을 라플라시안이라 칭함

위와 같은 식을 미분연산자라 칭하는데, 벡터로 나오는 미분연산자 2개를 서로 내적하면 내적의 결과로 같은 위치끼리 곱의 합이 나오는 것을 볼 수 있음. (=라플라시안)

이 식의 결과로부터 라플라시안은 2번의 편미분을 한 결과로써 볼 수 있다.

어떤 스칼라 함수에 대하여 라플라시안을 하는 것은, 순서대로 기울기를 구하고 그것의 발산을 구하는 것과 같다. (=기울기의 발산)

※라플라시안의 예로 전위와 체적전하밀도의 관계를 예로 들 수 있으며, 전위의 라플라시안은 체적전하 밀도가 된다.

2.영상처리에 활용될 만한 방법은?

라플라시안 모서리 향상.
최전에 대한 변이가 없는 2차 도함수 형태의 필터. 1차함수에 기초한 그레디언트와 상반된 필터이다.
먼저 그레디언트부터 설명을 하자면, 영상에서 기울기를 gradient라 할시 이 gradient를 구하면 edge값을 얻을 수 있다. 영상에서는 데이터가 일정 간격으로 나열되어 있기 때문에 수학적인 미분 영상을 하지 않지만, 인접한 화소끼리의 차이를 취하는 연산을 한다.

그러나 그레디언트같은 1차 미분 연산의 결과만으로는 너무 많은 에지 후보를 생성하므로, 그레디언트 갑이 국지적으로 최대인 점만을 에지로 인정하는 것을 2차 미분 연산자라고 한다. 실제 에지점에서는 1차 미분이 최대가 되고, 2차 미분이 영점을 통과하는 속성을 이용하였다고 한다.위와 같은 방법을 2차 미분연산자, 즉 라플라시안 연산자를 도입했다 칭한다.
라플라시안의 잠점은 2차미분에 의한 에지 판단 시점이 제공된다는 점이다.
섬세한 에지 검출은 물런, 모든 방향의 에지 검출이 가능하다는 점에서 편하다.
그러나, 잡음에 민감하여 잡음 성분또한 영상에 강조될 수 있다. 이를 방지하기 위하여 가우스형 라플라시안을 사용하는데, 라플라시안을 적용하기 전에 전처리 단계로 평활화를 수행한다.

3.OPENCV로 간단하게 구동

import cv2import numpy as np
def ImageSobel(): imageFile = "C:/Users/JongMin/Desktop/myface.jpg"    
img = cv2.imread(imageFile,cv2.IMREAD_GRAYSCALE)    
Laplacian = cv2.Laplacian(img,-1)    
cv2.imshow("ORIGIN",img)    
cv2.imshow("Laplacain",Laplacian)    
cv2.waitKey(0)    
cv2.destroyAllWindows()ImageSobel()