openCV 안면 인식 Tutorial

❗🌐 보고 따라한 포스팅 : Marcelo 아저씨 블로그

---

🛠 준비물

• 라즈베리 파이4
• 라즈베리 파이 카메라 모듈
  
  
• openCV 설치 (설치 정보 Link)
• python3 작업 환경
• haarcascade 라이브러리
  
  

---

⭐️ 목표

  openCV에 관련된 오픈소스들을 활용하여 내 얼굴 인식 확인하기
✔️ openCV 등 관련 패키지가 성공적으로 설치되었는가
✔️ 코드가 정상적으로 작동하는가
✔️ 내 얼굴을 라즈베리가 알아먹나?!

---

사실 준비물만 있으면 된 거라 본다
진짜임

보통 문제는 패키지 설치에서 발생한다

모듈 로드에 관한 문제는 최상단 원본 글에서 수정하는 방법을 제시하지만 패키지 의존성이나 버전 문제가 발생하면 골치아프다

혹시나 다음과 같은 오류가 발생한다면

could not open moddep file '/lib/modules/4.19.75-v7l+/modules.dep.bin'

🌐 여기를 통해 해결할 수 있다

openCV와 Python을 설치하는 것은 비교적 간단하지만
haarcascade를 받는다고 할 때 정말정말 뉴비라면 헤맬 수 있다
참고로 난 엄청 헤맸다

📝 haarcascade는 객체 인식과 학습에 관한 라이브러리이다
이를 통해 사람의 얼굴이나 눈동자 입술 등을 openCV로 인식할 수 있게 된다

haarcascade는 직접 다운로드 받는게 편하다
라이브러리 안에 필요한 파일만 쏙쏙 골라쓸 수 있기 때문에
한꺼번에 받아두도록 하자
📌 $ git clone https://github.com/opencv/opencv.git
설치되길 원하는 디렉터리를 생성한 후 위의 명령어로 다운로드가 가능하다
직접 깃허브에서 다운로드 하는 것도 가능한 것으로 알고 있다
다운로드는 어려운 것이 아니기 때문에 꼭 꼭 미리 준비해두자

---

설치가 완료됐다면 다음의 코드를 파일로 작성한다

import numpy as np
import cv2
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while(True):
    ret, frame = cap.read()
    frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
    cv2.imshow('frame', frame)
    cv2.imshow('gray', gray)
    
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
cap.release()
cv2.destroyAllWindows()

출처: Marcelo 아저씨 블로그

이 코드를 📌 python <파일이름>.py 로 실행하면
컬러 화면과 흑백 화면이 동시에 출력되는 것을 확인할 수 있다

---

화면이 나오게 만들었으니 이제 얼굴을 인식하게 만들어야겠다

💡 얼굴(또는 모든 물체)을 감지하는 가장 일반적인 방법은
Haar Cascade classifier 를 사용하는 것이라고 한다

얼굴뿐만이 아니라 자신이 원하는 객체를 인식 시키려면 훈련이 필요한데 자세한 내용은
🌐여기에서 다루고 있다

다음의 코드를 통해 얼굴을 인식하여 사각형 박스로 잡아주는지 확인한다
코드 초반의 faceCascade 변수의 경로는 자신이 만든 디렉터리를 확인하고 수정해준다

❗❗ 이 코드가 저장되는 경로에
haarcascade_frontalface_default.xml 파일을 복사하여 넣어줘야 한다
이 파일은 미리 다운 받아놓은 harrCascade폴더에서 찾을 수 있다

'''
Haar Cascade Face detection with OpenCV  
    Based on tutorial by pythonprogramming.net
    Visit original post: https://pythonprogramming.net/haar-cascade-face-eye-detection-python-opencv-tutorial/  
Adapted by Marcelo Rovai - MJRoBot.org @ 7Feb2018 
'''

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')

cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        
        scaleFactor=1.2,
        minNeighbors=5
        ,     
        minSize=(20, 20)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        

    cv2.imshow('video',img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()

출처: Marcelo 아저씨 블로그

이 코드를 실행했는데
faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')

부분에서 오류가 난다면 haarcascade_frontalface_default.xml 파일의 경로가 잘못된 것이니 확인해서 바로 잡는다

마찬가지로 코드를 📌 python <파일이름>.py 로 실행하면

파란색 사각형 안에 얼굴을 잡아준다
사람 얼굴 취급을 당해서 다행이다

---

이제 내 얼굴을 보면 특정인으로 인식할 수 있도록
내 이름을 입력하고 사진을 찍어서 학습시킬 것이다

디렉터리가 복잡해질 수 있으니 하나를 새로 만든다
터미널에서든 파일매니저에서든 아무튼 원하는 디렉터리를 생성한다

나는 얌전히 Marcelo아저씨를 따라했다
📌 mkdir FacialRecognitionProject

그리고 학습시킬 내 얼굴 사진을 저장해둘 폴더를 하위폴더로 만든다
📌 mkdir dataset

~/FacialRecognitionProject/dataset
요렇게 만들어진 상태이다

다음의 코드는
dataset에서 다시 상위 디렉터리로 올라가서
~/FacialRecognitionProject 에 생성한다

❗❗ 마찬가지로 haarcascade_frontalface_default.xml 파일을 ~/FacialRecognitionProject 에 넣어주자
복사하는 게 편한 것 같다

여기서도 마찬가지로 faceCascade 변수의 경로를 자신이 생성한 경로에 맞게 잘 수정해준다

import numpy as np
import cv2
faceCascade = cv2.CascadeClassifier('Cascades/haarcascade_frontalface_default.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,     
        scaleFactor=1.2,
        minNeighbors=5,     
        minSize=(20, 20)
    )
    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]  
    cv2.imshow('video',img)
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
cap.release()
cv2.destroyAllWindows()

출처: Marcelo 아저씨 블로그

이 코드를 📌 python <파일이름>.py 로 실행하면

이런 문구가 나온다
user id를 입력하라는데 여기에 넣을 id는 숫자이다
얼굴과 매치할 이름에 대한 배열을 다음 파일에서 보게 될 것이다
지금은 알기 쉽게 1로 넣어서 실행한다

1을 입력하면

캡쳐가 시작되니 잠시 동안 카메라를 응시하고 기다리라는 안내가 나온다
직접 해보니 마스크를 쓴 상태에서는 얼굴이 잘 인식되지 않는다
안경도 인식에 영향을 줄 수 있으니 다 내려 놓고(?) 카메라를 쳐다 봐야 한다

아무튼 이 작업이 무사히 끝났다면

이런 결과가 나온다
user id를 '1'로 했기 때문에 1.1, 1.2, 1.3 ~ 순으로 생성된 것을 볼 수가 있다
이 사진들을 통해 코드가 내 얼굴을 학습하고 알아볼 수 있게 된다

---

학습 자체는 코드를 한 번 RUN 해주는 것으로 끝난다
그 전에 학습의 결과를 저장할 trainer 폴더를 만든다
📌 mkdir trainer

그러고 나서 다음의 코드를 작성하고 Run시킬 것인데

❗❗ 마찬가지로 haarcascade_frontalface_default.xml 파일을 ~/FacialRecognitionProject 에 넣어주자
코드 내의 파일 경로도 다시 확인해볼 것!

import cv2
import numpy as np
from PIL import Image
import os
# Path for face image database
path = 'dataset'
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier("haarcascade_frontalface_default.xml");
# function to get the images and label data
def getImagesAndLabels(path):
    imagePaths = [os.path.join(path,f) for f in os.listdir(path)]     
    faceSamples=[]
    ids = []
    for imagePath in imagePaths:
        PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale
        img_numpy = np.array(PIL_img,'uint8')
        id = int(os.path.split(imagePath)[-1].split(".")[1])
        faces = detector.detectMultiScale(img_numpy)
        for (x,y,w,h) in faces:
            faceSamples.append(img_numpy[y:y+h,x:x+w])
            ids.append(id)
    return faceSamples,ids
print ("\n [INFO] Training faces. It will take a few seconds. Wait ...")
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
# Save the model into trainer/trainer.yml
recognizer.write('trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi
# Print the numer of faces trained and end program
print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids))))

출처: Marcelo 아저씨 블로그

만약 PIL 라이브러리가 설치되지 않은 상태라 이 코드에 오류가 생긴다면

📌 pip install pillow

명렁어를 통해 설치해주도록 한다

코드가 무난하게 작동되었다면 trainer 폴더에 뭔가가 생겼을 것이다
대충 학습된 내용이 저장된 파일이라고 생각하면 되겠다

---

이제 이걸 토대로 해서 내 얼굴을 알아보는지 확인해야 한다
학습된 내용이 저장된 파일을 불러와서 그걸 토대로 내 얼굴을 인식하는 구조로 돌아간다

⚡️ 계속해서 반복하는 내용이지만
haarcascade_frontalface_default.xml 이 놈의 경로를 주의하자

아래에 나오는 코드의 초반부 변수 부분을 보면 names라는 배열이 보일 것이다

🧩 12) names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W']

아까전에 우리는 id를 '1'로 설정했었다
바로 여기서 쓰기 위함이었다
이 프로젝트를 진행하고 블로그에 작성하신 Marcelo아저씨의 이름이
배열의 1번 인덱스에 저장되어 있는 것을 볼 수 있다

나는 Marcelo아저씨 덕분에 이런 재밌는 경험을 할 수 있긴 하지만
그렇다고 내가 Marcelo아저씨가 된 건 아니기 때문에 user id 또는 배열의 내용을 수정해서 내 이름을 쓸 거임

import cv2
import numpy as np
import os 
recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read('trainer/trainer.yml')
cascadePath = "haarcascade_frontalface_default.xml"
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
#iniciate id counter
id = 0
# names related to ids: example ==> Marcelo: id=1,  etc
names = ['None', 'Marcelo', 'Paula', 'Ilza', 'Z', 'W'] 
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video widht
cam.set(4, 480) # set video height
# Define min window size to be recognized as a face
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)
while True:
    ret, img =cam.read()
    img = cv2.flip(img, -1) # Flip vertically
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
    faces = faceCascade.detectMultiScale( 
        gray,
        scaleFactor = 1.2,
        minNeighbors = 5,
        minSize = (int(minW), int(minH)),
       )
    for(x,y,w,h) in faces:
        cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
        id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
        # Check if confidence is less them 100 ==> "0" is perfect match 
        if (confidence < 100):
            id = names[id]
            confidence = "  {0}%".format(round(100 - confidence))
        else:
            id = "unknown"
            confidence = "  {0}%".format(round(100 - confidence))
        
        cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
        cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)  
    
    cv2.imshow('camera',img) 
    k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video
    if k == 27:
        break
# Do a bit of cleanup
print("\n [INFO] Exiting Program and cleanup stuff")
cam.release()
cv2.destroyAllWindows()

출처: Marcelo 아저씨 블로그

이걸 돌려 보면

낮은 수치지만 고맙게도 알아준다
정면으로 촬영을 많이 했는데 옆모습이 나와서 그런 것일 수도 있고
처음 dataset을 만들 때 정면이 제대로 잡히지 않았을 수도 있겠다

아무튼 Marcelo아저씨 덕에 나는 내 얼굴을 인식하는 시스템을 구성해볼 수 있었다

꽤 재밌었다

라즈베리 파이의 성능이 조금 더 좋았다면
여러 인식 기능들을 사용해 볼 수 있었는데 좀 아쉽다

아무튼 Marcelo아저씨에게 경의를 표하며 실습 끝이다

끝

❗🌐 학습 내용 출처: 황르셀로 블로그