손 동작에 따라 다른 가면 씌우기
- 한손 동작 인식시키기
- 다양한 마스크 씌우기
# 캠 연결하기
import cv2
import mediapipe as mp
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
# spiderman이미지 관련 코드
spider = cv2.imread('./data/spiderman.jpg')
spider = cv2.resize(spider,(250,250))
mask2gray_spider = cv2.cvtColor(spider, cv2.COLOR_RGB2GRAY)
_, mask_b_spider = cv2.threshold(mask2gray_spider, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_spider = cv2.bitwise_not(mask_b_spider)
img_fg_spider = cv2.bitwise_and(spider, spider, mask = mask_b_inv_spider)
# mask
mask = cv2.imread('./data/mask.jpg')
mask2gray_mask = cv2.cvtColor(mask, cv2.COLOR_RGB2GRAY)
_, mask_b_mask = cv2.threshold(mask2gray_mask, 250, 255, cv2.THRESH_BINARY)
mask_b_inv_mask = cv2.bitwise_not(mask_b_mask)
img_fg_mask = cv2.bitwise_and(mask, mask, mask = mask_b_inv_mask)
# sunglass
sun = cv2.imread('./data/sunglass.jpg') # 225,150
mask2gray_sun = cv2.cvtColor(sun, cv2.COLOR_RGB2GRAY)
_, mask_b_sun = cv2.threshold(mask2gray_sun, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_sun = cv2.bitwise_not(mask_b_sun)
img_fg_sun = cv2.bitwise_and(sun, sun, mask = mask_b_inv_sun)
# 인식 가능한 11가지 동작
gesture = {
0:'fist', 1:'one', 2:'two', 3:'three', 4:'four', 5:'five',
6:'six', 7:'rock', 8:'spiderman', 9:'yeah', 10:'ok',
}
# 동작 인식 모델 만들기 (knn모델)
file = np.genfromtxt('./data/gesture_train.csv', delimiter = ',')
X = file[:,:-1].astype(np.float32)
y = file[:,-1].astype(np.float32)
knn = KNeighborsClassifier(n_neighbors = 3)
knn.fit(X,y)
# mediapipe 사용하기
# 손찾디 관련 기능 불러오기
mp_hands = mp.solutions.hands
#손 그려주는 기능 불러오기
mp_drawing = mp.solutions.drawing_utils
# 손 찾기 관연 세부 설정
hands = mp_hands.Hands(
max_num_hands = 2,# 탐지할 최대 손의 객수
min_detection_confidence = 0.5, # 표시할 손의 최소 정확도
min_tracking_confidence = 0.5 # 표시할 관잘의 최소 정확도
)
mp_face = mp.solutions.face_mesh
face = mp_face.FaceMesh(
min_detection_confidence = 0.5, # 얼굴 표현할 최소 정확도
min_tracking_confidence = 0.5 # 특징점 표현할 최서 정확도
)
video = cv2.VideoCapture(0)
while video.isOpened():
ret, img = video.read()
img = cv2.flip(img,1)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
result = hands.process(img) # 손 탐지하기
img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)
if not ret:
break
# 찾은 손 표시하기
if result.multi_hand_landmarks is not None:
rsp_result = []
#d이미지 손 표현하기
# print(result.multi_hand_landmarks)
for res in result.multi_hand_landmarks:
joint = np.zeros((21,3)) # 21개 관절, xyz값 저장할 배열 생성
# enumerate = for문의 순서 표현
for j,lm in enumerate(res.landmark):
joint[j] = [lm.x, lm.y,lm.z]
# 연결할 관절 번호 가져오기
v1 = joint[[0,1,2,3,0,5,6,7,0,9,10,11,0,13,14,15,0,17,18,19],:]
v2 = joint[[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20],:]
v = v2-v1 # 뼈의 값 (x,y,z좌표값 > 백터값)
# 유클리디안 길이로 변롼(피타고라스)
# 뼈의 값(직선 값)
v = v/np.linalg.norm(v, axis = 1)[:, np.newaxis]
# 뼈의 값으로 뼈사이의 각도 구하기, 변화값이 큰 15개
angle = np.arccos(np.einsum('nt,nt->n',
v[[0,1,2,4,5,6,8,9,10,12,13,14,16,17,18],:],
v[[1,2,3,5,6,7,9,10,11,13,14,15,17,18,19],:]))
# radian 각도를 degree각도로 변경하기
angle = np.degrees(angle)
# 구한 각도를 knn모델에 예측시키기
# 학습을 위해서 타입 변경 (2차원 array)
X_pred = np.array([angle],dtype = np.float32)
results = knn.predict(X_pred)
idx = int(results)
# 인식된 제스쳐 표현하기
img_x = img.shape[1]
img_y = img.shape[0]
hand_x = res.landmark[0].x
hand_y = res.landmark[0].y
if idx == 0:
cv2.putText(img, text = 'Mask',
# 이미지 중앙에 결과 표시
org =(int(hand_x * img_x) , int (hand_y * img_y)+20),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=3
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
lip = face_result.multi_face_landmarks[0].landmark[0]
x_lip = int(lip.x * img.shape[1])
y_lip = int(lip.y * img.shape[0])
try:
roi = img[y_lip -112 : y_lip +113, x_lip -112 : x_lip + 113] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi , roi , mask = mask_b_mask)
bg_fg = cv2.add(img_bg, img_fg_mask)
img[y_lip -112 : y_lip +113, x_lip -112 : x_lip + 113] = bg_fg
except:
pass
elif idx == 7 or idx ==8:
cv2.putText(img, text = 'SpiderMan',
# 이미지 중앙에 결과 표시
org =(int(hand_x * img_x) , int (hand_y * img_y)+20),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=3
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
nose = face_result.multi_face_landmarks[0].landmark[4]
x_nose = int(nose.x * img.shape[1])
y_nose = int(nose.y * img.shape[0])
try:
roi = img[y_nose -125 : y_nose +125, x_nose -125 : x_nose + 125] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi , roi , mask = mask_b_spider)
bg_fg = cv2.add(img_bg, img_fg_spider)
img[y_nose -125 : y_nose +125, x_nose -125 : x_nose + 125] = bg_fg
except:
pass
elif idx == 9:
cv2.putText(img, text = 'Sunglass',
# 이미지 중앙에 결과 표시
org =(int(hand_x * img_x) , int (hand_y * img_y)+20),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=3
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
eye = face_result.multi_face_landmarks[0].landmark[6]
x_eye = int(eye.x * img.shape[1])
y_eye = int(eye.y * img.shape[0])
try:
roi = img[y_eye -75 : y_eye +75, x_eye -112 : x_eye + 113] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi , roi , mask = mask_b_sun)
bg_fg = cv2.add(img_bg, img_fg_sun)
img[y_eye -75 : y_eye +75, x_eye -112 : x_eye + 113] = bg_fg
except:
pass
k = cv2.waitKey(30)
if k==49:
break
cv2.imshow('hand', img)
video.release()
cv2.destroyAllWindows()
녹음, 켑처 기능 추가
# 캠 연결하기
import cv2
import mediapipe as mp
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
# 스파이더맨 이미지 관련 코드
spider = cv2.imread('./data/spiderman.jpg')
spider = cv2.resize(spider, (250,250))
mask2gray_spider = cv2.cvtColor(spider, cv2.COLOR_RGB2GRAY)
_, mask_b_spider = cv2.threshold(mask2gray_spider, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_spider = cv2.bitwise_not(mask_b_spider)
img_fg_spider = cv2.bitwise_and(spider,spider,mask = mask_b_inv_spider)
# 마스크 이미지 관련 코드
mask = cv2.imread('./data/mask.jpg')# 225,225
mask2gray_mask = cv2.cvtColor(mask, cv2.COLOR_RGB2GRAY)
_, mask_b_mask = cv2.threshold(mask2gray_mask, 250, 255, cv2.THRESH_BINARY)
mask_b_inv_mask = cv2.bitwise_not(mask_b_mask)
img_fg_mask = cv2.bitwise_and(mask,mask,mask = mask_b_inv_mask)
# 아이언맨
iron = cv2.imread('./data/ironman.jpg')# 225,225
mask2gray_iron = cv2.cvtColor(iron, cv2.COLOR_RGB2GRAY)
_, mask_b_iron = cv2.threshold(mask2gray_iron, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_iron = cv2.bitwise_not(mask_b_iron)
img_fg_iron = cv2.bitwise_and(iron,iron,mask = mask_b_inv_iron)
# 헐크
hulk = cv2.imread('./data/hulk.jpg')# 225,225
mask2gray_hulk = cv2.cvtColor(hulk, cv2.COLOR_RGB2GRAY)
_, mask_b_hulk = cv2.threshold(mask2gray_hulk, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_hulk = cv2.bitwise_not(mask_b_hulk)
img_fg_hulk = cv2.bitwise_and(hulk,hulk,mask = mask_b_inv_hulk)
# 선글라스 이미지 관련 코드
sun = cv2.imread('./data/sunglass.jpg')# 225,150 > 180,120
sun = cv2.resize(sun,(180,120))
mask2gray_sun = cv2.cvtColor(sun, cv2.COLOR_RGB2GRAY)
_, mask_b_sun = cv2.threshold(mask2gray_sun, 200, 255, cv2.THRESH_BINARY)
mask_b_inv_sun = cv2.bitwise_not(mask_b_sun)
img_fg_sun = cv2.bitwise_and(sun,sun,mask = mask_b_inv_sun)
# 인식 가능한 11가지 동작
gesture = {
0:'fist', 1:'one', 2:'two', 3:'three', 4:'four', 5:'five',
6:'six', 7:'rock', 8:'spiderman', 9:'yeah', 10:'ok',
}
# 동작 인식 모델 만들기(knn 모델)
file = np.genfromtxt('./data/gesture_train.csv',delimiter = ',')
X = file[:, :-1].astype(np.float32)
y = file[:, -1].astype(np.float32)
knn = KNeighborsClassifier(n_neighbors = 3)
knn.fit(X,y)
# mediapipe 사용하기
# 손찾기 관련 기능 불러오기
mp_hands = mp.solutions.hands
# 손 그려주는 기능 불러오기
mp_drawing = mp.solutions.drawing_utils
# 손찾기 관련 세부 설정
hands = mp_hands.Hands(
max_num_hands = 1, # 탐지할 최대 손의 갯수
min_detection_confidence = 0.5, # 표시할 손의 최소 정확도
min_tracking_confidence = 0.5 # 표시할 관절의 최소 정확도
)
mp_face = mp.solutions.face_mesh
# 특징점 찾기 세부 기능
face = mp_face.FaceMesh(
min_detection_confidence = 0.5, # 얼굴 표현할 최소 정확도
min_tracking_confidence = 0.5 # 특징점 표현할 최소 정확도
)
video = cv2.VideoCapture(0)
fps = 20
fcc = cv2.VideoWriter_fourcc(*'DIVX')
width = int(video.get(3))
height = int(video.get(4))
# 녹화 여부
record = False
cnt = 0
while video.isOpened():
ret, img = video.read()
img = cv2.flip(img,1)
# 파이썬이 인식 잘 하도록 BGR > RGB로 변경
img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
# 손 탐지하기
result = hands.process(img)
img = cv2.cvtColor(img,cv2.COLOR_RGB2BGR)
if not ret:
break
# 찾은 손 표시하기
if result.multi_hand_landmarks is not None:
# print(result.multi_hand_landmarks)
# 이미지에 손 표현하기
for res in result.multi_hand_landmarks:
joint = np.zeros((21,3)) # 21개 관절, xyz값 저장할 배열 생성
# enumerate = for문의 순서 표현
# 관절 값 저장
for j , lm in enumerate(res.landmark):
joint[j] = [lm.x, lm.y, lm.z]
# 연결할 관절 번호 가져오기
v1 = joint[[0,1,2,3,0,5,6,7,0,9,10,11,0,13,14,15,0,17,18,19],:]
v2 = joint[[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20],:]
v = v2-v1 # 뼈의 값(x,y,z좌표값 > 벡터값)
# 유클리디안 길이로 변환(피타고라스)
# 뼈의 값(직선 값)
v = v / np.linalg.norm(v, axis = 1)[:, np.newaxis]
# 뼈의 값으로 뼈사이의 각도 구하기, 변화값이 큰 15개
angle = np.arccos(np.einsum('nt,nt->n',
v[[0,1,2,4,5,6,8,9,10,12,13,14,16,17,18],:],
v[[1,2,3,5,6,7,9,10,11,13,14,15,17,18,19],:]))
# radian각도를 degree각도로 변경하기
angle = np.degrees(angle)
# 구한 각도를 knn모델에 예측시키기
# 학습을 위한 타입 변경(2차원 array)
X_pred = np.array([angle], dtype = np.float32)
results = knn.predict(X_pred)
idx = int(results)
# 인식된 제스쳐 표현하기
img_x = img.shape[1]
img_y = img.shape[0]
hand_x = res.landmark[0].x
hand_y = res.landmark[0].y
# 어떤 동작에 어떤 가면을 출력할지 정하기
# 0 : 마스크, 7/8 : 스파이더맨, 9 : 선글라스
if idx == 0:
cv2.putText(img, text = 'Mask',
org = ( int(hand_x * img_x) , int(hand_y * img_y)+20 ),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
# 0번이 입의점
lip = face_result.multi_face_landmarks[0].landmark[0]
x_lip = int(lip.x * img.shape[1])
y_lip = int(lip.y * img.shape[0])
# cv2.circle(img, (x_nose,y_nose), 20, (0,0,255), cv2.FILLED)
# 프레임마다 실행하는 코드
try :
roi = img[y_lip -112 :y_lip + 113, x_lip -112 : x_lip + 113] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi,roi,mask=mask_b_mask)
bg_fg = cv2.add(img_bg, img_fg_mask)
img[y_lip -112 :y_lip + 113, x_lip -112 : x_lip + 113] = bg_fg # 어디 위치에 표현할건지
except :
pass
elif idx == 7 or idx == 8:
cv2.putText(img, text = 'SpiderMan',
org = ( int(hand_x * img_x) , int(hand_y * img_y)+20 ),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
nose = face_result.multi_face_landmarks[0].landmark[4]
x_nose = int(nose.x * img.shape[1])
y_nose = int(nose.y * img.shape[0])
# cv2.circle(img, (x_nose,y_nose), 20, (0,0,255), cv2.FILLED)
# 프레임마다 실행하는 코드
try :
roi = img[y_nose -125 :y_nose + 125, x_nose -125 : x_nose + 125] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi,roi,mask=mask_b_spider)
bg_fg = cv2.add(img_bg, img_fg_spider)
img[y_nose -125 :y_nose + 125, x_nose -125 : x_nose + 125] = bg_fg # 어디 위치에 표현할건지
except :
pass
elif idx == 9:
cv2.putText(img, text = 'Sunglass',
org = ( int(hand_x * img_x) , int(hand_y * img_y)+20 ),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2
)
if face_result.multi_face_landmarks is not None:
face_result = face.process(img)
# 6번이 미간의 점
eye = face_result.multi_face_landmarks[0].landmark[6]
x_eye = int(eye.x * img.shape[1])
y_eye = int(eye.y * img.shape[0])
# cv2.circle(img, (x_nose,y_nose), 20, (0,0,255), cv2.FILLED)
# 프레임마다 실행하는 코드
try :
roi = img[y_eye - 60 :y_eye + 60, x_eye - 90 : x_eye + 90] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi,roi,mask=mask_b_sun)
bg_fg = cv2.add(img_bg, img_fg_sun)
img[y_eye - 60 :y_eye + 60, x_eye - 90 : x_eye + 90] = bg_fg # 어디 위치에 표현할건지
except :
pass
elif idx == 5:
cv2.putText(img, text = 'Iron Man',
org = ( int(hand_x * img_x) , int(hand_y * img_y)+20 ),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
nose = face_result.multi_face_landmarks[0].landmark[4]
x_nose = int(nose.x * img.shape[1])
y_nose = int(nose.y * img.shape[0])
# cv2.circle(img, (x_nose,y_nose), 20, (0,0,255), cv2.FILLED)
# 프레임마다 실행하는 코드
try :
roi = img[y_nose -112 :y_nose + 113, x_nose -112 : x_nose + 113] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi,roi,mask=mask_b_iron)
bg_fg = cv2.add(img_bg, img_fg_iron)
img[y_nose -112 :y_nose + 113, x_nose -112 : x_nose + 113] = bg_fg # 어디 위치에 표현할건지
except :
pass
elif idx == 10:
cv2.putText(img, text = 'Hulk',
org = ( int(hand_x * img_x) , int(hand_y * img_y)+20 ),
fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=1, color=(255, 255, 255), thickness=2
)
face_result = face.process(img)
if face_result.multi_face_landmarks is not None:
nose = face_result.multi_face_landmarks[0].landmark[4]
x_nose = int(nose.x * img.shape[1])
y_nose = int(nose.y * img.shape[0])
# cv2.circle(img, (x_nose,y_nose), 20, (0,0,255), cv2.FILLED)
# 프레임마다 실행하는 코드
try :
roi = img[y_nose -112 :y_nose + 113, x_nose -112 : x_nose + 113] # 어디 위치에 표현할건지
img_bg = cv2.bitwise_and(roi,roi,mask=mask_b_hulk)
bg_fg = cv2.add(img_bg, img_fg_hulk)
img[y_nose -112 :y_nose + 113, x_nose -112 : x_nose + 113] = bg_fg # 어디 위치에 표현할건지
except :
pass
mp_drawing.draw_landmarks(img, res, mp_hands.HAND_CONNECTIONS)
k = cv2.waitKey(30)
if k == 49:
break
elif k == 50: # 캡쳐
cv2.imwrite(f'./data/cap_sun{cnt}.png', img, params=[cv2.IMWRITE_PNG_COMPRESSION, 0] )
cnt += 1
elif k == 51: # 녹화 시작
out = cv2.VideoWriter('./data/mask.mp4', fcc, fps, (width, height))
record = True
elif k == 52: # 녹화 종료
record = False
out.release() # 동영상 녹화 종료
if record :
out.write(img)
cv2.imshow('hand',img)
video.release()
cv2.destroyAllWindows()
열심히 공부합시다! The best is yet to come! 💜