소개글

각종 컨퍼런스에 나온 강연들을 정리해보면서 공부해보고 있습니다.
이번 포스팅은 if(kakao) 2022에서 정기수님께서 강연해주신 내용을 정리했습니다.
제목은 "셀피인증: 안면인식 기술을 이용한 비대면 실명확인 시스템 개발 이야기"이며 제목 그대로 비대면 실명확인을 위해 안면인식 모델을 개발한 것에 대한 내용입니다.
말투는 편한 말투로 작성하니 양해 부탁드립니다.

영상 다시보기
문서 자료

발표내용

비대면 실명확인이란?

국내은행의 인터넷뱅킹 및 모바일뱅킹 등록 고객수가 매년 늘고 있음

기존 실명확인 절차

1. 고객이 금융상품에 가입하기 위하여 계좌를 개설 할 때
2. 금융회사 창구를 방문하여
3. 직원에게 신분증을 제시하고 실명확인 진행

국내 허용 비대면 인증 방식

• 위 방식 중 필수적으로 두가지 방식을 선택하여 사용해야함

• 현재 가장 많이 사용되고 있는 방식은 위와 같은데, 이번 발표에서 다루는 기술은 (신분증 사본 제출 -> 영상 통화) 방식에 초점을 둠

신분증 사본과 영상 통화 모두 얼굴 사진을 활용하는 것이어서, 이 부분에 초점을 두고 기술을 만들고자 했다고 합니다.

영상통화인증에 안면인식 도입

영상통화 인증 프로세스

장점

• 영상을 통해 고객과 증표를 육안으로 대조 할 수 있으므로 신뢰성이 높음

단점

• 대기시간 및 영상통화 환경의 제약 사항 발생
• 상담원 및 상담 인프라 관리 자원 소요
• 상담원에 따른 인증 결과의 편차 존재
• 신규 상담원의 적응 기간 동안 상담 품질 편차 존재

-> 사람에 의해 편차가 생기는 부분을 기술로 대체함으로써 정량화하고자 함

안면인식 기술 도입

• 신분증과 실물 얼굴을 비교하는 부분에 알고리즘을 적용하고자 함
• ArcFace라는 안면인식 알고리즘을 LFW 데이터셋에 적용했을 때의 정확도가 사람보다 높게 나옴
  • 이를 근거로 프로젝트 진행
• 상담원이 사용하는 영상통화 시스템의 화면 캡쳐를 통해 사진 데이터를 획득

안면인식 상세 프로세스

제출된 신분증에서 얼굴 검출

• 사진 속에 특정 물체를 찾는 문제는 이미 많은 곳에서 해결됐고 정확도가 높은 모델도 많음
• 하지만 100%의 정확도는 어렵기 때문에 실패 가능성이 있음
  • 실패에 대응하도록 상담원이 직접 얼굴 영역을 선택할 수 있게 함

영상통화 화면에서 얼굴 검출

• 영상통화를 진행하면서 적절한 얼굴을 선택할 기회가 많음
  • 눈을 감거나, 정면이 아니거나, 흐릿한 상태 등의 적합하지 않은 사진을 피하도록 함

두 얼굴의 유사도 측정

• 입력된 사진의 feature를 추출
• 일반적으로 512개의 소수로 이루어져 있음
• 유사한 이미지의 feature들은 가까운 위치에 있음
  • 가까운 위치에 있게 하는 방법?

• Positive가 Anchor와 같은 사람의 얼굴
• Negative가 Anchor와 다른 사람의 얼굴
• Positive는 더 가깝게, Negative는 더 멀어지도록 해주는 triplet loss를 활용하면 유사한 사람끼리는 더 가깝게 됨

동일인 판단 경계값 설정

• 깔끔하게 나눠지지는 않음
• 세가지 판단 구간으로 나눔 (타인 구간, Gray 구간, 동일인 구간)
• 만약 Gray 구간에 해당한다면 상담원이 직접 인증을 진행하도록 함

영상통화에 안면인식 시스템 적용 결과

• 영상통화 인증 업무 효율 개선
  • 얼굴 유사도를 이용한 인증 프로세스 도입으로 상담원에 따른 편차 감소
  • 신규 상담원의 업무 적응 기간 단축
  • 인증 기준을 명확히 하여 상담원의 부담 감소
• 시스템을 발전시키기 위한 새로운 데이터 확보
  • 영상통화 인증에서의 얼굴 유사도 분포
  • 사용중인 신분증의 상태 변화 정보
  • 체중변화, 화장, 헤어스타일 등 다양한 변화에 따른 얼굴 유사도 차이

남아있는 단점

• 대기시간 및 영상통화 환경의 제약 사항 발생
• 상담원 및 상담 인프라 관리 자원 소요

사람에 따른 편차가 있다는 단점은 없앴지만, 여전히 위와 같은 단점이 남아있습니다. 그래서 만든 것이 셀피 인증 서비스라고 합니다.

셀피인증서비스

• 전체적으로 알고리즘을 통해 프로세스가 진행되도록 하되, 사후 모니터링을 통해 보안적으로 더 안전하도록 하고, 피드백을 통해 알고리즘을 개선할 수 있도록 함
• 하지만 이러한 프로세스는 합법적으로 사용할 수 있는 인증 수단이 아니었음
  • 금융규제 샌드박스를 통해 규제로 인해 어려운 서비스를 허가를 받아서 적용할 수 있도록 함

영상통화와 셀피의 안면인식 프로세스 차이

안면인식에 적합한 대상 여부 판단

신분증

• 위변조 방지를 위한 홀로그램, 조명, 손가락에 의한 가려짐 등 알고리즘 성능에 영향을 줄 수 있는 요소들이 존재
• 이를 해결하기 위해, 신분증 촬영 모듈을 직접 개발하여 내재화
• 노이즈가 최소화 되고 얼굴을 검출할 수 있는 시점에서 사진을 획득하도록 함

셀피

• 눈을 뜨고 있는지, 정면을 보고 있는지를 확인해야함
• 이를 위해 눈, 코, 입 위치에 있는 face landmark를 추출해서 확인
• 이외에도 흐릿함 여부, 조명 여부 등을 알고리즘으로 확인

신분증과 셀피영상의 위/변조 탐지

• 신분증 사진이나 셀피 영상을 모니터나 종이에 출력하여 테스트
• 이외에도 얼굴의 움직임을 추적하거나, 안면 특징 추출시 추가 정보를 획득하여 종합적으로 판단

본인 여부 판단

• 상담원의 도움이 없기 때문에 gray zone을 사용할 수 없음
• 일부 고객이 불편함을 느끼더라도 안정성을 위해 FAR이 0이 되는 지점을 경계값으로 설정
  • FAR = False Acceptance Rate = 타인을 동일인이라고 판단한 비율

시스템 구성도

앞서 말한 방식과 셀피의 가장 큰 차이는 상담원의 개입입니다. 즉 사람의 도움 없이 알고리즘만으로 여러가지를 판단해야하므로, 이에 따라 프로세스가 추가되거나 변한 것을 볼 수 있습니다.

셀피인증서비스 운영 현황

• 장년층의 비대면 인증 사용 환경 개선
  • 50대 이상의 연령대 중 본 서비스 이용률 약 42.5%
• 비대면 실명확인 서비스 품질 향상
  • 영상통화 대비 10~20%의 소요시간으로 실명확인 처리 (대기시간 제외)
  • 영상통화 인증의 약 70%를 대체함으로써 상담 리소스 효율 증대

발표에서는 이외에도 성별/연령별 주요 특징과 금융기술연구소를 활용한 점 등을 말해주십니다.