책임감은 높이고, 편리함은 더한 Karlo:
https://brunch.co.kr/@kakao-it/464

😈 데이터블로그 챌린지 12일차😈 입니다.
이번 시간에는 카카오의 생성형 이미지AI인 Karlo에 대해 알아보았습니다. 칼로는 달리나 미드저니 api와 다르게 무료로 이용할 수 있어서 눈여겨 보던 툴인데 이번기회에 탐구해보겠습니다.

요약

• 카카오브레인에서 제작한 생성형 이미지 AI 칼로 서비스에는 윤리적 문제를 해결하기 위한 다양한 기능들이 사용되었다.

• 학습데이터를 모을 때는 CLIP zeroshot 기반 KNN classifier를 통해 학습데이터로 적절한 데이터만 선별하며, NSFW 필터를 통해서 생성형된 결과물이 비윤리적(선정적이거나 폭력적 등)일 가능성을 줄인다.

• 딥페이크에 대응하기 위해 비가시성 워터마크를 이용하여 칼로를 통해 생성한 이미지인지 판별할 수 있도록 한다.

• 내 생각: 아래에는 내가 귀여운 토끼이미지를 생성해보았고, negative prompt 입력란에 사람들이 자주 사용하는 NSFW 프롬프트들을 카피해서 입력했다. 프롬프트 입력란을 2가지로 설정해서 이미지 부분이 일그러지거나 자연스럽지 않게 비율이 망가지는 등의 기타 제어도 할 수 있다는 점이 좋은듯 하다.

nsfw, bad anatomy, out of frame, distortion, text, bent, uneven shape, blurry, grainy, low resolution, worst quality, fuzzy, lowres, low quality, normal quality, signature, watermark, deformity, deformed body, face distortion

내용

• 프롬프트를 입력하면, 이미지 생성 모델을 학습한 데이터에서 사과, 테이블, 색상 등의 패턴과 특징을 찾아낸 후 이를 조합해 사과 이미지를 생성함.

카카오브레인의 이미지 생성기술

• 2022년 4월 ‘RQ-Transformer 3.9B’라는 AI 이미지 생성 모델을 오픈소스로 공개한 이후, 이미지 생성모델을 고도화 함.

• 2022년 12월 칼로 모델 공개

• 2024년 3월 2.1버전을 출시하고 API 서비스를 제공

• coco 데이터셋(10k)로 품질 정량평가 결과 (2024년 3월 기준)
  

• 2022년 10월, AI 미디어 컨텐츠 제작을 위한 B^Discover(비디스커버) 앱 출시

• 2023년 7월, 준전문가를 위한 칼로 서비스 karlo.ai 공개

• 2023년 11월, 카카오톡 채널 칼로 AI 프로필 개설

생성형 이미지 모델과 관련된 다양한 이슈(윤리적)

• 대표적으로 학습한 데이터의 저작권과 이른바 딥페이크(deepfake)를 포함한 비윤리적 악용문제
• 이미지 생성 기술이 선정적이거나 폭력적인 콘텐츠를 생산할 위험과 이른바 허위 사실 유포를 위해 사용될 수 있다는 점

안전한 학습 데이터 확보를 위한 노력

• 생성형 이미지 모델 학습에는 대규모 이미지 데이터가 필요함
  => 웹 크롤링을 통해 이미지를 수집하는 경우 저작권 문제나 부적절한 내용이 학습될 가능성이 높음
  => 칼로는 CLIP zeroshot 기반 KNN classifier로 학습된 NSFW(not safe for work) 체커를 통해 부적절한 내용이 학습에 사용되지 않게 방지 ( 선정성이나 저작권, 부적절한 내용이 담기지 않은것을 사람이 선별하는 과정을 거쳐 학습데이터로 사용)

부적절한 이미지 생성을 막는 시스템

• 생성결과가 혐오물이나 부적절한 이미지인 경우, 분류해서 사용자에게 보여주지 않는 기능을 탑재함 (NSFW 필터)
  

• 자체개발한 금칙어 데이터베이스를 활용하여 사용자 입력에서부터 부적절한 콘텐츠의 생성 가능성을 최소화
  

• 모니터링 담당자들(사람이) 직접 검수하고 즉각조치
  

• 칼로 웹갤러리에 사용자가 신고버튼으로 직접 신고할수 있도록 개설

비가시성 워터마크 도입으로 딥페이크 대응

• 칼로를 이용해 생성된 이미지에는 워터마크를 삽입
  => 가시성 워터마크는 사용자가 생성항 이미지가 일부 변형/훼손될 수 있는 단점이 존재함
  => SDK(software development kit) API를 활용하여 칼로로 생성항 딥페이크인지 확인 가능/ 일반이용자는 워터마크 기술을 제공하는 스냅태크 홈페이지에 이미지를 업로드해서 확인 가능