KANANA 429 엠버서더 - AI 전문가로 섭외되어 감사하게도 카카오의 신모델 kanana-o의 베타 테스터로서 참여할 수 있었다.
오늘은 그렇게 사용해 본 kanana-o 모델에 대한 후기를 작성해보고자 한다 !
🧸 kanana-o 모델이란 ?
최근 파라미터 수가 급증하는 언어 모델, LLM 외에도 이 LLM의 뼈대를 토대로 입력과 출력의 형식을 이미지, 비디오, 음성 등 여러 데이터 형식으로 확장시키려는 시도가 늘어나고 있다.
대표적으로는 멀티모달리티의 확장이 존재한다.
멀티모달 모델이란 텍스트 외에도 이미지, 음성 등 여러 데이터 형식을 다룰 수 있는 모델을 뜻한다.
예컨대, 기존의 언어모델에 별도의 이미지 생성 모델을 붙여 이미지 생성 요청이 들어올 때는 별도 모델을 호출하는 식이다.
반면, kanana-o 모델과 같은 Omni 모델도 존재한다.
Omni Model이란 기존의 LLM을 중심으로 이미지를 이해하는 이미지 인코더, 음성을 이해하는 음성 인코더 등을 붙여 언어 모델이 다양한 데이터를 이해할 수 있도록 다룸을 뜻한다.
가장 핵심이 되는 차이점으로는 동일한 LLM이 모든 형식의 데이터를 하나의 사고 흐름 속에서 이해한다는 점이다.
예를 들어 참새가 짹짹거리는 소리를 듣고 🐦 를 떠올릴 수 있다는 뜻이다.
물론, 옴니모델은 여전히 입력 데이터 형식에 따라 이해하는 바가 완전히 일치하지 않는다는 태생적인 문제점을 가지고 있지만 그럼에도 불구하고 강력한 모델인 것은 자명해 보인다.
그럼 이제 성능을 직접 체감해보자 !
📑 성능 테스트 결과
이번 베타 테스트로 열린 kanana-o 모델은 기본적으로 이미지, 음성, 텍스트를 입력으로 받아 음성, 텍스트를 출력할 수 있는 옴니 모델이다.
이번 테스트에서는 기존 kanana 모델의 텍스트 이해 능력과 별개로 음성 생성 능력에 초점을 맞추었다.
kanana-o 모델은 대표적으로 남성, 여성 두 가지의 목소리를 지원하며 가장 큰 장점으로 "자연스러운 언어 표현"을 꼽았다.
한 번 감상해보자.
▲ 썰풀기 말투 테스트
자연스러운 말투를 테스트해보기 위해 가장 먼저 시험한 "썰풀기 테스트"이다.
처음 들어보고 굉장히 놀랐는데, 언어 능력 자체만을 봤을 때 자연스러운 말투의 표현이 너무나 섬세했기 때문이다.
kanana-o 모델은 텍스트 스크립트 외에도 [강조] 나 [속삭이듯] 과 같은 표현 태그를 섞어 감정을 조절할 수 있는데 이 덕분에 섬세한 감정 표현이 가능했던 것 같다.
딱 하나 아쉬웠던 점이라면 별도의 태그를 통해서도 말의 빠르기를 조절할 수 없다는 점이다.
원하시는 분들은 위 테스트 음성을 1.25 배 해서 들어보시길 ! 훨씬 더 자연스러워 진다.
▲ 지식 전달 말투 테스트
동일한 목적으로 진행해 본 "지식 전달 테스트"이다. 생소한 "터보퀀트"에 대한 설명을 시켜보았다.
결과는 아주 잘 함. 영단어나 생소한 단어의 발음도 척척 잘 해내는 것을 볼 수 있다.
▲ 다양한 표현 태그 테스트
마지막으로 진행한 표현 태그에 대한 테스트이다. 마찬가지로 생소한 "pretext"에 대한 설명을 시켜보았으며 음성에 이용된 스크립트는 아래와 같다.
[강조] 이거 그냥 마우스 따라 움직이는 효과 아닌 거 알아?
[놀라며] 근데 실제로 보면 느낌이 완전 다르거든
[설명] Pretext는 마우스 위치를 기반으로
[차분하게] 화면 요소들을 다르게 반응시키는 구조야
[집중] 중요한 건 모든 요소가 같은 속도로 안 움직인다는 거
[느리게] 어떤 건 천천히, 어떤 건 빠르게
[리듬] 그래서 움직임에 층이 생기는 느낌이 나
[강조] 이게 바로 깊이감이야
[설명] 단순 translate가 아니라
[집중] 각 요소마다 다른 비율로 transform이 들어가
[의문] 그래서 왜 더 고급스럽게 보일까?
[차분하게] 사람 눈은 작은 차이를 더 크게 느끼거든
[속삭이듯] 미묘한 움직임이 오히려 더 자연스럽게 보이는 거지
[전환] 여기서 중요한 포인트 하나 더
[강조] 과하게 움직이면 바로 촌스러워져
[느리게] 그래서 대부분 아주 미세하게만 움직여
[설명] 이게 UX적으로도 중요한데
[집중] 사용자의 시선을 계속 붙잡아두거든
[빠르게] 랜딩 페이지나 포트폴리오에서 자주 쓰이는 이유야
[의문] 별거 아닌데 왜 계속 보게 될까?
[속삭이듯] 답은 자연스러운 인터랙션에 있어
[강조] 결국 좋은 UI는 티 안 나게 잘 움직인다
[빠르게] 이거 하나만 제대로 써도 완성도 확 올라간다
[강조] 직접 적용해보면 바로 체감될걸별도의 가이드 없이 랜덤하게 부여된 표현 태그임에도 불구하고 특히나 놀라며, 차분하게, 속삭이듯, 의문 등 말투의 변화가 크게 요구되는 태그의 경우 음성이 매우 효과적으로 자연스럽게 변함을 확인할 수 있었다.
반면 강조나 집중, 설명 과 같이 모호한 지시를 가진 태그의 경우, 그럴싸한 느낌을 내지만 그때 그때 표현 방식이 조금씩 달라지는 모습을 보였다.
당장 위의 경우에서도 어떤 집중 태그는 목소리에 힘이 들어가고, 어떤 집중 태그는 속삭이는 듯한 모습을 보였다.
또한, 특이하게도 말의 빠르기를 결정하는 느리게 와 같은 태그는 매우 효과적으로 작용하는데 반해 그 반대인 빠르게 와 같은 태그는 전혀 적용되지 않는 모습을 보였다.
아마 발음의 품질 문제로 더 빠른 음성의 학습이 부족했기 때문으로 보인다.
마치며
기존에도 파라미터 수 대비 한국어 능력이 출중해 많이 사용했던 kanana-1.5-8b 모델과 별도로 Omni Model인 kanana-o 를 경험해 볼 수 있는 값진 시간이었다.
아마 30B 언저리의 파라미터를 가지는 것으로 추정되는 kanana-o 모델의 실제 한국어 능력이 여타 많은 음성 모델을 상회하는 수준으로 느껴져 많이 놀랐던 것 같다.
목소리의 다양성이 부족하다는 문제가 있지만, 품질이 나오고 나서 다양성을 챙기는 것은 비교적 더 쉬운 일이니까.
LLM 및 Safeguard, Omni Model 등 국내 AI 발전을 이끌어주는 카카오에 감사하며 나는 이만 !
