최종 프로젝트
- AI와의 음성 대화로 CIST 검진 진행하기
1. NAVER CLOVA Dubbing - CIST 검진 항목 스크립트 만들기
CIST 검사지의 검사 항목 중, 음성으로 진행 가능한 항목에 대해 스크립트화를 진행했다.
[인사말]
안녕하세요.
지금부터, 기억력과 사고능력을 살펴보기 위한, 질문들을 드릴거에요.
긴장하지 마시고, 생각나는대로 최선을 다해, 답변해주시면 됩니다.
그럼 이제, 시작할게요
-
[Q1_1]
오늘 날짜를 말씀해주세요.
[Q1_2]
올해는, 몇년도인가요?
지금은 몇 월인가요?
오늘은, 며칠인가요?
-
[Q2]
지금 계신 곳은 어디인가요? 어디에 계신지 말씀해 주세요.
[GJ]
자알 하셨어요.
[next]
다음 질문을 드릴게요.
-
[Q3]
지금부터, 외우셔야 하는, 문장을 불러드릴게요.
끝까지, 자알 들어주시고, 따라해주세요.
민수는
자전거를 타고
공원에 가서
열한시부터
야구를 했다
[GJ]
잘 하셨어요.
[Q3_1]
제가 다시 한번 불러드릴게요. 이번에도, 다시 여쭈어 볼테니까, 자알 듣고, 따라해보세요.
민수는
자전거를 타고
공원에 가서
열한시부터
야구를 했다
[Q3_2]
제가 방금 전의 문장을, 나중에 다시 여쭈어 볼거에요.
자알 기억해주세요.
[next]
다음 질문을 드릴게요.
-
[Q4_1]
제가 불러드리는 숫자를, 그대애로 따라해주세요.
육, 구, 칠, 삼
[Q4_2]
오,칠,이,팔,사
[GJ]
자알 하셨어요.
[Next]
다음 질문을 드릴게요.
-
[Q5]
제가 불러드리는 말을, 끝에서부터, 거꾸로 따라해주세요.
예를 들어서, 고구마,를 거꾸로 하면, 마구고, 이렇게 되지요?
마찬가지로, 제가 부르는 말을, 거꾸로 말씀해주세요. 시작할게요.
금수강산
[GJ]
자알 하셨어요.
[Q6]
제가 조금 전에, 외우라고 불러드렸던 문장을, 다시 한번, 말씀해주세요.
[Q6_1]
제가 아까, 어떤 사람의, 이름을 말했는데, 누구일까요?
[Q6_2]
그사람은, 무엇을 타고 갔나요?
[Q6_3]
어디에 갔나요?
[Q6_4]
몇시부터 했나요?
[Q6_5]
무엇을 했나요?
[GJ]
자알 하셨어요.
[next]
다음 질문을 드릴게요.
-
[Q7]
지금부터 제가, 그만,이라고 말할때까지, 과일이나, 채소를, 최대한 마안이 이야기해주세요.
준비되셨죠? 그럼 시작합니다.
[Q7_stop]
그만.
[GJ]
자알 하셨어요.
[Q_end]
검사가 모두 끝났어요. 결과는 또릿에서 확인하실 수 있습니다.
[call_end]
통화가 종료됩니다.각 대사마다 라벨링을 달아주어 재활용성을 높였다. 안그러면 모든 Beep 사운드에 대해서 따로 저장을 해야할 것이다.
실제로 NAVER CLOVA의 Dubbing 서비스를 이용해보니, 입력 프롬프트 작성 시, 발음을 고려하여 ,를 활용하거나 장음을 나타내기 위해서 '잘'을 '자알'로 작성하는 등의 변형이 필요했다.
해당 음성 대화에 참여하는 타겟이 고령자임을 고려하여 인공 목소리의 속도나 볼륨을 조절했다.
스크립트로 최대한 이해하기 쉽도록 다듬었다.
이렇게 스크립트 통파일을 제작한 뒤, 라벨링마다 따로 저장해서 코드로 불러올 계획이다.
2. NAVER CLOVA Speech (STT) API 활용하기
CLOVA Speech 개요
사용자(고령자)의 응답을 다시 텍스트화하여 데이터화해야한다.
이때 STT API를 사용한다.
이번 프로젝트에 사용할 STT API는 NAVER CLOVA의 Speech라는 API이다. 이 모델을 선택한 이유는 NAVER에서 개발한 API이기 때문에 한국어 처리에 능하고, 첫 결제수단 등록 시 무료 크레딧을 100,000원을 주기 때문이었다.
- API 가이드
- 네이버 클라우드 플랫폼 콘솔 접속
NAVER Cloud platform - 지역(Region) 설정
- 사용할 플랫폼 설정
- CLOVA Speech 메뉴로 이동 - 이용 신청 진행
- API Key 발급
참고블로그 :
로컬파일에 있는 음성 파일을 활용할 것이기 때문에,
오늘 날짜를 묻는 동적 유형의 질문에는 LLM에게 코드 실행 시점의 날짜 혹은 시간을 프로그램적으로 계산해서 기대정답으로 전달해야 한다.
pydub으로 audio play를 하려니 임시파일 생성 이슈로 Windows permission error가 발생함
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for simpleaudio
ERROR: Failed to build installable wheels for some pyproject.toml based projects (simpleaudio)
Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...
오류 발생하여 Microsoft build tool 설치..
