1️⃣ 프로젝트 소개
어떤 프로젝트 인가요?
TalkIt은 개발자를 위한 AI 기반 CS 학습 플랫폼으로,
‘눈으로 이해하는 학습’이 아니라 ‘말로 설명하며 체화하는 학습 경험’을 목표로 기획되었습니다.
CS 개념을 읽고 이해했다고 느끼더라도,
실제 면접이나 타인에게 설명하는 상황에서는 말문이 막히는 경우가 많습니다.
이는 단순 암기 중심 학습이 설명 능력과 이해도를 충분히 검증해주지 못하기 때문이라고 생각했습니다.
TalkIt은 이러한 문제의식에서 출발해,
사용자가 CS 개념을 직접 말로 설명하면,
AI가 이를 분석해 즉각적인 피드백과 꼬리 질문을 제공하는 학습 구조를 설계했습니다.
TalkIt 만의 특별한 포인트는 무엇인가요?
TalkIt은 단순히 정답 여부를 판단하는 방식이 아니라,
- 개념 이해도
- 설명의 논리성
- 용어 사용의 정확성
을 서로 다른 기준으로 분리해 평가하는 2-Phase 평가 파이프라인을 적용했습니다
.
이를 통해 STT 인식 오류로 인해 학습자가 불리한 평가를 받는 문제를 최소화하고,
보다 공정하고 신뢰할 수 있는 학습 피드백을 제공하는 데 집중했습니다.
이를 통해 학습자는
- 반복 말하기 학습
- 자동 난이도 조절
- Deep Dive 질문
- 학습 성장 시각화(레벨·티어·뱃지)
를 경험하며, 지식을 ‘아는 상태’에서 ‘설명할 수 있는 상태’로 전환할 수 있습니다.
즉, TalkIt은 단순한 AI 질문·답변 서비스가 아니라,
"AI를 ‘학습 코치’로 활용해 사용자의 설명 능력을 끌어올리는 데 집중한 서비스입니다."
🔗 프로젝트 결과물 링크
서비스 URL : [배포 후 추후 수정]
Github : TalkIt Github
기획/설계 문서(Notion 등) : 해낼 팀 Notion
2️⃣ Ncloud에서 활용한 서비스
TalkIt 에서는 AI 기반 음성 처리와 학습 파이프라인 구현을 위해 다음과 같은 Ncloud 서비스를 활용했습니다.
-
CLOVA Speech
- 사용자 음성 데이터를 텍스트로 변환하기 위한 STT 서비스
-
CLOVA Studio (HyperCLOVA 기반 LLM)
- 발화 정규화 및 CS 개념 평가를 위한 LLM 평가 엔진 구현
-
Object Storage
- 학습 음성 데이터 저장
- STT 전처리 및 분석을 위한 데이터 아카이빙
- 평가 결과 및 로그 저장
-
Server
- AI 파이프라인 로직 및 학습 흐름 제어
-
VPC
- AI 평가 서버와 스토리지를 분리해 보안 강화
❗️(※ 현재는 프로토타입 단계로, 추후 트래픽 증가 및 기능 수정에 따라 인프라 확장 및 구조 개선을 고려 중입니다. 변동 시 업데이트 하도록 하겠습니다. ※)
3️⃣ 프로젝트 설계
이번 프로젝트를 설계하면서 가장 많이 고민했던 부분은
“AI 기반 음성 학습 서비스를 어떻게 안정적이고 공정하게 운영할 것인가”였습니다.
TalkIt은 음성 기반 학습 플랫폼이기 때문에,
단순한 CRUD 서비스보다 훨씬 많은 변수를 고려해야 했습니다.
- 음성 인식(STT)의 불확실성
- AI 평가의 공정성
- 반복 학습에 따른 트래픽 증가
- AI 비용 문제
- 추후 주제 확장 가능성
또한 개발 기간이 제한적이기 때문에,
러닝커브를 최소화하면서도 확장 가능한 구조를 목표로 설계를 하고자 했습니다.
저희 팀에서 정의한 서버 요구사항은 다음과 같았습니다.
- 음성 → 평가 → 피드백 파이프라인의 안정성
- STT 오류로 인한 오평가 방지
- 트래픽 증가에 따른 확장 가능성
- AI 비용 및 로그 관리 구조
- 향후 CS 외 주제 확장을 고려한 구조
이러한 요구사항을 충족하기 위해
Ncloud의 AI 서비스와 인프라를 중심으로 아키텍처를 설계하고자 합니다.
📌 클라우드 아키텍처 및 설명
Green Developers 프로그램을 통해
TalkIt은 Ncloud의 AI 및 인프라 서비스를 적극적으로 활용했습니다.
❗️(※ 아직 구체적 아키텍처는 확정된 부분이 아니기에, AI 파이프라인을 중심으로 설명드리겠습니다. 추후 아키텍처 확정 시 업데이트 하도록 하겠습니다. ※)
아키텍처 설계의 핵심은 다음과 같습니다.
- 음성 기반 AI 평가 파이프라인
- 2-Phase 평가 구조를 통한 공정성 확보
- 확장 가능한 서버 구조
아래부터는 아키텍처 구성 요소별로 설명드리겠습니다.
📌 전체 아키텍처 개요
TalkIt의 핵심 흐름은 다음과 같습니다.
1. 사용자가 CS 개념을 말로 설명
2. 음성을 STT로 변환
3. 1단계 LLM에서 발화 정규화
4. 2단계 LLM에서 CS 개념 평가
5. 피드백·꼬리 질문·난이도 조절
6. 학습 기록 저장 및 성장 시각화
이 전체 흐름을 안정적으로 운영하기 위해
Ncloud 기반으로 다음과 같은 구조를 설계했습니다.
📌 AI 학습 파이프라인 (CLOVA 기반)
TalkIt의 핵심은 AI 기반 CS 평가입니다.
CLOVA Speech (STT)
사용자의 음성을 텍스트로 변환하기 위해
CLOVA Speech를 활용했습니다.
조용한 환경에서는 높은 신뢰도의 변환이 가능했으며,
STT Confidence Score를 함께 활용해
후속 평가 단계에서 참고하도록 설계했습니다.
왜 CLOVA Speech Recognition이 아니라 CLOVA Speech를 사용했나요?!
TalkIt은 사용자의 짧은 발화가 아닌,
CS 개념을 설명하는 장문 발화(Long-form Speech)를 주요 입력으로 사용합니다.
CLOVA Speech는 장문 음성 처리와 비동기 처리에 적합하며,
Object Storage와 연계해 음성을 저장한 뒤 STT를 수행할 수 있어
학습 음성 데이터를 분석·재처리하는 구조에 적합하다고 판단했습니다.
또한 Confidence Score를 함께 제공받을 수 있어,
STT 결과를 그대로 신뢰하지 않고
후속 평가 단계에서 참고 지표로 활용할 수 있다는 점도 중요한 선택 이유였습니다.
📌 2-Phase LLM 평가 구조 (CLOVA Studio 활용)
STT 기반 서비스에서 가장 큰 문제는
“STT 오류를 개념 오류로 오판하는 문제”였습니다.
이를 해결하기 위해 CLOVA Studio를 활용하여,
TalkIt은 2단계 평가 구조를 설계했습니다.
Phase 1 – 발화 정규화 (Normalization)
-
STT 결과를 의도 중심 설명문으로 재구성
-
불확실한 표현은
[UNCLEAR]태그로 명시 -
CS 개념의 옳고 그름은 판단하지 않음
Phase 2 – CS 평가 (Evaluation)
-
정규화된 텍스트 기반 평가
-
개념 이해도 / 논리성 / 용어 정확성 평가
-
[UNCLEAR]부분은 표현 부정확으로 감점
이 구조를 통해
STT 오류와 개념 오류를 분리한 공정한 평가가 가능해졌습니다.
📌 Object Storage
Object Storage는 다음 용도로 활용했습니다.
- 학습 음성 저장
- 평가 결과 아카이빙
- 추후 학습 분석 데이터 저장
CLOVA Speech 장문 발화는 즉시 STT 변환을 수행하는 것이 아니라, Object Storage에 저장한 후 이를 기반으로 STT를 수행합니다.
CS 학습 특성상 다양한 외래어와 IT 용어가 사용되기 때문에,
키워드 부스팅을 통한 인식 정확도 개선이 중요했고,
이 과정에서도 Object Storage를 활용했습니다.
이를 통해 TalkIt은 STT 정확도 개선과 학습 데이터 분석을 동시에 고려한 구조를 설계할 수 있었습니다.
4️⃣ Ncloud 사용 중 만족했던 점과 아쉬웠던 점
😃 만족했던 점
가장 만족했던 점은 AI 서비스의 완성도와 접근성이었습니다.
CLOVA Speech와 CLOVA Studio는 별도의 복잡한 설정 없이도
API 형태로 빠르게 연동할 수 있어,
프로토타입 단계에서 다양한 실험을 충분히 진행할 수 있었습니다.
특히 한국어 환경에서의 STT 정확도와
CS 설명 문맥을 이해하는 LLM 응답 품질은
TalkIt 서비스의 핵심 기능을 구현하는 데 큰 도움이 되었습니다.
🤔 아쉬웠던 점
아쉬웠던 점은 AI 비용 구조를 초기 단계에서 정확히 예측하기 어렵다는 점이었습니다.
다만 Green Developers 크레딧 덕분에
비용 부담 없이 구조 검증과 개선을 진행할 수 있었고,
이는 오히려 서비스 설계의 완성도를 높이는 계기가 되었습니다.
5️⃣ Green Developers 프로그램 참여 소감
Green Developers 프로그램은
단순히 크레딧을 지원받는 프로그램이 아니라, AI 서비스를 실제로 설계하고 검증해볼 수 있는 기회였습니다.
TalkIt은 이 프로그램을 통해 AI 정확도, 비용, 파이프라인 구조까지 실제 서비스 관점에서 고민할 수 있었고,
아이디어를 기술로 구체화하는 경험을 할 수 있었습니다.
아직 완성을 위해서는 갈 길이 멀지만, Green Developers 프로그램을 통해 보다 완성도 높은 TalkIt 서비스를 만들어 나가겠습니다.
6️⃣ 마지막 한 마디
TalkIt 프로젝트를 진행하며,
AI는 ‘정답을 대신 말해주는 존재’가 아니라,
사용자가 스스로 설명하고 성장하도록 돕는 도구여야 한다는 생각을 하게 되었습니다.
앞으로도 Ncloud의 AI 및 인프라 서비스를 활용해 TalkIt을 실제 사용자에게 안정적으로 제공하고, 말하기 기반 학습이라는 새로운 CS 학습 경험을 확장해 나가고 싶습니다.
❗️ 상기 프로젝트 이미지는 프로토타입으로, 디자인이나 기능은 향후 변경의 가능성이 있습니다.
