0. 문제
저는 회의록 안쓰면 회의에서 도대체 뭐가 결정됐는지 절대 기억 못하는 사람인데요.
"아.. 죄송한데, 이거 이렇게(<-이거 어제 안하기로 함) 하면 안되나요?"
(같이 일하기 힘든 사람 1위)
아래 내용이 제 요구사항입니다.
1. 회의는 모두 녹음되어야 함
화자 분리 기능이 있어야, 타임라인으로 누가 언제 어떤 발언을 했는지 다시 들을 수 있다.
2. 녹음된 회의는 모두 전사(Transcript)되어야 함
오디오뿐만 아니라 text로 읽을 수 있어야 한다.
추가로, 있으면 정말 좋겠다고 생각한 것들:
3. 회의 내용이 AI 기반으로 요약
결정된 내용 / 미결정 내용 / 내가 할 일이 구분되어야 하고, 내가 쓰는 일정 관리 앱에 연동되면 더 좋다.
4. 한 플랫폼에서 지식 관리
노션처럼 AI 회의록도 해주고, 지식도 같이 쌓이면 좋겠다.
5. (가장 중요) 무료여야 함
로컬 기반이면 더욱 좋겠다.
1. 기존 상품의 문제
| 상품 | 기능 | 문제 |
|---|---|---|
| 네이버 CLOVA Note | 녹음 · 전사 · AI 요약 제공 월 10시간까지 무료 | 사내 VPN 환경에서 접근 불가 업무 중 사용하려면 결국 외부 서비스가 아닌 로컬 기반 필요 |
| Notion + AI | 문서/지식 관리 · AI 요약 및 정리 | AI 기능 사용 시 유료 구독 필요(월 $20 수준) |
| AppFlowy Self-hosting | Notion과 유사한 오픈소스 지식관리 Self-hosting 가능 OpenAI API Key 연동 지원 | 한국어 AI 전사 미지원 AppFlowyAI 플래그는 연 $72 플랜부터 제공 |
1. 클로바
회의록 하면 먼저 떠오르는건 클로바였습니다.
녹음, 전사, 요약을 다 제공하고, 회의를 그렇게 많이 하지 않는다면 한 달 10시간까지 무료입니다.
문제는 사내 VPN이었습니다. 저는 업무할 때 VPN을 켜는데, clova 쪽 접근이 안 됐어요.
여기서 석나가네 로컬 기반이어야한다고 생각했습니다.
2. 노션
그러면 노션?
AI 기능은 결국 구독을 요구하고, 월 20달러는 비싸요!(VPN 문제는 똑같았을 수도..)
3. AppFlowy
그러면 노션의 오픈소스 대안이라는 AppFlowy.
seed plan(연 $12)을 구독해서 셀프호스팅으로 직접 띄워봤습니다.
근데 이런.
- AI 전사가 안 됩니다(한국어 지원 없음)
- 전반적인 AI 기능도 사용이 불가능했습니다
OpenAI 키를 넣고, 서버에서 API 응답이 정상으로 오는 것까지 확인했는데도 AI가 열리지 않았습니다.
로그를 파보니 AI 요청은 OpenAI로 나가기 전에 라이선스를 검사하더라고요.
연 $72짜리 구독 부터 가능했습니다.
내 서버, 내가 넣은 키, 내가 내는 토큰 비용인데, 로컬 기반 회의록이 이렇게 어렵다고..? 하늘도 무심하셔라..
2. 답은 옵시디언에 있었어
원래 옵시디언을 쓰고 있었는데, 손으로 잡히는 펜과 노트를 쓴 이후로 잘 안 썼습니다.
폴더 구조가 불편해서 make.md 같은 플러그인도 깔아 해봤지만, 결국 관리가 안 됐고 노트를 "시작하는 시간"이 길어져서 멀어졌거든요.
근데, 옵시디언은 오픈소스로,
1. 녹음도 가능하고 (플러그인)
2. 로컬 기반 모델로 한국어 전사도 가능하고
3. 그 전사 기반으로 AI 호출 한번이면 요약도 가능하고
4. AI 호출 한번 더하면 제가 사용하는 To-do 관리 앱과도 연동이 가능했습니다.
근데 기존 플러그인들에서는 화자분리 기능이 없더라구요.
3. 답답하면 니들이 뛰던지
화자분리는 기존 플러그인이 안 해주지만, 어차피 그것도 AI가 할 수 있지 않을까?
필요하면 내가 만들어서 쓰자!
전사는 whisper.cpp large-v3-turbo(맥북 로컬), 화자분리는 pyannote를 사용하면 된다고요?
전사 모델? 모른다. AI야 나 전사해야해
화자분리? 모른다. pyannote? 나는 파이썬을 잘 모른다! (당당)
그래서 8월 말, 녹음 + 전사 플러그인을 만들기 시작했습니다.
4. 시간별로 발전 과정
그런데 사실 순탄친 않았습니다.
처음 만들고 녹음 떼렸더니 웬걸 전사중에 끊겨서 싹 다 삭제된 적도 있었습니다.
아래 인용문들은 AI에게 실제 보낸 프롬프트입니다.
8월 27일
전사중에 녹음 파일이 사라진(;;) 날
obsidian vault에서 voice record 하라는대로 했더니 전사중에 갑자기 끊겨서 녹음파일 다 날아갔어
이후 한국어 전사 + 화자분리 기능도 필요해서 아래와 같이 보냈습니다.
그러면 플러그인 오픈소스 찾아서 우리껄로 포크따고 해볼까? 기존 오늘 오전에 녹음했던거 찾아와서 방금 말했던 pyannote-audio를 얹은 뒤 내가 어느정도 성능 나오는지 판단해볼래. 이후 시간이나 화자 클릭시 그 곳으로 녹음 파일의 커서를 해당으로 이동할 수 있게까지 해줘
버그 수정도 했습니다.
추가로 해당 부분에 클릭해도 그쪽으로 넘어가지 않아 (그 녹음 파일로 넘어가지 해당 부분으로 넘어가지 않음)
8월 28일
요약 기능도 넣었습니다.
음.. 오늘 8월 28일 녹음한 전사 파일이 안보이는데..
해당 녹음이 끝나면, 전사 + 요약도 가능하게 해줘, 요약에는 Action Items이 발화자 마다 있으면 좋겠어
아 회의록 요약은 GLM -5.3 flash로 해줘 나 로컬에 공간 없어(모델돌릴)
그리고 더 큰 문제가, 전사시에 똑같은 문구가 반복됐습니다.
예를 들면 다음과 같았는데요.
실제로 네, 네, 네 라고 말한 경우도 있지만, 녹음이 끝날때 쯤에 같은 문구가 계속 반복되는 문제가 있엇습니다.
8월 31일
위 문제는 조금 지나서 해결했습니다.
이전에도 비슷한 문제가 있었는데 녹음 파일을 7분간 나눠서 전사해서 해결했었거든요?
그래서 원리는 모르지만 같은 해결책을 적용했습니다.
최근 davinci resolve에 영상 넣으며 전사했을 때 문제가 생긴게 있었는데 같은 문구 (네, 네, 네) 등이 반복되는 문제가 있었음. 근데 그 문제는 obisidian 전사 시에도 똑같이 생기는 문제였고, 전자의 문제 해결방법을 분석해 후자에도 적용할 수 있는지 확인하고 적용해. 7분인가 정도로 짤라서 전사하는게 방법이었던것 같음 조사하고 플랜 가져와
이런 문제를 "루프" 라고 합니다.
Whisper 라는 모델은 녹음 오디오를 30초 간격으로 자릅니다.
이후 각 간격마다 자기 회귀(autoregressive) 방식으로 텍스트를 생성합니다.
여기서 자기 회기 방식이란?음성 전체를 듣고
1. "오늘"을 예측
2. 음성 + "오늘"을 보고 → "회의에서는" 예측
3. 음성 + "오늘 회의에서는"을 보고 → "신규" 예측
4. 음성 + "오늘 회의에서는 신규"를 보고 → "서비스" 예측
5. ...
즉,
음성 → 첫 토큰 → 그 토큰을 참고해서 다음 토큰 → 또 그 결과를 참고해서 다음 토큰
이게 자기회귀(Autoregressive) 입니다.
자기 회귀 방식은 모델에게 "문맥(context)" 을 부여합니다.
사람이 말을 알아듣는 상황을 생각하면 꽤 자연스럽습니다.
예를 들면
“나는 오늘 학교에…”
다음에 뭐가 올까요?
- 간다.
- 봤다.
- 갈다.
여러 가능성이 있지만, 이미 나온 “나는 오늘 학교에”라는 문맥을 알면 다음 말을 훨씬 쉽게 예측할 수 있습니다.
이후 전사에서 같은 말이 반복 되는 문제가 사라졌습니다.
7분 간격으로 오디오를 모델에게 넘기므로, 이전 확률이 남아서 않기 때문으로 생각합니다.
9월 1일
(버그) 또 전사가 안됐습니다.
260831 오후 회의, 260831 팀 주간회의 이 두 옵시디언 inbox의 MD가 전사가 안됐어. minimize하고 다른 작업했는데 문제가 있던건지 개선해줘
발화자/시간에 점프 하는 기능 추가 했습니다
obsidian에서 발화자 링크 ([~~|발화자] 누르면 발화자 수정을 했으면 좋겠어 (해당 위치로 점프는 시간(00:00)이 하고))
9월 10일
전사가 실패했고, 발화자가 너무 여러명으로 뽑혀서 개선을 요청했습니다.
transcribe failed for 260909 부문장님 보고 in obsidian 다시 전사하고 원인 파악할 수 있으면 해줘
전사 퀄리티는 좋은데 발화자 분리 기능이 약해. 어떻게 개선시킬 수 있을까? 무엇이 원인이야 ?
모델에서도 개선 가능한게 있는지 확인했습니다.
로컬에서 감당 가능한수준으로 whisper-1보다 좋은건 없어?
이렇게 주욱 개선한 뒤, 결국 저만의 워크 플로우가 생겼습니다.
5. 나만의 AI Native 일하는 방식
- 일단 회의록을 녹음을 키고 회의를 열심히 참여한다
- 회의가 끝나면 전사된 내용 + LLM 요약을 보며 할 일을 정리한다 (자동으로 캘린더에 저장됨)
- 그 일을 다시 AI에게 던지거나, 더 자세히하게 명세해서 작업한다.
결국 이 작업을 위해 로컬 기반 회의록 플러그인을 직접 만들었습니다.
그리고, Inbox도 만들어서 Automation (codex 에 있는 자동화 기능)을 만든다음. Inbox의 내용을 읽고, 정리정돈 하는 워크플로우도 있습니다.
6. 효과
- 제가 할 일에 대해서 잊어먹거나, 놓치는 확률이 현저히 떨어졌습니다.
- 할 일에 대한 명확한 이해, 정의가 되어서 일을 두 번 하는 일도 적어졌습니다.
7. 방향성
제가 AI-Native 기반 회사라면, 무조건 이 워크플로우 기반 SaaS를 하나 사서 구독할 것 같습니다.
헐리가 굉장히 제 요구사항에 충족했었는데, 로그인이 안되더라구요. 아직도 안되네요.
GPT는 Fellow Business를 추천하네요. (seat/15$ 너무 비싸다..)
아마도 노션이 이거랑 굉장히 유사한 워크플로우를 만들 수 있지 않을까 생각합니다.
적어도 1인 직원에 입장에서는 지금 워크플로우로 굉장히 만족하고 있습니다.
이전에는 단순한 유틸리티 도구들을 여러개 묶고, 도구 사용 방법을 배워서, 생산성을 향상시켰는데, 이제는 AI 덕분에 아예 일하는 방식 자체를 바꿀 수 있엇습니다.
제가 작업한 한국어 화자분리 레포입니다.
https://github.com/KYankee6/advanced-audio-recorder-fork
