LLM, RAG 프로젝트

나는 지식 유튜브 영상을 볼 때 항상 두 가지 문제를 겪었다.첫째, 유튜브 강의나 문서를 읽고 나면 막연히 ‘봤다’는 느낌만 남고,무엇을 배웠고, 어떤 개념이 중요했는지는 금세 흐릿해졌다.둘째, 내용을 기록하려고 하면 시간이 오래 걸리고 귀찮아서결국 적지 않게 되었고,

본문 요약, RAG 기반 QA 시스템을 개발하기 위해, 유튜브 영상에서 스크립트를 추출하는 과정이 필요했다.초기에는 Whisper stt를 사용해서 음성을 텍스트로 변환하는 방식을 채택했지만, 몇 가지 현실적인 이유로 접근 방식을 바꾸게 되었다.Whisper stt는

내가 구현해야할 기능은 크게 두 가지다.스크립트 본문 요약스크립트 기반 챗봇전체 스크립트를 가지고 목차와 본문 요약을 만드려고 했다. 근데 원하는 출력값을 얻기 위해 프롬프팅을 하다보니스크립트 길이 + 프롬프트 길이 => 토큰 너무 사용출력 포맷을 원하는대로 맞추려고하

처음에는 본문을 LLM으로 교정한 뒤, 가공본을 벡터 DB에 저장하려고했다.근데 LLM으로 교정하고 요약본을 뽑아내는 과정은 시간이 너무 오래걸렸다.품질도 중요하지만, 들어가는 시간과 비용에 비해 효율이 떨어졌기때문에 일단 가공하지 않고 진행하기로 했다.먼저 짧은 요약

먼저 두 차례로 나눈 요약 부분은 완성 됐다. 품질부분은 챗봇까지 완성한 뒤 더 수정할 예정이다. 유튜브 요약 완성 먼저 사용자가 풀버전 요약을 받기 전, 기다리는 시간 체감을 줄이기 위해 내용을 토대로 질문을 하나 뽑고 그에 맞는 답변을 짧게 출력해줬다. 스트리밍으

유튜브 영상을 대상으로 스크립트를 추출하고, Pinecone + LangChain + Upstage Embeddings를 활용한 RAG 챗봇을 직접 구현했다. 이번 글에서는 코드와 함께 설계 과정을 공유하려고 한다. ✅ 개발 능력 향상을 위해 되도록 공식문서를 보며 개