투자를 하기 위해서는 해당 기업과 산업에 대한 깊이 있는 이해가 필수적입니다. 하지만 재무제표, 뉴스, 리서치 리포트 등 다양한 곳에서 정보를 찾아야 하는 번거로움이 있죠. 이에 저희는 인공지능 기술을 활용하여 투자자 여러분께 필요한 정보를 한곳에서 편리하게 제공하는 '투자 비서 AI' 서비스를 준비했습니다.
투자 비서 AI는 개별 종목의 재무정보, 뉴스, 공시자료, 전문가 컨센서스 등을 통합하여 Q&A 형식으로 사용자에게 제공합니다. 더불어 재무데이터를 시각화한 그래프와 밸류에이션 분석 등 부가적인 정보도 확인할 수 있습니다. B2C와 B2B 두 가지 형태로 서비스를 제공할 예정입니다.
B2C 서비스 주요 기능
종목 개요 및 사업 설명
10년 이상 과거 재무데이터 열람 및 그래프 시각화
PER, PBR 등 상대가치 지표 비교
FCFF 등을 통한 절대가치평가 및 적정 주가 밴드 제시
해당 산업/테마 소개 및 최신 동향
뉴스/보고서 요약 제공을 통한 최신 이슈 파악
B2B 서비스 주요 기능
원하는 형식의 기사/리포트 초안 작성
데이터 분석 툴(Pandas, Scikit-Learn 등) 연계한 심화 분석 가능
사용자 니즈에 맞는 맞춤형 리포트 작성
최근 전문가 수준의 인공지능 모델이 지속적으로 발전하면서 투자 분야에서도 활용 사례가 늘고 있습니다. 투자 비서 AI 역시 텍스트 마이닝, 자연어 처리는 물론 데이터 분석까지 가능한 최신 AI 기술을 통해 개발되었습니다. 앞으로도 지속적인 모델 업그레이드를 통해 정확하고 유용한 정보를 전달할 수 있도록 하겠습니다.
프로젝트 셋팅 및 데이터 셋팅
개인 프로젝트라서 죄송하게도 상세한 자료와 코드 정보를 공개하기가 어렵습니다. 그로인해서 화면의 캡처한 내용의 품질이 좀 떨어질 수 있으니 이해를 해주세요. 다만 대략적인 구성과 내용을 이해할 수 있도록 작성을 해보겠습니다.
파이썬을 기반으로 하는 랭체인 환경을 구성하고 개발 환경을 생성하였습니다.
필요한 데이터를 수집을 위해서 증권데이터의 보고서들을 약 2000여개 수집을 하고 프로젝트 폴더에 파일들을 업로드해놓았습니다.
문서 파일들을 업로드하고 파싱을 하여 임베딩 벡터로 생성을 하기 위해서 토크나이저를 사용하여 임베딩을 수행합니다. 텍스트 스플리터를 이용해서 문서의 내용들을 2가지 방식으로 구분하여 나누고 벡터화를 진행하였습니다.
문서의 데이터를 임베딩 저장하고 검색을 할 수 있기 위해서는 벡터 DB가 필요합니다. 현재 아주 많은 수의 다양한 벡터 DB들이 존재하고 자신의 목적에 맞춰서 하나를 정하여 사용합니다.
임베딩 검색을 기본적으로도 잘 해주지만 이를 더욱 활용도를 높이고 원하는 정보들을 검색을 잘 하도록 하기 위해서는 몇가지 고급진 방법들이 존재합니다.
Maximal Marginal Relevance (MMR)
MMR(Multi-Document Summarization with Maximal Marginal Relevance)은 다중 문서 요약에 사용되는 기법 중 하나입니다. 주로 정보 검색에서 활용되며, 여러 문서로부터 관련성이 높은 정보를 추출하여 요약하는 데 쓰입니다. MMR은 다양한 문서를 효과적으로 요약하고 중요한 정보를 강조하는 데 도움을 줍니다.
주요한 기술적인 방법들은 다음과 같습니다.
유사도(Similarity): MMR은 각 문서의 유사도를 측정하여 선택된 문서들 간의 중복을 최소화합니다. 이를 통해 유사한 정보가 중복되어 나타나는 것을 방지하고 다양한 관점을 다루는 요약을 생성합니다.
다양성(Diversity): MMR은 다양성을 강조함으로써 요약의 정보량을 최대화합니다. 다양한 관점과 정보를 제공함으로써 요약의 품질을 향상시킵니다.
Multi-Query
다중 쿼리(Multi-Query)는 정보 검색에서 사용되는 기법으로, 단일 쿼리가 아닌 여러 쿼리를 동시에 사용하여 검색 결과를 개선하는 방법입니다. 다중 쿼리를 사용함으로써 검색의 정확도와 품질을 향상시키는 것을 목표로 합니다.
다양한 측면을 반영하기 위한 다중 관점: 단일 쿼리로는 다양한 관점의 정보를 얻기 어려울 때, 여러 개의 쿼리를 사용하여 각각의 관점을 다룰 수 있습니다. 예를 들어, "플라스틱 사용"과 "재활용 가능한 포장재"라는 두 가지 쿼리를 동시에 사용하여 환경 관련 정보를 검색할 수 있습니다.
검색의 다양성 증대: 단일 쿼리로는 특정 주제에 대한 정보만을 제공받을 수 있지만, 다중 쿼리를 사용하면 다양한 주제나 관련성 있는 정보를 얻을 수 있습니다. 이를 통해 사용자의 정보 요구에 더 잘 부합하는 결과를 얻을 수 있습니다.
검색 결과의 품질 향상을 위한 결합: 각각의 쿼리로부터 얻은 결과를 결합하여 품질이 높은 검색 결과를 생성할 수 있습니다. 예를 들어, 각 쿼리의 검색 결과를 융합하여 중복을 제거하거나, 관련성이 높은 문서를 더 강조하여 보다 유용한 정보를 제공할 수 있습니다.
재검색 및 정보 탐색의 효율성 향상: 다중 쿼리를 사용하면 여러 관점을 고려하여 초기 검색 결과를 개선하거나 보완할 수 있습니다. 사용자가 요구하는 정보에 더욱 적합한 검색 결과를 제공함으로써 검색 효율성을 높일 수 있습니다.
사용자 UI 웹 구성
사용자들이 쉽게 사용하기 위해서는 웹 방식으로 접근성을 쉽게 높여줄 필요가 있습니다.
이를 위해서 자동UI 도구를 활용해서 쉽고 빠르게 웹 UI를 생성할 수 있습니다. 여기서 제가 시도한 웹 UI는 보고서를 업로드하고 대화를 할 수 있도록 화면을 구성합니다.
이것으로 주요 내용을 요약하여 공유를 드렸습니다.
보시다가 궁금하신 내용이 있으시면 언제든지 댓글을 달아주시고요
유익하신 내용이였다면 좋아요를 눌러주시면 감사하겠습니다~
