마이크로소프트 스타트업 커넥션 2025 요약 (Microsoft Startup Connection 2025)

0koang·4일 전

AI Azure LLM 마이크로소프트 스타트업 스타트업커넥션 애저 인공지능

AI

목록 보기

9/9

💡 AI 챗봇 도입, 토큰 사용량 줄이기, AI 에이전트 설계까지 (정창환 한국신용데이터 리드)

생성형 AI, 사업에 어떻게 녹일까? 🤔

한국신용데이터는 소상공인 사업 성장을 위한 데이터 기반 서비스를 제공하고 있으며, 생성형 AI를 서비스에 응용하는 데 집중하고 있다.
기존 공개된 모델을 활용하여 파인튜닝이나 자체 모델 개발보다는 서비스 통합에 초점을 맞추고 있다.
AI 비서 프로젝트를 진행하며 고객센터 챗봇 '캐시니'를 개발, Azure OpenAI를 활용하여 보안을 강화했다.
AI 비서의 로드맵은 단순 문의 응답을 넘어 개인화된 사업 제안까지 확장하는 것을 목표로 한다.
에이전트 기반 아키텍처를 채택하여 유연하고 확장 가능한 AI 비서를 구축 중이며, LangChain을 활용하여 프롬프트와 에이전트를 구성했다.
토큰 사용량 감소를 위해 순서/구조 최적화, 불필요한 정보 삭제/요약, 프롬프트 최소화 등의 노력을 기울이고 있다.
내부 생산성 증대를 위해 PR 리뷰 자동화 및 AI 기반 사내 정보 요약 봇 등을 개발하여 활용하고 있다.

✨ AI로 만든 채팅 게임 ‘제타’가 새로운 장르를 개척해낸 방법 (김대진 스캐터랩 리드)

AI와 함께 만들어가는 새로운 엔터테인먼트 🎮

스캐터랩은 이전 서비스 '이루다'를 통해 감성적인 AI 가능성을 확인하고, 사용자가 서사에 직접 참여하는 '제타'를 개발했다.
'제타'는 다양한 캐릭터와 서사를 제공하며, LLM을 활용하여 사용자와의 인터랙티브한 경험을 제공한다.
출시 1년도 안 되어 누적 가입자 200만 명 이상, MAU 80만 이상, WAU 50만 이상을 기록하며 높은 성장세를 보인다.
하루 평균 사용 시간 2시간 46분으로, 유튜브나 틱톡 등 주요 엔터테인먼트 플랫폼보다 높은 사용자 몰입도를 자랑한다.
단순한 AI 채팅이 아닌, 인터랙티브와 내러티브가 통합된 새로운 엔터테인먼트 장르를 정의하고자 한다.
자체 개발한 LLM '스포트라이트'를 통해 자연스러운 한국어 구사 및 엔터테인먼트에 최적화된 답변 생성을 목표로 한다.
안전한 콘텐츠 제공과 재미를 동시에 추구하며, 선호도 학습, 어뷰징 필터링, 캐릭터 검수 등 다층적인 안전 장치를 마련하고 있다.

🚀 LLM의 약점, 구독 모델의 약점을 라이너는 어떻게 극복하고 있나? (김진우 라이너 대표)

정확성과 신뢰성을 갖춘 AI 검색의 미래 🔎

라이너는 정확도와 신뢰도를 중요시하는 AI 검색 서비스로, 질문에 대한 답변과 함께 팩트 체크된 출처 정보를 제공한다.
OpenAI의 심플 QA 벤치마크에서 가장 높은 정확도를 기록했으며, 실제 사용자 기반으로도 높은 사용률을 보인다.
초기 학생 시장을 타겟으로 했으나, 현재는 컨설턴트, PM 등 전문가 시장으로 확장하고 있다.
LLM의 정보 탐색 능력의 한계를 인지하고, 인텔리전스(LLM)와 Knowledge(검증된 지식)를 결합한 AI 검색 구조를 개발했다.
질문 분해, 관련 문서 검색, 랭킹, 답변 추출 및 생성, 출처 표기 등의 단계를 거쳐 정확한 검색 결과를 제공한다.
자체적으로 검색에 특화된 LRM을 파인튜닝하여 GPT-4.5보다 높은 검색 성능을 달성했다.
기존 하이라이팅 유틸리티를 통해 축적된 양질의 웹페이지 정보를 활용하여 랭커의 성능을 강화하고 있다.
애저 오픈 AI를 활용하여 API 안정성을 확보하고, 다양한 디스트리뷰션 파트너십을 통해 성장을 가속화하고 있다.

💰 금융 컨설턴트는 고액 자산가만 도와주지만 AI는 누구나 도와준다 (문호준 뉴지스탁 본부장)

AI로 만드는 나만의 투자 전략 📈

뉴지스탁은 다이렉트 인덱싱 서비스를 제공하는 핀테크 기업으로, AI를 통해 서비스 혁신을 추구한다.
기존에는 UI/UX 기반으로 투자 전략을 만들 수 있었지만, 젠포트 AI를 통해 텍스트 입력만으로 전략 생성이 가능해졌다.
Azure AI의 벡터 DB 정보를 활용하여 사용자와 소통하고, 텍스트로 입력된 투자 전략을 젠포트 서비스 조건식에 맞게 변환한다.
AI가 알고리즘 변환, 시뮬레이션, 주문 연동, 마켓플레이스 등록 등의 전 과정을 지원한다.
이를 통해 금융 전문 지식이 없는 사용자도 자신만의 투자 전략을 쉽게 만들고 활용할 수 있게 되었다.
AI를 통해 대중적인 서비스 제공과 함께 B2B 전용 서비스 제공의 한계를 극복하고 있다.

🧠 두나무의 LLM 지식 증류 사례 (이동준 두나무 팀장)

작고 똑똑한 AI 모델 만들기 🔬

두나무는 LLM의 지식 증류(Knowledge Distillation)를 통해 더 작고 빠르며 비용 효율적인 자체 모델을 개발하고 있다.
마스킹 데이터 생성 및 시퀀스 레이블링 모델 학습에 논리지 디스틸레이션을 활용하여 GPT-4 대비 빠른 처리 속도를 달성했다.
증권플러스의 뉴스 중요도순 정렬 기능 개발에 GPT 기반 방식의 한계를 극복하고, GPT-4 기반 페어와이즈 학습 데이터를 활용하여 자체 모델을 구축했다.
RAG(Retrieval-Augmented Generation) 성능 향상 및 비용 최적화를 위해 크로스 엔코더 모델을 논리지 디스틸레이션 방식으로 학습하여 관련 문서 필터링에 활용한다.
Azure 오픈 AI의 GPT-4를 티처 모델로 활용하고, NC A100 머신을 사용하여 모델을 학습하며, 학습된 모델은 ACI에서 서빙하는 Azure 기반 시스템 아키텍처를 구축했다.

⚖️ 전문분야에서는 생성AI를 어떻게 활용하는가? (안기순 로앤컴퍼니 소장)

AI 법률 비서 '슈퍼로이어'의 혁신 🧑‍⚖️

로앤컴퍼니는 리걸테크 기업으로, 생성형 AI 기반 법률 비서 '슈퍼로이어'를 개발하여 법률 전문가들의 업무를 지원한다.
'슈퍼로이어'는 법률 리서치, 서면 초안 작성, 법률 서면 분석 및 요약 등 법률가의 서면 업무 생산성 향상에 기여한다.
출시 후 짧은 기간 동안 변호사 22% 이상이 가입하고 높은 재사용률과 만족도를 기록하며 법률 시장의 뜨거운 반응을 얻고 있다.
2024년 변호사 시험 객관식에서 합격선을 넘어서며 AI의 전문 분야 활용 가능성을 입증했다.
법률 질의에 대한 답변과 함께 관련 판례 및 법령 링크를 제공하여 정보의 신뢰도를 높인다.
판례/법령 외 다양한 법률 데이터(정부위원회 결정례, 행정심판례 등)를 참고하여 답변 생성 기능을 제공한다.
법률 분야 1위 출판사 박영사의 법학 교과서 및 실무서 내용을 답변에 인용할 수 있도록 협력 체계를 구축했다.
인용 적절성 평가 기능을 통해 답변에 포함된 판례/법령 인용의 정확성을 사용자가 쉽게 확인할 수 있도록 지원한다.
이미지 PDF 문서 질의 응답 및 사건 기반 대화 기능 등 법률 업무 특화 기능을 제공한다.

📚 책 고르는 순간부터 독후감까지 AI와 함께 (방은혜 밀리의서재 본부장)

AI와 함께하는 독서의 새로운 경험 📖

AI 스마트 키워드, AI TTS, 페르소나 챗봇 등 AI를 활용하여 독서 경험 전반을 혁신하고 있다.
AI 스마트 키워드를 통해 도서 선택의 편의성을 높이고, AI TTS를 통해 듣는 독서 경험을 향상시키며, 페르소나 챗봇을 통해 작가/주인공과 대화하는 새로운 독서 방식을 제시한다.
2025년에는 독서 경험 전반을 혁신하는 대화형 AI 독서 메이트 'AI 독파밍' 서비스를 선보일 예정이다.
'AI 독파밍'은 AI 챗봇과 함께 대화하며 책을 읽는 새로운 경험을 제공하고, 맞춤형 도서 추천 및 독서 여정 관리를 지원한다.
독서 습관 형성에 어려움을 겪는 사용자들이 AI와의 인터랙션을 통해 쉽고 재미있게 독서에 몰입하도록 유도하는 것을 목표로 한다.
스타트업은 자신에게 중요한 문제를 정의하고, 작은 시도를 꾸준히 이어가며 변화에 대비해야 한다고 조언한다.

🎒 콴다가 AI 활용해 전세계 9천만명 학생에게 서비스하는 비결 (이용재 매스프레소 대표)

AI 맞춤 교육으로 교육 불평등 해소 🌍

콴다는 아시아 최대 교육 버티컬 AI 어플리케이션으로, 전 세계 9천만 명 이상의 학생들에게 서비스를 제공한다.
AI 기술을 활용하여 개인 맞춤형 교육을 제공하는 데 집중하며, 이는 커리큘럼 맞춤과 학습 상태 맞춤의 두 가지 축으로 구성된다.
전 세계 다양한 학교 및 시험 커리큘럼 데이터를 확보하고, 학생들의 학습 데이터를 분석하여 초개인화된 학습 콘텐츠 및 경로를 제공한다.
무료 사용자를 위한 광고 수익 모델과 유료 구독 모델을 통해 서비스를 확장하고 있다.
AI 튜터, 맞춤형 문제 생성, 오답노트 자동 생성 등 다양한 AI 기반 학습 기능을 제공하며 교육 분야의 AI 선두 주자로서의 입지를 강화하고 있다.
가까운 미래에는 AI가 1분 만에 개인 맞춤 문제집을 제작하는 시대가 올 것으로 예측하며, 이를 통해 학습 자유도와 교육 효과가 극대화될 것으로 기대한다.

🧙‍♂️ 프롬프트 엔지니어링 어디까지 가능할까? (강수진 박사)

프롬프트로 LLM의 한계를 넘어서다 🚀

프롬프트 엔지니어링은 LLM의 명확성 부족을 극복하고, 사용자 의도(User Intent)를 정확히 파악하여 서비스 성공 가능성을 높이는 데 중요한 역할을 한다.
사용자의 언어는 텍스트, 맥락, 언어적 배경의 세 가지 레이어로 구성되며, 프롬프트 분석을 통해 사용자 의도를 효과적으로 추출할 수 있다.
싱글턴/멀티턴 분석, 액션 분석, 구조 분석 등을 통해 프롬프트에 담긴 사용자의 의도를 심층적으로 이해할 수 있다.
LangChain과 멀티 에이전트 시스템을 활용하여 복잡한 작업을 수행하고, LLM의 성능을 극대화할 수 있다.
펑션 콜링을 통해 외부 도구를 LLM과 연동하여 자동화된 데이터 처리 및 시각화 에이전트를 구축할 수 있다.
프롬프트를 최소화(Prompt Minimization)하고 LLM이 학습한 단어를 활용(Word Choice)하는 등의 기법을 통해 토큰 사용량을 줄여 비용 효율성을 높일 수 있다.
메타 프롬프트 및 프롬프트 평가(Prompt Evaluation)를 통해 LLM의 답변 품질을 개선하고 최적화할 수 있다 .
랭체인을 활용하여 순환적인 사고 과정(Circulation)을 구축하고 인간 피드백을 반영하여 LLM의 답변 정확도를 향상시킬 수 있다 .

🌠 총 요약 및 생각

각 기업들이 자사의 핵심 역량과 AI 기술을 융합해서 독창적인 가치를 만들어내는게 인상깊다.
단순히 최신 기술을 도입하는 것을 넘어서, 사용자의 니즈를 이해하고, 실질적인 문제 해결에 AI를 집중하는 전략이 돋보인다.
LLM의 한계를 극복하기 위한 프롬프트 엔지니어링, 지식 증류, RAG 고도화 등의 기술적인 노력과 함께, 윤리적인 문제 및 안전성 확보에 대한 고민도 엿볼 수 있어 좋았다.
끊임없는 변화에 대한 유연한 대처와 핵심 가치 유지가 중요하다.
애저 좋은 것 같다. 😁

출처

0koang

서비스 핵심 가치를 이해하고, 지속적인 개선을 이끄는 엔지니어(를 지향함)

이전 포스트