01 LLM 애플리케이션 개발 기초
들어가며
랭체인과 랭그래프로 구현하는 RAG·AI 에이전트 실전 입문을 읽고 요약한 글입니다.
생성형 AI의 활용
OpenAI, Google, Anthropic 등 주요 기술 기업들이 LLM 서비스를 API로 제공하기 시작하면서, 기업 내 업무 효율화 및 LLM 통합이 활발히 진행중이다.
현재 주요 활용 사례는 다음과 같다.
1. RAG
기업 내 문서를 벡터 DB에 저장하고, 자연어 질문에 대해 적절한 답변을 생성한다.
예시) 사내 기술 문서, 과거 프로젝트 보고서를 검색 후 답변에 사용
2. 외부 소스 통합형 Q&A 서비스 (데스크톱 리서치)
인터넷 상의 외부 소스에서 답변을 생성하여 신뢰성 높은 답변을 얻을 수 있다.
예시) Perplexity에서는 웹, 학술 논문, SEC filings를 외부 소스로 선택할 수 있다.
3. 메타데이터 활용 분석 (Text-to-SQL)
SQL 문법 등의 전문 지식이 없어도, 자연어를 활용해 기업 내 메타데이터를 분석하는 SQL 쿼리를 생성한다.
4. 고객 지원 강화
LLM을 활용한 고급 챗봇이 24시간 고객 문의에 대응하고, 인간 상담원이 처리하기 어려운 질문을 적절히 답변할 수 있으며, 비용 절감 및 상담원 보호 등의 효과가 있다.
예시) '제4회 고용노동 공공데이터 활용 공모전'에서는 어르신들의 구직을 돕는 AI 전화 서비스 'Veteran'이 장려상을 수상했다.
5. 콘텐츠 생성 자동화
마케팅 부서에서는 LLM을 활용해 블로그 글, SNS 게시물, 제품 설명문이나 썸네일 이미지 등의 콘텐츠를 자동 생성 후 인간의 검토 및 편집을 거쳐 게시하는 워크플로우를 확립해 업무 효율을 향상시키고 있다.
예시) KT에서는 지니 TV 오리지널 콘텐츠로부터 AI를 이용해 자동으로 숏폼 영상을 추출한다고 한다.
6. 코드 생성과 최적화
자연어 설명으로부터 코드를 생성하거나 최적화하는 개발자용 LLM 도구들이 발전하며 생산성이 크게 향상되고 있다.
예시) Cursor, Copilot, Gemini-cli, Claude code
Copilot vs AI Agent
Copilot형 LLM 애플리케이션을 업무에 효율적으로 활용하기 위해선 고려할 사항이 많다:
- 출력 품질, 비용 효율, 생성 속도 등을 고려해 모델을 선택해야 한다.
- 효과적인 프롬프트를 작성해야 한다.
- Context로 전달되는 데이터를 조정해야 한다.
즉, LLM의 능력은 상당히 높지만, 사용자의 활용 능력에 따라 성능의 차이가 발생한다.
반면 AI Agent는 주어진 환경을 인식하고 복잡한 목표에 대해 자율적으로 작동한다.
즉, Copilot형 애플리케이션처럼 인간의 지시에 의해 작동하고 환경 정보나 제약, 기억을 매번 인간으로부터 제공받는 대신 자율적으로 Task를 수행하여 사용자의 수고를 크게 줄여준다.
아직까지는 환각 현상에 대한 인간의 검토 필요성이나 사용자와의 기억을 관리하는 기능이 부족한 탓에 Copilot형 AI로서 사용자의 지시에 의존하는 비중이 높다.
하지만 정말로 인간에게 도움이 되는 AI 시스템을 만들기 위해선 인간의 개입(Human-in-the-Loop)을 최대한 줄이고, 더 많은 고도의 일을 자율적인 AI만으로 수행할 수 있어야 한다.
