https://yozm.wishket.com/magazine/detail/3203/
CEN AI는 아이티센클로잇에서 개발한 기업 맞춤형 클라우드 기반 AI 챗봇 서비스로 이미 사용 중인 구글 클라우드 같은 플랫폼 기반으로 우리 회사만의 생성형 AI 챗봇을 구축할 수 있다면 어떨까? 업무 생산성은 또 얼마나 달라질까요?
아이티센클로잇은 멀티 클라우드 환경에서 Cloud Native 애플리케이션 개발과 DevOps 플랫폼 구축 등 전문기술 역량을 갖춘 기업이다. 특히 클라우드 기반 AI 기술과 데이터 분석 역량을 바탕으로 다양한 산업분야의 디지털 혁신을 기술적으로 지원하고 있다. 클라우드 전환, 구축과 운영, 컨설팅, 솔루션 제공까지 다양한 영역에서 활동중이다.
회사에 맞는 생성형 AI 챗봇 왜 필요한가?
-
챗GPT나 gemini와 같은 범용 AI 모델은 개인을 위한 서비스이다.
-
범용 LLM(대규모 언어 모델)은 일반적인 데이터를 학습한 것이지, 회사의 구체적인 내부 데이터는 학습하지 못한다.
실제로 지식 노동자들은 하루 8시간 중 생산적인 시간은 2시간 정도고, 나머지 6시간은 정보 검색 등 준비 작업에 소비한다.
특히 RAG(검색증강생성)기술을 쓰면 기업 내부에서 생산된 최신 데이터를 정화히 활용, AI가 흔히 일으킬 수 있는 할루시네이션 현상을 크게 줄이고, 답변의 출처까지 명확히 제공해 신뢰도를 높인다.
생성형 AI 챗봇의 성능은 결국 데이터의 품질과 양에 따라 결정된다. 하지만 많은 기업들이 이미 갖추고 있는 데이터들이 잘 정리되어 있지 않거나, 상당히 파현화되어 있는 경우가 많다.
-> 그래서 도입 초기에 모든 데이터를 완벽하게 준비하려하지 않고, 명확한 평가가 가능한 특정 시나리오와 관련된 데이터를 우선적으로 준비했다.
실제로 범용 AI 모델을 쓰면 정보의 정확도가 80%정도지만, 기업 전용 챗봇을 활용하면 정확도가 95% 이상으로 올라간다.
구글 클라우드 벤더 기반 장점
-
빠르게 서비스를 출시할 수 있다.
-
비용 관리 측면에서 효율적이다.
-
데이터 관리와 보안이 쉽고 안정적이다.
클라우드 환경의 큰 장점은 관리형 서비스가 많다는 점이다. 이는 기업이 최신 기술의 인프라나 서비스 구축과 설정, 관리조차 직접하지 않아도 된다.
CEN AI도 최신 기술 기반의 클라우드 서비스를 이용해 개발한 솔루션으로, 고객사 환경에 적용할 때도 클라우드 환경을 활용하기 때문에, 온프레미스 기반의 솔루션보다 훨씬 빠르고 간편하게 구축할 수 있다.
기반 클라우드 서비스를 구글 클라우드로 선택한 이유
-
다양한 형태의 데이터와 이를 잘 처리하는 제미나이 모델의 장점
-
제미나이 모델이 다양한 형태의 데이터를 잘 다룬다.
CEN AI 유지보수
데이터 라이프 사이클 관리와 챗봇의 응답 품질 관리를 위해 기업 환경에서 정확한 정보를 제공하는 것이 핵심이기 때문에 사용자 피드백을 적극적으로 수집하고, 로그 분석 및 품질 프레임워크를 도입함. 또 보안 리스크를 위해 데이터 암호화 및 마스킹, 입력이나 출력 단계의 가드레일, 역할 기반 접근 제어 등 보안장치들을 추가해 나가고 있다.
RAG 기술은 기본적으로 공개된 정보만 학습된 일반적인 언어모델을 기업 내부의 데이터까지 확장할 수 있도록 해주는 기술이다. 사용자의 질문을 정확히 분석한 뒤, 관련된 기업 내부 문서를 검색하고, 이를 종합적으로 분석,요약해서 최적의 결과를 제공하는 기술이다.
내부 시스템 및 데이터 연동과 기존 챗봇과의 비교
CEN AI는 기업이 내부에 가지고 있는 데이터를 찾아서 쓸 수 있도록 RAG 기술을 기반으로 만들었고 ERP나 CRM 같은 기존 시스템들이랑도 쉽게 연결할 수 있다.
특히 자체적으로 만든 도큐먼트 파서 같은 기술을 이용해서 단순히 키워드만 뽑는 게 아니라 문서의 맥락이나 의도까지 이해하도록 했다. 또 데이터를 업무나 특성에 맞춰 각각의 AI 에이전트로 만들고, 이 에이전트들을 하나의 슈퍼 에이전트가 다시 통합해서 관리하기 때문에, 여러 시스템과 데이터를 자연스럽게 연결 할 수 있다.
비즈니스 관점에서 CEN AI는 일반 생성형 AI 챗봇과 차별화된 노선을 지향한다.
-> 단순히 정보만 주는 게 아니라, 실제 기업 고객의 업무 상황과 맥락을 이해하고, 업무를 직접 도와주는 역할까지 한다. 회사 내부 시스템과 쉽게 연동해서 업무를 자동화하거나 최적하고 불특정 다수의 사용자를 대상으로 한 일반 생성형 AI 챗봇과 달리 CEN AI는 기업마다 서로 다른 요구에 맞춰 유연하게 쓸수 있어 기업 사용자의 실제 업무 효율을 높인다.
CEN AI 핵심 기능
CEN AI 기술
-
MCP(Model Context Protocol)
-
A2A(Application-to-Apllication)
-
ADK(Application Development Kit)
CEN AI 플로우
느낀점
이번 CEN AI를 조사하면서 단순한 AI 챗봇이 아니라, 기업 환경에서 실제 업무를 처리하기 위한 구조적인 AI 시스템이 필요하다는 점을 알게 되었다. 기존에 내가 생각하던 AI는 질문에 답변을 제공하는 수준이었지만, CEN AI는 여러 AI Agent가 역할을 나누고, 내부 데이터와 외부 데이터를 함께 활용하며, 실제 업무까지 수행하는 구조라는 점에서 큰 차이가 있었다.
특히 MCP, A2A 기술을 통해 AI가 협업하고 데이터를 활용하는 구조가 인상 깊었으며, 이는 내가 진행 중인 PromptGuard 프로젝트에도 적용할 수 있는 방향이라고 느꼈다.
