E-Commerce Product QA Chatbot

Luuuuucy·2025년 6월 25일

기획

1. 개요

고용노동부에서 주관하는 일경험 프로젝트에 참여하였다.
NVIDIA ACADEMY 에서 함께 AI를 공부했던 ㅈㅅ님, ㅅㅎ님, ㄷㅇ님과 함께 4명이서 팀을 이루어 지원했다.

AI프로젝트이다 보니,AI 기능이 들어있어야 하고,
ㄷㅇ님과 나는 특히 지난 번 아카데미에서 챗봇을 안만들어서 그런지 제대로 챗봇을 만들어보고 싶었다.

(1) 주제

4명 모두 관심 있어 하는 공통 관심사인 E-commerce로 가닥을 잡았다.
소비자가 챗봇 질문을 통해서 원하는 제품을 찾는 서비스를 만들기로 했다.

(2) 기간

2025년 05월 05일 ~ 2025년 06월 22일 (약 7주)

발표일시: 06월 24일 오후 1시

(3) 팀원

이번에도 또 핀볼게임을 통해서 팀장을 정했다.
팀장은 ㅈㅅ님이 되었다..! 운명의 장난인가~ 팀장이 될 운명인가~

asdf 팀명으로 E-commerce AI chatbot 프로젝트를 진행한다.

(4) 계획

프로젝트 일정은 아래와 같이 진행한다.

계획한 일정은 위와 같지만, 6월 18일경에 20일까지 프로젝트를 마무리하라는 연락을 받았다.
당혹스러웠지만, 협의 끝에 22일 최종 프로젝트 마무리 일정으로 정해져서 추후에 일정 조정이 있었다.

2. 도구

(1) Qwen3-32B

아, 처음에는 Qwen2.5-32B 모델을 양자화한 모델을 사용했었다. 하지만, vllm 버전이 안맞는 이슈로 인하여 Qwen3-32B로 변경했다. Qwen3은 올해 4월에 나모델이다.

(2) Java, PostgreSQL

기획 단계에서 팀원들끼리 각자 해보고 싶은 영역들을 조금씩이라도 하자는 의견이 있어서, Backend도 팀원들 의견에 맞춰 정했다. 현재 한국에서 가장 많이 사용하고 있는 Java를 언어로 선택했다. 당연히 프레임워크는 Spring Boot이다. DB는 PostgreSQL을 선택했다.

(3) NEXT.JS

프론트 같은 경우에는 트랜드에 맞춰가는 게 좋기 때문에 NEXT.JS로 선택했다.

(4) Docker

도커는 정말 혁명인 것 같다. 물론 도커 말고도 모든 컨테이너 방식이 말이다. 환경설정 때문에 힘들어 한 나날들이 무색하게만 느껴지는데.. 특히 AI할 때는 최고이다!!

(5) 클라우드

지원금이 나오기 때문에 AWS 클라우드를 사용하려고 했다. 하지만 일경험 지원금 지출 정책에 따라서 후불로 내야하는 AWS를 사용하지 못하게 됐다...

결국 크레딧 충전 방식인 RunPod이라는 클라우드를 사용했다.

설계

1. 구조

우선 회원가입, 로그인 이런 부분을 프로젝트에서 배제했다.
이유는 AI에 좀 더 집중하기 위해서이다.

AWS 사용 가능할 줄 알고 설계한 구조이다.

AWS와 RunPod의 클라우드 방식이 다르기 때문에 위 구조를 기반으로 통신 구조만 살짝 변경했다.

2. 와이어프레임 (figma)

메인

챗봇

상세

3. 기능명세서

4. ERD

구현

1. 데이터 수집

역할 분담

패션 - 가방
뷰티 - 기초
가전 / 디지털 - 컴퓨터
반려 동물 -개

소분류 4개씩 선정해서 4명이서 각자 맡아서 크롤링 작업을 진행했다.

json 형식

{
  "name": "반려동물용품",
  "type": "대분류",
  "children": [
    {
      "name": "개",
      "type": "중분류",
      "children": [
        {
          "name": "간식",
          "type": "소분류",
          "items": [
            {
              "productName": "[헬로도기] 동결건조 - 열빙어 50g",
              "price": 6000,
              "thumbnailUrls": [
                "https://www.sujinpet.co.kr/upload/product/img1/img_largeupfilenm_1747720462_a.jpg"
              ],
              "detailImageUrls": [
                "https://www.sujinpet.co.kr/plugin/igeareditor/upload/editor_1747720305_a.jpg"
              ],
              "countryOfOrigin": "",
              "manufacturer": "",
              "productUrl": "https://www.sujinpet.co.kr/front/product/product_detail.php?seq=16438&pinid="
            },
            ...

취합

전처리

ID 생성 - 원본 카테고리 코드 010101 + 순번 00001 → 010101-00001
가격 변환 - "49,000원" → 49000 (정수형)
빈 값 처리 - countryOfOrigin, manufacturer 항목이 비어 있으면 "" 유지 또는 기본값 지정 그 외 타임스탬프 파싱, 판매 수량

2. REST API

3. gRPC

gRPC는 Python(AI)와 Java간 통신할 때 사용한다.


syntax = "proto3";

package chatbot;

option java_multiple_files = true;
option java_package = "chatbot";
option java_outer_classname = "ChatbotProto";

service ChatInteractionService {
  rpc SendQuery(QueryRequest) returns (RequestAck);
  rpc StreamAnswer(stream AnswerRequest) returns (RequestAck);
}

message RequestAck {
  string status = 1;
  string message = 2;
}

message ChatLog {
  int64 user_id = 1;
  string chatlog_id = 2;
  int32 type = 3;
  string content = 4;
  string image_url = 5;
  string created_at = 6;
}

message QueryRequest {
  int64 user_id = 1;
  string chatlog_id = 2;
  int32 type = 3;
  string content = 4;
  string image_url = 5;
  string created_at = 6;
  repeated ChatLog chatlogs = 7;
  int32 comi_type = 8;
  repeated string product_ids = 9;
}

message AnswerRequest {
  int64 user_id = 1;
  string chatlog_id = 2;
  string content = 3;
}

챗봇에서 이미지를 전송할 수 있는 기능은 gRPC가 아닌,
HTTP를 사용해서 구현하였다.

4. 이미지 분석

QWEN 모델

QWEN 2.5 32B 모델을 선택하여 이미지 분석을 진행하고자 하였다.

하지만, 상세이미지 특성 상 height 길이가 상당한 경우가 있기 때문에 크롭하여 진행을 했어야 했다.
크롭을 해서 QWEN 모델로 이미지 추론을 하다 보니, 맥락 파악 성능이 저조했다.
예를 들어 강아지 장난감을 사람 장난감으로 분석을 한다든지, 이런 경우가 생겼다.

이로 인해, 아래와 같이 이미지 분석 프로세스를 수정했다.