🚦 TrafficTestProject - 메시징 시스템 성능 비교 실험
다양한 메시징 시스템(Redis, Kafka, RabbitMQ, Hadoop)을 이용해 ChatGPT 응답 데이터를 처리하고, 그 성능을 비교하는 실험형 프로젝트입니다.
🔗 GitHub: qwerty7878/TrafficTestProject
🧭 프로젝트 소개
이 프로젝트는 ChatGPT API를 통해 받은 응답을 다양한 방식으로 처리하고 저장한 뒤, 각 방식의 처리 속도와 특성을 비교합니다.
단순한 메시지 처리 예제를 넘어서, 실제 서비스에서 메시징 시스템을 선택할 때 고려할 수 있는 성능 기반 기준을 실험적으로 제시합니다.
🛠 실험 목적
- 동일한 입력 데이터를 다양한 방식으로 처리하고,
- 메시징 시스템과 저장 방식의 성능 차이를 측정
- 실무에서의 선택 기준을 체감적으로 이해
⚙️ 사용된 처리 방식
다섯 가지 처리 방식이 실험 대상입니다:
| 처리 방식 | 설명 | 특징 |
|---|---|---|
| Direct 출력 | ChatGPT 응답을 직접 출력 | 기준 성능 측정용, 저장 없음 |
| Redis 저장 | 빠른 키-값 캐시 시스템 | 낮은 레이턴시, 고속 처리에 강점 |
| Kafka 전송 | 고속 스트리밍 메시징 플랫폼 | 대규모 분산 환경에서 유리 |
| RabbitMQ 전송 | 메시지 브로커를 통한 큐 전송 | 신뢰성 높은 메시지 처리, 복잡한 비동기 처리에 적합 |
| Hadoop HDFS 저장 | 대용량 파일 저장소 | 장기 보관 및 로그 처리에 적합하지만 속도는 느림 |
🧪 실험 방식
- 동일한 prompt를 각 처리 방식에 입력
- 처리 시간(Timer)을 측정하여 성능 비교
📊 성능 결과 :
- Redis, Kafka는 빠르고 안정적인 성능을 보임
- Hadoop은 저장 특성상 상대적으로 느림
💡 실무에서의 적용 기준
| 상황 | 추천 시스템 |
|---|---|
| 빠른 응답, 짧은 생명 주기 | Redis |
| 대량 이벤트 처리, 스트리밍 | Kafka |
| 순차적 처리, 높은 신뢰성 | RabbitMQ |
| 장기 보관, 로그 수집 | Hadoop HDFS |
✨ 느낀 점
이 프로젝트는 단순한 API 처리 실습을 넘어,
다양한 메시징 시스템의 특성을 실제로 경험해볼 수 있다는 점에서 큰 의미가 있었습니다.
✅ 정리
"메시징 시스템은 무엇을 써야 할까?"라는 질문에,
직접 실험하고 데이터를 통해 답을 찾은 좋은 사례
Kafka, Redis, RabbitMQ, Hadoop 등을 학습 중이거나
실제 서비스에서 어떤 방식을 채택할지 고민 중이라면, 이 프로젝트를 통해 체감적으로 이해할 수 있었습니다.
Que sera, sera