MAB

agnusdei·4일 전

멀티암드 밴딧(Multi-Armed Bandit, MAB)은 확률론과 기계 학습(강화 학습)에서 제한된 리소스를 여러 대안(선택지)에 어떻게 최적으로 배분할 것인가를 다루는 고전적인 문제 프레임워크입니다. [1]

이름은 카지노의 여러 대의 슬롯머신(한 팔 강도라 불리는 One-Armed Bandit에서 유래) 앞에 선 도박꾼의 상황에서 따왔습니다. 각 슬롯머신의 보상 확률(수익률)을 모르는 상태에서, 도박꾼은 제한된 횟수 동안 어떤 머신을 어떤 순서로 당겨야 누적 보상을 최대화할 수 있을지 결정해야 합니다. [1, 2, 3]

MAB의 핵심은 탐색과 활용의 균형(Trade-off)을 잡는 것입니다. [1, 4]

탐색(Exploration): 각 선택지의 실제 보상 확률을 알아내기 위해, 아직 잘 모르는 다양한 대안을 시도해보는 것. [2, 4]
활용(Exploitation): 지금까지의 경험을 바탕으로, 현재 가장 높은 보상을 줄 것으로 기대되는 최고의 대안을 계속 선택하는 것. [4, 5]

탐색과 활용의 딜레마를 해결하기 위해 여러 수학적 알고리즘이 사용됩니다. [5, 7]

그리디 (Greedy):
항상 현재 시점에서 가장 기대 보상이 높은 선택지만 고릅니다.
- 탐색을 거의 하지 않기 때문에 초반에 잘못된 데이터로 판단을 내리면 최적의 대안을 영영 놓칠 수 있습니다. [5, 6, 7]
입실론 그리디 (ε-Greedy):
기본적으로는 가장 좋은 선택지를 고르되(활용), 매우 작은 확률 ε(입실론)의 확률로 무작위 대안을 선택합니다(탐색).
- 단순하면서도 효과적이지만, 시간이 지나 학습이 많이 된 상태에서도 여전히 동일한 확률로 무작위 탐색을 한다는 단점이 있습니다. [5, 7, 8]
UCB (Upper Confidence Bound):
대안의 평균 보상뿐만 아니라 '불확실성(신뢰구간의 상한선)'을 함께 계산합니다.
- 시도 횟수가 적어 불확실성이 높은 대안에 가중치를 부여함으로써, 덜 검증된 대안에게 공평한 기회를 주는 똑똑한 탐색 방식입니다. [6, 7, 8, 9]
톰슨 샘플링 (Thompson Sampling):
확률 분포(베타 분포 등)를 활용하여 각 대안이 우수할 확률을 베이지안 방식으로 추정하고 샘플링합니다.
- 실제 이커머스나 광고 추천 시스템 등 실무에서 가장 뛰어난 성능을 보이는 알고리즘 중 하나입니다. [8, 10]

현업(마케팅, 서비스 기획)에서 MAB는 전통적인 A/B 테스트의 대안이자 확장판으로 자주 쓰입니다. [3, 6]

비교 항목	A/B 테스트	멀티암드 밴딧 (MAB)
운영 방식	실험 기간 동안 트래픽을 50:50으로 고정하여 순수 탐색	성과 데이터에 따라 트래픽 배분율을 실시간으로 자동 조정
목적	어떤 안이 더 우수한지 통계적 유의성 검증	실험 진행과 동시에 기대 수익(클릭률, 매출 등)을 극대화
기회비용 (Regret)	성과가 나쁜 안에도 끝까지 50%의 트래픽이 가므로 손실이 큼	나쁜 안의 비중을 빠르게 줄이므로 손실(Regret)을 최소화

멀티암드 밴딧과 관련하여 더 구체적인 알고리즘 수식이나 파이썬 구현 코드, 또는 A/B 테스트와의 실무적 차이점 중 어떤 부분을 더 자세히 알아보고 싶으신가요?