이상탐지 시스템 (Anomaly Detection System)

이상탐지 시스템은 정상 패턴과 다른 이상한 데이터(이상치)를 자동으로 식별하는 머신러닝 시스템입니다.

신용카드 부정 거래, 제조 공정의 결함, 네트워크 공격, 의료 이상 징후 탐지 등 다양한 분야에서 활용됩니다.

---

1. 이상탐지란?

• 일반적인 데이터 패턴에서 벗어난 예외적인 데이터를 식별하는 과정
• 대부분의 학습 데이터는 정상 데이터, 소수만이 이상 데이터
• 비지도 학습 또는 준지도 학습 방식이 일반적

---

2. 이상탐지 시스템의 구성요소

1️⃣ 밀도 추정 기법 (Density Estimation)

• 확률 분포를 기반으로 데이터의 정상/이상 여부 판단
• 대표적 분포: 가우시안 분포(정규분포)

✅ 가우시안 모델 수식

• $( \mu_j )$: 평균
• $( \sigma_j^2 )$: 분산
• $( x_j )$: 특성값

2️⃣ 파라미터 추정 (Parameter Estimation)

• 학습 데이터에서 평균과 분산을 추정하여 확률 모델 구성

3️⃣ 이상 탐지 알고리즘 흐름

1. 정상 데이터로 학습
2. 평균(μ), 분산(σ²) 등 모수 추정
3. 새로운 데이터에 대해 확률 계산
4. 확률이 임계값 이하 → 이상치로 간주

3. 정량 평가의 중요성

• 시각적 평가가 아닌, 수치 기반 평가 지표 사용

• 정밀도(Precision), 재현율(Recall), F1 Score 등 활용

4. 이상탐지 vs 지도학습

항목	이상탐지	지도학습
학습 데이터	대부분 정상	라벨링된 정상/이상 데이터
학습 방식	비지도 / 준지도	지도학습
목표	이상 감지	분류/회귀
활용 분야	보안, 제조, 금융	이메일 분류, 얼굴 인식 등

추천 시스템 (Recommender System)

사용자에게 선호할 가능성이 높은 콘텐츠를 예측하여 추천하는 시스템입니다.

---

1. 추천 시스템의 목적

• 정보 과잉 속에서 사용자 맞춤형 콘텐츠 제공
• 사용자의 행동을 예측해 개인화된 경험 제공

---

2. 추천 시스템의 주요 방식

1️⃣ 콘텐츠 기반 필터링 (Content-Based Filtering)

• 사용자가 좋아한 아이템의 특성 벡터를 기반으로 유사 콘텐츠 추천
• 코사인 유사도 등으로 유사도 측정

2️⃣ 협업 필터링 (Collaborative Filtering)

• 다른 사용자들의 행동을 바탕으로 유사 사용자나 유사 아이템 예측
• 사용자-아이템 평점 행렬을 기반으로 행렬 분해(Matrix Factorization) 수행

---

3. 협업 필터링의 최적화

🎯 비용 함수

• $( x^{(i)} )$: 아이템의 특성 벡터
• $( \Theta^{(j)} )$: 사용자의 선호 벡터
• $( y^{(i,j)} )$: 평점 데이터
• $( \lambda )$: 정규화 항