chapter3 D-5 TIL

머신러닝 오프닝 1

01. 머신러닝의 정의와 필요성

1) 머신러닝이란 무엇인가?

👉 머신러닝 이란?

• 기계학습 또는 머신러닝은 기계(컴퓨터)가 학습을 할 수 있도록 하는 연구분야
• 인공지능을 소프트웨어적으로 구현하는 머신러닝은 컴퓨터가 데이터를 학습하고 스스로 패턴을 찾아내 적절한 작업을 수행하도록 학습하는 알고리즘
• Tom Mitchell(CMU 교수)의 정의:
  "어떤 컴퓨터 프로그램이 특정 작업(T)에 대해 성능 지표(P)로 측정했을 때, 경험(E)을
  통해 성능이 향상된다면, 그 프로그램은 학습한다고 말할 수 있다."
  이를 QA/QC 관점에서 해석하면 다음과 같습니다:

머신 러닝은 3가지 핵심 요소를 언급하고 있습니다.

• 작업(T): 제품 결함 탐지, 생산 공정 모니터링, 품질 평가 등
• 성능 지표(P): 정확도, 정밀도, 재현율 등
• 경험(E): 수집된 생산 데이터, 검사 기록, 공정 센서 데이터 등
• 예시 데이터셋
  장비 이상 탐지(작업 T)를 (정상/비정상) 분류하는 모델을 만드는 작업에 대해 생각해 봅
  시다.
  [장비 센서 데이터셋(경험E) → 장비 이상 탐지 분류 모델 실행 → 정확도(성능 지표 P)
  확인 → 정확도 향상을 위한 모델 업데이트] 의 반복

2) 머신러닝, AI, 딥러닝

• 딥 러닝 → 머신 러닝 → AI 순으로 그 개념의 범위가 넓어집니다.
• AI: 마치 인간처럼 학습 및 추론을 할 수 있도록 만들어진 프로그램
• 머신 러닝: 데이터를 활용해 명시적으로 프로그래밍되지 않고도 학습할 수 있는 알고리즘
• 딥 러닝: 머신 러닝의 종류 중 하나로 인공 신경망을 이용해 거대한 데이터셋을 학습하는 방법

3) 빅데이터와 머신러닝

• 빅데이터란?
  말 그대로 과거와는 비교가 안되는 엄청난 규모의 데이터를 칭하는 용어입니다.

- 빅데이터의 5가지 특징 (5V)

• Volume (데이터 양):

방대한 양의 데이터.

현대 사회에서는 소셜 미디어, 센서, 거래 기록 등으로 인해 매일 엄청난 데이터가 생성됩니다.

머신러닝은 이렇게 많은 데이터를 활용해 패턴을 학습하고 예측할 수 있음.

• Variety (데이터 다양성):

다양한 데이터 형식(텍스트, 이미지, 오디오, 비디오 등).

여러 소스에서 데이터를 수집하며, 머신러닝 모델은 이 다양한 데이터를 처리하고 분석하는 데 도움을 줌.

• Velocity (데이터 속도):

데이터 생성 속도.

실시간 스트리밍 데이터처럼 빠르게 생성되는 데이터를 분석할 필요가 있음.

머신러닝은 빠른 속도로 데이터를 처리하고 실시간으로 의사결정을 내릴 수 있음.

• Veracity (데이터 진실성):

데이터의 불확실성과 부정확성.

데이터가 불완전하거나 오류를 포함할 수 있음.

머신러닝은 데이터의 노이즈와 오류를 처리하고, 신뢰성 있는 결과를 도출하도록 학습할 수 있음.

• Value (데이터 가치):

데이터를 통해 유용한 정보를 추출하여 비즈니스나 연구 문제를 해결.

머신러닝은 데이터를 분석해 예측, 분류, 군집화 등을 통해 가치를 창출함.

4) 통계학과 머신러닝

- 통계학: 표본에서 모집단의 특성을 추론하는 것이 중점입니다.

내가 수집한 데이터가 모집단을 얼마나 잘 반영하고 있는지

데이터 셋이 작아도 통계적 유의성만 확인할 수 있으면 Okay!

연역적 추론: 가설 설정 → 수학적 검증

- 머신 러닝: 수집된 데이터를 활용해 예측과 일반화 성능을 향상시키는 것이 중점입니다.

다른 데이터가 들어왔을 때 기존 모델로 얼마나 비슷하게 예측/분류 할 수 있는지

데이터는 많으면 많을 수록 Good!

귀납적 추론: 데이터를 이용해 모델을 우선 돌려보고 결과를 해석

5) 제조업에서 머신러닝의 역할

• 1. 품질 데이터의 자동 분석

머신 러닝은 대규모 품질 데이터를 자동으로 처리하고, 데이터 패턴과 상관관계를 분석하여 공정의 품질 문제를 실시간으로 식별합니다.

• 2. 공정 이상 탐지 및 예측

머신 러닝 기반 이상 탐지 모델은 공정 데이터에서 비정상적인 패턴을 감지하여, 결함 가능성을 사전에 예측하고 문제를 해결할 시간을 제공합니다.

• 3. 결함률 감소와 생산성 향상

머신 러닝은 결함 예측과 공정 최적화를 통해 제품의 결함률을 줄이고, 생산성을 높이는 데 기여합니다.

02. 머신러닝 학습의 종류

1) 지도 학습 (Supervised Learning)

1. 분류 (Classification)

분류란 무엇인가?
→ 컴퓨터가 주어진 데이터를 보고, 미리 정해진 그룹(카테고리) 중 하나로 나누는 작업

(c) 분류의 예시 사례

• 1. 제조업 품질 관리(QA/QC)

사례: 현대자동차는 생산 공정에서 머신러닝을 활용하여 품질 검사 자동화(현대모비스, 품질 불량 검출 인공지능 알고리즘 자체 개발… 생산·물류 현장 적용)

데이터: 차량 부품의 크기, 표면 결함, 센서 데이터를 수집하여 분석.

모델: SVM과 XGBoost 같은 머신러닝 모델.

적용: 머신러닝 모델로 불량품을 실시간으로 탐지하여 생산 효율성을 높이고 품질 비용을 절감.

• 2. 금융 부정 거래 탐지

사례: KB국민은행은 고객의 금융 거래 데이터를 분석해 부정 거래를 탐지하는 시스템을 운영.

데이터: 거래 내역, 시간, 위치, 금액 등 고객의 거래 데이터를 분석.

모델: Decision Tree, Random Forest와 같은 머신러닝 알고리즘.

적용: 비정상적인 패턴(예: 해외에서 빈번한 거래)을 탐지하여 보안을 강화.

• 3. 물류 최적화

사례: CJ대한통운은 물류 경로 최적화를 위해 머신러닝을 사용.

데이터: 차량의 이동 경로, 교통량, 배송 시간 등.

모델: KMeans 군집화와 선형 회귀.

적용: 가장 효율적인 배송 경로를 계산하여 배송 시간을 단축하고 비용을 절감.

• 4. 소비자 행동 분석

사례: 이마트는 고객 구매 데이터를 기반으로 맞춤형 마케팅을 실행.

데이터: 고객의 구매 이력, 방문 빈도, 소비 패턴 등.

모델: KNN최근접 이웃 알고리즘)과 의사결정 나무.

적용: 고객의 선호도를 예측하여 개인화된 할인 쿠폰과 프로모션을 제공.

• 5. 헬스케어에서 고객 분류

사례: 헬스케어 스타트업 눔(Noom)은 머신러닝으로 사용자 건강 데이터를 분석해 건강 관리 프로그램을 제안.

데이터: 사용자의 식습관, 운동량, 체중 변화 기록.

모델: 로지스틱 회귀와 의사결정 트리.

적용: 데이터 기반으로 사용자의 건강 상태를 분류하고 맞춤형 코칭 프로그램 제공.

• 6. 공공 데이터 분석

사례: 서울시는 교통 데이터를 머신러닝으로 분석하여 버스 및 지하철 노선을 최적화.

데이터: 교통량, 시간대별 승객 수, 지연 정보 등.

모델: 선형 회귀, 군집화 모델.

적용: 혼잡도를 줄이고 효율적인 대중교통 서비스를 제공.

• 7. 소셜미디어 광고 타겟팅

사례: 카카오는 사용자 데이터를 분석해 맞춤형 광고를 노출.

데이터: 사용자의 검색 기록, 위치 데이터, 관심 키워드.

모델: Naive Bayes, Gradient Boosting.

적용: 광고 효율성을 극대화하여 클릭률과 구매 전환율을 높임.

2. 회귀 (Regression)

회귀란 무엇인가?

→ 데이터를 기반으로 연속적인 숫자 값을 예측하는 작업
예시)