머신러닝의 개념과 데이터 분석에서의 역할
머신러닝 모델링 프로세스의 각 단계
머신러닝, 딥러닝, AI 관계 및 차이

• 머신러닝 개념
  : 데이터에서 패턴 학습 → 예측/분류 수행

• 머신러닝, 딥러닝, AI
  : AI라는 큰 개념 안에 머신러닝, 그 안에 딥러닝

• 머신러닝 vs 통계
  : 예측 성능 vs 가설 검증

• 머신러닝 학습 종류
  : 지도학습, 비지도학습, 강화학습

• 모델링 프로세스
  : 데이터 수집 → 전처리 → 모델링 → 평가 → 최적화 → 배포

머신러닝이란

컴퓨터가 인간의 개입없이(최소한으로) 데이터를 학습하여 패턴을 찾고
새로운 데이터에 대해 예측이나 분류를 수행하는 기술

머신러닝의 3대 요소

1️⃣ 데이터(Data)
: 데이터가 참고하는 정보의 모음

2️⃣ 알고리즘(Algorithm)
: 문제를 해결하기 위해 순서대로 처리하는 방법이나 규칙

3️⃣ 컴퓨팅 파워(Computing Power)
: 컴퓨터가 얼마나 빠르고 많이 일(연산)을 할 수 있는지를 나타내는 능력치

머신러닝, AI, 딥러닝의 관계

• 인공지능(AI)
  • 사람의 지능적인 작업을 기계가 수행하도록 만드는 광범위한 개념
• 머신러닝
  - AI를 실현하기 위한 방법 중 하나
  데이터로부터 특징이나 규칙을 찾아내서 학습 하는 것
  - ex) 스팸 메일에는 특정 단어나 형태가 자주 등장하는 공통점(패턴)이 있을 수 있는데 이를 자동으로 스팸으로 분류
  
• 딥러닝(Deep Learning)
  • 머신러닝의 하위 분야로, 사람의 뇌신경을 본 떠 만든 인공신경망으로 이루어져 있음
  • 인공신경망을 여러 겹 쌓아서 복잡한 정보를 학습할 수 있음
  • ex) ChatGPT, 알파고, 알파스타, DALL-E

머신러닝의 역할 및 중요성

대량의 데이터 처리와 분석

대규모 데이터를 빠르고 정확하게 분석하여 복잡한 상관관계를 발견하고 예측함
빅데이터를 활용할 수 있음
- 빅데이터: 일반적인 방법으로는 저장/분석하기 힘들만큼 방대한 양의 데이터

다양한 산업 분야에서의 활용

• 제조업
  : 센서 데이터 수집 → 설비 이상 징후 예측, 품질 불량 예측
  : 자동화된 공정 제어 및 유지 보수 비용 절감

• 금융
  : 신용카드 사기 거래 탐지, 대출 리스크 평가
  : 알고리즘 트레이딩(주식 자동 매매)

• 헬스케어
  : 질병 진단(영상, 유전자 분석), 환자 상태 예측

• 마케팅
  : 고객 세분화, 구매 패턴 분석, 타겟 마케팅

• 자율주행
  : 카메라, 라이다 등을 통한 실시간 도로 상황 분석 → 의사결정

제조업

• 예측 유지보수(Predictive Maintenance)
  • 생산 설비에 부착된 센서(온도, 진동, 소음 등)에서 수집된 데이터를 바탕으로, 장비 고장 시점을 사전에 예측
• 품질 관리(Quality Control)
  • 이미지 분석, 센서 데이터 분석 등을 통해 제품 결함이나 불량 여부를 판별
• 생산 공정 최적화(Process Optimization)
  • 공정 단계별 데이터를 수집하여 병목 현상, 자원 활용 비율 등을 분석하고, 전체 공정 효율을 최대화하도록 제어/설계
• 수요 예측(Demand Forecasting)
  • 과거 판매량, 계절성, 프로모션, 경제 지표 등의 데이터를 종합적으로 분석해 미래 수요량을 정확히 예측
• 에너지 효율 최적화(Energy Optimization)
  • 공장에서 전기·가스 등을 언제 얼마나 쓰는지 실시간으로 파악해서, 낭비되는 부분을 줄이고 필요한 곳에만 적절히 에너지를 공급하도록 조절하는 방식

마케팅

• 고객 세분화(Customer Segmentation) & 페르소나(Persona) 도출

  • 고객 데이터를 기반으로 인구통계학적 정보(나이, 지역, 직업 등), 구매 이력, 선호 카테고리 등을 고려하여 유사한 행동양식을 보이는 집단을 군집화

    📚 고객 세분화란? → 비슷한 취향·행동을 하는 사람들끼리 그룹을 나누는 것.

  • ex) ‘20대 여성 / 운동 좋아함 / 건강식품 구매 잦음’ 같은 그룹

    📚 페르소나란? → 그룹을 대표하는 가상 인물을 설정해, ‘우리 고객은 이런 특징을 가진 사람’이라고 구체적으로 이해하려는 방법

• 추천 시스템(Recommendation System)
  • 사용자가 좋아하거나 흥미로워할 만한 상품·콘텐츠를 자동으로 골라주는 시스템
    • ex) 유튜브에서 시청 이력을 바탕으로 ‘다음에 볼 만한 영상’을 추천해주는 기능
• 마케팅 캠페인 성과 예측(Predictive Marketing Analytics)
  • 과거 캠페인 데이터(노출 수, 클릭 수, 전환율 등)와 고객 반응 데이터를 바탕으로, 향후 캠페인의 성과(전환율, 매출 기여도)를 예측
• 고객 생애 가치(LTV) 예측
  • 한 명의 고객이 우리 회사와 거래하는 동안 얼마나 많은 수익을 가져다줄지를 예상하는 고객 생애 가치(LTV)를 예측

금융

• 신용 평가(Credit Scoring)
  • 대출이나 신용카드 발급을 원하는 사람이 돈을 잘 갚을 수 있는지를 점수로 매기는 과정
    • ex) 과거 금융 거래 기록, 소득, 직장 정보를 바탕으로 위험도 계산
• 위험 관리(Risk Management)
  • 금융기관이 대출, 주식, 채권 등에 투자할 때 발생할 수 있는 손실 위험을 계산하고, 미리 대비하는 과정
• 자산운용 및 투자전략(Algorithmic Trading / Robo-Advisory)
  • 주식, 선물, 암호화폐 등 다양한 금융 상품에 대해 알고리즘을 통한 자동 매매나, 개인화된 투자 자문 서비스를 제공
    📚 알고리즘 트레이딩 → 컴퓨터 프로그램(알고리즘)이 자동으로 주식 매매 시점을 결정하고 주문을 실행해 주는 방법
    📚 로보어드바이저 → AI가 개인 투자자를 위해 자산 배분이나 투자 종목을 자동 추천해주는 서비스
    
• 고객 서비스 자동화(챗봇, 가상 상담사)
  • 은행·카드사·보험사 등에서 고객 문의 응대를 챗봇이나 음성 인식 기반의 가상 상담사(Virtual Agent)로 자동화
• 보험 업무 고도화(언더라이팅, 청구 자동화 등)

  • 보험 가입 심사(언더라이팅)부터 보험금 청구·심사 프로세스에 이르는 전 단계에서 머신러닝 기술 적용

    📚 언더라이팅이란?
    : 보험사가 고객에게 어떤 조건(보험료, 보장 범위 등)으로 보험을 팔지 결정하는 과정
    ex) 고객 건강 상태, 과거 병력 등을 보고 위험도에 따라 보험료를 책정

머신러닝 vs 기존 통계 분석

가설 검증 vs 예측 성능

• 통계 분석
  • 가설 검증, 추론(예: "이 변수와 저 변수 사이에 유의한 관계가 있는가?")
  • 주로 "왜?"라는 질문에 집중, 과거
• 머신러닝
  • 예측(얼마나 정확하게 미래나 미지의 데이터를 예측할 수 있는가)
  • "얼마나 잘?"에 집중(정확도, 재현율 등), 미래

데이터가 많아질 수록

• 통계
  • 표본 수가 커지면 더 정교한 추론이 가능하지만, 일반적으로 가설 자체는 사람이 세움
• 머신러닝
  • 데이터가 많을수록 학습에 유리하며, 더 좋은 모델을 만들 수 있음

머신러닝의 종류

지도학습

우리가 맞다고 알고있는 결과값을 정답값(레이블)을 알려줘서, 정답값이 있는 데이터를 학습하는 방식
ex) 고양이 사진에 고양이라는 레이블을 붙여서, 컴퓨터가 어떤이미지가 고양인지 학습 할 수 있음

지도학습을 할 수 있는 작업: 분류/ 회귀

분류

어느 그룹에 속하는지를 결정
ex) 이메일이 스팸인지 아닌지, 은행 대출 상환 가능 여부

회귀

숫자로 된 결과를 예측
ex) 주택 가격 예측, 주가 예측

비지도학습

레이블 없이 스스로 데이터 패턴을 찾음

대표적 예시: 군집화/ 차원축소

군집화

성향이 비슷한 사람이나 사물을 자동으로 묶어냄
ex) 고객 군집 분석, 문서 토픽 분석

차원축소

데이터의 특징(변수)가 너무 많아서 복잡한 데이터를 핵심 정보만 남기고 압축하는 기법
데이터 전처리/시각화시 많이 사용
나만의 언어로 중심문장을 만든다고 생각하면 됨
ex) 수백 가지 지표가 있는 데이터를 2~3개의 핵심 지표로 요약

• 변수선택과 구분
  변수 중 일부만 선택하는거.

강화학습

게임, 전략 등에 많이 사용(알파고)
시뮬레이션 환경에서 시도-오류를 반복하며 가장 높은 보상을 보장해주는 행동 규칙(전략)을 학습

에이전트가 환경과 상호작용하며 보상을 최대화 하도록 학습

• 에이전트
  학습을 수행하는 주인공, 게임으로 치면 플레이어, 로봇으로 치면 로봇 자체가 에이전트

• 환경
  에이전트가 움직이고 상호작용하는 무대

• 보상
  에이전트가 잘했을 때 얻는 점수(칭찬)나, 잘못했을 때 받는 벌점 같은 개념

머신러닝 모델링 프로세스

머신러닝 프로젝트는 단순히 모델을 잘 만드는게 중요한 것 X
데이터 수집부터 배포까지 전체 흐름 이해 중요

데이터 수집

양질의 데이터 확보가 프로젝트의 성패를 좌우

• 방법: 웹 크롤링, 센서 측정, 설문조사, DB 추출 등
• ex) 제조업에서는 공정 라인에 설치된 IoT 센서에서 데이터 지속 수집

전처리(Preprocessing)

1️⃣ 결측치 처리

: 결측치란 데이터 표에서 일부 셀이 비어 있는 상태
: 빈 칸을 평균이나 가장 빈도가 높은 값으로 대신 채우거나, 필요하면 빼고(삭제) 분석

2️⃣ 이상치 처리

: 대부분의 데이터 범위에서 심하게 벗어난 값을 해결
ex) 사람 몸무게 데이터가 대개 50~100kg인데, 500kg으로 기록된 경우는 오타 등으로 생긴 이상치일 가능성이 높음

3️⃣ 스케일링

: 각각 다른 단위를 쓰는 데이터(ex : 키는 cm, 몸무게는 kg)를 비슷한 수준으로 맞춰주는 작업
ex) 키는 150~180의 범위를 가지고 있고 몸무게는 50~100의 범위를 가지고 있어서 값의 크기가 다른데, 몸무게와 키 모두 0~1 범위로 바꾸면, 머신러닝 알고리즘이 두 값을 더 공평하게 다룰 수 있음

4️⃣ 범주형 변환

: 글자로 된 정보를 숫자로 바꿔주는 과정
ex) 원-핫 인코딩, 레이블 인코딩 등

• 원-핫 인코딩
  → 해당 범주에 속하면 1, 아니면 0을 넣는 방식
  ‘빨강·초록·파랑’이라는 세 범주가 있으면
  빨강 = (1,0,0), 초록 = (0,1,0), 파랑 = (0,0,1)

• 레이블 인코딩
  → 순서대로 숫자를 부여
  M=0, L=1, XL=2 …
  다만, 숫자에 순위 의미가 생겨버릴 수 있어서 주의가 필요

모델링

• 지도학습: 분류/회귀 알고리즘 선택
  (ex: 로지스틱 회귀, 랜덤 포레스트, XGBoost 등)

• 비지도 학습: 클러스터링/ 차원축소 알고리즘 선택
  (ex: K-Means, PCA 등)

성능평가

• 분류
  : Accuracy, Precision, Recall, F1-score, ROC-AUC 등

• 회귀
  : MAE, RMSE, R² 등

• 비지도(군집)
  : 실루엣 계수 등

윤리적 이슈 & 데이터 편향

데이터 편향

학습 데이터에 편향된 샘플이 많으면, 모델도 그 편향을 그대로 학습
ex) 인종·성별 분포가 편향된 데이터 → 차별적 의사결정

윤리적 책임

• 편향을 줄이기 위한 데이터 균형화
• 민감 정보 보호(개인정보 비식별화, GDPR 등 법적 규제 준수)