1. 머신러닝이란?
📚 컴퓨터가 인간의 개입 없이(또는 최소한으로) 데이터를 학습하여 패턴을 찾아내고, 새로운 데이터에 대해 예측이나 분류를 수행하는 기술입니다.
ex) 스팸 메일 필터링, 이미지 분류, 음성 인식 등
머신러닝의 3대 요소
1️⃣ 데이터(Data)
: 데이터가 참고하는 정보의 모음
2️⃣ 알고리즘(Algorithm)
: 문제를 해결하기 위해 순서대로 처리하는 방법이나 규칙
3️⃣ 컴퓨팅 파워(Computing Power)
: 컴퓨터가 얼마나 빠르고 많이 일(연산)을 할 수 있는지를 나타내는 능력치
머신러닝, AI, 딥러닝의 관계
머신러닝 > AI > 딥러닝
- 인공지능(AI)
- 사람의 지능적인 작업을 기계가 수행하도록 만드는 광범위한 개념
- 머신러닝
- AI를 실현하기 위한 방법 중 하나로, 데이터로부터 특징이나 규칙을 찾아내서 학습 하는 것
- ex) 스팸 메일에는 특정 단어나 형태가 자주 등장하는 공통점(패턴)이 있을 수 있는데 이를 자동으로 스팸으로 분류
- 딥러닝(Deep Learning)
- 머신러닝의 하위 분야로, 사람의 뇌신경을 본 떠 만든 인공신경망으로 이루어져 있음.
- 인공신경망을 여러 겹 쌓아서 복잡한 정보를 학습할 수 있음
- ex) 오늘날 많이 유명한 모델들이 여기에 속함 : ChatGPT, 알파고, 알파스타, DALL-E
2. 머신러닝의 역할 및 중요성
대량의 데이터 처리와 분석
현대 사회는 매순간 엄청난 양의 데이터를 생성
- 대규모 데이터를 빠르고 정확하게 분석하여, 복잡한 상관관계를 발견하고 예측
기존 방식으로는 처리하기 어려웠던 빅데이터 활용 가능
📚
빅데이터란? → 일반적인 방법으로는 저장·분석하기 힘들 만큼 방대한 양의 데이터
- ex) SNS에 쏟아지는 게시글, 대형 쇼핑몰의 상품 거래 기록 등
다양한 산업 분야에서의 활용
1️⃣ 제조업
: 센서 데이터 수집 → 설비 이상 징후 예측, 품질 불량 예측
: 자동화된 공정 제어 및 유지 보수 비용 절감
2️⃣ 금융
: 신용카드 사기 거래 탐지, 대출 리스크 평가
: 알고리즘 트레이딩(주식 자동 매매)
3️⃣ 헬스케어
: 질병 진단(영상, 유전자 분석), 환자 상태 예측
4️⃣ 마케팅
: 고객 세분화, 구매 패턴 분석, 타겟 마케팅
5️⃣ 자율주행
: 카메라, 라이다 등을 통한 실시간 도로 상황 분석 → 의사결정
제조업 예시
- 예측 유지보수(Predictive Maintenance)
- 생산 설비에 부착된 센서(온도, 진동, 소음 등)에서 수집된 데이터를 바탕으로, 장비 고장 시점을 사전에 예측
- 품질 관리(Quality Control)
- 이미지 분석, 센서 데이터 분석 등을 통해 제품 결함이나 불량 여부를 판별
- 생산 공정 최적화(Process Optimization)
- 공정 단계별 데이터를 수집하여 병목 현상, 자원 활용 비율 등을 분석하고, 전체 공정 효율을 최대화하도록 제어/설계
- 수요 예측(Demand Forecasting)
- 과거 판매량, 계절성, 프로모션, 경제 지표 등의 데이터를 종합적으로 분석해 미래 수요량을 정확히 예측
- 에너지 효율 최적화(Energy Optimization)
- 공장에서 전기·가스 등을 언제 얼마나 쓰는지 실시간으로 파악해서, 낭비되는 부분을 줄이고 필요한 곳에만 적절히 에너지를 공급하도록 조절하는 방식
마케팅 예시
- 고객 세분화(Customer Segmentation) & 페르소나(Persona) 도출
고객 데이터를 기반으로 인구통계학적 정보(나이, 지역, 직업 등), 구매 이력, 선호 카테고리 등을 고려하여 유사한 행동양식을 보이는 집단을 군집화
📚 고객 세분화란? → 비슷한 취향·행동을 하는 사람들끼리 그룹을 나누는 것.
ex) ‘20대 여성 / 운동 좋아함 / 건강식품 구매 잦음’ 같은 그룹
📚 페르소나란? → 그룹을 대표하는 가상 인물을 설정해, ‘우리 고객은 이런 특징을 가진 사람’이라고 구체적으로 이해하려는 방법
- 추천 시스템(Recommendation System)
- 사용자가 좋아하거나 흥미로워할 만한 상품·콘텐츠를 자동으로 골라주는 시스템
- ex) 유튜브에서 시청 이력을 바탕으로 ‘다음에 볼 만한 영상’을 추천해주는 기능
- 마케팅 캠페인 성과 예측(Predictive Marketing Analytics)
- 과거 캠페인 데이터(노출 수, 클릭 수, 전환율 등)와 고객 반응 데이터를 바탕으로, 향후 캠페인의 성과(전환율, 매출 기여도)를 예측
- 고객 생애 가치(LTV) 예측
- 한 명의 고객이 우리 회사와 거래하는 동안 얼마나 많은 수익을 가져다줄지를 예상하는 고객 생애 가치(LTV)를 예측
금융 예시
- 신용 평가(Credit Scoring)
- 대출이나 신용카드 발급을 원하는 사람이 돈을 잘 갚을 수 있는지를 점수로 매기는 과정
- ex) 과거 금융 거래 기록, 소득, 직장 정보를 바탕으로 위험도 계산
- 위험 관리(Risk Management)
- 금융기관이 대출, 주식, 채권 등에 투자할 때 발생할 수 있는 손실 위험을 계산하고, 미리 대비하는 과정
- 자산운용 및 투자전략(Algorithmic Trading / Robo-Advisory)
주식, 선물, 암호화폐 등 다양한 금융 상품에 대해 알고리즘을 통한 자동 매매나, 개인화된 투자 자문 서비스를 제공
📚 알고리즘 트레이딩 → 컴퓨터 프로그램(알고리즘)이 자동으로 주식 매매 시점을 결정하고 주문을 실행해 주는 방법
📚 로보어드바이저 → AI가 개인 투자자를 위해 자산 배분이나 투자 종목을 자동 추천해주는 서비스
- 고객 서비스 자동화(챗봇, 가상 상담사)
- 은행·카드사·보험사 등에서 고객 문의 응대를 챗봇이나 음성 인식 기반의 가상 상담사(Virtual Agent)로 자동화
- 보험 업무 고도화(언더라이팅, 청구 자동화 등)
- 보험 가입 심사(언더라이팅)부터 보험금 청구·심사 프로세스에 이르는 전 단계에서 머신러닝 기술 적용
📚 언더라이팅이란?
: 보험사가 고객에게 어떤 조건(보험료, 보장 범위 등)으로 보험을 팔지 결정하는 과정
ex) 고객 건강 상태, 과거 병력 등을 보고 위험도에 따라 보험료를 책정
3. 머신러닝 vs 기존 통계 분석
가설 검증 vs 예측 성능
- 통계 분석
- 가설 검증, 추론(예: "이 변수와 저 변수 사이에 유의한 관계가 있는가?")
- 주로 "왜?"라는 질문에 집중
- 원인을 찾을 수 있음
- 머신러닝
- 예측(얼마나 정확하게 미래나 미지의 데이터를 예측할 수 있는가)
- "What?", "얼마나 잘?"에 집중(정확도, 재현율 등)
- 원인을 찾을 필요가 없음
데이터가 많아질수록
- 통계
- 표본 수가 커지면 더 정교한 추론이 가능하지만, 일반적으로 가설 자체는 사람이 세움
- 그래서 데이터가 적어도 사람의 능력으로 커버할 수도 있음
- 머신러닝
- 데이터가 많을수록 학습에 유리하며, 더 좋은 모델을 만들 수 있음
4. 머신러닝의 종류
학습종류 3가지 : 지도학습, 비지도학습, 강화학습
지도학습(Supervised Learning)
- 우리가 맞다고 알고 있는 결과값을 정답값(레이블) -> 이러한 정답값이 있는 데이터를 학습하는 방식
- 예를 들어, 고양이 사진에는 '고양이'라는 정답(레이블)을 붙여서, 컴퓨터가 어떤 이미지가 고양이인지 학습 가능
1️⃣ 분류(Classification)
: 어느 그룹에 속하는지를 결정
: ex) 이메일이 스팸인지 아닌지, 은행 대출 상환 가능 여부
2️⃣ 회귀(Regression)
: 숫자로 된 결과를 예측
: ex) 주택 가격 예측, 주가 예측
비지도학습(Unsupervised Learning)
- 레이블 없이 데이터 패턴을 스스로 찾음
1️⃣ 군집화(Clustering)
: 성향이 비슷한 사람이나 사물을 자동으로 묶어내는 기법
: ex) 고객 군집 분석, 문서 토픽 분석
2️⃣ 차원 축소(Dimensionality Reduction)
(전처리, 시각화(2-3차원) 단계에서 사용할 수 있음): 데이터의 특징(변수)이 너무 많아서 복잡한 데이터를, 핵심 정보만 남기고 압축하는 기법
: ex) 수백 가지 지표가 있는 데이터를 2~3개의 핵심 지표로 요약
++ 변수선택과 구분 ++
변수선택 : 변수선택은 몇 개의 변수를 선택하는 것.
차원축소 : 전체 글을 나만의 글로 요약해서 중심문장을 만드는 것. (가공, 압축)
강화학습(Reinforcement Learning)
- 에이전트가 환경과 상호작용하며 보상(Reward)을 최대화하도록 학습
📚 에이전트란? → 학습을 수행하는 주인공, 게임으로 치면 플레이어, 로봇으로 치면 로봇 자체가 에이전트
📚 환경이란? → 에이전트가 움직이고 상호작용하는 무대
📚 보상이란? → 에이전트가 잘했을 때 얻는 점수(칭찬)나, 잘못했을 때 받는 벌점 같은 개념
ex) 알파고(바둑), 로보틱스, 게임 AI
시뮬레이션 환경에서 시도-오류를 반복하며 가장 높은 보상을 보장해주는 행동 규칙(전략)을 학습
5. 머신러닝 모델링 프로세스
❗ 머신러닝 프로젝트는 단순히 모델만 잘 만든다고 끝나지 않습니다. 데이터 수집부터 배포까지 전체 흐름을 이해하는 것이 매우 중요합니다.
데이터 수집
- 웹 크롤링, 센서 측정, 설문조사, DB 추출 등 다양한 방법
- 양질의 데이터 확보가 프로젝트의 성패를 좌우
- ex) 제조업에서는 공정 라인에 설치된 IoT 센서에서 데이터 지속 수집
전처리 (Preprocessing)
1️⃣ 결측치 처리
: 결측치란 데이터 표에서 일부 셀이 비어 있는 상태
: 빈 칸을 평균이나 가장 빈도가 높은 값으로 대신 채우거나, 필요하면 빼고(삭제) 분석
2️⃣ 이상치 처리
: 대부분의 데이터 범위에서 심하게 벗어난 값을 해결
ex) 사람 몸무게 데이터가 대개 50~100kg인데, 500kg으로 기록된 경우는 오타 등으로 생긴 이상치일 가능성이 높음
3️⃣ 스케일링 - 정규, 표준화
: 각각 다른 단위를 쓰는 데이터(ex : 키는 cm, 몸무게는 kg)를 비슷한 수준으로 맞춰주는 작업
ex) 키는 150~180의 범위를 가지고 있고 몸무게는 50~100의 범위를 가지고 있어서 값의 크기가 다른데, 몸무게와 키 모두 0~1 범위로 바꾸면, 머신러닝 알고리즘이 두 값을 더 공평하게 다룰 수 있음
(트리기반은 안 해줘도 됨)
4️⃣ 범주형 변환
(catboost는 안 해줘도 됨): 글자로 된 정보를 숫자로 바꿔주는 과정
ex) 원-핫 인코딩, 레이블 인코딩 등
📚 원-핫 인코딩 이란? → 해당 범주에 속하면 1, 아니면 0을 넣는 방식
- ‘빨강·초록·파랑’이라는 세 범주가 있으면
- 빨강 = (1,0,0), 초록 = (0,1,0), 파랑 = (0,0,1)
📚 레이블 인코딩 예시 → 순서대로 숫자를 부여
- M=0, L=1, XL=2 …
- 다만, 숫자에 순위 의미가 생겨버릴 수 있어서 주의가 필요
모델링 (Modeling)
- 지도학습의 경우 분류/회귀 알고리즘 선택(ex: 로지스틱 회귀, 랜덤 포레스트, XGBoost 등)
- 비지도학습의 경우 클러스터링/차원 축소 알고리즘 선택(ex: K-Means, PCA 등)
성능 평가 (Evaluation) → 추후 자세히 살펴볼 예정
1️⃣ 분류
: Accuracy, Precision, Recall, F1-score, ROC-AUC 등
2️⃣ 회귀
: MAE, RMSE, R² 등
3️⃣ 비지도(군집)
: 실루엣 계수 등
6. 윤리적 이슈 & 데이터 편향(Bias)
데이터 편향(Data Bias)
- 학습 데이터에 편향된 샘플이 많으면, 모델도 그 편향을 그대로 학습
- ex) 인종·성별 분포가 편향된 데이터 → 차별적 의사결정
윤리적 책임(Responsible AI)
- 편향을 줄이기 위한 데이터 균형화
- 민감 정보 보호(개인정보 비식별화, GDPR 등 법적 규제 준수)
- ex) 인종·성별 분포가 편향된 데이터 → 차별적 의사결정
총 정리 및 Q&A
총 정리
1️⃣ 머신러닝 개념
: 데이터에서 패턴 학습 → 예측/분류 수행
2️⃣ 머신러닝, 딥러닝, AI
: AI라는 큰 개념 안에 머신러닝, 그 안에 딥러닝
3️⃣ 머신러닝 vs 통계
: 예측 성능 vs 가설 검증
4️⃣ 머신러닝 학습 종류
: 지도학습, 비지도학습, 강화학습
5️⃣ 모델링 프로세스
: 데이터 수집 → 전처리 → 모델링 → 평가 → 최적화 → 배포
💡 실무 팁
: "잘 정리된 데이터가 80%"
: "모델링과 튜닝은 20% 미만"
: 현업 프로젝트에서는 도메인 지식과 머신러닝 지식의 협업이 필수
Q&A
📚 Q1: 데이터가 적으면 머신러닝을 적용하기 어렵나요?
A1: 데이터가 적으면 모델이 제대로 학습하기 어려우므로, 데이터 증강(Augmentation)이나 다양한 테크닉(Transfer Learning 등) 활용이 필요합니다.
📚 Q2: 실무에서 실시간 예측이 가능할까요?
A2: 가능합니다, 다만 딥러닝의 경우 지연 시간(latency)과 컴퓨팅 자원에 주의해야 합니다. 경량화 모델을 사용할 수 있습니다.
