deeplearning
1.[Deep Learning] Gradient Descent: 왜 딥러닝은 '학습' 방식부터 다를까?
딥러닝의 핵심인 경사하강법(Gradient Descent)이 전통적인 머신러닝(Linear Regression 등)과 어떻게 궤를 달리하는지 3가지 관점에서 깊이 있게 정리해 드립니다. 1. 수학적 메커니즘: Backpropagation의 마법 전통적인 회귀 분석이
2.[Deep Learning] 딥러닝의 심장, Gradient Descent: 왜 모든 길은 경사 하강법으로 통하는가?
딥러닝 모델이 '학습'한다는 것은 수만 명의 연주자가 있는 오케스트라가 단 하나의 완벽한 화음을 찾아가는 과정과 같습니다. 현대 딥러닝의 거의 모든 학습 알고리즘이 Gradient Descent(경사 하강법)를 사용하는 이유는, 수백만에서 수천억 개에 달하는 가중치(W
3.[Deep Learning] 딥러닝의 기하학: 비볼록(Non-convex) 지형의 함정을 돌파하는 전략
딥러닝 모델을 학습시킨다는 것은 안개가 자욱한 거대한 산맥에서 가장 낮은 골짜기를 찾아 내려가는 과정과 같습니다. 그런데 여기서 수학적으로 매우 심각한 문제가 발생합니다. 실제 딥러닝의 손실 함수(Loss Function) 지형은 매끈한 밥그릇 모양(Convex)이 아
4.[Deep Learning] Multi-layer Perceptron의 구조와 수학적 관계
"딥러닝은 '가중치($W$) 곱하기'와 '활성화($f$) 함수'라는 두 개의 릴레이 바톤을 서로 다른 층(Layer)에 걸쳐 무한히 이어가는 과정입니다." 이 모델은 데이터를 받아서 예측값($\hat{y}$)을 내놓기까지, 서로 다른 3개의 함수(Layer)가 꼬리에
5.[Deep Learning] 왜 활성화 함수는 반드시 '비선형(Non-linear)'이어야 하는가?
딥러닝 모델의 각 층(Layer)은 단순한 계산을 넘어 데이터를 '이해'하는 과정입니다. 이 과정의 핵심에는 활성화 함수(Activation Function)가 있습니다. 하지만 단순히 "성능이 좋아진다"는 모호한 설명만으로는 부족합니다. 왜 활성화 함수는 반드시 비선
6.[Deep Learning] 딥러닝의 침묵: 기울기 소실(Gradient Vanishing)이란 무엇인가?
기울기 소실(Gradient Vanishing) 문제는 딥러닝이 "깊게(Deep)" 쌓일 수 없었던 가장 큰 기술적 장벽 중 하나였습니다. 딥러닝은 역전파(Backpropagation)를 통해 출력층의 오차를 입력층 방향으로 전달하며 가중치를 업데이트합니다. 이때 기울
7.[Deep Learning] 기울기 소실 (Gradient Vanishing)극복 원리
"딥러닝의 발전은 유실되는 오차 신호(Gradient)를 마지막 층에서 입력층까지 얼마나 온전하게 보존하느냐의 싸움이었습니다."기울기 소실(Gradient Vanishing)이라는 문제를 해결한 3가지 핵심 기술을 순서대로, 그리고 구조적으로 파헤쳐 보겠습니다. 앞서
8.[Deep Learning] 기울기를 지키기 위한 사투: ResNet의 설계 철학
딥러닝 모델이 깊어질수록 우리는 '기울기 소실(Gradient Vanishing)'이라는 벽에 부딪힙니다. 오차 신호가 입력층까지 전달되지 않아 학습이 멈추는 현상이죠. 이때 이런 의문이 들 수 있습니다. "그냥 가중치를 $W=1, b=0$으로 고정해서 신호를 그대로
9.[Deep Learning] 딥러닝 옵티마이저: 기초부터 최신 AdamW까지
옵티마이저는 손실 함수($L$)를 최소화하기 위해 가중치($w$)를 어떻게 업데이트할지 결정하는 '길잡이' 역할을 합니다.가장 단순한 방법에서 시작해, 물리적인 '관성'을 도입한 단계입니다.가장 기본적인 경사 하강법입니다. 현재 위치에서의 기울기 방향으로만 이동합니다.
10.[Deep Learning] 딥러닝 학습의 3대 변수: 소실, 사망, 그리고 감쇠
모델이 깊어질수록 우리는 기울기가 사라지거나 뉴런이 응답하지 않는 문제에 직면합니다. 이를 해결하기 위한 '설계'와 '규제'가 어떻게 맞물리는지 살펴봅시다."층이 깊어질수록 앞쪽(입력층)으로 전달되는 에너지가 증발하는 현상"수식적 원인: 역전파 시 체인 룰(Chain
11.[Deep Learning] 데이터셋 분할의 정석: Train, Validation, Test를 나누는 진짜 이유
데이터 세트를 세 가지로 나누는 것은 모델의 '학습', '수정(튜닝)', '최종 검증'이라는 명확한 목적 구분을 위해서입니다. 데이터 사이언티스트로서 실무에서 가장 중요하게 생각하는 포인트들을 중심으로 정리해 드릴게요.Training: 컴퓨터가 Loss를 최소화하기
12.[Deep Learning] 순서가 생명인 데이터셋 분할의 정석: 시계열 & 텍스트
시간이나 문맥이 포함된 데이터에서는 Shuffle(무작위 섞기)은 독이 됩니다. 왜 섞으면 안 되는지, 그리고 어떻게 학습시키는지 구조적으로 알아봅니다.시계열 데이터의 대원칙은 과거($t-n$)를 보고 미래($t+1$)를 예측하는 것입니다.우리는 전체 데이터셋($T$)
13.[Deep Learning] 딥러닝의 첫 단추: 가중치 초기화(Weight Initialization) 완벽 가이드
딥러닝 모델을 설계할 때 우리가 가장 먼저 결정해야 하는 것은 무엇일까요? 바로 가중치($W$)를 어떤 값으로 시작할지입니다. 단순히 숫자를 채워 넣는 작업처럼 보이지만, 초기값 설정에 따라 모델이 광속으로 수렴할 수도, 혹은 학습 자체가 불가능할 수도 있습니다.가장
14.[Deep Learning] 모델의 성적을 결정하는 설계도: 하이퍼파라미터(Hyperparameter) 튜닝
딥러닝 모델을 학습시킬 때, 모델이 스스로 공부하게 내버려 두면 될까요? 아닙니다. 모델이 공부를 잘할 수 있도록 환경을 조성하고 공부 방법을 정해주는 '선생님'의 역할이 필요합니다. 그 핵심이 바로 하이퍼파라미터 튜닝입니다.딥러닝 모델을 학습시킬 때, 모델이 스스로
15.[Deep Learning] 데이터의 흐름을 지배하는 법: 4가지 정규화(Normalization) 완전 정복
딥러닝 모델이 깊어질수록 데이터를 단순히 쌓는 것보다, 각 층을 통과하는 데이터의 '분포'를 일정하게 유지하는 것이 훨씬 중요해집니다. 이를 가능하게 하는 정규화에 대해 알아보겠습니다.학습 과정에서 각 층의 입력 또는 출력값을 평균 0, 분산 1에 가깝게 표준화하여 데
16.[Deep Learning] 모델의 일반화 성능을 극대화하는 Regularization (규제)
딥러닝 모델이 학습 데이터에서는 만점을 받는데, 실제 테스트에서는 낙제점을 받는다면? 그것은 오버피팅(Overfitting)의 늪에 빠졌기 때문입니다. 오늘은 모델의 고집을 꺾고 '범용적인 지능'을 갖게 만드는 4가지 핵심 규제(Regularization) 기법을 정리
17.[Computer Vision] 딥러닝 시각화 (Feature Visualization vs Activation Map vs Grad-CAM)
혹시 딥러닝 관련 논문이나 자료에서 이런 이미지를 보신 적이 있나요?그림 1. Feature Visualization - CNN의 층이 깊어질수록 추출되는 특징이 단순한 선에서 구체적인 얼굴 형태로 변해가는 과정"그림 2. 입력 이미지에 따른 계층별 Feature Ma
18. [Deep Learning] Partial Gradient Descent (편미분): 개별적 움직임이 만드는 전체의 최적화
딥러닝 모델의 학습은 수만 개의 나사가 동시에 조여지며 기계를 완성하는 과정과 같습니다. 여기서 가장 신비로운 지점은 "각 가중치가 제각각 움직이는데, 어떻게 전체 오차(Loss)는 한 방향으로 줄어드는가?" 하는 점입니다. > 우리의 유일한 목적은 "정답과 예측값의
19.[Deep Learning] 학습의 고속도로를 깔다: 배치 정규화(Batch Normalization) 완벽 가이드
1. 배치의 마법: Batch Normalization의 정의 단순히 데이터를 정규화하는 것을 넘어, 신경망 내부의 각 층(Layer)마다 입력 분포를 스스로 제어하게 만드는 기법입니다. Batch (배치): 전체 데이터를 쪼갠 소그룹(Mini-batch) 단위.