Chapter 2 - 도함수의 역설

0. 이 장의 목적

"한 순간의 속도나 변화율이라는 개념이 과연 수학적으로 말이 될까?"

Chapter 1이 '누적(적분)'을 다루었다면, Chapter 2는 '변화율(미분)'을 집중적으로 탐구합니다.

우리는 이 장을 통해 "순간 변화율(미분)"이라는 개념이 왜 성립하는지, 그리고 미분이 AI와 딥러닝에서 최적화를 수행하는 강력한 도구로 어떻게 활용되는지를 극한과 접선의 관점으로 직관적으로 이해해 보겠습니다.

---

1. 왜 ‘미분’이 필요한가?

우리가 던져야 할 핵심 질문은 다음과 같습니다.

• 물체의 속도는 특정 순간에 얼마인가?
• 곡선이 어떤 점에서 얼마나 가파르게 상승하거나 하강하는가?
• (AI 관점) 현재 모델의 오차(Loss)를 줄이기 위해 가중치(Weight)를 어느 방향으로, 얼마나 수정해야 하는가?

핵심 문제 : '순간'과 '변화율'의 모순

변화율은 기본적으로 "두 점"이 있어야 정의됩니다.

$\text{평균 변화율} = \frac{\Delta y}{\Delta x} = \frac{f(b) - f(a)}{b - a}$

변화량($\Delta$)은 두 점 사이의 '구간'을 전제로 합니다. 하지만 우리가 원하는 것은 고정된 "한 순간", "한 점"에서의 변화율입니다.

구간이 있어야만 존재하는 '변화율'을 단 하나의 '점'에서 구하고자 할 때, 수학적인 역설(Paradox)이 발생합니다.

---

2. 평균 변화율(average rate of change)

함수 $s(t)$를 '시간 $t$'에 따른 '위치'라고 가정해 보겠습니다.

구간 $[t, t+\Delta t]$ 동안의 평균 속도는 다음과 같이 표현할 수 있으며, 이는 합리적인 식입니다.

$\frac{s(t+\Delta t)-s(t)}{\Delta t}$

• 분자 ($\Delta s$): 이동한 거리 (위치의 변화량)
• 분모 ($\Delta t$): 걸린 시간 (시간의 변화량)
• 결과: 해당 구간 동안의 평균 속도

그래프 관점: 할선(Secant Line)

그래프 $y=s(t)$ 위에서 시간 $t$와 $t+\Delta t$에 해당하는 두 점을 찍고, 그 두 점을 직선으로 연결해 봅시다.

이때 두 점을 지나는 직선을 할선(Secant Line)이라고 부르며, 평균 변화율은 기하학적으로 할선의 기울기를 의미합니다.

---

3. “순간 변화율”은 왜 말이 꼬이냐? (역설의 핵심)

"그럼 걸린 시간 $\Delta t = 0$을 대입하면 순간 속도가 되는 것 아닌가?"라는 생각이 자연스럽게 들 수 있습니다.

하지만 실제로 식을 세워보면 수학적으로 심각한 오류가 발생합니다.

$\frac{s(t+0)-s(t)}{0} = \frac{0}{0}$

수학에서 분모가 $0$인 연산은 정의되지 않습니다. 특히 $\frac{0}{0}$ 형태는 어떤 값도 될 수 있고, 반대로 어떤 값으로도 정할 수 없는 미정형(Indeterminate Form)입니다.

즉, 순간 변화율은 '단순히 시간 변화량 $\Delta t$에 $0$을 대입하는 방식'으로는 절대 만들어낼 수 없습니다.

그럼에도 불구하고 우리는 일상에서 "차판 속도계의 순간 속도"를 이야기합니다. 단 하나의 점에서는 구할 수 없다는 '수학적 한계'와, 지금 이 순간의 변화를 알고 싶다는 '현실적 필요성' 사이의 거대한 간극을 매끄럽게 연결해 주는 도구가 바로 극한(Limit)입니다.

---

4. 극한으로 순간 변화율을 정의한다 (정의의 탄생)

수학자들은 $\Delta t = 0$을 직접 대입하는 모순을 피하기 위해 발상의 전환을 합니다. 시간 변화량 $\Delta t$를 $0$으로 '만드는' 것이 아니라, $0$에 한없이 가까워지게 만들자($\Delta t \to 0$)는 것입니다.

$\lim_{\Delta t\to 0}\frac{s(t+\Delta t)-s(t)}{\Delta t}$

이 식이 바로 우리가 잘 아는 미분(도함수)의 수학적 정의입니다.

핵심 직관

• 아주 짧은 시간 동안의 평균 속도를 구합니다.
• 그 시간 구간($\Delta t$)을 $0$에 가깝게 끊임없이 줄여갑니다.
• 이때 평균 속도가 특정 값으로 안정되게 '수렴' 한다면, 그 수렴값을 비로소 '순간 속도'라고 정의합니다.

순간 변화율 = ‘극한으로 정의된 평균 변화율’

---

5. 접선(tangent) 관점: “기울기”의 정의가 바뀐다

그래프 관점에서 평균 변화율은 '두 점을 잇는 할선의 기울기'였습니다. 그렇다면 미분으로 구한 순간 변화율은 기하학적으로 무엇을 의미할까요?

[두 점을 잇는 할선] ---> [두 점 사이 거리를 0으로 줄임] ---> [한 점에 접하는 '접선']

• 그래프 위의 두 점을 이은 할선을 만듭니다.
• 극한($\Delta x \to 0$)을 적용해 두 점 사이의 거리를 $0$에 가깝게 줄입니다.
• 두 점이 점점 가까워지면서, 할선은 마침내 단 한 점에 접하는 하나의 직선으로 정착하게 됩니다.

이 정착된 직선이 바로 접선(Tangent Line)입니다.

$f'(x) = \text{그 점에서의 접선 기울기}$

즉, 미분은 기하학적으로 접선 기울기입니다.

AI 엔지니어가 잡아야 할 직관

딥러닝에서 이 '접선의 기울기'는 경사하강법(Gradient Descent)의 이정표 역할을 합니다.

• 기울기가 양수(+)다? $\rightarrow$ 입력값(가중치)을 줄여야 손실(Loss)이 줄어듭니다.
• 기울기가 음수(-)다? $\rightarrow$ 입력값(가중치)을 늘려야 손실(Loss)이 줄어듭니다.
• 기울기가 $0$이다? $\rightarrow$ 오차가 가장 적은 최적점(Local Minimum) 근처에 도달했음을 의미합니다.

---

6. 예시로 느껴보는 "수렴"의 직관

"시간 구간 $\Delta t$를 $0$으로 줄이면 값이 안정된다"는 말이 무슨 뜻인지 구체적인 숫자로 느껴봅시다.

예를 들어, 위치 함수 $s(t) = t^2$이 있을 때 시간 $t = 2$에서의 순간 속도를 구한다고 해보겠습니다. 시간 구간 $\Delta t$를 점점 줄여가며 평균 속도 $\frac{s(2+\Delta t) - s(2)}{\Delta t}$를 직접 계산해 보면 다음과 같습니다.

시간 구간 (Δt)	계산식	평균 속도
$1.0$ 초	$\frac{(2+1)^2 - 2^2}{1} = \frac{9-4}{1}$	$5.0$
$0.1$ 초	$\frac{(2+0.1)^2 - 2^2}{0.1} = \frac{4.41-4}{0.1}$	$4.1$
$0.01$ 초	$\frac{(2+0.01)^2 - 2^2}{0.01} = \frac{4.0401-4}{0.01}$	$4.01$
$0.001$ 초	$\frac{(2+0.001)^2 - 2^2}{0.001} = \frac{4.004001-4}{0.001}$	$4.001$

$\Delta t$를 $1.0$에서 $0.001$까지 줄여감에 따라, 평균 속도 값이 점점 특정 값으로 향해 가는 것을 눈으로 확인할 수 있습니다.

구간의 길이를 $0$에 가깝게 줄일수록 값이 튀지 않고 특정 값($4$)으로 안정되게 다가갑니다.

이처럼 무한히 작은 구간으로 줄여갈 때 다다르는 ‘안정적인 수렴값($4$)’이 바로 그 지점에서의 순간 변화율, 즉 도함수 $s'(2)$의 값입니다.

---

7. 계산으로 미분 정의 맛보기: $s(t)=t^3$

이번에는 우리가 흔히 암기하는 미분 공식($(t^3)' = 3t^2$)이 극한의 정의에서 어떻게 실제로 유도되는지 직접 계산해 보겠습니다.

Step 1. 평균 변화율 세우기

위치 함수 $s(t) = t^3$에 대해 시간 변화량 $\Delta t$ 동안의 평균 변화율 식을 세웁니다.

$\frac{s(t+\Delta t)-s(t)}{\Delta t} = \frac{(t+\Delta t)^3 - t^3}{\Delta t}$

Step 2. 분자 전개하기 (핵심)

삼차항 공식 $(a+b)^3 = a^3 + 3a^2b + 3ab^2 + b^3$을 이용해 분자를 전개합니다.

$(t+\Delta t)^3 = t^3 + 3t^2\Delta t + 3t(\Delta t)^2 + (\Delta t)^3$

여기에 $- t^3$을 해주면 소거되어 분자에는 $\Delta t$를 포함한 항들만 남습니다.

$(t+\Delta t)^3 - t^3 = 3t^2\Delta t + 3t(\Delta t)^2 + (\Delta t)^3$

Step 3. $\Delta t$로 약분하기

분모와 분자의 $\Delta t$를 약분하여 분모의 $0$ 지점(분모가 $0$이 되는 문제)을 제거합니다.

$\frac{3t^2\Delta t + 3t(\Delta t)^2 + (\Delta t)^3}{\Delta t} = 3t^2 + 3t\Delta t + (\Delta t)^2$

Step 4. 극한 적용하기 ($\Delta t \to 0$)

이제 $\Delta t$를 $0$으로 한없이 보내봅니다.

$\lim_{\Delta t\to 0}\left(3t^2 + 3t\Delta t + (\Delta t)^2\right) = 3t^2$

결론 및 엔지니어링 인지

$\frac{d}{dt}(t^3)=3t^2$

우리가 기계적으로 외우던 다항함수 미분 공식 $\frac{d}{dx}(x^n) = nx^{n-1}$은 하늘에서 뚝 떨어진 규칙이 아닙니다. 극한의 정의에서 분모를 소거하고 남은 값들의 집합일 뿐입니다.

기억해야 할 포인트

미분 공식은 단순 '암기용 테크닉'이 아니라, 극한 정의를 통해 언제든 증명하고 유도할 수 있는 원리입니다. 복잡한 AI 손실 함수나 합성 함수를 미분할 때도 이 기본 정의와 원리가 그대로 적용됩니다.

---

8. 왜 ‘역설(paradox)’이라고 부르나?

'순간 변화율'이라는 용어는 사실 단어 자체만 보면 명백한 모순(Paradox)처럼 보입니다.

• 변화율(Rate of change)을 구하려면 최소한 두 개의 점이 필요합니다. (어디서부터 어디까지 변했는가?)
• 순간(Instant)은 시간이 $0$인 단 하나의 점을 의미합니다. (변화할 시간조차 없는 상태)

"변화할 시간도 주지 않아 놓고, 얼마나 변했는지를 물어본다?" 이것이 바로 언어적 모순이자 역설입니다.

수학자들은 이 역설을 해결하기 위해 '관점의 전환'을 사용했습니다.

순간 변화율은 진짜로 "딱 한 점만 떼어놓고 관찰한 결과"가 아닙니다. "그 점 주변에서 두 점 사이의 평균 변화율이 과연 어떻게 행동하는가?"를 추적하여 정의한 값입니다.

역설을 깨부수는 핵심 직관

미분은 '멈춰있는 한 순간'을 보는 것이 아니라, 그 순간으로 '무한히 다가가는 주변의 움직임'을 관찰해서 찰나의 방향과 속도를 밝혀내는 도구입니다.

AI 엔지니어가 가져갈 프레임

우리가 AI 모델을 학습시킬 때, 특정 가중치(Weight) 지점에서의 손실 함수(Loss Function) 기울기를 구하는 것도 마찬가지입니다. 현재 가중치 상태 '그 자체'에는 아무런 움직임이 없지만, "여기서 가중치를 미세하게 움직이면 Loss가 어느 방향으로 얼마나 변할 것인가?"라는 주변의 행동 패턴(경사)을 미분을 통해 파악하여 최적의 학습 방향을 결정하는 것입니다.

---

9. 표기법($dy/dx$)에 대한 감각과 주의점

미분을 공부하다 보면 가장 흔하게 접하는 기호가 바로 $\frac{dy}{dx}$ 또는 $\frac{ds}{dt}$ 형태의 라이프니츠 표기법(Leibniz notation)입니다.

이 기호는 생김새 때문에 "단순히 분자 $dy$를 분모 $dx$로 나누는 일반적인 분수인가?" 하는 오해를 사기 쉽습니다.

[개념 비교] 단순 분수 vs 실제 미분의 본질

• 착각하기 쉬운 형태 (단순 분수)

$\frac{dy}{dx} \quad \leftarrow \frac{\text{아주 작은 } y \text{ 변화량}}{\text{아주 작은 } x \text{ 변화량}}$

(※ 단순한 분수 나눗셈이 아닙니다!)

• 실제 미분의 본질 (극한으로 정의된 하나의 기호)

$\frac{dy}{dx} = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$

(※ 분모가 0으로 갈 때의 상태를 나타내는 '하나의 연산자'입니다.)

1) $\frac{dy}{dx}$의 진짜 의미

엄밀히 말해 $\frac{dy}{dx}$는 분수가 아니라, "극한 과정을 거쳐 얻어낸 하나의 연산 결과(도함수)"를 나타내는 기호입니다.

$\frac{dy}{dx} = \lim_{h\to 0}\frac{f(x+h)-f(x)}{h}$

$dx$나 $dy$가 각각 독립된 수치가 아니라, $\Delta x \to 0$으로 갈 때의 변화율 전체를 패키지로 묶어서 나타낸 표현이라고 이해해야 합니다.

2) 그럼 왜 굳이 '분수 모양'으로 만들었을까?

수학자 라이프니츠가 이 기호를 만든 이유는 명확합니다. 실제 분수처럼 다룰 때 연산의 직관성이 극대화되기 때문입니다.

• 합성함수의 미분(체인 룰, Chain Rule)을 쓸 때:

$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$

(마치 $du$가 약분되는 것 같은 강력한 직관을 줍니다.)

• 미분방정식에서 변수분리를 할 때도 분수처럼 항을 넘겨서 계산하면 매우 편리합니다.

핵심 요약

$\frac{dy}{dx}$는 엄밀히는 "극한 기호"이지만, 계산과 적용의 편의성을 위해 "분수처럼 다루도록 설계된 가장 완벽한 기호"입니다.

AI 엔지니어링 팁

PyTorch나 TensorFlow 같은 딥러닝 프레임워크에서 역전파(Backpropagation)를 수행할 때, 여러 레이어의 기울기를 사슬처럼 곱해나가는 '체인 룰(Chain Rule)'이 바로 이 라이프니츠 표기법의 직관에서 출발합니다.

---

10. 이 장의 핵심 요약

• 평균 변화율: 두 점 사이의 전반적인 흐름을 나타내는 할선(Secant)의 기울기입니다.
  
• 0으로 나눌 수 없는 역설: 순간 변화율은 분모에 단순히 $\Delta x = 0$을 직접 대입해서는 절대 구할 수 없습니다.
  
• 극한의 도입: 순간 변화율은 두 점 사이의 거리를 무한히 줄여나가는 "$\Delta x \to 0$"의 극한(Limit)으로 정의됩니다.
  
• 기하학적 의미: 미분값은 곡선 위의 한 점에서 접하는 접선(Tangent)의 기울기이자, 찰나의 순간에 움직이는 방향과 속도를 의미합니다.
  
• 구조적 이해: 미분 공식은 무작정 외우는 것이 아니라, 극한의 정의에서 분모의 $h$를 소거해 나가는 과정에서 유도되는 구조를 먼저 이해해야 합니다.

---

11. Chapter 1과 연결 (미적분의 큰 그림)

지금까지 다룬 미분의 본질을 바탕으로, 미적분학 전체를 관통하는 커다란 지도를 그려볼 수 있습니다.

       [Chapter 1]                         [Chapter 2]
    누적(면적)의 관점                   변화율(기울기)의 관점
           │                                   │
           ▼                                   ▼
         적분                                 미분
   (Integral)                           (Derivative)
           │                                   │
           └───────► [미적분학의 기본정리] ◄───────┘
                     (Fundamental Theorem)

• Chapter 1 (적분): 작게 쪼갠 조각들을 쌓아 올려 전체의 '누적량(면적)'을 구하는 관점
  
• Chapter 2 (미분): 찰나의 순간에 어떤 비율로 변하고 있는지 '변화율(기울기)'을 측정하는 관점

미적분학의 기본정리가 주는 핵심 직관

전혀 다른 수학적 도구처럼 보이는 미분과 적분은 사실 동전의 양면(역연산 관계)입니다.

"적분으로 차곡차곡 쌓아 올린 '누적함수'를 다시 미분하면, 정확히 원래의 함수로 돌아온다."

$\frac{d}{dx} \left( \int_{a}^{x} f(t) \, dt \right) = f(x)$

• 적분: 잘게 쪼개서 더한다. ($f(x) \to$ 누적)
  
• 미분: 쌓여있는 누적량을 순간 단위로 쪼개어 변화 속도를 본다. (누적 $\to f(x)$)

이 연결고리를 이해하면, 앞으로 다룰 복잡한 미적분의 정리가 단순한 공포가 아니라 '전체 양을 측정하고 순간의 변화를 다루는 강력한 하나의 시스템'으로 느껴지게 됩니다.

---

12. 스스로 체크하기

아래 질문들에 대해 스스로 설명할 수 있다면 Chapter 2 를 완벽히 이해한 것입니다!

• 0/0 부정형 회피: 순간 변화율은 왜 $\frac{0}{0}$ 문제를 피할 수 있을까요?
  
• 극한의 필연성: 왜 미분에서 극한이 필요하며, $\Delta x \to 0$은 무슨 뜻일까요?
  
• 기하학적 의미: 미분(순간 변화율)은 그래프에서 무엇을 의미할까요? (접선 기울기)
  
• 개념의 대조: 평균 변화율과 순간 변화율의 차이를 한 문장으로 말할 수 있나요?