Epsilon-delta argument (입실론 델타 논법)

머신러닝 공부를 하다보면, 극한의 개념을 마주치게 된다. 그런데 극한을 정의하는게 내가 고등학생때 배운 것과는 좀 다른 것 같은데, 보통 입실론델타 $\epsilon-\delta$ 논법으로 극한을 정의한다. 다음은 함수의 극한에 대한 정의이다.

1. 다변수 함수의 극한
   다변수 함수 $f: \mathbb{R}^{n} \rightarrow \mathbb{R}$ 에 대하여, 함수 $f$의 정의역에 속한 점 $\mathbf{a}=(a_1, \cdots, a_n)$을 생각하자. 임의의 $\epsilon > 0$과 $0 < ||\mathbf{x}-\mathbf{a}||_2 < \delta$를 만족하는 $\mathbf{x}=(x_1, \cdots, x_n)$에 대하여 $|f(x_1, \cdots, x_n) - L| < \epsilon$ 을 만족하는 $\delta > 0$ 이 존재할 때, $L$을 $\mathbf{x}$가 $\textbf{a}$에 가까이 갈 때 $f$의 극한이라 하고 다음과 같이 나타낸다.
   $\begin{aligned} \lim_{(x_1, \cdots, x_n) \to (a_1, \cdots, x_n)}f(x_1, \cdots, x_n) = L \end{aligned}$

이것이 입실론$\epsilon$과 델타$\delta$를 이용한 전통적인 극한의 정의이다. 그런데 문제는 잘 와닿지 않는다는 것이다. 이 문제를 한번 발로 그려보겠다. (그림 편의상 일변수함수에서 그린다.)

그림에서 보듯이, 내가 특정 L 값에서 같은 크기로 $\epsilon$만큼의 갭을 잡았을 때 그 사이에 해당하는 값들만큼 x값에서 내가 $\delta$ 크기를 잡아서 전부 $L - \epsilon < f(x) < L + \epsilon$ 사이로 보낼 수 있다면, 그때의 $L$값은 극한 값이 된다. 이와 같은 상황에서는 $\epsilon$값을 엄청 늘리든 엄청 작게하든 언제든 $\delta$값을 잡을 수 있다. 그런데 다음과 같은 상황에서는 $\delta$를 잡을 수 없다.

그림에서 보듯이, 내가 특정 L 값에서 같은 크기로 $\epsilon$만큼의 갭을 잡았는데 위 그림과 같이 값이 continuous 하지 못한 곳에서는 내가 아무리 $\delta$값을 정해도 $f(x\pm\delta)$ 값을 $[ L - \epsilon, L + \epsilon ]$ 사이에로 보낼 수 없다.

즉, 정리해보면 $\epsilon>0$이 어떻게 주어지더라도, $x$와 $a$ 사이의 거리$(\delta)$를 충분히 작게 함으로써 $f(x)$와 $L$ 사이의 거리를 $\epsilon$보다 작게 할 수 있다는 것이다.

이 개념을 알고 있어야 되나 싶기는 하지만, 미분이 중요한 머신러닝에서 언젠가 필요한 기본배경이 되지 않을까 싶다.