앞 두 글에서 이상하게도 Fourier Series에 대해서 언급하지 않았다. 근데, 사실 진짜 중요한 것은 (열방정식이 아니라) Fourier Series로 해를 구할 수 있다는 것이다. 여기서는 Fourier Series로 파동 및 열 방정식의 해를 구하는 방법에 대해서 간략히 소개하고 Fourier Series를 시작으로 해석학의 주요 개념을 소개할 것이다.

푸리에가 제안한 핵심 아이디어는 구간 $(-\pi, \pi)$에서 정의된 임의의 함수 $f(x)$를 사인(sin)과 코사인(cos) 함수의 무한 합으로 표현할 수 있다는 것이다.

$f(x) = \frac{a_0}{2} + \sum_{n=1}^{\infty} \left( a_n \cos(nx) + b_n \sin(nx) \right)$

단, $a_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos(nx) \, dx,$ 그리고 $b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin(nx) \, dx$

여기에, 주요한 두가지 질문이 있다. 첫번째는 왜? 푸리에계수 $a_n, \ b_n$이 저렇게 계산되느냐이다. 그리고, 두번째는 왜 하필 사인과 코사인을 사용하느냐? 이다. 이 두가지 질문은 (너무 중요하고 순진한 질문이라서) 내 생각에는 직접적인 답을 알려주는 것보다, 푸리에 시리즈에 대한 근본적인 이야기를 하는 것이 질문자에게 더 도움을 줄 것 같다.

수학의 시작점으로서의 Fourier Series

19세기 초, 수학에서 극한(limit)이나 함수의 수렴(convergence)에 대한 명확한 정의가 부재했던 시기에, 푸리에(Jean-Baptiste Joseph Fourier)는 모든 함수가 사인과 코사인의 무한 급수로 표현될 수 있다는 혁신적인 아이디어를 제시했다. 이 아이디어는 푸리에 급수(Fourier Series)로 알려져 있으며, 열 전달 문제를 해결하기 위해 처음 도입되었으며 이를 이용하여 수많은 편미분 방정식 문제를 해결 할 수 있었다. 그러나, 푸리에의 이론은 당시의 수학적 엄밀성 부족으로 인해 초기에는 논란의 여지가 있었다. 특히, 그의 주장이 모든 함수에 대해 성립하는지에 대한 증명은 당시의 수학적 기준으로는 충분히 엄밀하지 않았다.

이러한 문제를 해결한 주요 인물 중 한 명이 디리클레(Peter Gustav Lejeune Dirichlet)였다. 디리클레는 함수, 급수, 극한에 대한 엄밀한 처리를 도입함으로써 해석학의 기초를 확립하는 데 기여했다. 그의 업적 중 하나는 디리클레 조건(Dirichlet conditions)을 통해 특정 조건을 만족하는 함수들이 푸리에 급수로 표현될 수 있음을 엄밀하게 증명한 것이다.

The sine and cosine series, by which one can represent an arbitrary function in a given interval, enjoy among other remarkable properties that of being convergent. This property did not escape the great geometer (Fourier) who began, through the introduction of the representation of functions just mentioned,
a new career for the applications of analysis; it was
stated in the Memoir which contains his first research
on heat. But no one so far, to my knowledge, gave a
general proof of it . . . G. Dirichlet, 1829

디리클레의 업적을 이해하기 위해서는, 먼저 함수를 벡터(그냥 공간위에 있는 한 점이라 생각해도 좋다)로 보는 관점에서 함수와 함수 사이의 거리라는 개념을 이해해야한다. 그리고, 함수열의 수렴에 대한 엄밀한 문장들을 해석할 수 있어야한다. 이러한 것을 잘 모르는 독자를 위해서, 매우 단순하게 말하면 사인과 코사인 함수들은 함수들의 공간의 x축과 y축 같은 것을를 이룬다. 그리고, 평면위의 점을 $x$좌표와 $y$좌표로 나타낼 수 있듯이, 함수도 푸리에 계수들(이게 좌표에 해당하는 것이다)로 표현이 가능하다.

함수 공간과 기저

우리가 유클리드 공간에서 점을 표현할 때, $x$축과 $y$축(또는 3차원에서는 $z$축까지 포함)의 좌표를 사용한다. 선형대수학의 언어로 말하면, $(1,0)$과 $(0,1)$이 이 공간에서의 기저 벡터 역할을 하며, 모든 점은 이 기저 벡터들$\{(1,0),(0,1)\}$의 선형 결합으로 표현될 수 있다.

$(a,b) = a(1,0)+b(0,1)$

푸리에의 주장에 따르면, 함수 공간에서, 사인과 코사인 함수들은 이와 유사하게 작동한다. 즉, 이들은 함수 공간에서의 '축' 또는 '기저' 역할을 하며, 어떤 함수도 사인과 코사인 함수들의 적절한 조합(선형 결합)으로 표현될 수 있다. 이 때, 각 사인과 코사인 함수에 곱해지는 계수(푸리에 계수)들이 바로 그 함수의 '좌표'에 해당한다.

$f(x) = \frac{a_0}{2}+ \sum_{n=1}^\infty a_n\cos(nx) + \sum_{n=1}^\infty b_n\sin(nx)$

유클리드 공간에서 내적이란, 두 벡터 $\bold x = (x_1,\cdots,x_n)$와 $\bold y = (y_1, \cdots, y_n)$사이에 정의되는 연산$\cdot$으로 다음과 같이 정의된다.

$\bold x \cdot \bold y = x_1y_1 + x_2y_2 + \cdots + x_n y_n.$

그리고 만약 $\bold v$가 크기가 1인 벡터이면 $\bold x \cdot \bold v$란 벡터 $\bold x$를 $\bold v$방향으로 정사영한 것이라고 해석할 수 있다.

정사영이란, 벡터를 부분공간에 수직으로 투영한 것을 뜻한다. 예를들어서, 다음 그림에서 파란벡터를 직선에 정사영한 것이 빨간 벡터로, 구체적인 계산은 다음과 같다. (그림대로) 파랑 벡터는 $(3,4)$이고 직선은 원점과 $(1,2)$를 지난다고 하자. 먼저, $(3,4)\cdot (1,2)$을 $(1,2)$의 크기로 나눈다. 여기서 $(1,2)$는 주어진 직선을 나타내는 벡터이다. 그리고 그렇게 해서 얻어진 값 $12/\sqrt{5}$은 정사영한 벡터의 길이(부호가 있다)를 뜻한다. 만약, 정사영한 벡터 자체를 구하고 싶다면, 단순히 $(1,2)$와 방향이 같고, 그 길이에 해당하는 벡터를 찾으면 된다. 공식으로는, $\bold u \cdot \bold v / \|\bold v\|^2$이고 (위의 논리대로 계산하여 얻음) 공식에 대입하면 붉은 벡터는 $(4,2)$임을 얻을 수 있다.

특히, $\bold x \cdot \bold y=0$ 이면, 직교라고 부른다. 예를들어서, $(-2,1)$과 $(2,4)$가 직교이며 그림으로는 다음과 같이 확인할 수 있다.

그리고, 내적은 계수를 구하는데 활용할 수 있는데, 가령 $\bold x$의 계수는 각각
$x_1 = \bold x \cdot \bold e_1$, 여기서 $\bold e_1 = (1,0,\cdots,0)$
$x_2= \bold x \cdot \bold e_2$, 여기서 $\bold e_2 = (0,1,\cdots,0)$
이런식으로 표현이 가능하다.

주기가 $2\pi$인 함수들의 공간(또는 원 위 에서 정의된 함수들의 공간)을 생각하자. 또는 구체적으로, 구간 $[-\pi,\pi]$에서 정의된 함수$f$인데, $f(-\pi)=f(\pi)$를 만족시키는 함수 $f:[-\pi,\pi]\to \mathbb{R}$들로 구성한 공간을 생각하자. 예를들어서,
함수 $f$가 다음과 같이 표현된다고 하자.

$f(x) = \sum_{m=1}^\infty b_m \sin mx$

그러면, (푸리에의 주장에 따르면) 계수 $a_n$을 뽑아내기 위해서는 다음과 같은 계산을 수행하면 된다.

$b_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin(nx) \, dx$

왜냐하면, $\frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin(nx) \, dx= \frac{1}{\pi} \int_{-\pi}^{\pi} \sum_{m=1}^\infty b_m \sin mx \sin(nx) \, dx$이고 이것은

$\sum_{m=1}^\infty \frac{1}{\pi} \int_{-\pi}^{\pi} b_m \sin (mx) \sin(nx) \, dx$인데, $m\ne n$인 경우에 대해서는 삼각함수의 곱셈공식 $\sin a \sin b = \frac{1}{2} \cos (a-b) - \frac{1}{2} \cos (a+b)$를 적용하여
적분이 다음과 같이 되고
$b_m \int_{-\pi}^{\pi} \sin (mx) \sin(nx) \, dx=\left.b_m\frac{\sin ((m-n)\pi x)-\sin ((m+n)\pi x)}{2(m-n)}\right|_{-\pi}^{\pi}=0$
이고 $m=n$인 경우만 남아서

$\frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \sin(nx) \, dx=\frac{1}{\pi} \int_{-\pi}^{\pi} b_n \sin (nx) \sin(nx) \, dx=b_n$이기 때문이다.

이러한 이유로, 우리는 $\sin nx$들이 벡터 $\bold e_1,\bold e_2,\ldots$와 같은 역할을 한다고 생각할 수 있으며, 이 아이디어를 구체하기 위해서 이 함수공간에 내적을 다음과 같이 정의한다.

$\left<f,g\right>:= \frac{1}{\pi}\int_{-\pi}^\pi f(x)g(x) dx$

그리고 사인함수들($\sin nx$)과 코사인 함수들($\cos nx$)들은 서로서로 내적하면, 1이므로 우리는 이들을 직교 함수라고 부른다.

푸리에 계수

• $a_n$ (코사인 계수)는 함수와 코사인 함수를 내적함 (곱을 구간에 대해 적분함)으로써 얻어진다.
• $b_n$ (사인 계수)는 함수와 사인 함수를 내적함 (곱을 구간에 대해 적분함)으로써 얻어진다.
  이 계수들은 $f(x)$를 이 '기저' 사인과 코사인 함수들로 '정사영(orthogonal projection)'한 결과라고 볼 수 있으며, 함수 공간에서 $f(x)$의 '좌표'를 뜻한다.

Parseval's Theorem

독자가 오일러의 공식 $e^{ix}=\cos x + i \sin x$를 알고 있다고 가정한다.

사실은, 복소수 푸리에 계수를 도입하면 푸리에계수가 함수공간에서의 함수의 (직교 좌표계의) 좌표라는 말은 더 명확해 진다.

단순히, 주기가 $2\pi$인 복소함수 $f:\mathbb{R} \to \mathbb{C}$ 또는 다음과 같이 원 위에서 정의된 (푸리에 시리즈로 표현되는) 함수를 생각하자.

삼각함수 $\sin (x) = \frac{e^{ix}-e^{-ix}}{2i}$이고 $\cos (x) = \frac{e^{ix}+e^{-ix}}{2}$이므로, 푸리에 코사인 계수$a_n$ 및 사인 계수$b_n$에 대해서 $c_n=a_n + i b_n$그리고 $c_{-n}=a_n-ib_n$이라 두어서 다음을 얻는다.

$f(x) = \sum_{n=-\infty}^\infty c_n e^{inx}$
이때, 푸리에 계수 $c_n$ 및 $d_n$을 가지는 함수 $f$ $g$에 대해서, 다음이 성립하며, 이것을 Parseval's Theorem이라 부른다.

$\sum_{n=-\infty}^\infty c_n \overline{d_n} = \frac{1}{2\pi} \int_{-\pi}^{\pi} f(x) \overline{g(x)} dx$
여기서, 가로로 된 바는 복소 공액을 뜻한다.

유도과정을 이해하는 것이 매우 중요하니, 단순하게 설명하도록 하겠다. 그러니까,
$\frac{1}{2\pi} \int_{-\pi}^\pi f(x) \overline{g(x)} dx$에 푸리에 급수를 대입하고 전개하면
$\left<f,g\right> = \frac{1}{2\pi}\int_{-\pi}^\pi \left(\sum c_n e^{inx}\right)\left(\sum \overline{d_m} e^{-imx}\ \right)dx$

$n$과 $m$이 다른 경우에는 $c_n\overline{d_m} e^{i(n-m)x}$항에 대해서, 적분을 하게 되고 $n$과 $m$이 같은 경우에는 단순히 $c_n\overline{d_n}e^{i0}=c_n\overline{d_n}$을 적분하게 되며, $\int_{-\pi}^\pi c_n\overline{d_n}dx=2\pi c_n \overline{d_n}$를 얻는다. 즉,

$\left<f,g\right> = \frac{1}{2\pi}\sum_{n=-\infty}^\infty 2\pi c_n\overline{d_n} +\frac{c_n\overline{d_n}}{2\pi}\sum_{n\ne m}\int_{-\pi}^\pi e^{i(n-m)x}dx$

한편, 0아닌 정수 $k$에 대해서 $\int_{-\pi}^\pi e^{ikx}dx=\left.\frac{1}{ik}e^{ikx}\right|^{\pi}_{-\pi}=0$ 이므로,
$\left<f,g\right>= \sum_n c_n \overline{d_n}$이 된다.

---

Parseval 정리로 부터 자연스럽게 나오는 사실

만약, $f:[-\pi,\pi]\to \mathbb{R}$에 대해서, 그 제곱 $f^2$이 적분가능하면, 푸리에 시리즈가 수렴하여
$f(x)=\frac{a_0}{2} + \sum_{n=1}^\infty (a_n \cos (nx) + b_n \sin (nx))$라 적을 수 있다. 그러면,
$\frac{1}{\pi}\int_{-\pi}^\pi f^2(x) dx= \frac{a_0^2}{2} + \sum_{n=1}^\infty (a_n^2+b_n^2)$이다.

---

Basel's Problem

바셀 문제는 $\frac{1}{1^2}+\frac{1}{2^2}+\frac{1}{3^2}+\cdots$를 구하라는 (1600년대의) 난제이다. 당시에는 매우 어려웠던, 이 난제를 오늘날에는 푸리에 Series를 통해서 매우 쉽게 해결 할 수 있다.

복소 푸리에계수를 우리는 함수의 좌표라 이해할 수 있으며, 이를 이용하면 복잡한 급수를 계산 할 수 있다. 예를들어서, $\frac{1}{1^2}+\frac{1}{2^2}+\frac{1}{3^2}+\cdots$를 구해보자.,
$f(x)=x$ for $x\in[-\pi,\pi)$ 대해서

$\left<f,f\right>=\frac{1}{2\pi}\int_{-\pi}^\pi x^2 dx = \frac{\pi^2}{3}$이고,
$c_n=\left<f,e_n\right>$, where $e_n(x)=e^{inx}$이므로,
$c_n = \frac{1}{2\pi}\int_{-\pi}^\pi x e^{-inx} dx$이다.
따라서, $c_0=0$이고 $n\ne 0$에 대해서 계산하면,

$\int_{-\pi}^\pi x e^{-inx} dx=\left.-\frac{1}{in}xe^{-inx}\right|_{-\pi}^{\pi}-\int_{-\pi}^\pi \frac{1}{-in}e^{-inx}dx$
$\quad \quad \quad \quad \quad \ \ \ =\left.-\frac{1}{in}xe^{-inx}\right|_{-\pi}^{\pi}-\left.\frac{1}{(-in)^2}e^{-inx}\right|_{-\pi}^\pi$
여기서, 뒷부분$\left.\frac{1}{(-in)^2}e^{-inx}\right|_{-\pi}^\pi$은 0이다. 그러므로,

$\quad \quad \quad \quad \quad \ \ \ =\left(-\frac{1}{in}\pi e^{-in\pi}\right)-\left(\frac{1}{in}\pi e^{in\pi}\right) -0$
$\quad \quad \quad \quad \quad \ \ \ =2i(-1)^n\pi \frac{1}{n}$
따라서, ($2\pi$로 나누어서) $c_n =i(-1)^n \frac{1}{n}$.

한편, $\left<f,f\right>=\sum_{n\ne 0} c_n \overline{c_n}=\sum_{n\ne 0} \frac{1}{n^2}$. 이 합은 $n$과 $-n$을 짝지어서 계산하면 다음과 같이 간단하게 된다.
$\left<f,f\right>= \sum_{n=1}^\infty \frac{2}{n^2}.$
따라서, $\sum_{n=1}^\infty \frac{1}{n^2}=\frac{\pi^2}{6}$이다.

함수열의 수렴과 푸리에 분석

안타깝게도, 푸리에의 주장은 엄밀한 관점에서 보면 틀렸다. 그러나, 디리클레가 제시한 것처럼 특정조건하에서 푸리에의 주장은 참이다. 그러니까, 정말로 거의 모든 함수에 대해서, 그 함수의 푸리에 시리즈가 그 함수에 수렴한다.

여기서, 끝이 아니다. 디리클레의 조건을 만족하지 않는 함수에 대해서도, 푸리에 분석을 수행하고 싶다. 그래서 수학자들은 계속해서, 푸리에 해석을 발전시켜나갔으며, 그래서 현대에 이르러서는 푸리에 해석이론은 생각보다 훨씬 많이 복잡하며, 이해하기 위해서는 현대 해석학의 수많은 내용을 필요로 한다. 그러나, 핵심은 단순하다. 그것은 모든 함수를 푸리에 급수로 표현하고 싶다는 푸리에의 꿈을 가능한 강력하게 실현시키고 싶다는 욕망이다.

---

정규 직교 좌표계

기초 선형대수학에서 가장 중요한 개념을 뽑으라면, Spectral 정리(무지개 정리)일 것이다. 근데, 무지개 정리를 이해하려면, 직교 기저에 대한 이해가 필수적이다. 사실 Fourier Series에 대해서 이해하려면, (완전히 동일한 개념으로서) 직교 기저와 무지개 정리를 알아야한다.

Orthonormal Bases and Fourier Series

독자가 벡터공간 ($\mathbb{R}$ 또는 $\mathbb{C}$ 위에서 정의된)과 내적에 대해서 간략하게 알고 있다고 가정한다.

코시 슈바르츠 부등식과 L2 Norm

벡터 $\bold x\in \mathbb{R}^n$에 대해서, $| \bold x |$은 다음과 같이 정의된다.

$|\bold x| := \sqrt{x_1^2+x_2^2 + \cdots + x_n^2}$ 여기서, $x_1,\ldots,x_n$은 $\bold x$의 성분을 의미한다.

더 나아가, 실수 $a$와 벡터 $\bold x, \bold y \in \mathbb{R}^n$에 대해서 다음이 성립한다.

• $|\bold x| \ge 0$이고 $|\bold x|=0$일 필요 충분 조건은 $\bold x$가 0 벡터 인 것이다.

• $| \sum_{i=1}^n x_i y_i |\le |\bold x| \cdot |\bold y|$
  등식은 $\bold x$와 $\bold y$가 선형독립인 경우에만 성립한다. 그러니까, 어떤 실수 $\lambda$에 대해서 $\bold x = \lambda \bold y$인 경우에 성립하고 그렇지 않으면 부등호 기호 대신 $<$으로 바꾼 것이 성립한다. 증명은, (선형독립인 경우만 증명해보자) 모든 $\lambda \in \mathbb{R}$에 대해서, $\lambda \bold y \ne \bold x$라는 것을 통해서 증명한다. 그러니까,
  $0<|\lambda \bold y- \bold x|^2 = \sum_{i=1}^n (\lambda y_i -x_i)^2$
  여기서 우변을 전개하면
  $\lambda^2 \sum_{i=1}^n y_i^2 - 2\lambda \sum_{i=1}^n x_i y_i + \sum_{i=1}^n x_i^2$이다.

이 식은 $\lambda$에 대해서 실근을 가지지 않으므로, 판별식이 0보다 작아야 한다. 다시말해서, $b^2-4ac=\left(2\sum{i=1}^n x_i y_i\right)^2-4\left(\sum_{i=1}^n y_i^2\right)\left(\sum_{i=1}^n x_i^2\right)<0$
따라서, 부등식이 성립한다.

이 부등식을 코시 슈바르츠 부등식이라고 부른다. 적분 형태 및 확률론 형태까지 다양하게 확장된다.

코시슈바르츠 부등식
1. 벡터공간이 $\mathbb{R}^n$인 경우
$(x_1^2+\cdots+x_n^2)(y_1^2+\cdots + y_n^2)\ge (x_1y_1+\cdots x_ny_n)^2$
2. 벡터공간이 $[a,b]$에서 정의된 (제곱)적분이 가능한 실함수들의 모임인 경우
$\int_a^b \{f(x)\}^2 \,{\rm d}x \int_a^b \{g(x)\}^2 \,{\rm d}x \ge \left( \int_a^b f(x)g(x) \,{\rm d}x \right)^{\!2}$
3. (제곱한 것이 기대값을 가지는) 확률변수들의 벡터공간
$E(X^2) \,E(Y^2) \ge E(XY)^2$
4. 내적벡터공간 (위의 모든 것을 추상화)
$\left\Vert v\right\Vert^2\left\Vert w\right\Vert^2\ge\left\vert v\cdot w\right\vert^2$

코시슈바르츠 부등식은, 수학에서 가장 중요한 부등식이다. 그러니까, 인류에게 코시슈바르츠 부등식의 중요도는 피타고라스정리의 중요도와 하이젠베르크 불확정성 원리의 중요도 사이 어딘가에 있다.

여기서는 코시 슈바르츠 부등식을 통해서 벡터의 크기(Norm)가 가지는 기본 성질을 규명하도록 하겠다.

---

Definition(Norm)
체 $F\subseteq \mathbb{C}$위에서 정의된 벡터공간 $X$에 대해서, 다음을 만족하는 함수 $p:X \to \mathbb{R}$를 norm이라 부른다.

• $p(\bold x+\bold y)\le p(\bold x)+p(\bold y)$ for all $\bold x,\bold y \in X$
• $p(s \bold x) = |s| p(\bold x)$ for all vectors $\bold x$ and all scalars $s\in F$.
• $\bold x=\bold 0 \Longleftrightarrow p(\bold x)=0$.

(연습문제) $p$가 non-negative임을 보여라. 다시말해서, 모든 $\bold x$에 대해서, $p(\bold x) \ge 0$이다.

(증명) $p(\bold x + (-1) \cdot \bold x)=0$이고, 첫번째 문장이 성립하므로,
$0 \le p(\bold x) + |-1|\cdot p(\bold x)=2 p(\bold x)$

따라서, $0 \le p( \bold x)$이다.

---

$| \cdot |$은 Norm의 한 예시이다. 그리고 Norm이라는 개념은 코시슈바르츠 부등식과 매우 연관되어있다다. 자세히 말해서, Norm의 정의의 첫번째 문장

• $|\bold x + \bold y | \le |\bold x| + |\bold y|$

을 증명하기 위해서는 코시슈바르츠 부등식이 필요하다.

(증명)
$|\bold x + \bold y|^2 = \sum_{i=1}^n (x_i+y_i)^2$
그리고 독자는 이것이

$|\bold x|^2 + |\bold y|^2 + 2 \sum_{i=1}^n x_i y_i$
과 같음을 쉽게 보일 수 있다. 한편 코시슈바르츠 부등식에 의해서,
$\sum_{i=1}^n x_i y_i\le |\bold x| \cdot |\bold y|$이므로,

$|\bold x|^2 + |\bold y|^2 + 2 \sum_{i=1}^n x_i y_i \le (|\bold x| + |\bold y|)^2$이다.

함수 공간과 L2 norm