수열

수열은 숫자의 열을 의미하며 숫자 하나를 항이라고 한다. 수열은 유한개 항을 갖는 유한 수열과 무한개 항 수를 갖는 무한 수열이 있다.

수열의 일반항

수열의 n번째 항을 $a_n$ 같이 표현하고 n을 이용한 식으로 나타낸 것을 수열의 일반항이라고 한다.

만약 짝수 2, 4, 6, 8 등으로 구성된 수열이 있다면 수열의 일반항은 $a_n=2n$ 처럼 표현할 수 있다.

신경망에서는 유닛의 가중 입력(z)와 출력을 수열로 간주한다. $l$층의 $j$번째 유닛의 출력값은 $a_{j}^{l}$ 처럼 표현한다.

점화식

수열의 점화식이란 수열 $a_n$을 $a_1$과 $a_n$, $a_{n+1}$의 관계식으로 표현한 것을 말한다.

아래는 피보나치 수열 $F_n$을 점화식으로 표현한 것이다.

연립 점화식

수열 $a_n$과 $b_n$ 등 여러 수열에 대해 관계식으로 연결한 것은 연립 점화식이라고 한다.

앞서 유닛의 가중 입력과 출력을 수열로 간주한다고 했다. 각각의 유닛의 출력값을 각각의 수열로 본다면 연립 점화식 표현가능하다.

신경망의 일부가 다음과 같을 때 세번째 층의 출력은 두번째 층의 출력을 입력 신호로 받는다. 이 관계를 연립 점화식으로 표현하면 아래와 같다.

신경망에서 오차역전파법은 이러한 점화식을 응용한다. 컴퓨터는 점화식 계산에 강점이 있다. 따라서 오차역전파법에 이러한 컴퓨터의 점화식 계산 방법이 유용하게 사용된다.

시그마 기호

시그마 기호를 사용하면 수열의 합을 간결하게 표현할 수 있다.

시그마의 선형성

선형성이란 서로 대응하는 두 값의 변화가 어떤 비례 관계를 갖는 규칙으로 표현할 수있는 성질을 말한다.

시그마의 선형성으로 아래와 같은 관게가 성립된다.

$2n+1$의 합을 시그마 기호로 아래와 같이 표현 가능하다.