머신러닝, 딥러닝에 필요한 기초 수학 - 합성함수

1. 합성함수

함수의 출력을 다른 함수의 입력으로 사용하는 함수를 합성함수라 한다.

"함수 $f : X \to Y$의 공역과 함수 $f:Y \to Z$의 정의역이 같다고 할 때, g $\circ$ : X$\to$ Z 를 두 함수의 f와 g의 합성이라고 한다"

위 $g \circ : X \to Z$ 를 다시 표현하면
$y = f(x)$ 이고 $z = g(y)$이면, $z= g(f(x))$ 이다.

1) 예시

-> 그래프를 그리진 못해서 패스

결론적으론, $y=f(x)$의 공역이 $z=g(y)$의 정의역과 일치하는 것이 합성함수의 특징이라는 것

2. 소프트맥스 함수

소프트맥스함수는 다변수 벡터함수 중 하나로, 아래와 같이 정의된다.

$s_i(\bold z) = \frac{e^z_i}{ \sum_{k=1}^K e^z_k}$ for $i = , ..., K$ and $\bold z = (z_1, ..., z_K) \in \reals^K$

*소프트맥스 함수는 다양한 방법으로 표현된다.

• 인공신경망의 활성화 함수(activation)이라서 로지스틱 시그모이드와 같이 $\sigma (\bold z)$로도 또는 $\alpha (\bold z)$로 표기되기도 함.

• 입력 $\bold x$에 대한 k번째 클래스 $C_k$의 확률을 나타내기 위해 $p(C_k |\bold x)$로 표현되기도 함

  1) 예시

  $\bold z = (3, 5, 4, 2, 1)^T$라는 벡터가 있을 때 $s(\bold z)$는 아래와 같다.

소프트맥스 함수의 정의대로, 각 벡터의 요소를 $e_k^z$에다 하나씩 넣어 더한 후(분모)을 분자 $e_i^z$에다 나누면 됨.

따라서, 위 결과의 벡터 요소들을 다 더하면 1이 되는데, 계산식을 보면 각 벡터요소의 전체 대비 $e_i^z$가 차지하는 비중이니 $'확률'$ 로 해석할 여지가 있게 됨.

다변수 벡터함수와 소프트맥스 함수를 합성하면, 전체함수는 여러 항목(벡터)에 대한 확률을 출력한다
예를 들어, 기상정보(온도/습도/바람방향/구름 정도)에 해당하는 벡터를 입력받아 (맑음/흐림/비 등)에 해당하는 숫자 세개를 출력하는 함수인 것.