1. 선형 함수의 특성 (Additivity와 Homogeneity):

1. Additivity (가법성):
   선형 함수 f(x)는 두 입력의 합에 대해 함수의 값을 합산할 수 있는 특성을 가집니다. 즉, f(x + y) = f(x) + f(y)이어야 합니다.

2. Homogeneity (동차성):
   선형 함수 f(x)는 입력을 일정 배수로 늘리면, 함수 값도 그 배수만큼 커져야 하는 특성을 가집니다. 즉, f(λx) = λf(x)이어야 합니다. 여기서 λ는 스칼라입니다.

---

2. 비선형 함수:

• 비선형 함수는 additivity나 homogeneity 특성을 만족하지 않습니다.
• 예를 들어, ReLU(x) = max(0, x) 함수는 x가 양수일 때는 선형이지만, x가 음수일 때는 출력을 항상 0으로 만들어버립니다. 그래서 이 함수는 가법성이나 동차성을 만족하지 않기 때문에 비선형이라고 할 수 있습니다.

2.1. ReLU와 비선형성:

• ReLU(x)는 x > 0일 때 출력값이 x와 같고 선형적인 형태를 따릅니다.

• 그러나 x ≤ 0일 때는 출력값이 항상 0이 되어, 입력값에 대한 출력이 비선형적으로 바뀝니다. 즉, 0을 기준으로 갑자기 변화가 생기기 때문에 ReLU 함수는 비선형적입니다.

  • 예를 들어, ReLU(x + y)는 ReLU(x) + ReLU(y)와 항상 일치하지 않으며, 이는 가법성을 만족하지 않음을 의미합니다.
  • 또한 ReLU(λx)는 λReLU(x)와 일치하지 않으며, 이는 동차성을 만족하지 않음을 의미합니다.

---

3. 비선형성의 예시

3.1. ReLU 함수:

즉, x가 0보다 크면 x를 출력하고, x가 0보다 작으면 0을 출력하는 함수입니다.

3.1.2. Additivity (가법성):

가법성은 두 입력값의 합에 대해 함수가 그 합의 결과를 함수 적용 후의 결과들의 합과 같아야 한다는 특성입니다.

즉, $f(x + y) = f(x) + f(y)$가 성립해야 합니다.

ReLU 함수로 확인해봅시다:

예를 들어, $x = -1$, $y = 2$일 때:

• $ReLU(x + y) = ReLU(-1 + 2) = ReLU(1) = 1$
• $ReLU(x) + ReLU(y) = ReLU(-1) + ReLU(2) = 0 + 2 = 2$

여기서, $ReLU(x + y) ≠ ReLU(x) + ReLU(y)$입니다.

왜 그런지 살펴보면:

• $x + y = 1$일 때 $ReLU(1) = 1$이지만,
• 개별적으로 $ReLU(x) = 0$ (x는 음수이므로)와 $ReLU(y) = 2$ (y는 양수이므로)로 나뉘어 계산했을 때 그 합은 $2$가 나옵니다.

따라서 ReLU 함수는 가법성을 만족하지 않습니다.

3.1.3. Homogeneity (동차성):

동차성은 함수가 입력값에 스칼라 $λ$를 곱한 값에 대해 함수의 출력값이 그 스칼라 $λ$만큼 곱해지는 특성을 의미합니다.

즉, $f(λx) = λf(x)$가 성립해야 합니다.

ReLU 함수로 확인해봅시다:

예를 들어, $x = -1$, $λ = 2$일 때:

• $ReLU(λx) = ReLU(2 * -1) = ReLU(-2) = 0$
• $λ * ReLU(x) = 2 * ReLU(-1) = 2 * 0 = 0$

여기서는 두 결과가 일치하지만, 다른 예를 들어봅시다.

$x = 1$, $λ = -2$일 때:

• $ReLU(λx) = ReLU(-2 * 1) = ReLU(-2) = 0$
• $λ * ReLU(x) = -2 * ReLU(1) = -2 * 1 = -2$

여기서는 $ReLU(λx) = 0$인데 $λ * ReLU(x) = -2$로 결과가 다릅니다.

따라서 $ReLU$ 함수는 동차성을 만족하지 않습니다.

---

4. 결론:

• Additivity와 Homogeneity는 선형 함수의 두 중요한 특성인데, $ReLU$는 이 두 특성을 만족하지 않기 때문에 비선형 함수입니다.
• $ReLU$는 입력값에 따라 갑자기 변화가 일어나기 때문에, 그 함수의 동작이 선형적이지 않습니다.