인공지능을 위한 로그 함수

참고 영상: 유튜브 혁펜하임 [AI를 위한 수학] 1-2강. 로그 함수

로그의 기본 정의와 핵심 성질

---

1. 로그 함수의 기본 정의

로그 함수는 "밑(base)을 몇 번 거듭제곱해야 진수(argument)가 되는가?"를 묻는 함수이다.

• 로그 표기법: $\log_{\text{밑}} \text{진수}$
• 직관적 질문: $\log_{a} b$는 "a를 몇 번 거듭제곱해야 b가 되는가?"라는 질문과 같다.
• 예시:
  • $2^2 = 4$이므로, $\log_2 4$는 "2를 몇 번 거듭제곱해야 4가 되는가?"를 묻는 것이고, 답은 2이다.
  • $\log_{10} 100$은 "10을 몇 번 거듭제곱해야 100이 되는가?"를 묻는 것이고, 답은 2이다.

Tip: 로그를 지수함수의 역함수로 이해하는 것보다, 로그 자체의 의미를 먼저 파악하는 것이 더 직관적이다.

---

2. 로그 함수의 7가지 핵심 성질

로그 함수에는 딥러닝의 손실 함수(Cross-Entropy 등)나 정보 이론에서 매우 중요하게 사용되는 성질들이 있다.

성질 1: 곱셈을 덧셈으로 쪼개기

• 공식: $\log_a (x \cdot y) = \log_a x + \log_a y$
• 의미: 로그 안의 곱셈은 각 로그의 덧셈으로 분리할 수 있다.

성질 2: 지수를 앞으로 빼내기

• 공식: $\log_a (x^n) = n \cdot \log_a x$
• 의미: 진수의 지수($n$)는 로그 앞으로 나와 곱해질 수 있다.

성질 3: 밑의 지수가 분모로 나오기

• 공식: $\log_{a^m} x = \frac{1}{m} \cdot \log_a x$
• 의미: 밑의 지수($m$)는 역수로 로그 앞으로 나올 수 있다.

성질 4: 밑과 진수의 자리 바꾸기 (역수 관계)

• 공식: $\log_a b = \frac{1}{\log_b a}$
• 의미: 로그의 밑과 진수의 자리를 바꾸면 서로 역수 관계가 된다.

성질 5: 밑 변환 공식

• 공식: $\log_a b = \frac{\log_c b}{\log_c a}$
• 의미: 밑이 다른 로그를 계산하기 위해, 원하는 밑($c$)으로 통일할 수 있다.

성질 6: 지수 위에 로그가 있을 때

• 공식: $A^{\log_A X} = X$
• 의미: 밑이 $A$인 지수 위에 밑이 같은 로그가 있으면, 결과는 진수 $X$가 된다.

성질 7: 밑과 진수의 자리 바꾸기 (다른 형태)

• 공식: $B^{\log_A C} = C^{\log_A B}$
• 의미: 로그의 밑과 진수 자리에 있는 두 요소가 서로 자리를 바꿀 수 있다.

성질	공식	간단 예시
1. 곱셈을 덧셈으로 쪼개기	$\log_a(xy) = \log_a x + \log_a y$	$\log_2(8 \times 4) = \log_2 8 + \log_2 4$ $= 3 + 2 = 5$ (8×4=32, $2^5=32$)
2. 지수를 앞으로 빼내기	$\log_a(x^n) = n \log_a x$	$\log_3(9^2) = 2 \log_3 9$ $= 2 \times 2 = 4$ ($3^4=81$)
3. 밑의 지수가 분모로 나오기	$\log_{a^m} x = \frac{1}{m} \log_a x$	$\log_{4}(64) = \frac{1}{2} \log_2 64$ $= \frac{1}{2} \times 6 = 3$ ($4^3=64$)
4. 밑과 진수 자리 바꾸기(역수)	$\log_a b = \frac{1}{\log_b a}$	$\log_2 8 = 3$, $\log_8 2 = \frac{1}{3}$
5. 밑 변환 공식	$\log_a b = \frac{\log_c b}{\log_c a}$	$\log_2 8 = \frac{\log_{10} 8}{\log_{10} 2}$ $\approx \frac{0.9031}{0.3010} = 3$
6. 지수 위에 로그가 있을 때	$a^{\log_a x} = x$	$2^{\log_2 5} = 5$
7. 밑과 진수 자리 바꾸기(다른 형태)	$b^{\log_a c} = c^{\log_a b}$	$2^{\log_3 5} = 5^{\log_3 2}$

---

3. 마무리

로그 함수는 곱셈을 덧셈으로, 지수 연산을 곱셈으로 바꿔주어 계산을 단순화하고, 큰 값의 범위를 줄여주는 등 딥러닝에서 매우 중요한 역할을 한다. 이 7가지 핵심 성질을 이해하면, 딥러닝 모델의 손실 함수나 활성화 함수를 더 깊이 있게 파악할 수 있다.