벡터는 크기와 방향을 가진 양을 나타내는 개념!
벡터는 보통 화살표로 표현되며, 화살표의 길이는 벡터의 크기를 나타내고,
방향은 벡터가 가리키는 방향을 나타낸다.
그래디언트는 벡터 계산의 한 종류로서, 함수의 기울기를 나타낸다.
그래디언트는 다변수 함수의 각 변수에 대한 편미분을 벡터로 표현한 것!
그래디언트는 함수의 최대값과 최소값을 찾는 데 유용하게 사용된다!
예시
f(x, y) = x^2 + 2y함수 f(x, y) = x^2 + 2y 에 대해, x와 y에 대한 편미분을 계산하면
∂f/∂x = 2x
∂f/∂y = 2이를 벡터로 묶으면 다음과 같이 그래디언트 벡터가 된다.
∇f(x, y) = [2x, 2]여기서 ∇ 기호는 그래디언트를 나타낸다.
이 그래디언트는 x축 방향으로의 기울기가 2x이고, y축 방향으로의 기울기가 2인 벡터이다.
따라서, 예를 들어 f(x, y)를 최소화하기 위해서는 그래디언트가 0인 지점을 찾아야 한다.
이 경우, x = 0, y = -1인 지점에서 그래디언트가 0이므로, 이 함수의 최소값은 f(0, -1) = -1이다!
(x = 0일 때 그래디언트가 0이 되려면 y 값은 -1이 되어야한다.)
또 다른 예시
f(x, y) = x^2 + 2y^2위 함수는 x와 y의 2차 함수
이 함수의 최소값을 구하기 위해서는 함수의 그래디언트를 계산하고,
그래디언트가 0인 지점을 찾아야 한다!
이 함수의 그래디언트를 계산하면,
∇f(x, y) = [2x, 4y]이제 이 함수의 최소값을 구하기 위해서는 ∇f(x, y) = [0, 0]인 지점을 찾아야 한다.
이를 위해서는 다음 두 식을 풀어야 함!
2x = 0
4y = 0위 식들을 풀면 x = 0, y = 0인 지점이 그래디언트가 0인 지점이 된다.
따라서, 이 함수의 최소값은 f(0, 0) = 0이다!
그래디언트는 다변수 함수의 기울기를 나타내는 벡터로서, 최적화 알고리즘에서 매우 중요한 역할!
최적화 알고리즘에서는 그래디언트를 이용하여 함수의 최소값을 찾는 과정을 수행하며, 이를 Gradient Descent 알고리즘이라고 한다.
