매개변수 모델 (Parametric Models)은 매개변수(parameter)를 이용하여 함수를 표현하는 모델매개변수는 모델 내부의 값을 조정하는데 사용되며, 모델의 출력값을 제어
-
다변수 함수(Multivariate Functions)는 하나 이상의 변수가 포함된 함수
일반적으로 f(x, y) = z와 같이 표현되며, 입력값으로 x와 y를 받아 출력값으로 z를 반환한다. -
함수 f(x1, x2,…, xn) = y는 다수의 변수를 입력으로 받아 하나의 값을 출력하는 다변수 함수
-
마지막으로, f(x) = y와 같이 표현되는 함수는
하나의 변수를 입력으로 받아 하나의 값을 출력하는 단변수 함수 -> 일반적인 함수 표현 방식
f(x; θ) = y
-
f(x; θ) = y는 매개변수 모델의 한 예시
이 식은 입력 변수 x와 매개변수(parameter) θ를 이용하여 출력 변수 y를 생성하는 함수이다. -
매개변수는 모델의 내부 상태를 제어하는데 사용되며, 입력 변수와 함께 모델의 출력을 결정한다.
선형 회귀 모델에서 x는 입력 데이터이고, θ는 회귀 계수를 나타내며, y는 모델이 예측하는 출력값이다.
딥러닝에서 많이 사용하는 모델
Weighted Sum
f(x1, x2,…xn ; w1,w2,…,wn) = w1x1 + w2x2 + … + wnxn
-
Weighted sum은 입력 변수들의 가중치(weight)를 고려하여 합산하는 방법
-
일반적으로, n개의 입력 변수 x1, x2, ..., xn이 있을 때, 각 입력 변수에 대한 가중치 w1, w2, ..., wn을 적용하고 합산하여 출력값 y를 생성한다.
이를 수식으로 나타내면, y = w1x1 + w2x2 + ... + wn*xn -
가중치는 각 입력 변수의 상대적인 중요도를 나타내며, 이를 조정함으로써 출력값을 제어할 수 있다.
예를 들어, 선형 회귀에서 입력 변수들의 가중치는 회귀 계수를 나타내며, 이를 조정하여 모델의 출력값을 제어할 수 있다. -
가중치 합산은 데이터 분석, 머신 러닝, 인공 신경망 등 다양한 분야에서 사용된다.
예를 들어, 인공 신경망에서 가중치는 각 뉴런(neuron)의 연결 강도를 나타내며, 입력 변수들의 가중치 합산을 통해 출력값을 생성한다.
Affine Functions
f(x1, x2,…xn ; w1,w2,…,wn, b) = w1x1 + w2x2 + … + wnxn + b
Affine 함수는 선형 함수와 상수항(constant term)을 합한 함수
-
f(x) = Ax + b
여기서 A는 행렬(matrix)이고, x와 b는 벡터(vector)
A와 x의 곱은 일반적으로 행렬-벡터 곱(matrix-vector multiplication)으로 계산된다. -
Affine 함수는 선형 변환이기 때문에, 다음과 같은 성질을 가진다.
1) 영벡터(zero vector)를 영벡터로 매핑
2) 벡터의 선형 결합(linear combination)을 벡터의 선형 결합으로 매핑
3) 두 벡터의 차이(difference)를 두 벡터의 차이로 매핑
4) Affine 함수는 선형 함수에 상수항을 더한 것이기 때문에, 선형 함수의 성질을 모두 가진다. -
따라서 Affine 함수도 다양한 분야에서 유용하게 사용
예를 들어, 머신 러닝에서는 Affine 함수가 다양한 모델에 사용되며, 특히 인공 신경망에서는 Affine 함수를 포함하는 층(layer)이 매우 중요하다.
Artificial Neurons
g(f(x ; w, b)) = a
인공 신경망에서의 인공 뉴런은 입력값에 대해 가중치와 편향을 적용하고,
그 결과를 비선형 함수를 통해 변환한 뒤 출력값을 계산하는데 사용
-
여기서 x는 인공 뉴런의 입력값을 나타내며, w는 입력값에 대한 가중치(weight)를 나타낸다.
b는 편향(bias)을 나타내며, f는 입력값과 가중치, 편향을 조합한 결과를 나타내는 함수 g는 비선형 함수(nonlinear function)이며, a는 인공 뉴런의 출력값(output)이다. -
이러한 인공 뉴런은 일반적으로 여러 개가 모여 인공 신경망을 형성한다.
-
각 인공 뉴런의 출력값은 다음 층의 인공 뉴런의 입력값으로 사용된다.
-
인공 신경망은 이러한 인공 뉴런들이 서로 연결되어 구성된 구조를 가지고 있으며, 학습을 통해 가중치와 편향을 조정하여 입력값과 출력값 간의 관계를 학습하는 머신 러닝 모델로 널리 사용된다.
