[논문 리뷰] From the Linear Quadratic Regulator (LQR) to the (Deterministic) Kalman Filter in Two Easy Steps

Bassam Bamieh — Department of Mechanical Engineering, and Center for Control, Dynamical Systems, and Computation (CCDC), University of California at Santa Barbara

원문 정보: arXiv:2606.12327v2 [eess.SY], 2026년 6월 16일. DOI: https://doi.org/10.48550/arXiv.2606.12327

Abstract
이 노트는 (확정론적 버전의) 칼만 필터, 즉 상태 추정기(state estimator)를 다루는 튜토리얼이다. 이 문제는 "시스템 방정식을 만족하면서 프로세스·측정 불확실성의 $L_2$ 크기가 최소인 상태 궤적을 찾는 문제"로 정식화된다. 이렇게 정식화하면 이는 선형 동역학을 가지면서 상태와 입력에 대해 아핀-이차형식(affine-quadratic) 인 목적함수를 갖는 입력신호 설계 문제가 된다. 첫 번째 단계는 "동차좌표(homogeneous coordinates)"를 이용해 더 큰 시스템에 임베딩함으로써, 이 문제를 순수한 이차형식(quadratic) 목적함수를 갖는 문제로 변환하는 것이다. 이를 통해 문제는 (비표준적인 초기/종단 상태 제약을 가진) 순수 이차형식 문제, 즉 LQR 문제로 바뀐다. 이 확장된 LQR 문제는 행렬 미분 리카티 방정식(DRE)의 변형된 버전으로 풀 수 있다. 두 번째 단계는 이 확장된 문제의 DRE를 분할(partitioning)하는 것으로, 이로부터 최적 동적 관측기(observer)와 전통적인 칼만 필터의 DRE가 도출된다. 비교를 위해, 전통적인 LQ-추종(서보메커니즘) 문제의 해도 유사한 구성을 이용해 함께 다룬다.

• 이 논문의 참고문헌 [1]은 다름 아닌 R. E. Kalman의 1960년 논문 "A new approach to linear filtering and prediction problems"다. 흥미롭게도 저자가 서론에서 인용하는 Willems의 말에 따르면, 최소자승 추정(least-squares estimation)과 확률적 최소분산 추정 사이에 어느 쪽을 선호할지는 "논리적 필연이라기보다는 취향의 문제"이며, 이는 "가우스가 르장드르(Legendre)의 최소자승법을 최대우도(maximum likelihood) 관점에서 가장 그럴듯한 결과를 계산하는 방법으로 정당화한 이래 계속돼 온 논쟁"이라고 한다 — 200년 넘게 이어진 이 논쟁이 지금도 현역 논문 서두에 인용된다는 점이 흥미롭다.
• 저자는 전통적으로 $S=\Sigma_e^{-1}$을 "정보 행렬(information matrix)"이라 불러온 관행 대신, 이 논문에서 의도적으로 "확실성 행렬(certainty matrix)"이라는 이름을 새로 제안한다. 확률론적 해석 없이도 이 행렬이 "추정기가 각 방향으로 얼마나 확신하는가"를 순수하게 기하학적으로(이차형식의 곡률로) 설명할 수 있다는 것이 그 근거다.
• 이 리뷰 시리즈에서 이전에 다룬 R. E. Kalman의 1960년 논문 "Contributions to the Theory of Optimal Control"(레귤레이터·리카티 방정식·가제어성/가관측성을 도입한 바로 그 논문)과 이 논문은 정확히 동전의 양면 관계에 있다 — 이 논문은 그 짝인 칼만 필터를 "제어 문제로 재해석"해서 유도해내는 2026년의 최신 튜토리얼이다.

Introduction

• 동기 — "불확실성 최소화 원리": 잡음이 섞인 시스템

를 생각하자. 여기서 $x$는 상태, $y$는 관측 가능한 출력, $w$는 알 수 없는 프로세스 잡음(process noise, 동역학 모델 자체의 불확실성), $v$는 알 수 없는 측정 잡음(measurement noise), $x_i$는 알 수 없는 초기상태다. 우리가 실제로 아는 것은 오직 출력 신호 $y_{[0,T]}$뿐이고, 이를 만족시키는 $(w,v,x_i)$의 조합은 무수히 많다. 그중 "가장 그럴듯한" 것을 어떻게 골라야 할까?

• 저자는 이를 "최소 불확실성 원리(Minimal Uncertainty Principle)" 로 답한다: 관측값 $y_{[0,T]}$가 주어졌을 때, 최적의 상태 궤적 추정 $\hat x_{[0,T]}$는 시스템 방정식 (1)과 일관되면서, 불확실성 삼중항(triple) $(w_{[0,T]}, v_{[0,T]}, x_i)$의 "크기"가 최소인 것이다. 이는 일종의 오컴의 면도날(가장 적은 가정을 하는 설명을 택하라)로 볼 수 있는데, 여기서 "가정"이 바로 알 수 없는 $(w,v,x_i)$ 삼중항이다.
• 이 "크기"를 수학적으로 가장 다루기 쉬운 형태는 가중 이차형식(quadratic) 범함수다:

여기서 $V,W$는 신호 $v,w$에 대한 가중 $L_2$ 노름의 가중치 행렬, $X$는 초기상태에 대한 가중 유클리드 노름의 가중치 행렬이다 — 즉 설계자가 "어떤 종류의 불확실성을 더 못 믿는지"에 대한 사전 판단을 반영하는 튜닝 파라미터다.

• 출력식 $y=Cx+v$를 이용하면 $v=y-Cx$이므로, $v$에 대한 비용항을 $x,y$만으로 다시 쓸 수 있다. 이를 이용해 문제를 정식화하면:

$\dot{\hat x}(t) = A\hat x(t) + \hat w(t), \quad \hat x(0)=\hat x_i,$

를 최소화하는 $\hat x_{[0,T]}, \hat w_{[0,T]}, \hat x_i$를 찾는 것이 확정론적($L_2$) 최소자승 상태 추정 문제다. 이 정식화는 사실상 "입력 설계(input design)" 문제이며, 최적해는 상태 추정치 $\hat x$뿐 아니라 최적의 잡음 추정치 $\hat w, \hat v$까지도 함께 내놓는다.

• 그런데 이 비용함수는 표준 LQR처럼 상태·입력에 대해 순수하게 이차형식(quadratic)이 아니다. $(y-C\hat x)^*V(y-C\hat x)$를 전개하면 $\hat x^*C^*VC\hat x$(이차항) $- y^*VC\hat x - \hat x^*C^*Vy$(선형항) $+ y^*Vy$(상수항)로, $\hat x$에 대해 이차+선형+상수가 섞인 아핀-이차형식(affine-quadratic) 함수가 된다. 이것이 표준 LQR 이론을 곧바로 적용할 수 없는 이유이며, 저자가 제목에서 말하는 "두 단계(Two Easy Steps)" 중 첫 번째 단계 — 아핀-이차형식 문제를 순수 이차형식 문제로 바꾸는 것 — 가 필요해지는 지점이다.
• 참고로 저자는 이 튜토리얼의 전개가 Sontag의 방식(LQ-추종 문제와의 동치성 + 시간반전 + 종단상태에 대한 추가 최적화를 결합)을 따르되, 시간반전·동차좌표 도입·가치함수의 추가 최적화라는 세 단계를 명확히 분리해 훨씬 정돈된 형태로 제시한다고 밝힌다.

1. The LQR Problem with Initial or Final Conditions

• 유한 구간 $[0,T]$에서의 표준 LQR 문제를 검토하되, 두 가지 버전을 병렬로 다룬다. 하나는 흔히 쓰이는 "초기조건이 주어진" 버전이고, 다른 하나는 그 대칭짝인 "종단조건이 주어진" 버전이다. 이 병렬 구조가 이후 4절에서 상태 추정 문제를 푸는 핵심 도구가 된다.
• 1) 초기조건이 주어진 LQR ($\mathrm{LQR}_i$): 가장 표준적인 형태로, 초기상태 $x(0)=x_i$가 주어지고 종단상태에 대한 페널티가 있다:

여기서 $\|x(T)\|_X^2 := x^*(T)Xx(T)$는 종단상태 페널티다. 잘 알려진 대로, 최적 입력은 종단 경계조건을 갖는 행렬 미분 리카티 방정식(DRE)의 해로부터 얻어진다:

이때 이차형식 가치함수는 $\inf_u J(u,x_i) = x_i^*P(0)x_i$이며, 이를 $t=0$에서 평가한 "cost-to-go" 라 부른다.

• 2) 종단조건이 주어진 LQR ($\mathrm{LQR}_f$): 반대로, 종단상태 목표 $x_f$가 주어지고 초기상태에 페널티가 붙는 문제도 정식화할 수 있다:

이때 최적해는 이번엔 초기 경계조건을 갖는 DRE로부터 얻어진다:

최적값은 $\inf_u J(u,x_f) = x_f^*S(T)x_f$이며, 이는 이동구간 추정(Moving Horizon Estimation) 문헌에서 종종 "cost-to-arrive" 라 불린다.

• 두 문제의 해에서 핵심적인 차이는 DRE의 경계조건이 종단($P(T)=X$)이냐 초기($S(0)=X$)냐 하는 점이다. (7)은 표준적인 극소원리(minimum principle) 논증 — 상태와 코스테이트 사이의 선형 관계가 초기시각에서 성립하는 이점 경계값 문제(TPBVP)를 얻고, 이 관계를 시간에 따라 앞으로 전개하면 DRE가 나오는 방식 — 으로 직접 유도할 수도 있지만, 저자는 훨씬 간단한 방법을 택한다: $\mathrm{LQR}_i$의 해로부터 시간반전(time reversal) 을 통해 유도하는 것이다. 시간반전된 신호 $\tilde x(t):=x(T-t)$, $\tilde u(t):=u(T-t)$를 정의하면 문제 (6)은

으로 바뀐다(적분 비용 부분은 형태가 그대로 유지됨에 주목). 이제 여기에 $\mathrm{LQR}_i$의 해 (5)를 그대로 적용하고, $S(t):=P(T-t)$(시간반전된 DRE 해)로 정의한 뒤 다시 한번 시간을 반전시켜 원래의 $x,u$ 신호로 되돌리면 정확히 (7)이 얻어진다. 즉 $\mathrm{LQR}_f$는 $\mathrm{LQR}_i$를 "시간의 화살을 뒤집어" 재활용한 것에 불과하다.

• Remark 1: 유한 구간 문제이므로 DRE (5), (7)의 해가 존재하기 위한 조건은 단순히 $Q,X\ge0$, $R>0$뿐이다. 이 조건들은 $P(t)\ge0$이며 (5)의 경우 시간을 거꾸로 갈수록, (7)의 경우 시간이 흐를수록 단조 비감소함도 보장한다. 만약 $P(t)>0$(strict)까지 필요하다면, $(Q,A)$가 가관측(observable)이라는 조건이 경계 조건을 제외한 모든 $t\in[0,T]$에서 이를 보장한다. (참고로 무한 구간 문제에서 필요한 $(A,B)$의 안정화가능성(stabilizability), $(Q,A)$의 가검출성(detectability) 같은 조건은 여기서는 등장하지 않는다 — 안정성은 점근적 개념이라 유한 구간에서는 애초에 의미가 없기 때문이다.)

2. Homogeneous Coordinates in Optimal Control

• 정의 1: 이차·선형·상수항의 합으로 이루어진 함수

를 아핀-이차형식(affine-quadratic) 함수라 부른다 (두 선형항 $h_1^*x=x^*h_1$은 사실 같은 값이지만 대칭적인 형태를 위해 이렇게 나눠 쓴다).

• 여기서 이 논문의 첫 번째 핵심 트릭이 등장한다. 값이 항상 1인 보조변수를 하나 추가하면, 아핀-이차형식 함수를 순수한 이차형식 함수로 바꿀 수 있다: $n+1$차원 벡터 $\xi:=\begin{pmatrix}x\\1\end{pmatrix}$와 $(n+1)\times(n+1)$ 행렬 $\hat H:=\begin{pmatrix}H & h_1\\h_1^* & h_0\end{pmatrix}$를 정의하면

가 성립한다. 이는 최적화·컴퓨터 그래픽스·사영기하학(projective geometry)에서 흔히 쓰이는 구성법으로, "동차좌표(homogeneous coordinates)"라는 이름도 여기서 왔다.

• 이 구성은 목적함수가 아핀-이차형식인 최적제어 문제에도 그대로 적용할 수 있다. 아이디어는 상태공간을 한 차원 늘려서, 항상 1의 값을 갖는 스칼라 상태를 추가하는 것이다. 원래 선형 동역학과 아핀-이차형식 목적함수(잠시 초기/종단 조건은 생략)

는, 아래처럼 상태공간을 확장한 문제와 동치가 된다:

$\alpha$의 동역학이 $\dot\alpha=0$이므로 $\alpha(t)$는 모든 $t$에서 항상 1로 고정되고, 그 결과 $\xi=(x,\alpha)$는 정확히 동차좌표 역할을 하게 된다. 이렇게 얻어지는 동치 명제를 정리하면 다음과 같다: 초기/종단조건이 있는 아핀-이차형식 문제 (13)은

동차좌표에서의 순수 이차형식 LQR 문제 (14)와 정확히 동치다:

(초기상태 $x(0)=x_i$가 주어지면 종단페널티가, 종단상태 $x(T)=x_f$가 주어지면 초기페널티가 붙는 두 버전이 각각 가능함에 유의.) 존재조건만 만족되면, (14)는 1절에서 다룬 표준 LQR 문제로 그대로 풀 수 있다. 그리고 $\hat A,\hat B,\hat H$의 블록 구조를 그대로 DRE의 해에도 적용해 블록 분할(partitioning) 하면, 최적 입력의 구조까지 자연스럽게 드러난다 — 이것이 바로 다음 소절들의 내용이다.

2.1 Affine-Quadratic Problems with Initial Conditions

• 초기조건이 주어진 경우, 동차화된 문제 (14)의 DRE는 (5)와 같은 형태이며, 그 해를 $\hat P$라 하고 (12)의 블록 구조에 맞춰 분할하면:

여기서 $P$는 원래 문제의 상태 차원과 같은 $n\times n$ 행렬, $p_1$은 $n$차원 벡터(비대각 블록), $p_0$는 스칼라다. $\hat A,\hat B,\hat H$의 블록 구조를 그대로 대입해 전개하면, (1,1), (1,2), (2,2) 블록에 대해 각각 다음 세 개의 결합된 방정식이 얻어진다:

이 세 식은 정확히 (15)와 동치다. 여기서 (16)은 행렬 $(A,B,H,R)$에 대한 표준 LQR의 DRE 그 자체이며, $H,P$에는 원래 문제의 아핀항 $h_1,h_0$이 전혀 개입하지 않는다는 점이 중요하다. 반면 (17)은 벡터 신호 $p_1$에 대한 선형 시스템으로, $\hat H$의 비대각 블록인 (상수 혹은 시변) $n$-벡터 $h_1$에 의해 구동(driven)된다. 이 선형계의 "$A$-행렬"이 DRE (16)의 해 $P$에 의존한다는 점도 눈여겨볼 만하다. 이후 3절의 LQ-추종 문제에서, 바로 이 선형계 (17)이 제어의 (비인과적, anti-causal) 피드포워드 부분을 만들어낸다는 것을 보게 된다.

• 최적 입력은 (5)의 표준 공식을 (14)에 적용해서 얻는다:

즉 최적 입력은 상태 피드백 항에 (17)에서 온 추가 보정항이 더해진 형태를 가진다.

• 마지막으로 (18)의 $p_0$는 $p_1$(그리고 간접적으로 $P$)에 의존하는 우변의 단순 적분일 뿐이며, 최적 입력 자체에는 아무런 역할을 하지 않지만 가치함수에는 등장한다:

이는 초기상태 $x_i$에 대한 아핀-이차형식 함수다 — 원래 문제가 아핀-이차형식이었으니 가치함수도 그 성질을 물려받는 것이 자연스럽다.

• Remark 2: (16)의 존재조건은 $H\ge0$, $R>0$이며, 이것만 만족되면 (17)은 $p_1$에 대한 선형계이고 (18)은 단순 적분이므로 (15)의 해도 $[0,T]$ 전 구간에서 자동으로 존재한다.

2.2 Affine-Quadratic Problems with Final Conditions

• 종단조건이 주어진 경우도 완전히 대칭적으로 전개된다. 동차화된 문제 (14)의 DRE는 (7)과 같은 형태이며, 해를 $\hat S$라 하고 마찬가지로 블록 분할하면

$\dot{\hat S} = -\hat A^*\hat S-\hat S\hat A-\hat S\hat BR^{-1}B^*\hat S+\hat H, \qquad \hat S=\begin{pmatrix}S&s_1\\s_1^*&s_0\end{pmatrix}, \quad \hat S(0)=\begin{pmatrix}X&0\\0&0\end{pmatrix}$

이를 분할하면 (1,1), (1,2), (2,2) 블록에 대해:

이번엔 (16)–(18)과 대조적으로, 초기조건이 주어졌으므로 이 방정식들을 시간이 흐르는 방향(forward) 으로 곧바로 풀 수 있다는 점이 중요하다. 뒤에서 보게 되겠지만, 상태 추정 문제에서는 바로 이 선형계 (22)가 (변수를 한 번 바꾸면) 칼만 필터의 (인과적, causal) 관측기(observer) 구조를 만들어낸다 — 3절의 피드포워드가 "미래 정보를 아는" 비인과적 계산이었던 것과 대비된다.

• 이 문제의 최적 입력은 (7)로부터

이며, 최적 성능은 (종단) 동차좌표에 대한 이차형식으로

로 주어진다 — 이 역시 종단상태 $x_f$에 대한 아핀-이차형식 함수다.

• 다음 절에서는 초기값 버전(2.1절)의 결과를 잘 알려진 LQ-추종 문제에 적용하고, 그다음 4절에서는 종단값 버전(2.2절)의 결과를 상태 추정 문제에 적용한다.
• Remark 3: Remark 2와 마찬가지로, (21)의 존재조건은 $H\ge0$, $R>0$이다. 다만 4절에서 이를 상태 추정 문제에 적용할 때는 $t\in(0,T]$에서 $S(t)>0$이 추가로 필요한데, $(H,A)$가 가관측이라는 조건이 이를 보장한다.

3. Linear-Quadratic Tracking

• 표준적인 LQ-추종(LQ-tracking, 일명 서보메커니즘, servomechanism) 문제는 다음과 같이 정식화된다: $Cx$가 주어진 기준신호(reference) $r$을 "추종"하도록 만드는 선형 동역학 + 이차형식 추종 목적함수 문제다.

이 비용함수를 전개하면 $x$에 대해 이차항 $x^*C^*MCx$, 선형항 $-r^*MCx-x^*C^*Mr$, 상수항 $r^*Mr$이 나오므로, 이는 정확히 (11) 형태의 아핀-이차형식 문제다. 즉 $H=C^*MC$, $h_1=-C^*Mr$, $h_0=r^*Mr$로 놓으면 2.1절의 결과를 곧바로 적용할 수 있다(여기서는 초기상태 $x_i$가 주어졌으므로 2.1절, 즉 (16)–(18)에 대응한다).

• 동차좌표에서는 이것이 다음과 같은 초기값 LQR 문제가 된다:

주목할 점은, 원래 LQ-추종 문제가 시간에 무관(time invariant)하더라도 기준신호 $r(t)$가 시간에 따라 변하면 이 재정식화된 상태비용 행렬(사실상의 $Q$-행렬)은 시변(time-varying) 이 된다는 것이다.

• 이 경우 (16)–(18)은 다음처럼 구체화된다:

(28)은 행렬 $(A,B,C^*MC,R)$에 대한 표준 LQR의 DRE로, 원래 문제가 시불변이면 그 자체로 시불변이다 — 즉 추종해야 할 기준신호와 무관하게 오직 시스템 자체의 특성으로만 정해지는, 순수한 "피드백 게인용" DRE다. 반면 (29)는 벡터 신호 $p_1$에 대한 선형계로, 기준신호 $r$에 의해 구동되며 종단조건에서부터 거꾸로(anti-causally) 시간을 거슬러 전개된다:

$\dot p_1(t)=-(A+BK)^*p_1(t)+C^*Mr(t),\quad p_1(T)=0,\ K:=-R^{-1}B^*P$

즉 이 피드포워드 항을 계산하려면 (원리적으로는) 미래의 기준신호까지 알아야 한다 — "비인과적"이라 부르는 이유다.

• 최적 제어는 공식 (19)로부터

로, LQ-추종 문제의 잘 알려진 해답과 정확히 일치한다.

• Remark 4: (26)의 $M\ge0$, $R>0$ 조건이 (28)에서 $C^*MC\ge0$을 보장하고, 이로부터 $[0,T]$ 전 구간에서 $P(t)\ge0$인 해의 존재가 보장된다.
• Remark 5: $p_1$ 대신 그 부호를 뒤집은 $f(t):=-p_1(t)$로 쓰는 등가적인 표현도 흔히 쓰인다. 이 경우 $\dot f=-(A+BK)^*f-C^*Mr,\ f(T)=0$이 되고, 제어 입력은 $u=-R^{-1}B^*(Px-f)$처럼 차이(difference) 형태로 쓸 수 있다.
• Remark 6: (28)의 존재조건은 $C^*MC\ge0$과 $R>0$인데, 이는 (26)의 $M\ge0$로부터 자동으로 보장된다($M\ge0 \Rightarrow C^*MC\ge0$).

4. State Estimation

• 서론에서 서술한 상태 추정 문제를 다시 정리하면: 다음 동역학 제약 하에서 목적함수 $J$를 최소화하는 삼중항 $(\hat x,\hat w,\hat x_i)$를 찾는 것이다.

$\dot{\hat x}=A\hat x+\hat w,\quad \hat x(0)=\hat x_i,\quad V>0,\ W>0,\ (C,A)\ \text{가관측}$

여기서는 시간 구간을 $[0,t]$로, 적분 변수는 $\tau$로 표기한다(추정치를 계속 갱신해가는 문제이므로 종료시각 자체를 $t$라는 변수로 열어둔 것). 동차좌표로 바꾸면:

$\begin{pmatrix}\dot{\hat x}\\\dot\alpha\end{pmatrix}=\begin{pmatrix}A&0\\0&0\end{pmatrix}\begin{pmatrix}\hat x\\\alpha\end{pmatrix}+\begin{pmatrix}I\\0\end{pmatrix}\hat w,\ \hat x(0)=\hat x_i,\ \alpha(t)=1,$

• 이 문제는 언뜻 2.2절의 아핀-이차형식 문제(제어 입력 $u$ 대신 잡음 $\hat w$가 그 역할)와 비슷해 보인다. 그런데 결정적인 차이가 있다: 3절의 추종 문제에서는 초기상태 $x_i$가 주어졌고 제어입력 $u$만 모르는 값이었던 반면, 여기서는 초기상태 $\hat x_i$도, 그리고 종단상태 $\hat x(t)$도 둘 다 모른다 — 사실상 구간 $[0,t]$에서의 상태 궤적 전체(그리고 프로세스 잡음의 "최적" 추정치 $\hat w$)를 통째로 찾아내는 것이 과제다.
• 저자는 이 난점을 다음과 같이 우회한다: 일단 종단상태가 알려져 있다고 가정하고 2.2절의 종단조건 LQR 형식을 적용해, 우리가 이미 (25)로 알고 있는 최적 비용(cost-to-arrive)을 구한다. 그다음 그 결과를 종단상태의 알려지지 않은 부분 $\hat x(t)=x_f$에 대해 한 번 더 최적화하면, 이것이 바로 (33)의 답이 될 것이다 — 알려지지 않은 종단조건에 대해 가능한 모든 일관된 상태 궤적을 놓고 최적화하는 것과 결국 같은 셈이기 때문이다. 구체적으로 다음 문제를 생각한다:

이는 종단상태가 알려진, (14) 형태의 문제이므로, (21)–(23)의 결과를 그대로 (이번엔 $B\to I$로 놓고) 적용할 수 있다:

$\hat x(t)=x_f$로 제약된 문제 (34)의 최적값은 (25)에 의해

로 주어진다. 이제 이 값을 (여전히 모르는) $x_f$에 대해 한 번 더 최소화하면, 사실상 시각 $t$에서의 최적 추정치 $\hat x(t)$ 자체를 얻게 된다. (38)은 $x_f$에 대한 아핀-이차형식이므로, 이를 최소화하는 $x_f$는

로 명시적으로 구해진다. 즉 최적 추정치 $\hat x(t)$는 $S(t)$와 $s_1(t)$로부터 곧바로 얻어진다.

• (39)를 얻는 한 가지 방법은 (35)–(36)을 함께 앞으로 적분해 $S(t),s_1(t)$를 구한 뒤 (39)를 적용하는 것이다. 하지만 저자는 $s_1$에 대한 식 대신, $\hat x$ 자신이 직접 만족하는 미분방정식을 유도해 그것을 대신 사용하고 싶어 한다. (39)를 $t$에 대해 미분하고 곱미분 법칙 및 (35)–(36)을 대입하는 다소 긴 대수적 정리 과정을 거치면(원문 (40) 위의 유도 과정), 결국

이라는 놀랍도록 익숙한 형태에 도달한다. 즉 $\hat x$의 동역학은 시스템 $\dot x=Ax,\ y=Cx$에 대한 관측기(observer) 그 자체이며, 최적 관측기 게인 $L$은 전진 방향(forward) DRE (35)의 해로부터 얻어진다. 식 (35)와 (40)이 바로 칼만 필터의 "정보 필터(information filter)" 형태다. 이 용어와, 공분산 행렬로 표현되는 확률적 칼만 필터와의 관계는 다음 소절에서 상세히 다룬다.

• Remark 7: DRE (35)의 존재조건은 $V\ge0$, $W>0$이다. 하지만 관측기 게인 공식 (40)이 성립하려면 $S$가 가역이어야 하는데, $(C^*VC,A)$가 가관측이라는 추가 조건이 $S(t)>0$을 보장한다. (32)의 가정 — $V>0$이고 $(C,A)$가 가관측 — 은 $(V^{1/2}C,A)$가 가관측함을 함의하고, 이는 $(C^*VC,A)$의 가관측성과 동치이므로 이 조건은 이미 충족돼 있다.

4.1 Relations to the Stochastic Kalman Filter

• 전통적인 확률적 칼만 필터 문제는 $w,v$가 평균 0, 서로 비상관인 백색잡음 프로세스이고 (각각의 순시 공분산이 $\Sigma_w,\Sigma_v$, 초기상태의 공분산이 $\Sigma_i$)라는 가정 하에, 추정오차 $e:=x-\hat x$의 분산 $\tfrac12\mathbb{E}[\|e(t)\|^2]$을 최소화하는 $\hat x$를 찾는 문제로 정식화된다. 이 문제의 해는 오차 공분산 행렬 $\Sigma_e$에 대한 DRE와, $\hat x$에 대한 관측기로 주어진다:

이를 앞서 유도한 확정론적 버전 (35), (40)과 나란히 놓고 비교해보면

두 관계는 $S(t)=\Sigma_e^{-1}(t)$로 정확히 대응된다. 실제로 (43)에서 곱미분 법칙으로 $S^{-1}$에 대한 미분방정식을 유도하면

$\frac{d}{dt}S^{-1} = -S^{-1}\dot S S^{-1} = S^{-1}A^*+AS^{-1}+W^{-1}-S^{-1}C^*VCS^{-1}$

가 되는데, 이는 정확히 $\Sigma_e=S^{-1}$, $\Sigma_i=X^{-1}$, $\Sigma_v=V^{-1}$, $\Sigma_w=W^{-1}$로 식별했을 때의 (41)과 일치한다. 두 관측기 게인 $L$도 $L=\Sigma_eC^*\Sigma_v^{-1}=S^{-1}C^*V$로 동일함을 쉽게 확인할 수 있다.

• 이 대응관계는 확정론적 문제의 가중치 행렬 $V,W,X$가 확률적 버전의 (역)공분산과 정확히 일치한다는, 매우 깔끔한 해석을 제공한다: $\Sigma_w$가 작다는 것(동역학 모델을 더 신뢰한다는 것)은 $W=\Sigma_w^{-1}$가 크다는 것과 같고, 이는 비용함수에서 $\hat w$를 작게 만들도록 강하게 압박한다는 뜻이다. 마찬가지로 $\Sigma_v$가 작다는 것(측정을 더 신뢰한다는 것)은 $V=\Sigma_v^{-1}$가 크다는 뜻이고, $\Sigma_i$가 작다는 것(초기상태를 더 확신한다는 것)은 $X=\Sigma_i^{-1}$가 크다는 뜻이다 — 즉 확률론의 "공분산"과 결정론의 "비용 가중치"는 서로 역수 관계에 있다.
• $S(t)=\Sigma_e^{-1}(t)$는 흔히 "정보 행렬(information matrix)" 이라 불린다. 저자는 이를 확률론에 기대지 않고도 기하학적으로 설명한다: 공분산 행렬 $\Sigma_e$의 준위집합(level set) $\{e; e^*\Sigma_e^{-1}e=1\}$은 고유벡터 방향을 주축으로 갖는 타원체이며, 최대 고유값 $\lambda_1$ 방향(장축)이 분산이 가장 큰(=가장 불확실한) 방향이다.

• $p$는 타원체 안에 포함되는 확률질량의 비율이고, $F_{\chi_n^2}^{-1}$는 자유도 $n$인 카이제곱 분포의 분위수 함수임. 이 확률질량 해석은 가우스 분포에서 정확하며, 단봉 분포에서는 근사 해석임.

• 저자는 (39)로부터 유사한 논증을 확률 없이도 전개할 수 있음을 보인다. 임의의 "추정 후보" $x$에서의 cost-to-arrive 값과, 실제 최적 추정치 $\hat x$에서의 값의 차이를 계산하면 ((39)의 $s_1=-S\hat x$ 관계를 이용):

• $x_f$는 후보 상태이고, $s_1$은 cost-to-arrive 이차함수의 선형항 계수임. 미분해 0으로 두면 최적 추정치가 $-S^{-1}s_1$로 정해지는 구조임.

$S>0$이므로 이는 $(x-\hat x)$에 대한 "그릇 모양(bowl-shaped)"의 이차형식이다. 어떤 방향에서든 이 범함수가 더 가파를수록(=$S$의 해당 방향 고유값이 클수록), 최적 필터가 그 방향의 추정치에 대해 더 "확신"한다고 해석할 수 있다 — $S$의 최대 고유값 방향이 가장 확신하는 방향, 최소 고유값 방향이 가장 불확실한 방향이다(이는 $\Sigma_e=S^{-1}$ 관점에서 보면 정확히 반대로 뒤집힌다: $\Sigma_e$의 최대 고유값 방향이 분산이 가장 큰, 즉 가장 불확실한 방향이다).

• 이런 이유로 저자는 $S$를 확률적 해석에 기대는 "정보 행렬"보다는, 이 기하학적(곡률) 해석에 기반한 "확실성 행렬(certainty matrix)" 로 부르는 것이 결정론적 정식화에서는 더 적절하다고 제안한다.

5. Discussion

• 가제어성과 가관측성이 "쌍대(dual)" 개념이라거나, 상태 피드백과 추정이 어떤 쌍대성을 갖는다는 말은 오랫동안 문헌과 교과서에 등장해왔다. 그런데 저자는 LQR과 칼만 필터를 쌍대 문제로 보는 것이 그다지 설득력 있지 않다고 지적한다: LQR의 상태 피드백 제어기는 메모리가 없는(memoryless) 정적 사상인 반면, 칼만 필터는 관측기라는 동역학(dynamics) 을 갖기 때문에 두 구조가 근본적으로 다르다는 것이다.
• 오히려 LQ-추종 문제와 칼만 필터가 서로 더 유사해 보이지만, 이마저도 완전한 쌍대는 아니다. LQ-추종 문제는 초기상태가 주어진 문제이므로, 시간반전을 통한 진짜 쌍대는 "종단상태를 아는" 추정 문제가 될 텐데, 이는 칼만 필터가 실제로 푸는 문제(초기상태도 종단상태도 모르는 문제)와 다르다. 칼만 필터의 진짜 시간반전 쌍대는 오히려 "초기상태를 모르는" LQ-추종 문제일 텐데, 이 문제는 (31)의 해가 애초에 상태 피드백을 전제로 하므로 다소 허구적(fictitious)인 문제가 되어버린다.
• 그럼에도 LQ-추종 문제와 칼만 필터의 유사성(완전한 쌍대성은 아니지만)으로부터, 그리고 이 둘을 LQR과 대비시키는 데서 얻을 수 있는 통찰이 하나 있다: 추종과 추정 문제는 모두 동역학(메모리)을 갖는 반면, LQR 제어기는 메모리가 없다는 것이다. 동적 계획법의 잘 알려진 결과에 따르면, 다음 형태의 목적함수

에 대한 최적 제어는 항상 상태공간에서 제어값 집합으로 가는 어떤 사상 $K(\cdot,t)$에 대해 $u(t)=K(x(t),t)$ 형태의 메모리 없는 상태 피드백이다. 그런데 추종·추정 문제의 목적함수는 실제로는

형태다. 여기서 최소화 대상은 $x,u$이지만, $z$는 (추종의 경우 기준신호 $r$, 추정의 경우 관측값 $y$처럼) 고정된 기지(既知) 신호로 최적화 대상이 아니다. 이런 문제는 (48)의 형태가 아니므로 최적 입력이 메모리 없는 상태 피드백이 되지 않는다. 즉 목적함수 안에 (최적화 대상이 아닌) 고정된 외부 신호 $z$가 존재한다는 것 자체가, 설령 상태 피드백이 (원리적으로) 가능하더라도 최적 제어기가 동역학(내부 메모리)을 가지게 만드는 근본 원인이라는 것이다 — 이는 이 논문 전체의 대수적 전개를 관통하는 개념적 결론이라 할 만하다.

• 끝으로 저자는, 1절에서 $\mathrm{LQR}_i$와 $\mathrm{LQR}_f$ 사이에 사용한 시간반전 논증이 선형·이차형식 문제에 국한되지 않고, 비선형 동역학과 비이차형식 목적함수에도 그대로 적용됨을 지적하며 논문을 맺는다:

$\dot x=f(x,u),\ x(T)=x_f \quad\Leftrightarrow\quad -\dot{\tilde x}=f(\tilde x,\tilde u),\ \tilde x(0)=x_f,\qquad \tilde x(t):=x(T-t),\ \tilde u(t):=u(T-t)$

이때 대응하는 cost-to-go와 cost-to-arrive 가치함수는 단순히 서로의 시간반전일 뿐이다.

---

이 논문은 1960년 칼만의 두 논문(최적 제어, 최적 필터링)이 반세기 넘게 "서로 다른 두 이론"처럼 따로 가르쳐져 온 관행에, "동차좌표"라는 대수적 트릭 하나로 다리를 놓는다. LQR의 리카티 방정식을 한 번 더 확장하고 블록으로 쪼개는 것만으로 칼만 필터의 관측기 방정식이 저절로 튀어나온다는 사실은, 왜 두 이론이 그토록 닮아 있었는지를 "쌍대성"이라는 다소 신비로운 단어에 기대지 않고 순수하게 대수적으로 설명해낸다는 점에서 이 튜토리얼의 가장 큰 미덕이라 할 수 있다.