[Arxiv 2022] Neural CDE for Online Prediction Tasks

Abstract

1. identify several theoretical conditions that control paths for NCDE should satisfy ( boundedness,uniqueness)
2. new schemes that address these conditions, offering in particular measurability and smoothness.

Introduction

NCDE: introduced as the general continuous-time limit of arbitrary RNNs.

recent work on RNNs has often explicitly designed them around differential-equation-like structure

(Chang et al., 2019).

NCDE may be adapted to apply to online problems

Neural controlled differential equations

Continuous time control signals for Neural CDEs

Contributions

1. we formalise the requirements for what it means to be an ideal Neural CDE control path by introducing four conditions that is should satisfy : adapted measurability, smoothness, boundedness, and uniqueness.
2. new control signals (rectilinear control, cubic Hermite splines with backward differences.) → these signals satisfy the previous theoretical conditions, and also address the drawbacks of previously considered schemes.
   1. the rectilinear control can be used in all online prediction tasks.
3. this expansion does not come at the cost of performances.

What makes a good control signal?

in this section, they introduce four conditions

Adapted measurability

learn and predict in real-time → online model

• "adapted measurable process” in the language of probability theory → adapted process : In the study of stochastic processes, an adapted process (also referred to as a non-anticipating or non-anticipative process) is one that cannot "see into the future". An informal interpretation is that X is adapted if and only if, for every realisation and every n, Xn is known at time n. The concept of an adapted process is essential, for instance, in the definition of the Itō integral, which only makes sense if the integrand is an adapted process.
  

→ adapted measurability 가 기존 Neural CDE의 구현에서는 충족되지 않음.

이게 충족됨으로써, Neural CDE가 실시간 예측이 가능해짐.

Continuously online & Discretely online & Offline

Continuously online : 정보가 과거로 가지 않음 모든 시점에서 online 예측

→ ODE-RNN

Discretely online : 정보가 뒤로 갈 수 있으나, 그전 시점보다 앞으로만 뒤로감. z(t)는 discrete observation시간에서만 online 예측이 가능. 다음 관찰을 합하려면 그 이후부터는 다시 계산이 필요함.

→ RNN

Offline : 이전 시간보다 더 뒤로감. 하지만 online 예측은 불가

→ Neural CDE

Smoothness

$z(t) = z(t_0) + \int^t_{t_0} f_{\theta_1}(z(s)){dX_x\over ds}ds \ \ \ \ for \ t \in (t_0,t_n]$

위의 수식에서 numerical solver를 적용하기 위해서는 integrand funciton(피적분함수)가 sufficiently smooth해야하고, control should be sufficiently smooth해야함.
적어도 (Euler method) $X_x$는 경계 2차 도함수를 사용하여 두번 미분 가능해야함.

When using an adaptive solver and a control that is piecewise smooth, but not smooth, the solver should be informed about the jumps between pieces so that its integration steps may align with them. Without this the solver must locate the discontinuities on its own, slow down to resolve them, and then speed up again, which is a numerically expensive procedure.

Boundedness

path X는 합리적인 값이어야함. 즉, 실제 데이터 x보다 너무 값이 커지거나 갑자기 진동하는값들이어서는 안됨. (특히 Neural cde에서는)

그래서 합리적인 boundary를 줌.

$||X_x||_\infin + ||{dX_x\over dt}||_\infin + |{dX_x\over dt}|_{BV} < \omega(\max_i \tau_i,\min_i \tau_i,\max_i |x_i|)$

위의 식처럼 Boundary를 주는 조건은 Neural CDE에 대한 보편적인 근사치를 얻기 위해 필요함.

위의 수식이 의미하는 바 :

$\Chi = \{X_x | x \in \chi\}$가 $||X||_\infin + ||{dX\over dt}||_1$에 의해 생성된 topology에 대해 상대적으로 간결하고,

$||X||_\infin+ |X|_{BV}$에 의해 생성된 topology에 대해서도 간단하다.

Control signal uniqueness

control path $X_x$ 는 $\chi$에 관해서 unique해야함.

이것은 boundedness 속성과 함께 Neural CDE의 보편적 근사를 유지하는 데 필요함.

signature은 CDE 연구의 핵심인 signature transform

Control signals for Neural CDEs

Natural cubic splines

• z(t)가 모든 데이터 포인터에 의존해 있기 때문에, path 생성에 있어서 full time series 필요
• 한 시점에서의 어떤 변화라도 있으면, 전체 path에 영향을 줌.
• 이러한 특성들때문에 online 예측은 안됨.
• offline만 한다면, 탁월한 선택 → smooth, slowly varying,making them fast to integrate numericaly.

Linear control

• fully observed data의 경우,linear control은 discrete하게 online task가 가능함.
• observed point사이의 값들은 prediction이 안됨.
• linear control은 natural cubic splines보다 느림. (2.2의 smoothness 때문에 → discrete함.)

Cubic Hermite splines with backward differences

online properties를 유지하면서, linear control의 불연속적인 부분들을 smooth하게 만들어줌.

cubic spline으로 인접한 시점을 결합하여 불연속적인 부분들을 smooth하게 만들어줌.

linear control보다 빠른 integration time.

Cubic hermite splines with backward differences는 각 [i, i + 1) piece에 대해 single 방정식을 독립적으로 풀기 때문에 자연 3차 스플라인과 다릅니다.그림을 보면, natural cubic spline보다 더 빠르게 변화하므로 integration time은 조금 더 오래걸림.

Rectilinear control

앞서 이야기한 schemes들은 time-stamp 사이의 control을 생성하기위해서는 적어도 one time-step을 봐야함. → 즉, not continuously online

이러한 문제를 해결하기위해서 채널이 관찰되지 않는 동안 시간은 정상적으로 증가합니다. 채널이 관찰되면 실시간으로 고정된 채 채널 값 사이를 보간합니다. 이러한 관찰 시간에서 통합 시간을 계속 증가시키기 때문에 이 매개변수화에는 2n 포인트가 포함됩니다. (관측 포인트의 개수가 n개일때)

ODE-RNN이 Neural CDE(with rectilinear control)의 특수한 경우라고 볼 수 있음.

By evolving the neural CDE along the integration time at the instance data arrives, this allows us to evolve our solution as the data arrives before continuing with the standard time evolution → online prediction이 가능함.

또, 포인트가 n→2n으로 늘어났기 때문에 integraton time이 더 길어짐.