非线性系统——第一部分
本文主要介绍非线性系统的基本内容，包括含时微分方程解的唯一性与李雅普诺夫稳定性相关的内容。
微分方程解的唯一性
非线性系统通常可由一套动力系统，即系统的状态方程来描述： \(\left\{ \begin{aligned} \dot x_1 & = f_1(t, x_1, x_2, \dots, x_n) \\ & \vdots \\ \dot x_n & = f_n (t, x_1, x_2, \dots, x_n) \end{aligned} \right.,\) 因此，研究微分方程的解是研究非线性系统的重要步骤。 微分方程解的唯一性与微分方程的李普希茨连续性密切相关。
李普希茨连续
设$X, Y$为二赋范线性空间，若函数$f: X \to Y$在点$x’$附近满足： \(\exists L \in \mathbb R_+, \forall x \in B, \; \Vert f(x') - f(x) \Vert_Y \le L \Vert x' - x\Vert_X,\) 其中$B$是$x’$附近任意一个开球，那么称$f$在$x’$处李普希茨连续。 若该条件对$X$内任意一点均成立，则称$f$局部李普希茨连续。 若对任意一对$x, x’$，均有 \(\Vert f(x') - f(x) \Vert_Y \le L \Vert x' - x\Vert_X,\) 那么称其全局李普希茨连续。 常数$L$称为$f$的李普希茨常数。
我们一般研究欧几里得空间中的函数，这个空间是局部紧密的，因此，在其中，函数局部李普希茨连续，当且仅当其在任何一个紧密子集上全局李普希茨连续。
直接通过函数的定义来判定李普希茨连续比较困难，一个更简单的判定方法是利用其微分。 若一个函数可导且导数连续（$f \in C^1$），那么这个函数一定至少是在定义域上局部李普希茨连续的。
特别地，对于定义在实数线$\mathbb R$上的函数，其李普希茨连续性取决于导数的有界性。
设$f: \mathbb R \to \mathbb R$为一连续函数，若其在$x$的一个邻域$D$内可导，且导数连续并有界，即 \(\forall x' \in D, \; | f(x') | \le L,\) 那么该函数在这个邻域内全局李普希茨连续，且$L$是其一个李普希茨常数。
对多元函数，我们有
设$f: U \to \mathbb R^m$为一连续函数，其中$U \subset \mathbb R^n$是一个开集合。 若其梯度在定义域中的一个凸子集$W$上存在并连续且有界，即 \(\forall x \in W, \; \vert \nabla f(x) \vert \le L,\) 那么其在这个凸子集上全局李普希茨连续，且$L$是其一个李普希茨常数。
设$x, x’ \in W$，由于$W$是凸集合，连接两者的线段，记为$[x,x’]$，一定在集合中，因此其上函数一定具有梯度。 利用多元函数的微分中值定理，有 \(\exists x_0 \in [x, x'], \;\frac{\Vert f(x) - f(x') \Vert}{\Vert x - x' \Vert} = \nabla f(x_0),\) 从而 \(\frac{\Vert f(x) - f(x') \Vert}{\Vert x - x' \Vert} \le \sup \nabla f = L.\)
这个命题能够被更一般地应用到形如 \(f(t, x): [a,b] \times \mathbb R^n \to \mathbb R^m\) 的含时函数上，这种情况下若能确保对任何闭区间$[a,b]$中的时间$t$，函数对$x$的微分均能满足上述命题，则可说明其变量$x$在$W$上的全局李普希茨连续性。
柯西-李普希茨条件
连续性与解的唯一性之间的关系由柯西-李普希茨条件给出。
（局部唯一性）若全微分方程与边界条件 $$\dot x = f (t, x), x(t_0) = x_0 \in \mathbb R^n$$ 其中$f: \mathbb R \times \mathbb R^n \to \mathbb R^n$，关于时间$t$分段连续且关于$x$满足局部李普希茨条件，即：
- 对$x_0$附近某个闭球中任意一点$x$，$g_x(t) = f(t,x)$分段连续；
- 对所有时间$t$，$h_t(x) = f(t,x)$在$x_0$附近局部李普希茨连续，或在$x_0$附近的某个闭球$\overline B$上全局李普希茨连续。
那么存在一个$\delta \in \mathbb R$，使得该微分方程在$t \in [t_0, t_0 + \delta]$的解存在且唯一。
这里的李普希茨条件虽然称作局部条件，但是由于$\mathbb R^n$的紧密性，这相当于要求要求其在某个紧密集合上全局李普希茨连续。
（全局唯一性）若全微分方程与边界条件 $$\dot x = f (t, x), x(t_0) = x_0 \in \mathbb R^n,$$ 其中$f: [t_0, t_1] \times \mathbb R^n \to \mathbb R^n$，关于时间$t$分段连续且关于$x$满足全局李普希茨条件，即：
- $g_x(t) = f(t,x)$分段连续；
- 对所有时间$t$，$h_t(x) = f(t,x)$在$\mathbb R^n$上全局李普希茨连续。
那么在整个时间上，该全微分方程的解存在且唯一。
根据柯西-李普希茨条件，对满足条件的向量场，我们可以定义其在时间上的流动：
设$f: X \to \mathbb R^n$为一局部李普希茨连续的向量场，映射 \(\begin{array} {cccc} \phi: & \mathcal I \times X & \to & \mathbb R^n \\ & (t, x) & \mapsto & \phi(t,x) \end{array}\) 若能够对任意$x_0$生成$\dot x = f(x), x(0) = x_0$的解，即 \(\frac{\partial }{\partial t} \phi(t, x_0) = f(\phi(t, x_0)),\; \phi(0, x_0) = x_0,\) 此时称$\mathcal I(x)$是使得解存在的最大区间； 并满足 \(\forall t, s+t \in I, \;\phi(s, \phi(t, x)) = \phi(s + t, x),\) 即形成一个单参数群（One-parameter group），则称其为该向量场的流（Flow），有时记作 \(\phi^t(x) = \phi(t, x).\)
实际上可以证明满足第一个条件的映射一定能够满足第二个条件。
向量场的流可视为向量场在一定初始条件下沿时间运动的轨迹。 简单的理解就是$\phi(t, x)$是向量场$f$中一点$x$在时间$t$后“流动到”的位置。 显然，这和其稳定性密切相关。
利用向量场的流，可以定义该向量场上函数的一种微分。
设$V: \mathbb R^n \to \mathbb R$为一函数，$X: M \to \mathbb R^n$为一局部李普希茨连续的向量场，$\phi$为其流，那么函数在向量场上某一点$p \in M$的李导数（Lie derivative）定义为： \((L_X V)(p) = \left. \frac{\mathrm d}{\mathrm d t} \right|_{t = 0} V (\phi(t, p)) = \lim_{t \to 0} \frac{V (\phi(t, p)) - V(p)}{t}.\)
在向量场上的函数的导数必须依赖其流才能定义，因为一般情况下用于定义导数的哑变量$h$: \(f'(x) = \lim_{h\to 0} \frac{f(x+h) - f(x)}{h}\) 在向量场上不唯一。
直接应用复合函数求导公式，得到 \((L_X V)(p) = \left. V'(\phi(t, p)) \frac{\mathrm d}{\mathrm d t} \phi(t, p) \right|_{t=0}= V'(p) X(p)\) 不难发现其李导数正是 \((L_X V)(p) = (\nabla_{X(p)} V)(p)= (\nabla V(p))^\top \cdot X(p),\) 实际上就是沿该处向量场的方向导数。
我们不会使用严谨的微分几何方法来研究这些李导数。 在下文的用法中，我们一般考虑微分方程组 \(\dot x_i = f_i(x)\) 即状态方程组成的动力系统，从而考虑向量场$f$。 在这种向量场上，李导数就是直接求导，然后将$\dot x_i$这些变量替换为$f_i(x)$。
李雅普诺夫稳定性
接下来我们考虑非线性系统平衡点（$f(x_e) = 0$）处的李雅普诺夫稳定性。 如果平衡点附近邻域中所有点的轨迹仍在其某个邻域中，那么这个平衡点就是李雅普诺夫稳定的。 在欧几里得空间中，我们有：
若平衡点$x_e$对所有$t,x$满足： \(\forall \epsilon > 0, \exists \delta > 0, \; \text{s.t.} \; \Vert x - x_e \Vert \le \epsilon \implies \Vert \phi(t, x) - x_e \Vert \le \delta,\) 那么称该平衡点是稳定的；反之则是不稳定的。 若稳定的平衡点还满足 \(\Vert x - x_e \Vert \le \epsilon \implies \sup \mathcal I(x) = \infty,\; \lim_{t \to \infty} \phi(t,x) = x_e,\) 那么称该平衡点是渐近稳定的。
对平衡点$x_e$，所有能使得状态最终趋向该平衡点的初始条件组成的集合称为该平衡点的吸引盆地（Basin of attraction），记作$\mathcal R$： \(\mathcal R(x_e) = \left\{ x \in X : \sup \mathcal I(x) = \infty, \lim_{t \to \infty} \phi(t, x) = x_e \right\}.\) 若吸引盆地包括平衡点附近的一个邻域，则称该平衡点为一个吸引子（Attractor）；若包括整个状态空间，则称其为全局吸引子。 平衡点为吸引子时，其吸引盆地一定是一个开集合。
吸引子不一定是稳定平衡点——状态向量可以远离平衡点，但最终回到平衡点；但是若吸引子是稳定的，那么它一定是渐近稳定的。 此外，不同吸引子的吸引盆地是不相交的，因此全局吸引的平衡点至多仅能有一个，且存在全局吸引的平衡点时（即系统全局渐进稳定时），不能存在其他的吸引子。
研究平衡点时，我们总是假设平衡点与原点重合，因为总是可以通过应用仿射变换来将状态空间的原点移动至与平衡点重合。 在接下来的研究中，我们总是假设状态空间为欧几里得空间中的开子集$X$，状态方程至少为局部李普希茨连续的系统，且认为原点是其平衡点。
李雅普诺夫第二方法
为研究均衡点的稳定性，我们不必诉诸于求解复杂的线性方程，而是可借助一类特殊的函数，即李雅普诺夫函数。
若存在正定的函数$V \in C^1: X \to \mathbb R$，即 \(V(0) = 0; \;\forall x \neq 0,\; V(x) > 0,\) 使得 \(L_f V(x) = \nabla V^\top \cdot f(x) \le 0,\) 那么该系统的原点是稳定的，称$V$是一个李雅普诺夫函数； 若 \(L_f V(x) = \nabla V^\top \cdot f(x) < 0,\) 那么该系统的原点是渐近稳定的，称$V$是一个严格李雅普诺夫函数； 若在渐近稳定之外，还是径向无界的，即 \(\lim_{\Vert x \Vert \to \infty} V(x) = \infty,\) 那么该系统是全局渐进稳定的，称$V$是一个全局李雅普诺夫函数。
函数$V$也叫广义能量函数，因为在动力学系统中往往可通过系统的能量构造出这样的函数。
实践上我们往往不需要或不能证明该函数在整个状态空间负定或半负定。 但如果其在原点的一个邻域上成立，就足以说明该系统在原点处的稳定性了。
对线性时不变系统应用该方法，可得以下命题：
考虑线性时不变系统 $$\dot x = A x,$$ 以下三个命题等价：
- 该系统的原点渐进稳定；
- $A$的所有特征值的实部均小于零，即其为赫尔维茨矩阵；
- 对任意对称正定矩阵$Q$，均存在唯一的对称正定矩阵$P$，满足 $$A^\top P + PA = -Q,$$ 这个方程称为李雅普诺夫方程； 此时函数 $$V(x) = x^T P x$$ 是该系统的一个李雅普诺夫函数。
拉萨尔不变集
拉萨尔不变集定理可帮助我们进一步地判定稳定平衡点是否是渐进稳定的。
若$X$的子集$\Gamma$中所有元素在流动的影响下依然处在该集合中，那么这个集合就叫做$X$的不变子集合，即 \(x \in \Gamma \implies \forall t \in \mathcal I(x) ,\; \phi(t, x) \in \Gamma.\) 若将时间限制为正实数，那么这个子集称作前向不变子集合。
平衡点就是典型的不变子集合中的元素；而若系统的李雅普诺夫函数是半负定的，即$L_f V \le 0$，那么对于较小的$c$，集合 \(\Omega_c = \{ x \in X : V(x) \le c \},\) 即李雅普诺夫函数的下水平集合（Sublevel set），是一个前向不变子集合。
设$\Omega \in X$为系统的一个紧密且前向不变集合；若存在函数$V \in C^1: X \to \mathbb R$，满足 \(\forall x \in \Omega, \;L_f V(x) \le 0,\) 则定义$M$为李导数为零的集合： \(M = \{ x \in \Omega : \; L_f V(x) = 0 \}.\) 对所有$\Omega$中的状态$x$，均有 \(\sup \mathcal I(x) = \infty, \; \lim_{t \to \infty} d(\phi(t,x), M) = 0.\) 此外，若该集合的不变子集合含有且仅含有原点，那么原点是渐进稳定的。
这个命题不再要求$V$是正定的，但是若$V$是正定的，则$\Omega$可直接由$V$构造出来：若$c$足够小，则考虑原点附近的李雅普诺夫函数等高线围成的一个集合 \(\Omega_c = \{ x \in X : V(x) \le c \},\) 这就是一个闭集。若$L_f V$恰好又是半负定的，那么这就是一个前向不变集，从而满足题设，此时我们只需要求 \(\forall t \ge 0, \;L_f V(\phi(t,x)) = 0 \implies \phi(t, x) = 0,\) 即集合$E$中不含有除$x(t) = 0$外的其他轨迹即可，这可以通过流动函数$\phi$来研究，而系统的状态方程足够简单时也可直接利用状态方程计算。 因此我们可以得到以下命题：
若存在正定的函数$V \in C^1: X \to \mathbb R$，即 \(V(0) = 0; \;\forall x \neq 0,\; V(x) > 0,\) 使得 \(L_f V(x) = \nabla V^\top \cdot f(x) \le 0,\) 且 \(\forall t \ge 0, \;L_f V(\phi(t,x)) = 0 \implies \phi(t, x) = 0,\) 那么该系统是渐进稳定的。
相较于李雅普诺夫方法，我们只要求$L_f V$半负定即可尝试确定稳定点是否是渐进稳定的。
李雅普诺夫第一方法
李雅普诺夫第一方法通过研究非线性系统的第一阶导数来确定系统的稳定性。 这种方法将非线性系统视作线性系统的一阶微扰，因此也叫做线性化方法。
考虑时不变系统 \(\dot x = f(x),\) 设$f$在原点附近的雅可比矩阵为$J = \nabla f(0)$，此时系统近似为 \(\dot x = J x + O(\Vert x \Vert^2).\) 若该雅可比矩阵的所有特征值的实部小于零，则该系统是渐进稳定的； 若存在实部大于零的特征值，则该系统是不稳定的； 若出现其他情况，例如有特征值的实部为零，则线性化方法不足以判定该系统的稳定性。
寻找吸引盆地
若已经确定原点是渐进稳定的平衡点，一个自然的问题就是确定该平衡点的吸引盆地或吸引域。 直接求解吸引盆地较为困难，我们考虑寻找近似的解，即寻找吸引盆地一个尽可能大的子集。
由于平衡点渐进稳定，我们假设系统的严格李雅普诺夫函数为$V$，这样，根据拉萨尔不变集定理，集合 \(\Omega_c = \{ x \in \mathbb R^n : V(x) \le c \}\) 若是状态空间的紧密子集，即可构成一个估计，因为：
- 由于该集合是一个前向不变集合，因此在集合中的状态不会变化到集合外；
- 由于该集合是紧密的，根据拉萨尔不变集定理，其中所有元素一定趋于渐进稳定的平衡点。
因此，问题转化为求解该集合的参数$c$的最大值，即求李雅普诺夫函数的最大下水平集。
若已经有一个可用的李雅普诺夫函数，则可直接使用该函数，而当其尚且未知时，则可使用线性化近似，并考虑系统在原点附近的局部严格李雅普诺夫函数 \(V(x) = x^\top P x,\) 其中$P$是根据李雅普诺夫方程求出的对称正定矩阵，满足 \(J^\top P + P J = Q.\) 由于$P$是对称正定矩阵，其特征值均为正实数，设其中最大最小值分别为$\lambda_{\max}$和$\lambda_{\min}$，则有 \(\lambda_{\min} \Vert x \Vert_2^2 \le x^\top P x \le \lambda_{\max} \Vert x \Vert_2^2,\) 这意味着集合$\Omega_c$实际上构成了欧几里得空间中的一个椭球，其中最长轴和最短轴的长度分别为$\sqrt{c/\lambda_{\min}}$和$\sqrt{c/\lambda_{\max}}$。
由于$P$是正定的，$\Omega_c$一定是闭且有界的，因此一定是紧密的。 若需要使得$\Omega_c$还是$X$的子集，则需要通过$X$的几何形状来计算； 一般来讲，$c$的上确界可由李雅普诺夫函数在开集合$X$的边界上的最小值求出： \(c^* = \min_{x \in \partial X} V(x) \approx \min_{x \in \partial X} x^\top P x.\) 例如，若$X$构成了空间中的一个半径为$r$的开球，即 \(X = \{ x \in \mathbb R^n : \Vert x \Vert_2 < r \},\) 那么$c$的上确界为 \(c^* = \lambda_{\min} r^2.\) 另一种方法是先使用内切$X$的开球$B_r(0)$近似$X$，再使用该开球的半径来限制$c$。
上述过程留下一个问题：既然$Q$的选择影响$P$，从而影响估计的精度，那么如何选择矩阵$Q$来使该估计最优？ 实际上，可以证明，当$Q$为单位阵时，在估计中省略的高阶导数的影响最小，从而估计最好。