切空间、切丛与收缩算子
切空间
一般流形上的切空间的定义相对比较抽象，流形优化一般只考虑有限维线性空间上的流形，此时的切空间定义简单一些。一般的情况可以类似的推广，这里不去讨论。
定义
设 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一个子集。对于所有 \(x \in \mathcal{M}\)，定义：
其中 \(I\) 是包含 \(t = 0\) 的任意开区间。也就是说，\(v \in \mathrm{T}_x\mathcal{M}\) 当且仅当存在 \(\mathcal{M}\) 上经过 \(x\) 且导数为 \(v\) 的光滑曲线。
定理（切空间与局部定义函数核空间的关系）
设 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一个嵌入子流形。考虑 \(x \in \mathcal{M}\) 以及集合 \(\mathrm{T}_x\mathcal{M}\)。若 \(\mathcal{M}\) 是一个开子流形，那么 \(\mathrm{T}_x\mathcal{M} = \mathcal{E}\)。否则，\(\mathrm{T}_x\mathcal{M} = \ker \mathrm{D}h(x)\)，其中 \(h\) 是在 \(x\) 处的任意局部定义函数。
证明
-
(1) 若 \(\mathcal{M}\) 是一个开子流形，显然 \(\mathrm{T}_x\mathcal{M} \subset \mathbb{R}^d = \mathcal{E}\)，
又 \(\forall v \in \mathbb{R}^d = \mathcal{E}\)，令 \(c(t)=x+tv\)，则光滑且 \(c(0)=x\)；于是 \(c^\prime(0)=v\in \mathrm{T}_x\mathcal{M}\)，则 \(\mathbb{R}^d = \mathcal{E} \subset \mathrm{T}_x\mathcal{M}\)，综上：
\[\mathrm{T}_x\mathcal{M} = \mathcal{E}. \] -
(2) 否则
-
(2-1) 先证 \(\mathrm{T}_x\mathcal{M} \subset \ker \mathrm{D}h(x)\)；
\(\forall v \in \mathrm{T}_x\mathcal{M}\)，\(\exists~c: I \rightarrow \mathcal{M}\)，\(c(0)=x,~c^\prime(0)=v\)。
又因为 \(c(t)\in \mathcal{M}, \forall t \in I\)，又由 \(c\) 的连续性，当 \(t\) 充分小时，有 \(c(t)\in U \bigcap \mathcal{M}\)，则 \(h(c(t))=0\)，于是
\[0=\frac{d}{dt} \left( h(c(t)) \right)= \mathrm{D}h(c(t))c^\prime(t), \]令 \(t=0\)，则 \(0=\mathrm{D}h(x)v\)，于是 \(v\in \ker \mathrm{D}h(x)\)，\(\mathrm{T}_x\mathcal{M} \subset \ker \mathrm{D}h(x)\) 得证。
-
(2-2) 下证 \(\ker \mathrm{D}h(x) \subset \mathrm{T}_x\mathcal{M}\)；
取 \(u\in \mathbb{R}^{d-k}\)，令 \(\gamma(t)=F(x)+t \begin{bmatrix} u \\ 0 \end{bmatrix}\)，\(F\) 即为前文嵌入子流形等价定义中的；
由 \(x\in U\cap \mathcal{M}\)，则 \(F(x)\in V\cap \mathcal{M}\)，
又 \(\begin{bmatrix} u \\ 0 \end{bmatrix}\in E\)，则 \(\gamma(t)\in E\)，
而 \(V\) 是开集，则当 \(t\) 充分小的时候，\(\gamma(t)\in V\cap E\)，
令 \(c(t)=F^{-1}(\gamma(t))\)，则 \(c(0)=F^{-1}(F(x))=x\)，
则 \(c^\prime(t)=\mathrm{D}F^{-1}(\gamma(t))\gamma^\prime(t)\)，则 \(c^\prime(0)=\mathrm{D}F^{-1}(F(x))\begin{bmatrix} u \\ 0 \end{bmatrix}=(\mathrm{D}F(x))^{-1}x\)，
其中最后一个等式是因为 \(\mathrm{D}x=I=\mathrm{D}(F^{-1}\circ F(x))=\mathrm{D}F^{-1}(F(x))\mathrm{D}F(x)\)，
于是 \(\forall v \in \ker \mathrm{D}h(x)\)，\(\exists \begin{bmatrix} u \\ 0 \end{bmatrix}=\mathrm{D}F(x)v=\begin{bmatrix} * \\ \mathrm{D}h(x) \end{bmatrix}v\)，则 \(v\in \mathrm{T}_x\mathcal{M}\)。
则 \(\ker \mathrm{D}h(x) \subset \mathrm{T}_x\mathcal{M}\) 得证。
-
综上 \(\ker \mathrm{D}h(x) =\mathrm{T}_x\mathcal{M}\)。
切丛
定义（切丛）
流形 \(\mathcal{M}\) 的切丛定义为：
注
对于切向量 \(v \in \mathrm{T}_x\mathcal{M}\)，我们有时会将 \(v\) 和 \((x, v)\) 这两个概念混同。如果从上下文能清楚知道 \(v\) 的基点是 \(x\)，我们可以写成 \((x, v) \in \mathrm{T}_x\mathcal{M}\)，甚至 \(v \in \mathrm{T}\mathcal{M}\)。
切丛是一个流形。
定理
若 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一个嵌入子流形，则切丛 \(\mathrm{T}\mathcal{M}\) 是 \(\mathcal{E} \times \mathcal{E}\) 的一个嵌入子流形，且 \(\dim \mathrm{T}\mathcal{M}=2\dim \mathcal{M}\)。
证明
\(\forall (\bar{x},\bar{v})\in \mathrm{T}\mathcal{M}\)，只需在 \((\bar{x},\bar{v})\) 处找到对应的局部定义函数即可。
由于 \(\bar{x}\in \mathcal{M}\)，而 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一个嵌入子流形，则存在 \(\overline{x}\) 在 \(\mathcal{E}\) 中的一个邻域 \(U\) 以及一个光滑函数 \(h: U \to \mathbb{R}^k\)，满足：
- (a) 若 \(y\) 在 \(U\) 中，则 \(h(y) = 0\) 当且仅当 \(y \in \mathcal{M}\)；
- (b) \(\mathrm{rank}\mathrm{D}h(\bar{x}) = k\)。
我们现在的任务是，找到 \((\bar{x},\bar{v})\) 对应的局部定义函数，一个自然的想法是 \(H: U \times \mathcal{E} \to \mathbb{R}^{2k}\)
这时
于是 \(\mathrm{rank}\, \mathrm{D}H(\bar{x},\bar{v}) = \mathrm{rank}\, \mathrm{D}h(\bar{x}) + \mathrm{rank}\, \mathrm{D}h(\bar{x}) = 2k\)。
不过此时还有一个问题没有解决：需说明 \(\mathrm{T}\mathcal{M} \cap (U \times \mathcal{E}) = H^{-1}(0)\)。分析如下：
当 \((x,v)\in\mathrm{T}\mathcal{M} \cap (U \times \mathcal{E})\)，显然有 \(x\in \mathcal{M}\cap U=h^{-1}(0)\)，只需说明 \(v\in \ker \mathrm{D}h(x)\)。
当 \((x,v)\in H^{-1}(0)\)，显然有 \(x\in h^{-1}(0)= \mathcal{M}\cap U\)，只需说明 \(v\in \mathrm{T}_x\mathcal{M}\)。
于是需要说明 \(\mathrm{T}_x\mathcal{M}=\ker \mathrm{D}h(x)\)，而根据前文的切空间与局部定义函数核空间的关系定理，只需证明 \(h\) 也是 \(x\) 处的局部定义函数。
而 \(h\) 是 \(\bar{x}\) 的局部定义函数，\(x\) 是 \(\bar{x}\) 的邻域 \(U\) 中的一个点，由 \(\mathrm{D}h(x)\) 的连续性，当 \(x\) 在 \(\bar{x}\) 的某一邻域内（仍记为 \(U\)）时，\(\mathrm{rank} \mathrm{D}h(\bar{x}) = k\)，回带到上面的论证即可。
对于维数，利用 \(\mathrm{T}_{(\bar{x}, \bar{v})} \mathrm{T}\mathcal{M} = \ker \mathrm{D}H(\bar{x}, \bar{v})\) 和秩-零化度定理，可得出 \(\dim \mathrm{T}\mathcal{M} = \dim \mathrm{T}_{(\bar{x}, \bar{v})} \mathrm{T}\mathcal{M} = 2 \dim \mathcal{E} - 2k = 2 \dim\mathcal{M}\)。
注
在上述证明中可以发现，一个嵌入子流形某一点处的局部定义函数是 \(h\)，则在这一点的某个邻域内的任意一个点，\(h\) 也可以成为其局部定义函数，相当于 \(h\) 是这个邻域一致的局部定义函数。
定义（光滑向量场）
流形 \(\mathcal{M}\) 上的向量场是一个映射 \(V: \mathcal{M} \to \mathrm{T}_x\mathcal{M}\)，使得对所有 \(x \in \mathcal{M}\)，有 \(V(x) \in \mathrm{T}_x\mathcal{M}\)。如果 \(V\) 是一个光滑映射，我们称它是一个光滑向量场。光滑向量场的集合记为 \(\mathfrak{X}(\mathcal{M})\)。
收缩算子
给定一点 \(x \in \mathcal{M}\) 和一个切向量 \(v \in \mathrm{T}_x\mathcal{M}\)，我们经常需要从 \(x\) 出发沿着方向 \(v\) 移动，同时保持在流形上：这是梯度下降算法以及流形上几乎所有优化算法的基本操作。我们可以通过沿着流形 \(\mathcal{M}\) 上任意一条满足 \(c(0) = x\) 且 \(c'(0) = v\) 的光滑曲线 \(c\) 来实现这一点，但当然存在许多这样的曲线。一个收缩（retraction）为每一个可能的 \((x, v) \in \mathrm{T}\mathcal{M}\) 选取一条特定的曲线。此外，这种曲线的选择光滑地依赖于 \((x, v)\)，我们利用切丛 \(\mathrm{T}\mathcal{M}\) 是一个流形这一事实来精确表述这种依赖关系。
定义（收缩）
流形 \(\mathcal{M}\) 上的一个收缩是一个光滑映射
使得每条曲线 \(c(t) = \mathrm{R}_x(tv)\) 满足 \(c(0) = x\) 且 \(c'(0) = v\)。
例子
在线性流形上，\(R_x(v) = x + v\) 是一个收缩。
例子
设 \(x\) 是球面 \(\mathbb{S}^{d-1}\) 上的一个点，且设 \(v\) 在 \(x\) 处是切向量，即 \(x^\top v = 0\)。为了沿 \(v\) 从 \(x\) 出发移动同时保持在球面上，一种方法是先在 \(\mathbb{R}^d\) 中迈出一步，然后投影回球面：
考虑由下式定义的曲线 \(c: \mathbb{R} \to \mathbb{S}^{d-1}\)：
显然，\(c(0) = x\)。此外，可以计算得 \(c'(0) = v\)，也就是说，在 \(x\) 附近，直到一阶近似，收缩曲线沿 \(v\) 移动。为了验证 \(\mathrm{R}\) 是光滑的，注意到 \(\overline{\mathrm{R}}_x(v) \triangleq (x + v)/\sqrt{1 + \|v\|^2}\) 是到整个 \(\mathbb{R}^d \times \mathbb{R}^d\) 的光滑延拓。
另一个合理的选择是沿大圆从 \(x\) 出发移动：
采用通常的约定 \(\sin(0)/0 = 1\)。事实上，曲线
描绘出 \(\mathbb{S}^{d-1}\) 上的大圆，该大圆在 \(t=0\) 时经过 \(x\)，且速度为 \(c'(0) = v\)。