高斯过程部分数学推导

已知

高斯过程：任意给定一批样本点 $\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}}]$ 为其随机分配 $\mathbf{F}=[\mathbf{f}({\mathbf{x}}_1),\mathbf{f}({\mathbf{x}}_2),...,\mathbf{f}({\mathbf{x}}_{\mathbf{n}})]$，$\mathbf{F}$ 服从多维高斯分布。

假设 $\mathbf{F}$ 的实际观测为 $\mathbf{Y}=[{\mathbf{y}}_1,{\mathbf{y}}_2,...,{\mathbf{y}}_{\mathbf{n}}]$ ，且观测噪声服从均值 $0$，方差 ${\sigma }^2$ 的高斯分布。

问题

最终问题：给定一批新数据点 ${\mathbf{X}}_{\ast }$ ，预测新的观测 ${\mathbf{Y}}_{\ast }$

隐含问题：给出 $\mathbf{P}({\mathbf{F}}_{\ast }|{\mathbf{X}}_{\ast },\mathbf{X},\mathbf{Y})$ 后验预测分布

根据后验分布我们就能在该分布上随机采样从而得到新的观测值，这是一个随机过程

解决

在新数据点 $\mathbf{X}{}_{\ast }$ 上分配的值为${\mathbf{F}}_{\ast }=[f(x_{\ast 1}),f(x_{\ast 2}),...,f(x_{\ast m})]$，根据高斯过程的定义，有：
$$\left[\begin{array}{c}\mathbf{F}\\ {\mathbf{F}}_{\ast }\end{array}\right]|\left[\begin{array}{c}\mathbf{X}\\ {\mathbf{X}}_{\ast }\end{array}\right]\sim N(\left[\begin{array}{c}\mathbf{u}(\mathbf{X})\\ \mathbf{u}({\mathbf{X}}_{\ast })\end{array}\right],\left[\begin{array}{cc}\mathbf{K}& {\mathbf{K}}_{\ast }\\ {\mathbf{K}}_{\ast }^{\mathbf{T}}& {\mathbf{K}}_{\ast \ast }\end{array}\right])$$
其中

$$\begin{array}{rl}& \mathbf{K}=\mathbf{k}\mathbf{e}\mathbf{r}\mathbf{n}\mathbf{e}\mathbf{l}(\mathbf{X},\mathbf{X})\\ & {\mathbf{K}}_{\ast }=\mathbf{k}\mathbf{e}\mathbf{r}\mathbf{n}\mathbf{e}\mathbf{l}(\mathbf{X},{\mathbf{X}}_{\ast })\\ & {\mathbf{K}}_{\ast \ast }=\mathbf{k}\mathbf{e}\mathbf{r}\mathbf{n}\mathbf{e}\mathbf{l}({\mathbf{X}}_{\ast },{\mathbf{X}}_{\ast })\end{array}$$

又
$${\mathbf{y}}_{\mathbf{n}}=\mathbf{f}({\mathbf{x}}_{\mathbf{n}})+ϵ,ϵ\sim \mathbf{N}(0,{\sigma }^2)$$

因此有
$$\left[\begin{array}{c}\mathbf{Y}\\ {\mathbf{F}}_{\ast }\end{array}\right]|\left[\begin{array}{c}\mathbf{X}\\ {\mathbf{X}}_{\ast }\end{array}\right]\sim N(\left[\begin{array}{c}\mathbf{u}(\mathbf{X})\\ \mathbf{u}({\mathbf{X}}_{\ast })\end{array}\right],\left[\begin{array}{cc}\mathbf{K}+{\sigma }^2\mathbf{I}& {\mathbf{K}}_{\ast }\\ {\mathbf{K}}_{\ast }^{\mathbf{T}}& {\mathbf{K}}_{\ast \ast }\end{array}\right])$$
根据多维高斯分布的性质：$F_{\ast }|Y,X,X_{\ast }$服从高斯分布$N(u_{\ast },{\Sigma }_{\ast })$. 求$u_{\ast }$和${\Sigma }_{\ast }$的方法如下.

我们先介绍一个普遍的结论，下面的推导引自白板推导笔记

记 $x=(x_1,x_2,\cdots ,x_p{)}^T=(x_{a,m\times 1},x_{b,n\times 1}{)}^T,\mu =({\mu }_{a,m\times 1},{\mu }_{b,n\times 1}),\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)$，已知 $x\sim \mathcal{N}(\mu ,\Sigma )$。

求$p(x_b|x_a)$
$$\begin{gathered} x_{b\cdot a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a \\ {\mu }_{b\cdot a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a \\ {\Sigma }_{bb\cdot a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab} \end{gathered}$$
于是有
$$x_{b\cdot a}=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)$$

从而
$$\begin{array}{rl}\mathbb{E}[x_{b\cdot a}]& =\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_{b\cdot a}\\ Var[x_{b\cdot a}]& =\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ {\mathbb{I}}_{n\times n}\end{array}\right)={\Sigma }_{bb\cdot a}\end{array}$$
可得
$$\begin{array}{rl}& x_b|x_a=x_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ & \\ & \mathbb{E}[x_b|x_a]={\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ & \\ & Var[x_b|x_a]={\Sigma }_{bb\cdot a}\end{array}$$
其中，$x_{b.a}$与$x_a$的独立性证明过程如图，该图来自B站大佬shuhuai008的白板推导视频勘误

根据上面得到的结论，我们把以下映射带入公式：
$$\begin{array}{rl}{x}_a& =\mathbf{Y}\\ x_b& ={\mathbf{F}}_{\ast }\\ u_a& =0\\ u_b& =0\\ {\Sigma }_{aa}& =\mathbf{K}\\ {\Sigma }_{ab}& ={\mathbf{K}}_{\ast }\\ {\Sigma }_{ba}& ={\mathbf{K}}_{\ast }^{\mathbf{T}}\\ {\Sigma }_{bb}& ={\mathbf{K}}_{\ast \ast }\end{array}$$
代入的计算略，读者可自己完成。最终可得
$$\begin{array}{rl}{\mathbf{\mu }}_{\ast }& ={\mathbf{K}}_{\ast }^T{\mathbf{K}}^{-1}\mathbf{Y}\\ {\mathbf{\Sigma }}_{\ast }& ={\mathbf{K}}_{\ast \ast }-{\mathbf{K}}_{\ast }^T{\mathbf{K}}^{-1}{\mathbf{K}}_{\ast }\end{array}$$
所以
$$\mathbf{P}({\mathbf{F}}_{\ast }|{\mathbf{X}}_{\ast },\mathbf{X},\mathbf{Y})=\mathbf{N}({\mathbf{F}}_{\ast }|{\mathbf{u}}_{\ast },{\mathbf{\Sigma }}_{\ast })$$