1 线性模型与非线性模型

在学习表示定理之前我们要先理解什么是线性模型，这个概念听过很多次，但真正追究起来并不是很清楚，在下面参考的第一二篇文章中对广义线性模型进行了讲解，在此我也不做总结，一是能力有限怕带跑偏了，二是本篇内容的重点不在此。其中比较明确的一点就是线性模型始终试图找到一个超平面对数据进行划分，例如逻辑回归，它是用超平面$w^{T}x+b$对数据进行划分，只不过对超平面的划分结果进行了非线性处理；引入核技巧的SVM则是先对数据进行了非线性映射，然后对映射后的特征空间用$w^{T}x+b$进行划分；所以这两者都属于线性模型。

2 表示定理

表示定理的内容如下：
对于任何采用L2正则化的线性模型，其目标函数形式为：
$mi{n}_w{\sum }_{i=1}^{n}err(y_i,w^T{x}_i)+\lambda w^{T}w$，那么其最优解可以表示为：$w^{\ast }={\sum }_{i=1}^n{\alpha }_i{x}_i$。证明如下：
我们可以假设最优解$w^{\ast }=w_{\parallel }^{\ast }+w_{\perp }^{\ast }$，其中：
$w_{\parallel }^{\ast }$属于由向量组{$x_1,x_2,...,x_n$}生成的子空间$span(x_i)$；
$w_{\perp }^{\ast }$属于$span(x_i)$的正交补空间；
那么对于任意训练样本$x_i$：
$w^{\ast T}{x}_i=(w_{\parallel }^{\ast }+w_{\perp }^{\ast }{)}^T{x}_i=w_{\parallel }^{\ast T}{x}_i$，表明$w^{\ast }$与$w_{\parallel }^{\ast T}$误差相同；
$w^{\ast T}{w}^{\ast }=w_{\parallel }^{\ast T}{w}_{\parallel }^{\ast }+w_{\perp }^{\ast T}{w}_{\perp }^{\ast }\ge w_{\parallel }^{\ast T}{w}_{\parallel }^{\ast }$，表明$w^{\ast }$的L2正则化项大于等于$w_{\parallel }^{\ast }$的L2正则化项。
可以看出$w^{\ast }$是最优解，当且仅当$w_{\perp }^{\ast }=0$，即最优解$w^{\ast }=w_{\parallel }^{\ast }={\sum }_{i=1}^n{\alpha }_i{x}_i$。
我们进一步延伸，将最优解$w^{\ast }={\sum }_{i=1}^n{\alpha }_i{x}_i$带入模型进行训练，假设输入样本为x，可得$w^{\ast T}x={\sum }_{i=1}^n{\alpha }_i{x}_i^{T}x$，此时出现了$x_i^{T}x$，这个形式很容易引入核技巧，即用$k(x_i,x)$代替$x_i^{T}x$，这也就是说任何采用L2正则化的线性模型均可采用核技巧。

3 结合SVM理解表示定理

我们以SVM为例加深理解，SVM的目标函数是：
$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^n{\xi }_i$
$s.t.y_i(w.x_i+b)⩾1-{\xi }_i,i=1,2,...,n$
${\xi }_i⩾0,i=1,2,...,n$
我们定义函数
$err(x)=\{\begin{array}{cc}0& x\le 0\\ x& x>0\end{array}$，那么可以将该目标函数转化为：
$mi{n}_{w,b}{\sum }_{i=1}^{n}err(1-y_i(w.x_i+b))+\lambda ||w|{|}^2$（不理解的话可以参照李航老师《统计学习方法》中的7.2.4节进行学习），显然这是一个采用L2正则化的线性模型最优化问题，可以采用表示定理得到最优解$w^{\ast }={\sum }_{i=1}^n{\alpha }_i{x}_i$，这和SVM采用对偶问题得到的$w={\sum }_{i=1}^n{\alpha }_i^{{}^{\prime }}{y}_i{x}_i$形式是一致的。

4 结合KSVM理解RKHS中的表示定理

其实上一节写完就可以结束了，但感觉既然引出SVM了，就把KSVM也唠叨一下，这部分的难点在于如何理解再生核希尔伯特空间（RKHS），可以参照我之前的一篇博客https://blog.csdn.net/qq_40824311/article/details/102636765，其实把RKHS理解了，这部分就没什么东西了。
对我来说理解RKHS最重要的一点是把函数和一个无限维的向量等价起来。RKHS是一个函数空间，空间的基是无穷多个函数，按向量来理解的话RKHS就是一个由无穷多个无穷维基向量构成的向量空间。
RKHS中的表示定理如下：


上图来自《Learning with Kernels》的4.2节，我们进行证明：
取该RKHS中任意的$f$，将其表示为
$f=f_{\parallel }+f_{\perp }={\sum }_{i=1}^m{\alpha }_{i}k(x_i,.)+f_{\perp }$，其中：
$f_{\parallel }$属于训练样本对应的函数集合{$k(x_1,x),k(x_2,x),...,k(x_m,x)$}生成的子空间$span(k(x_i,x))$；
$f_{\perp }$属于$span(k(x_i,x))$的正交补空间（将函数当做向量对正交补空间进行理解）。
对于任意的训练样本$x_j$，由核函数的再生性可知
$f(x_j)=<f,k(.,x_j)>=<{\sum }_{i=1}^m{\alpha }_{i}k(x_i,.)+f_{\perp },k(.,x_j)>={\sum }_{i=1}^m{\alpha }_{i}k(x_i,x_j)$，
而$\Omega (||f||)=\Omega \left(\begin{array}{c}||{\sum }_i^m{\alpha }_{i}k(x_i,.)|{|}_H^2+||f_{\perp }|{|}_H^2\end{array}\right)\ge \Omega \left(\begin{array}{c}||{\sum }_i^m{\alpha }_{i}k(x_i,.)|{|}_H^2\end{array}\right)$，不等号是因为$\Omega$是严格单调递增函数。
由上可知当且仅当$f_{\perp }=0$时$f$可以达到最优。
同样，我们回顾KSVM中最终的决策超平面：${\sum }_{i=1}^m{\alpha }_i^{{}^{\prime }}{y}_{i}k(x_i,x)$，这与表示定理中的形式是一样的。
另外注意这个最优只是该RKHS中的最优，并不是所有函数中的最优。

参考：
（1）https://zhuanlan.zhihu.com/p/22876460
（2）https://xg1990.com/blog/archives/304
（1）http://txshi-mt.com/2017/10/02/NTUML-21-Kernel-Logistic-Regression/