发布时间：2022-09-30 17:00
世上只有一种投资是只赚不赔的，那就是学习。
当你的的能力还驾驭不了你的目标时，
就应该沉下心来历练；
当你的才华撑不起你的野心时，
就应该静下心来学习
假设有 N 种可能的类别标记，即 y = { C 1 ， C 2 ， … ， C N } y = \{C_1， C_2，… ， C_N\} y={C1，C2，…，CN}
λ j i \lambda_{ji} λji 是将一个真实标记为 C j C_j Cj 的样本误分类为 C i C_i Ci 所产生的损失.
基于后验概率 P ( C i ∣ x ) P(C_i | x) P(Ci∣x)可获得将样本 x x x分类为 C i C_i Ci 所产生的期望损失(expected loss) ，
即在样本 x x x 上的"条件风险”:
R ( c i ∣ x ) = ∑ j = 1 N λ j i P ( c j ∣ x ) R(c_i | x)=\sum_{j=1}^N\lambda_{ji}P(c_j | x) R(ci∣x)=j=1∑NλjiP(cj∣x)
我们的任务是寻找一个判定准则以最小化总体风险:
R ( h ) = E x [ R ( h ( x ) ∣ x ) ] R(h)=E_x[R(h(x) | x)] R(h)=Ex[R(h(x)∣x)]
对每个样本 x x x，若 h h h 能最小化条件风险 R ( h ( x ) ∣ x ) R(h(x) | x) R(h(x)∣x) ，则总体风险 R ( h ) R(h) R(h) 也将被最小化。这就产生了贝叶斯判定准则(Bayes decision rule): 为最小化总体风险，只需在每个样本上选择那个能使条件风险 R ( c ∣ x ) R(c | x) R(c∣x)最小的类别标记，即:
h ( x ) = a r g m i n c h(x)=arg min_{c } h(x)=argminc
h称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应的总体风险 R ( h ) R(h) R(h) 称为贝叶斯风险(Bayes risk). 1 − R ( h ∗ ) 1-R(h*) 1−R(h∗) 反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。
后验概率 P ( c ∣ x ) P(c|x) P(c∣x)有两种策略获得:
给定 x x x， 可通过直接建模 P ( c ∣ x ) P(c | x) P(c∣x) 来 预测 c，这样得到的是"判别式模型" ， 如