【机器学习-西瓜书】第7章贝叶斯分类器

发布时间：2023-08-09 11:00

7.1 贝叶斯决策论 (Bayesian Decision Theory)

在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。

以多分类任务为例解释BDT的基本原理

$Y=\{c_{1}, c_{2}, ..., c_{N}\}$

$\lambda _{ij}$ 表示将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率 $P(c_{i}|x)$ 可得到将样本 x 分类为 ci 所产生的期望损失：

$R(c_{i}|x) = \sum_{j=1}^{N}\lambda_{ij} P(c_{j}|x)$

我们的目标是：寻找一个判定准则 $h: X \mapsto Y$ 以最小化总体风险：

$R(h) = E_{x}[R(h(x)\ |\ x)]$

贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险 R( c|x )最小的类别标记：

$h^{\ast}(x) = \underset{c \in Y}{arg \ min} \ R( c|x )\ \ \ \ \ \ \ \ \ \ \ \ (7.3)\\ =\underset{c \in Y}{arg \ max} P(c|x)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (7.6)$

此时， $h^{\ast}(x)$ 称为贝叶斯最优分类器 (Bayes optimal classifier)，即对每个样本 x，选择能使后验概率 P( c|x ) 最大的类别标记。

discriminative models：给定 x，通过直接建模 P( c|x ) 来预测c。比如决策树、BP神经网络、SVM等

generative models：先建模联合概率分布 P(x, c)，然后由此获得 P（ c|x )。比如贝叶斯分类器。

根据贝叶斯定理，有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)} \ \ \ \ \ \ \ (7.8)$

其中，P(c)表示类先验prior概率；P(x|c)表示样本x 相对于类标记c 的类条件概率，也称为“似然”（likelihood），P(x) 表示归一化证据evidence因子。

别注：若加上属性条件独立性假设（同时也是朴素贝叶斯的基本假设），则有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)}= \frac{P(c)}{P(x)}\prod_{i=1}^{d} P(x_{i}|c) \ \ \ \ (7.14)$

d 表示属性数目，xi 表示 x在第 i 个属性上的取值。

类先验概率P(c) 反映了样本空间中各类样本所占的比例，当训练集足够大时，可通过各类样本出现的频率来估计。

类条件概率P(x|c) 由于涉及关于x所有属性的联合概率，所以直接根据有限的训练样本出现频率来估计将十分困难。

7.2 极大似然估计 (Maximum Likelihood Estimation)

如何估计类条件概率？

一种常见策略是：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。即先假设 P( x|c ) 具有确定的形式，且被参数向量 $\theta _{c}$ 唯一确定，于是问题变为：利用训练集 D 估计参数 $\theta _{c}$ 。

在参数估计问题上，有两个学派：

频率主义学派 (Frequentist)：参数虽未知但固定，因此可通过优化似然函数来确定参数。

MLE：根据数据采样来估计概率分布参数

【机器学习-西瓜书】第7章 贝叶斯分类器

7.1 贝叶斯决策论 (Bayesian Decision Theory)

以多分类任务为例解释BDT的基本原理

7.2 极大似然估计 (Maximum Likelihood Estimation)

如何估计 类条件概率？

相关推荐

【机器学习-西瓜书】第7章贝叶斯分类器

如何估计类条件概率？