朴素贝叶斯 (Naive Bayes)

🕗 发布于 2024-09-19 23:55 机器学习 人工智能

朴素贝叶斯 (Naive Bayes)

通俗易懂算法

朴素贝叶斯（Naive Bayes）是一种基于概率统计的分类算法。它的核心思想是通过特征的条件独立性假设来简化计算复杂度，将复杂的联合概率分布分解为特征的独立概率分布之积。

基本思想

朴素贝叶斯基于贝叶斯定理，其公式为：

$\mid X) = \frac{P(X \mid C) \cdot P(C)}{P(X)}$

$\mid X)$ 是给定特征 $X$ 时类别 $C$ 的后验概率。
$\mid C)$ 是在类别 $C$ 下观测到特征 $X$ 的似然概率。
$P (C)$ 是类别 $C$ 的先验概率。
$P (X)$ 是特征 $X$ 的概率，可以被认为是一个常数，因为对于每个待分类的样本来说， $X$ 是已知的。

由于在实际计算中， $P (X)$ 对于所有类别都是相同的，故可以在分类决策中去掉这一项，简化为只计算分子部分：

$\mid X) \propto P(X \mid C) \cdot P(C)$

朴素独立假设

朴素贝叶斯算法假设特征之间相互独立，这么做是为了简化似然项 $\mid C)$ 的计算：

$\mid C) = P(x_1, x_2, \ldots, x_n \mid C) = \prod_{i=1}^{n} P(x_i \mid C)$

这里， $x_1, x_2, \ldots, x_n$ 是特征向量 $X$ 的各个属性（特征）。

分类决策

对于一个待分类的样本，计算每个类别的概率：

$\mid X) \propto P(C) \prod_{i=1}^{n} P(x_i \mid C)$

选择概率最大的类别作为样本的预测分类。

应用及优点

朴素贝叶斯算法广泛用于文本分类（如垃圾邮件过滤）等领域，主要优点包括：

简单高效：算法实现简单，计算速度快。
对小规模数据表现良好：对数据量需求不高，但大量数据时性能更优。
能处理多类别问题：适合多元分类。

当然，朴素贝叶斯也有其局限性，主要在于它的独立性假设在实际应用中可能并不成立，因此在某些条件下可能导致精度下降。不过，有时即使独立性假设不完全成立，算法仍然能够提供相当好的结果。

底层原理

朴素贝叶斯(Naive Bayes)算法是一种基于贝叶斯定理的简单且强大的分类算法。在数学原理层面，其核心在于利用条件概率来进行分类。

贝叶斯定理

贝叶斯定理是条件概率的一个基本公式。对于事件 $A$ 和 $B$ ，贝叶斯定理可以表示为：

$\frac{P(B | A) \cdot P(A)}{P(B)}$

在分类问题中，我们通常关注特征集 $\mathbf{X} = (X_1, X_2, \ldots, X_n)$ 和类别变量 $C$ ，那么贝叶斯定理可以用于计算一个给定实例属于类别 $c_k$ 的概率：

$c_k | \mathbf{X} = \mathbf{x}) = \frac{P(\mathbf{X} = \mathbf{x} | C = c_k) \cdot P(C = c_k)}{P(\mathbf{X} = \mathbf{x})}$

朴素性假设

朴素贝叶斯算法的 “朴素” 来自于对特征之间的独立性假设，即假设每个特征在给定类别的条件下都是独立的。假设特征独立，我们可以将联合概率简化为各个特征概率的乘积：

$P(\mathbf{X} = \mathbf{x} | C = c_k) = \prod_{i=1}^{n} P(X_i = x_i | C = c_k)$

朴素贝叶斯分类

朴素贝叶斯分类的任务是找到使后验概率最大的类别：

$\hat{c} = \arg\max_{c_k} P(C = c_k | \mathbf{X} = \mathbf{x})$

通过贝叶斯定理，上述表达式可以变为：

$\hat{c} = \arg\max_{c_k} \frac{P(C = c_k) \cdot \prod_{i=1}^{n} P(X_i = x_i | C = c_k)}{P(\mathbf{X} = \mathbf{x})}$

由于对于每个类别 $c_k$ ，分母 $P(\mathbf{X} = \mathbf{x})$ 是相同的，因此最大化后验概率等价于最大化分子部分：

$\hat{c} = \arg\max_{c_k} P(C = c_k) \cdot \prod_{i=1}^{n} P(X_i = x_i | C = c_k)$

例子

现实中， $P(C = c_k)$ 和 $P(X_i = x_i | C = c_k)$ 可以通过训练数据进行估计。例如， $P(C = c_k)$ 可以通过计算类别 $c_k$ 出现的相对频率来估计，而 $P(X_i = x_i | C = c_k)$ 则可以根据已知 $C = c_k$ 的情况下特征 $X_i$ 的频率来估计。

总结

朴素贝叶斯算法尽管假设特征独立，但在许多实际应用中表现良好。其简洁、有效的特性在文本分类、垃圾邮件过滤和推荐系统等多个领域中得到广泛应用。

常用面试考点

朴素贝叶斯（Naive Bayes）算法是常用于分类任务的简单而有效的概率模型。它基于贝叶斯定理，假设特征之间是条件独立的（即“朴素”的假设）。下面从面试常考点的角度来解析朴素贝叶斯算法：

1. 贝叶斯定理

朴素贝叶斯分类器基于贝叶斯定理，公式如下：

$P(C_k | x) = \frac{P(x | C_k) \cdot P(C_k)}{P(x)}$

其中：

$P(C_k | x)$ 是给定特征向量 $x$ 属于类别 $C_k$ 的后验概率。
$P(x | C_k)$ 是在类别 $C_k$ 下观测到特征向量 $x$ 的似然。
$P(C_k)$ 是类别 $C_k$ 的先验概率。
$P (x)$ 是观测到特征向量 $x$ 的概率。

2. 朴素假设

朴素贝叶斯的关键假设是特征之间是条件独立的。对于一个包含 $n$ 个特征的特征向量 $(x_1, x_2, \ldots, x_n)$ ，有：

$C_k) = P(x_1, x_2, \ldots, x_n | C_k) = \prod_{i=1}^{n} P(x_i | C_k)$

这种假设极大地简化了计算过程，但在某些情况下显得过于简单。

3. 分类决策

在朴素贝叶斯分类器中，我们通过选择最大后验概率的类别作为样本的预测类别：

$C_{\text{predict}} = \arg\max_{C_k} P(C_k | x) = \arg\max_{C_k} P(x | C_k) \cdot P(C_k)$

因为 $P (x)$ 为常数，对所有类别一致，因此在比较时可以忽略。

4. 具体实现

根据特征的类型，朴素贝叶斯有不同的实现方法：

高斯朴素贝叶斯：适用于连续值特征，假设特征服从正态分布。
多项式朴素贝叶斯：适用于离散特征，尤其是文本分类中的词袋模型。
伯努利朴素贝叶斯：特征是二元变量（0/1），适合处理命中与不命中特征。

5. 优缺点

优点：

算法简单，易于实现。
对小规模数据表现良好，适合文本分类。
预测过程快速，所需估计的参数较少。

缺点：

特征之间独立性的假设在某些情况下不成立，可能影响算法的性能。
需要足够的样本来准确估计概率。

6. 面试常见问题

如何处理连续特征？
- 使用高斯朴素贝叶斯，将特征视为正态分布。
在实践中，如何处理特征之间的相关性？
- 选择合适的特征组合，或者在假设不成立影响严重的情况下考虑更复杂的模型。
如何解决样本先验概率过低的问题？
- 使用拉普拉斯平滑（Laplace Smoothing）来避免零概率。

补充一个很好的视频：贝叶斯直观理解

原文地址：https://blog.csdn.net/m0_60388871/article/details/142155950

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：阿里1688一面总结
下一篇：【强化学习系列】Gym库使用——创建自己的强化学习环境2：拆解官方标准模型源码/规范自定义类+打包自定义环境

朴素贝叶斯 (Naive Bayes)