贝叶斯分类器
贝叶斯概率
在数理统计学中，有两种学派，一种是频率学派（古典学派），一种是贝叶斯学派
频率学派是一种客观概率，其定义可以理解为：
在 $N$ 次 重复独立投币的实验中，硬币正面朝上的频率为 $\frac{f}{N}$（其中 $f$ 为硬币正面朝上的次数）将在常数 $\alpha$ 左右波动
于是正面朝上的概率就是 $P = \alpha$
而贝叶斯概率是一种主观概率，贝叶斯概率应该测量某一个体对于一个不确定命题的置信程度，因此在这个意义下是主观的
贝叶斯法则
贝叶斯法则是贝叶斯概率的理论表达
首先明白一点：
对于两个事件 $X$ , $Y$
如果 $X$ 独立于 $Y$ ， 那么：$P(XY) = P(X)P(Y)$
如果不独立， 则： $P(XY) = P(Y)P(X|Y) = P(X)P(Y|X)$
(可以理解为：$Y$ 发生的概率乘上 $Y$ 发生并且 $X$ 发生的概率)
下面便是贝叶斯法则的描述：
如果有 $k$ 个互斥事件 $y_1, y_2, \dots , y_k$ ， 并且 $y_1 + y_2 + \dots + y_k = 1$ ， 且有一个可观测事件 $X$ ， 则：
\[P(y_i|X) = \frac{P(Xy_i)}{P(X)} = \frac{P(y_i)P(X|y_i)}{P(X)} \qquad (i = 1,2,\dots,k)\]几个概念
$P(y_i)$ 代表先验概率(Prior) ，是指根据以往经验和分析得到的概率， 是和 $X$ 无关的概率
$P(y_i | X)$ 代表后验概率(Posterior) ，是指在得到“结果”的信息后重新修正的概率，是事件 $X$ 发生下，事件 $y_i$ 发生的概率
$P(X|y_i)$ 代表数据似然(Likelihood) ，是事件 $y_i$ 发生下，事件 $X$ 发生的概率，该值越大，说明事件 $y_i$ 越有助于事件 $X$ 发生
最后，我们将上述公式再一次完善：
\[P(y_i|X) = \frac{P(Xy_i)}{P(X)} = \frac{P(y_i)P(X|y_i)}{P(X)} = \frac{P(y_i)P(X|y_i)}{\sum\limits_{i = 1}^k P(y_i)P(X|y_i)}\]贝叶斯和朴素贝叶斯分类器
NewBing的解释 :smile:
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
它是统计学的一种分类方法，利用概率统计知识进行分类。
贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器
我来瞎扯 :upside_down_face:
我们用一个例子引入：
现在判断一个商品是否会被购买，我们现有的可以参考的条件有两点，一个是性别，另一个是年龄段
他们分别有以下几个值：
是否购买 ： yes no
性别 ： 0 1
年龄段 ： A B C
贝叶斯分类器可以将上述的一些特征对结果的影响数值话
我们在这个例子中主要是判断一个人是否会购买，所以这个时候是否购买为 $X$
因为有两种情况，所以有两个 $y$ ，分别是 ：$y_1$ $y_2$ ，代表买和不买
现在假设一个人性别特征是 $0$ ， 年龄段为 $A$ ,是否会购买
这个时候性别 $y_1 = 0$ , 年龄段 $y_2 = A$ , 记为条件 $X$
而贝叶斯分离器就是可以解决这种问题，只需要算出这个人买的概率和不买的概率即可
有购买的概率
\[P(y = y_1 | X) = \frac{P(y = y_1)P(X|y = y_1)}{\sum\limits_{i = 1}^kP(y = y_i)P(X | y = y_i)} = \frac{在X条件下购买的情况}{X发生的所有情况}\]有不购买的情况：
\[P(y = y_2 | X) = \frac{P(y = y_2)P(X|y = y_2)}{\sum\limits_{i = 1}^kP(y = y_i)P(X | y = y_i)} = \frac{在X条件下不购买的情况}{X发生的所有情况}\]之后我们采取最大后验概率估计原则(MAP)选择
说人话就是谁最大选哪个, 在我们的例子中是：
\[\begin{align} \begin{cases} P(y = y_1 | X) > P(y = y_2 | X) \qquad Yes\\\\ P(y = y_1 | X) < P(y = y_2 | X) \qquad No\\\\ P(y = y_1 | X) = P(y = y_2 | X) \qquad Any \end{cases} \end{align}\]