Statistic

Beyes

$$P(H|D) = \frac{P(H) \cdot P(D|H)}{P(D)}$$

H: hyposis 假设事件，D: data 数据

• $P(H|D)$ : 后验概率, the probability of observing event H given that D is true
• $P(H)$ : 先验概率, the probability of observing event H
• $P(D|H)$: 似然度　
• $P(D)$ : the probability of data D

例：在判断垃圾邮件的算法中:
$P(H)$ : 所有邮件中，垃圾邮件的概率。
$P(D)$ : 出现某个单词的概率。
$P(D|H)$ : 垃圾邮件中，出现某个单词的概率。
$P(H|D)$ : 出现某个单词的邮件，是垃圾邮件的概率。

概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。

$P(x|\theta)$

如果$\theta$是已知确定的，$x$是变量，这个函数叫做概率函数(probability function)，它描述不同的样本点$x$出现概率是多少。

如果$x$是已知确定的，$\theta$是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数$\theta$，出现$x$这个样本点的概率是多少

判别模型和生成模型

• 判别模型，判别y类型，学习条件分布$P(y|x)$
• 生成模型，生成y分布，学习联合分布$P(x, y)$，使用贝叶斯定理得出结论$P(y|x)$

两个小朋友判断图片是的动物是狮子还是大象

1. A小朋友画出两只动物，表示图片和狮子更像，生成模型
2. B小朋友根据鼻子体型等特征，判断图片是狮子，判别模型

References:

1. https://blog.csdn.net/u011508640/article/details/72815981