贝叶斯公式

内容来源

贝叶斯统计（第二版）中国统计出版社

贝叶斯公式的密度函数形式

1. $p(x|\theta )$ 表示随机变量 $\theta$ 给定某个值时，总体指标 $X$ 的条件分布

2. $\pi (\theta )$ 根据参数 $\theta$ 的先验信息确定的先验分布

3. 从贝叶斯的观点看，样本 $x$ 的产生要分两步进行。首先从先验分布 $\pi (\theta )$ 产生一个样本 ${\theta }^{\prime }$ 。然后从总体分布 $p(x|{\theta }^{\prime })$ 产生一个样本 $x$ ，此样本的发生概率与如下联合密度函数成正比。

   $$p(x|{\theta }^{\prime })=\prod _{i=1}^{n}p(x_i|{\theta }^{\prime })$$

   这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为 $L({\theta }^{\prime })$

4. ${\theta }^{\prime }$ 是按照先验分布 $\pi (\theta )$ 产生的，要把先验信息进行综合，不能只考虑 ${\theta }^{\prime }$ ，而应对 $\theta$ 的一切可能加以考虑。故要用 $\pi (\theta )$ 参与进一步综合。

   $$h(x,\theta )=p(x|\theta )\pi (\theta )$$

   这样就把三种可用的信息都综合进去了。

5. 我们的任务是对未知数 $\theta$ 作出统计推断。为此对 $h(x,\theta )$ 作如下分解

   $$h(x,\theta )=\pi (\theta |x)m(x)$$

   其中 $m(x)$ 是 $x$ 的边缘密度函数

   $$m(x)=\int h(x,\theta )\mathrm{d}\theta$$

   它与 $\theta$ 无关。

   因此能用来对 $\theta$ 作出推断的仅是条件分布 $\pi (\theta |x)$

   $$\pi (\theta |x)=\frac{h(x,\theta )}{m(x)}=\frac{p(x|\theta )\pi (\theta )}{\int p(x|\theta )\pi (\theta )\mathrm{d}\theta }$$

这就是贝叶斯公式的密度函数形式

一般来说，先验分布 $\pi (\theta )$ 是反映人们在抽样前对 $\theta$ 的认识，后验分布 $\pi (\theta |x)$ 是反映人们在抽样后对 $\theta$ 的认识。之间的差异是由于样本 $x$ 出现后人们对 $\theta$ 认识的一种调整。