充分统计量

内容来源
数理统计学导论（原书第7版） 机械工业出版社

贝叶斯统计（第二版）中国统计出版社

---

充分统计量

统计量

统计量是数据简化的一种形式 $Y=u(X_1,X_2,\cdots ,X_n)$

例如为了阐述方便，不列出所有个体观测值 $X_1,X_2,\cdots ,X_n$ ，仅给出样本均值 $\overline{X}$ 或样本方差 $S^2$

分割样本空间

假定 $\overline{x}=8.32$ ，样本空间中许多点都具有一样的均值 $8.32$ ，它们构成超平面

$$x_1+x_2+\cdots +x_n=8.32n$$

这个超平面是一个集合。而且，$\overline{X}$ 可取的值非常多，因而存在众多这类集合。

在这个意义上，任何统计量 $Y=u(X_1,X_2,\cdots ,X_n)$ 均把样本空间分成集合族

定义

设 $X_1,X_2,\cdots ,X_n$ 表示来自分布函数 $f(x;\theta )$ 的样本量为 $n$ 的随机样本

设 $Y_1=u_1(X_1,X_2,\cdots ,X_n)$ 是一个统计量，它的分布函数为 $f_{Y_1}(y_1;\theta )$

$Y_1$ 是 $\theta$ 的充分统计量的充要条件为

$$\frac{f(x_1,x_2,\cdots ,x_n;\theta )}{f_{Y_1}[u_1(x_1,x_2,\cdots ,x_n);\theta ]}=H(x_1,x_2,\cdots ,x_n)$$

就是统计量确定时，样本的条件分布与 $\theta$ 无关

在某种意义上，充分统计量用尽了样本中关于参数的信息

例

设 $X_1,X_2,\cdots ,X_n$ 表示来自下述分布的一个随机样本

$$f(x;\theta )=\{\begin{array}{ll}{\theta }^x(1-\theta {)}^{1-x}& ,x=0,1;0<\theta <1\\ 0& ,其他\end{array}$$

统计量 $Y_1=(X_1+X_2+\cdots +X_n)$ 的 $pmf$

$$f_{Y_1}(y_1;\theta )=\{\begin{array}{ll}\left(\begin{array}{c}n\\ y_1\end{array}\right){\theta }^{y_1}(1-\theta {)}^{n-y_1}& ,y_1=0,1,\cdots ,n\\ 0& ,其他\end{array}$$

对应的条件分布为

$$\frac{{\theta }^{x_1}(1-\theta {)}^{1-x_1}{\theta }^{x_2}(1-\theta {)}^{1-x_2}\cdots {\theta }^{x_n}(1-\theta {)}^{1-x_n}}{\left(\begin{array}{c}n\\ y_1\end{array}\right){\theta }^{y_1}(1-\theta {)}^{n-y_1}}$$

$$\frac{{\theta }^{\sum x_i}(1-\theta {)}^{n-\sum x_i}}{\left(\begin{array}{c}n\\ \sum x_i\end{array}\right){\theta }^{\sum x_i}(1-\theta {)}^{n-\sum x_i}}$$

$$\frac{1}{\left(\begin{array}{c}n\\ \sum x_i\end{array}\right)}$$

由于 $y_1$ 等于 $n$ 次独立实验中 $1$ 的个数，所以这是选择 $y_1$ 个 $1$ 与 $n-y_1$ 个 $0$ 的一个特殊排列的条件概率，此条件概率不依赖 $\theta$ 的值