参数估计——《概率论及其数理统计》第七章学习报告（点估计）

前言

拖更了好久了，最近一直在忙别的科目，emmm改在期末前做一下第七章的学习报告。

因为教学的设置原因，这次只做了第七章参数估计中的点估计，后续如果有机会会出一期完整版。

教程和之前一样，浙大第四版+第五版。

MindMap

点估计分为 矩估计法 和 最大似然估计法 两种。

矩估计法

我们之前学过在第四章的时候接触过一点矩的相关知识，比如说原点矩、中心矩等。在这里，我们是用 样本矩 去估计 总体矩， 然后从而对相关参数的估计。

我们根据随机变量 X 的类型，即离散型还是连续型，来做划分。

若X 为 离散型：
$$\begin{gathered} 分布律为：P\{X=x0\}=p(x;{\theta }_1,{\theta }_2,...,{\theta }_k),这里的{\theta }_i,就是我们要求的待估计参数。 \\ 得到总体X的前k阶矩：{\mu }_l=E(X^l)=\sum _{x\in R_x}{x}^{l}p(x;{\theta }_1,{\theta }_2,...,{\theta }_k) \end{gathered}$$
若是 连续型：
$$\begin{gathered} 概率密度：f(x;{\theta }_1,{\theta }_2,...,{\theta }_k) \\ {\mu }_l=E(X^l)={\int }_{-\infty }^{\infty }{x}^{l}f(x;{\theta }_1,{\theta }_2,...,{\theta }_k)dx \end{gathered}$$
而样本矩则为
$$A_l=\frac{1}{n}\sum _{i=1}^n{X}_i^l$$
所谓的矩估计法 就是用样本矩去作为总体矩的 估计量。

解决步骤

1. 我们先列举出矩，这里列举矩的数量取决于我们待估计的参数的数量。
2. 然后计算出参数的关于矩的式子。
3. 用样本矩来替代上面的总体矩。
4. 最后记得估计的参数上面记得加一个尖角标。

最大似然估计法

我们还是分离散和连续来讨论。

离散型

分布律
$$\begin{gathered} P\{X=x\}=p(x;\theta ),\theta \in \Theta \\ 设X_1,X_2,...,X_n的一个样本值，我们可以知道X_i，i\in [1,k]的概率 \end{gathered}$$
可以得到
$$P\{X_1=x_1,X_2=x_2,...,X_n=x_n\}=L(\theta )=L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
这个函数L 就是 样本的 似然函数。

而之所以该方法叫 最大似然估计法，就是我们取的 θ的估计参数值，是一个最大参数值
$$L(x_1,x_2,...,x_n;\hat{\theta })=\underset{\theta \in \Theta }{\max }L(x_1,x_2,...,x_n;\theta )$$

连续型

概率密度
$$\prod _{i=1}^{n}f(x_i;\theta )$$
似然函数
$$L(\theta )=L(x_1,x_2,...,x_n;\hat{\theta })=\prod _{i=1}^{n}f(x_i;\theta )$$
如果我们取一个对数然后再求导，就可以得到
$$\frac{d}{d\theta }lnL(\theta )=0$$
就得到 对数似然方程。

为啥求导？因为要取最大值，所以求导数值为0的情况，当然这里忽略极小值和边界。

步骤上基本和矩估计差别不大，也是计算，只不过更多是在求导然后解决方程上。

多参数的情况下，只需要求偏导即可。