无偏估计 英语，调查估计英语

这篇文章大家都想知道关于无偏估计 英语和一些调查估计英语的相关题进行解，希望对各位网友们有所帮助。

“偏差-方差权衡”是ML/AI中经常提到的一个流行概念。这里我们用一个直观的公式来解释一下

MSE=偏差+方差

本文的目的不是证明该公式，而是作为一个切入点，了解统计学家如何以及为何以他们的方式构建公式，以及我们如何判断某些估计器比其他估计器更好的原因。

虽然用一个公式来概括细节很直观，但是不够详细，所以本文会详细解释为什么我说这个公式是正确的。

先决条件

如果你对一些核心概念有一些基本的了解，这个东西就更容易理解，所以这里有一个关键字快速列表

偏见；分配；估计；估算器；期望值EX；损失函数；意思是；模型；观察；范围；可能性；随机变量；样本；统计数据；方差VX

您应该对这些基本统计概念有一个基本概念。如果还有疑，请自行搜索。

EX和VX

期望值EX

期望值，写作EX或EX=x，是随机变量X的理论概率加权平均值。

可以通过将X可以取的每个潜在值x乘以对应的概率PX=x，然后组合起来进行加权乘法，比如对身高等连续变量使用，或者对离散变量求和，比如身高取Round精确到英寸Ex=xPX=x

如果我有一个公平的六面骰子，X可以以1/6的概率获取每个值，因此

X=1+1/621/6+31/6+41/6+51/6+61/6=35

或者35是X的概率加权平均值，没有人关心35不太可能出现在骰子结果中。

方差VX

将上面EX公式中的X替换为X-EX即可得出分布的方差

VX=E[X-EX]=[x-EX]PX=x

这是一个定义，所以这部分没有证明。我们来计算一下骰子的方差

VX=[x-EX]PX=x=x-35PX=x=1351/6+2351/6+3351/6+4351/6+5351/6+6351/6=2916666…

如果您处理连续数据，您会使用积分而不是总和，但想法是相同的。

VX公式的另一种替代方案

在下面的证明中，我们将对方差公式进行一些变换，用最右边的位替换中间的位

VX=E[X-EX]=E[X]-[EX]

以下是公式的推导过程

VX=E[X-EX]=E[X-2XEX+EX]=EX-2EXEX+[EX]=E[X]-[EX]

发生这种情况的方式和原因的关键是从第2行到第3行。使用括号执行此操作的原因是期望值是总和/积分，因此无论我们对常量总和/积分的括号做什么，也可以是完成了预期值。这就是为什么如果a和b是常数，则E[aX+b]=aEX+b。另外，EX本身也是一个常数，计算后并不是随机的，所以简单化简了EEX=EX。

关于符号的注释

估计值通常用简单的希腊字母表示，最常见的是theta。是一个随机变量，它将用我们的数据进行转换以获得估计的“测”。Estimate是一个常数，因此可以将其视为普通数字。为了避免混乱，提前说一下。

Estimand，我们想要估计的，一个常数。

估计器（我们用来获得估计值的公式）是一个随机变量，取决于您获得的数据。

估计_hat，一旦我们将数据输入估计器，最后就会出现一些数字，这就是估计。

现在为了知道我们的估计器是否有效，我们检查他的估计hat，期望它接近估计的目标。所以我们首先要介绍的是随机变量X=hat-的E

EX=Ehat-=Ehat-E=Ehat-E=Ehat-

这个量在统计中有一个特殊的名字偏差。

无偏估计量是Ehat=的估计量，这意味着我们可以期望我们的估计量平均而言是正确的。因为偏差是指“系统性偏离目标的结果”。或者更准确地说，偏差是我们的估计hat给出的值与我们估计的目标之间的预期距离

偏差=Ehat-

选择“”估计器

如果您喜欢无偏估计器，那么您可能知道UMVUE。这是一致最小方差无偏估计量的缩写，它指的是在无偏估计量中做出选择的标准如果它们都是无偏的，则选择方差最小的一个！

一种更通俗的说法是“如果有两个估计量具有相同的偏差，我们选择方差较小的一个”

还有许多不同的方法来选择“”估计器。因为“好的”属性包括无偏性、相对效率、一致性、渐近无偏性和渐近效率等。前两个是小样本属性，后三个是大样本属性，因为它们处理估计器随着样本大小增加的行为。如果随着样本量的增加最终达到了目标，则估算器应该与估算的数量保持一致。

效率也是这里值得关注的一个属性。不仅时间就是金，投资也是金。由于效率与方差有关，我们尝试将X=hat-代入方差公式

方差VX=E[X]-[EX]变为Vhat-=E[hat-]-[Ehat-]

方差衡量随机变量的散布，因此减去一个常数，您可以将参数theta视为常数，它只是平移所有内容而不改变散布，Vhat-theta=Vhat，因此

Vhat=E[hat-]-[Ehat-E]

现在我们重新排列这些项并使常数E=

E[hat-]=[Ehat-]+Vhat

现在再看看这个公式，因为它有一些特殊的东西和一个特殊的名字。记住偏见

偏差=Ehat—

当然可以在公式中找到吗！

E[hat-]=[偏差]+Vhat=偏差+方差

左边的东西是什么？这是一个有用的数量，但我们在命名它时并没有很有创意。由于“误差”是描述落地点hat与瞄准点之间差异的适当方式，因此E[hat-]=E。

E也称为均方误差！缩写为MSE。它的字面意思是E我们取均方误差的平均值。MSE是最流行的模型损失函数选择，它通常是我们学习的第一个损失，因此我们得到

MSE=偏差+方差

总结

我们已经完成了数学计算，希望这篇文章能够提供关于机器学习中偏差-方差权衡的另一种视角。这样我们在学习的时候就可以开拓更多的思路。

卡西科济尔科夫

对于一些无偏估计 英语和调查估计英语相关内容就讲到这里了，希望对各位有所助益。