2022-12-11第一节第一节 点估计点估计一、点估计问题的提法一、点估计问题的提法二、估计量的求法二、估计量的求法第七章第七章 参数估计参数估计2022-12-12一、点估计问题的提法一、点估计问题的提法 设总体设总体 X 的分布函数形式已知的分布函数形式已知,但它的一个或但它的一个或多个参数为未知多个参数为未知,借助于总体借助于总体 X 的一个样本来估计的一个样本来估计总体未知参数的值的问题称为总体未知参数的值的问题称为点估计问题点估计问题.,0,试试估估计计参参数数设设有有以以下下的的样样本本值值为为未未知知参参数数数数的的泊泊松松分分布布为为参参假假设设它它服服从从以以是是一一个个随随机机变变量量次次数数一一天天中中发发生生着着火火现现象象的的在在某某炸炸药药制制造造厂厂 X例例12022-12-13250126225490756543210 knkk火的天数火的天数次着次着发生发生着火次数着火次数解解),(X因为因为).(XE 所以所以用样本均值来估计总体的均值用样本均值来估计总体的均值 E(X).6060kkkknknx)162564223542901750(2501 .22.1.22.1)(的估计为的估计为故故 XE2022-12-14点估计问题的一般提法点估计问题的一般提法.,.,);(2121为相应的一个样本值为相应的一个样本值本本的一个样的一个样是是是待估参数是待估参数知知的形式为已的形式为已的分布函数的分布函数设总体设总体nnxxxXXXXxFX .),(),(2121 来估计未知参数来估计未知参数用它的观察值用它的观察值一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造nnxxxXXX.),(21的估计量的估计量称为称为 nXXX.),(21的估计值的估计值称为称为 nxxx.,简记为简记为通称估计通称估计 2022-12-15二、估计量的求法二、估计量的求法 由于估计量是样本的函数由于估计量是样本的函数,是随机变量是随机变量,故故对不同的样本值对不同的样本值,得到的参数值往往不同得到的参数值往往不同,如何如何求估计量是关键问题求估计量是关键问题.常用构造估计量的方法常用构造估计量的方法:(两种两种)矩估计法和最大似然估计法矩估计法和最大似然估计法.2022-12-161.矩估计法矩估计法,),;(,),;(,212121为待估参数为待估参数其中其中其分布律为其分布律为为离散型随机变量为离散型随机变量或或其概率密度为其概率密度为为连续型随机变量为连续型随机变量设设kkkxpxXPXxfX 的样本，的样本，为来自为来自若若XXXXn,21,阶矩存在阶矩存在的前的前假设总体假设总体kX ,21即即的函数的函数且均为且均为k 2022-12-17xxfxXEkllld),;()(21 (X为连续型为连续型),;()(21kRxlllxpxXEX 或或(X为离散型为离散型)klxRX,2,1,可能取值的范围可能取值的范围是是其中其中),2,1,(11klXnAlnilil 总总体体矩矩依依概概率率收收敛敛于于相相应应的的因因为为样样本本矩矩.的的连连续续函函数数率率收收敛敛于于相相应应的的总总体体矩矩样样本本矩矩的的连连续续函函数数依依概概2022-12-18矩估计法的定义矩估计法的定义 用样本矩来估计总体矩用样本矩来估计总体矩,用样本矩的连续函用样本矩的连续函数来估计总体矩的连续函数数来估计总体矩的连续函数,这种估计法称为这种估计法称为矩矩估计法估计法.矩估计法的具体做法矩估计法的具体做法:.,2,1,klAll 令令,21的方程组的方程组个未知参数个未知参数这是一个包含这是一个包含kk .,21k 解出其中解出其中.,2121量量这个估计量称为矩估计这个估计量称为矩估计估计量估计量的的分别作为分别作为用方程组的解用方程组的解kk 矩估计量的观察值称为矩估计值矩估计量的观察值称为矩估计值.2022-12-19.,),(,21的估计量的估计量求求的样本的样本是来自总体是来自总体未知未知其中其中上服从均匀分布上服从均匀分布在在设总体设总体baXXXXbabaXn解解)(1XE ,2ba )(22XE ,41222baba 2)()(XEXD ,1211 niiXnAba令令2224)(12)(Ababa ,112 niiXn例例22022-12-110 .)(12,22121AAabAba即即解方程组得到解方程组得到a,b的矩估计量分别为的矩估计量分别为)(32121AAAa ,)(312 niiXXnX)(32121AAAb .)(312 niiXXnX2022-12-111.,0,221222的矩估计量的矩估计量和和求求一个样本一个样本是是又设又设均为未知均为未知和和但但且有且有都存在都存在和方差和方差的均值的均值设总体设总体 nXXXX 解解)(1XE ,)(22XE ,22 2)()(XEXD .,2221AA 令令解方程组得到矩估计量分别为解方程组得到矩估计量分别为,1XA 2122AA niiXXn1221.)(112 niiXXn例例32022-12-112上例表明上例表明:总体均值与方差的矩估计量的表达式不因不总体均值与方差的矩估计量的表达式不因不同的总体分布而异同的总体分布而异.的矩估计量的矩估计量即得即得未知未知例例222,),(NX,X 2.)(112 niiXXn一般地一般地,11的的均均值值的的矩矩估估计计作作为为总总体体用用样样本本均均值值XXnXnii .)(1212的的方方差差的的矩矩估估计计作作为为总总体体用用样样本本二二阶阶中中心心矩矩XXXnBnii 2022-12-1132.最大似然估计法最大似然估计法属离散型属离散型设总体设总体 X)1(,),;(为待估参数为待估参数设分布律设分布律xpkXP,21的样本的样本是来自总体是来自总体 XXXXn.);(,121 niinxpXXX 的联合分布律为的联合分布律为则则似然函数的定义似然函数的定义)(可能的取值范围可能的取值范围是是其中其中 2022-12-114,2121的概率的概率取到观察值取到观察值则样本则样本nnxxxXXX发生的概率为发生的概率为即事件即事件nnxXxXxX ,2211,),;();,()(121 niinxpxxxLL.)(称为样本似然函数称为样本似然函数 L.,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx2022-12-115最大似然估计法最大似然估计法)(,21 Lxxxn选取使似然函数选取使似然函数时时得到样本值得到样本值,的估计值的估计值作为未知参数作为未知参数取得最大值的取得最大值的 ).;,(max);,(2121 nnxxxLxxxL 即即)(可能的取值范围可能的取值范围是是其中其中 ),(,2121nnxxxxxx 记为记为有关有关与样本值与样本值这样得到的这样得到的),(21nXXX,的最大似然估计值的最大似然估计值参数参数.的最大似然估计量的最大似然估计量参数参数 2022-12-116属连续型属连续型设总体设总体 X)2(,),;(为待估参数为待估参数设概率密度为设概率密度为xf,21的样本的样本是来自总体是来自总体 XXXXn.);(,121 niinxfXXX 的联合密度为的联合密度为则则似然函数的定义似然函数的定义)(可能的取值范围可能的取值范围是是其中其中 .,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx2022-12-117概率近似地为概率近似地为的的内内维立方体维立方体的的边长分别为边长分别为邻域邻域的的落在点落在点则随机点则随机点)d,d,d(),(),(212121nxxxxxxXXXnnn,d);(1iniixxf ),;();,()(121 niinxfxxxLL.)(称为样本的似然函数称为样本的似然函数 L).;,(max);,(2121 nnxxxLxxxL 若若),(21nxxx),(21nXXX,的最大似然估计值的最大似然估计值参数参数.的最大似然估计量的最大似然估计量参数参数 2022-12-118求最大似然估计量的步骤求最大似然估计量的步骤:;);();,()();();,()()(121121 niinniinxfxxxLLxpxxxLL或或写出似然函数写出似然函数一一;);(ln)(ln);(ln)(ln )(11 niiniixfLxpL或或取对数取对数二二最大似然估计法是由费舍尔引进的最大似然估计法是由费舍尔引进的.2022-12-119.,0d)(lnd,d)(lnd )(的的最最大大似似然然估估计计值值解解方方程程即即得得未未知知参参数数并并令令求求导导对对三三 LL 最大似然估计法也适用于分布中含有多个最大似然估计法也适用于分布中含有多个未知参数的情况未知参数的情况.此时只需令此时只需令.,2,1,0lnkiLi .),2,1(,iikik 的的最最大大似似然然估估计计值值数数即即可可得得各各未未知知参参个个方方程程组组成成的的方方程程组组解解出出由由 对数似然方程组对数似然方程组对数似对数似然方程然方程2022-12-120.,),1(21的最大似然估计量的最大似然估计量求求个样本个样本的一的一是来自是来自设设pXXXXpbXn,2121一个样本值一个样本值的的为相应于样本为相应于样本设设nnXXXxxx解解,1,0,)1(1 xppxXPXxx的分布律为的分布律为似然函数似然函数iixnixpppL 11)1()(,)1(11 niiniixnxpp例例42022-12-121),1ln(ln)(ln11pxnpxpLniinii ,01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的最大似然估计值解得解得 p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.2022-12-122.,),(22122的最大似然估计量的最大似然估计量和和求求的一个样本值的一个样本值是来自是来自为未知参数为未知参数设总体设总体 XxxxNXn解解的概率密度为的概率密度为X,e21),;(222)(2 xxfX 的的似然函数为似然函数为,e21),(222)(12 ixniL例例52022-12-123,)(21ln2)2ln(2),(ln12222 niixnnL ,0),(ln,0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 2022-12-124解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估计量分别的最大似然估计量分别和和故故2 ,X .)(1212XXnnii 它们与相应的矩它们与相应的矩估计量相同估计量相同.2022-12-125.,21的的最最大大似似然然估估计计量量求求的的一一个个样样本本值值是是来来自自总总体体未未知知其其中中上上服服从从均均匀匀分分布布在在设设总总体体baXxxxbabaXn解解),min(21)(nlxxxx 记记),max(21)(nhxxxx 的概率密度为的概率密度为X .,0,1),;(其他其他bxaabbaxf例例6,)()(21bxxabxxxahln 等价于等价于因为因为的函数的似然函数为的函数的似然函数为作为作为ba,2022-12-126 其他其他,0,)(1),()()(hlnxbxaabbaL有有的任意的任意于是对于满足条件于是对于满足条件baxbxahl,)()(,)(1)(1),()()(nlhnxxabbaL ,)(,),()()()()(nlhhlxxxbxabaL 取到最大值取到最大值时时在在即似然函数即似然函数的最大似然估计值的最大似然估计值ba,min1)(inilxxa ,max1)(inihxxb 的最大似然估计量的最大似然估计量ba,min1iniXa .max1iniXb 2022-12-127最大似然估计的性质最大似然估计的性质(),(),.(;)(),()().uuuuXf xfuuu 设设的的函函数数具具有有单单值值反反函函数数又又设设是是的的概概率率密密度度函函数数形形式式已已知知 中中的的参参数数的的最最大大似似然然估估计计 则则是是的的最最大大似似然然估估计计A证明证明,的最大似然估计值的最大似然估计值是是因为因为 ),;,(max);,(2121 nnxxxLxxxL 所所以以,21的的一一个个样样本本值值是是来来自自总总体体其其中中Xxxxn),(),(uuu 由于由于2022-12-1281212(,;()max(,;(),nnuL x xxuL x xxu 故故A.)()(的最大似然估计的最大似然估计是是于是于是 uuu 此性质可以推广到总体分布中含有多个未知此性质可以推广到总体分布中含有多个未知参数的情况参数的情况.如例如例5中中,的最大似然估计值为的最大似然估计值为2,)(1212XXnnii ),0()(2222 uuuu 有单值反函数有单值反函数函数函数的最大似然估计值为的最大似然估计值为故标准差故标准差.)(1212XXnnii 2022-12-129第三节第三节 估计量的评选标准估计量的评选标准一、问题的提出一、问题的提出二、无偏性二、无偏性三、有效性三、有效性四、相合性四、相合性2022-12-130一、问题的提出一、问题的提出 从前一节可以看到从前一节可以看到,对于同一个参数对于同一个参数,用不用不同的估计方法求出的估计量可能不相同同的估计方法求出的估计量可能不相同,如第一如第一节的例节的例2和例和例6.而且而且,很明显很明显,原则上任何统计量原则上任何统计量都可以作为未知参数的估计量都可以作为未知参数的估计量.问题问题(1)对于同一个参数究竟采用哪一个估计量好对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么评价估计量的标准是什么?下面介绍几个常用标准下面介绍几个常用标准.2022-12-131二、无偏性二、无偏性的一个样本，的一个样本，为总体为总体若若XXXXn,21 ,的分布中的待估参数的分布中的待估参数是包含在总体是包含在总体 X )(的取值范围的取值范围是是 .,)(,)(),(21的无偏估计量的无偏估计量是是则称则称有有且对于任意且对于任意存在存在的数学期望的数学期望若估计量若估计量 EEXXXn无偏估计的实际意义无偏估计的实际意义:无系统误差无系统误差.2022-12-132.1,)1()(121的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩总体服从什么分布总体服从什么分布论论的一个样本，试证明不的一个样本，试证明不是是又设又设存在存在阶矩阶矩的的设总体设总体knikiknkkkXnAkXXXXkXEkX 证证同分布，同分布，与与因为因为XXXXn,21)()(kkiXEXE 故有故有.,2,1,nik nikikXEnAE1)(1)(即即.k 例例12022-12-133.的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩故故kkkAk 特别的特别的:.)(1估计量估计量的无偏的无偏的数学期望的数学期望总是总体总是总体XEXX 不论总体不论总体 X 服从什么分布服从什么分布,只要它的数学期望存在只要它的数学期望存在,2022-12-134).()(1 ,0 ,122222即不是无偏估计即不是无偏估计有偏的有偏的是是的估计量的估计量则则均为未知均为未知若若都存在的总体都存在的总体方差方差对于均值对于均值 niiXXn 证证 niiXXn12221,22XA 22)(AE因为因为,22 22)()()(XEXDXE 又因为又因为,22 n)()(222XAEE 所以所以)()(22XEAE 例例22022-12-135,122 nn.2是有偏的是有偏的所以所以.,1 2偏的偏的所得到的估计量就是无所得到的估计量就是无乘乘若以若以 nn(这种方法称为这种方法称为无偏化无偏化).)(11222 EnnnnE221 Snn 因为因为,)(1112 niiXXn,22的无偏估计的无偏估计是是即即 S.22的估计量的估计量作作故通常取故通常取 S2022-12-136.),max(12,0,0,2121的无偏估计的无偏估计都是都是和和的样本，试证明的样本，试证明是来自总体是来自总体参数参数上服从均匀分布上服从均匀分布在在设总体设总体 nnXXXnnXXXXXX 证证)(2)2(XEXE 因为因为)(2XE,22 .2的无偏估计量的无偏估计量是是所以所以 X的概率密度为的概率密度为因为因为),max(21nhXXXX 其他其他,0,0,)(1 xnxxfnn例例32022-12-137xnxxXEnnhd)(01 所以所以,1 nn,1 hXnnE故有故有.),max(121的无偏估计量的无偏估计量也是也是故故 nXXXnn 2022-12-138.),min(,0,.,0,0,e1);(,2121的无偏估计的无偏估计都是都是和和试证试证样本样本的的是来自总体是来自总体又设又设其中参数其中参数其他其他概率密度概率密度的指数分布的指数分布服从参数为服从参数为设总体设总体 nnxXXXnnZXXXXXxxfX 证明证明)(XE因为因为,)(XE.的无偏估计量的无偏估计量是是所以所以 X例例4 42022-12-139,),min(21的指数分布的指数分布服从参数为服从参数为而而nXXXZn .,0,0,e);(min其他其他概率密度概率密度xnxfnx ,)(nZE 故知故知,)(nZE.的无偏估计量的无偏估计量也是也是所以所以 nZ 由以上两例可知由以上两例可知,一个参数可以有不同的无一个参数可以有不同的无偏估计量偏估计量.2022-12-140三、有效性三、有效性.,212121有效有效较较则认为则认为更密集更密集的附近较的附近较的观察值在真值的观察值在真值相同的情况下相同的情况下在样本容量在样本容量如果如果和和的两个无偏估计量的两个无偏估计量比较参数比较参数 n 由于方差是随机变量取值与其数学期望的由于方差是随机变量取值与其数学期望的偏离程度偏离程度,所以无偏估计以方差小者为好所以无偏估计以方差小者为好.),()(,),(),(212121222111有效有效较较则称则称若有若有的无偏估计量的无偏估计量都是都是与与设设 DDXXXXXXnn 2022-12-141 .,1有效有效较较的无偏估计量的无偏估计量时时试证当试证当nZXn 证明证明,)(2 XD由于由于,)(2nXD 故有故有,)(22nZD 又因为又因为,)(2 nZD故有故有 ,1时时当当 n),()(XDnZD .有效有效较较的无偏估计量的无偏估计量故故nZX 例例5 (5 (续例续例4)4)2022-12-142 .,2,max124122121有效有效较较时时现证当现证当计量计量的无偏估的无偏估都是都是和和中已证明中已证明在例在例 nXXXnnXn证明证明)(4)(1XDD 由于由于,3)(42nXDn hXnnDD1)(2 ,12hXDnn ,1)(nnXEh 又因为又因为例例6 (续例续例3)2022-12-143xxnXEnnhd)(102 ,22 nn22)()()(hhhXEXEXD ,)2()1(22 nnn,)2(1)(22 nnD故故),()(,212 DDn 所以所以又又 .12有效有效较较 2022-12-144四、相合性（一致性）四、相合性（一致性）.,),(,),(2121的相合估计量的相合估计量为为则称则称依概率收敛于依概率收敛于时时当当若对于任意若对于任意的估计量的估计量为参数为参数若若 nnXXXnXXX 例如例如,)()1(,的的相相合合估估计计量量阶阶矩矩的的总总体体阶阶矩矩是是样样本本由由第第六六章章第第二二节节知知kkXEkXkk .),(),(,),(212121的相合估计量的相合估计量是是的矩估计量的矩估计量则则函数函数为连续为连续其中其中进而若待估参数进而若待估参数 nnnAAAgggg 2022-12-145 .1 11 ,:2122122估计量估计量的相合的相合都是总体方差都是总体方差中心矩中心矩及样本的二阶及样本的二阶样本方差样本方差量量的相合估计的相合估计是总体均值是总体均值样本均值样本均值试证试证 niiniiXXnBXXnSX证明证明 由大数定律知由大数定律知,0 ,11lim 1 niinXnP有有.1 1的相合估计量的相合估计量是是所以所以 niiXnX例例72022-12-146 niiXXnB122)(1 又又 niiiXXXXn122)2(1 niiXXn1221,22XA )(2是样本二阶原点矩是样本二阶原点矩A由大数定律知由大数定律知,)(12122XEXnAnii依概率收敛于依概率收敛于 ,)(11XEXnXnii依概率收敛于依概率收敛于 2022-12-147222 XAB 故故 )()(22XEXE 依概率收敛于依概率收敛于,2 .22的相合估计量的相合估计量是是所以所以 B ,11lim nnn又又 .1 222的相合估计量的相合估计量也是也是所以所以 BnnS 2022-12-148作业：作业：书面：书面：P173:2(1),4,10,13.熟练掌握熟练掌握两种估计法两种估计法;估计量的三种评选标准估计量的三种评选标准。