[學習]概論與統(tǒng)計課件第七章參數估計

1、引 言,上一章，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進一步學習統(tǒng)計推斷的基礎.,,參數估計問題,假設檢驗問題,,點估計,區(qū)間估計,,統(tǒng)計推斷 的基本問題,第七章 參數估計,參數的點估計 點估計的優(yōu)良性準則 區(qū)間估計,在實際問題中,我們根據問題本身的專業(yè)知識或以往的經驗或適當的統(tǒng)計方法,有時可以判斷總體分布的類型. 總體分布的參

2、數往往是未知的,需要通過樣本來估計.,例如 (1) 為了研究人們的市場消費行為,我們要先搞清楚人們的收入狀況. 假設某城市人均年收入X～N(?,?2). 但參數 ? 和 ?2 的具體值并不知道,需要通過樣本來估計. (2) 假定某城市在單位時間(譬如一個月)內交通事故發(fā)生次數 X ～ P(?). 參數?未知,需要從樣本來估計.,通過樣本來估計總體的參數,稱為參數估計,它是統(tǒng)計推斷的一種重要形式.,參數估計,點估計,區(qū)

3、間估計,（假定身高服從正態(tài)分布N(μ，0.12））,設這5個數是:,1.65 1.67 1.68 1.78 1.69,估計 為1.68，,這是點估計.,這是區(qū)間估計.,例如我們要估計某隊男生的平均身高.,現從該總體選取容量為5的樣本，我們的任務是要根據選出的樣本（5個數）求出總體均值 的估計. 而全部信息就由這5個數組成 .,從總體 X 中抽取樣本(X1, X2, …, X n ),,,,參數的 估計量,,

4、參數的 估計值,,設總體X的分布函數為F(x, ? ), ? 未知， ? 的取值 范圍稱為 參數空間 。記作? 。現估計? 。步驟如下：,參數估計問題的一般步驟,問題　如何構造統(tǒng)計量？,構造點估計的估計量的具體方法有多種，在此，介紹兩種方法。,1. 矩估計法,2. 極大似然法,1.1 矩估計法,矩估計法是英國統(tǒng)計學家K.皮爾遜最早提出來的 .,由辛欽大數定理 ,,若總體 的數學期望

5、有限,,則有,這表明 , 當樣本容量很大時 , 在統(tǒng)計上 , 可以用樣本各階矩去估計總體相應的各階矩.,用樣本各階矩去估計總體相應的各階矩。,------矩估計法的基本思想,按以上思想方法去獲得未知參數點估計的方法叫做矩法。,用矩法所確定的估計量稱為矩估計量，,相應的估計值稱為矩估計值，,矩估計量與矩估計值統(tǒng)稱為矩估計,矩估計法的理論依據:,大數定律,矩估計法的具體做法如下,設總體X的分布形式是已知的，?1, ?2…… ,?k是k個未

6、知參數，樣本(X1, X2, …, X n )來自總體 X。假定總體X的m階原點矩EXm存在，一般地，,都是這 k 個參數的函數,記為：,m=1,2, … ,k,取樣本的m階原點矩 作為總體的m階原點矩EXm的估計,得方程組：,—— 含未知參數?1,?2, ?,?k的方程組．,解方程組，得 k 個統(tǒng)計量：,——未知參數?1,?2, ?,?k 的矩估計量．,代入一

7、組樣本值得k個數,——未知參數?1,?2, ?,?k 的矩估計值．,例2：設樣本(X1, X2, …, X n )來自總體 X~N( ? ,? 2)， 求? 與? 2 的矩估計量。,解：,例1：設樣本(X1, X2, …, X n )來自總體 X，且總體的均值 ? 未知， 求 ? 的矩估計量。,解：,總體 X 的均值 ?矩估計量為一階樣本原點矩,?和σ2的矩估計量分別為樣本的一階原點矩和二階中心矩,例3

8、：設樣本(X1, X2, …, X n )來自總體 X~P( ?)， 求 ? 的矩估計量。,解：,另一方面：EX2 = DX + (EX)2 = ?+ ?2 ，所以：,,此例說明：矩估計可以不唯一。此時，一般取低階矩得到的那一個。,一階樣本原點矩作為 ? 的矩估計量,例4：設樣本(X1, X2, …, X n )來自總體 X，X服從[?1, ?2]上的均勻分布，求?1和 ?2 的矩估計量。,解：這是兩個參數的矩估計問題。,由,解得,

9、EX2 = DX + (EX)2,P148例4,例5：已知總體的X的均值EX= ?， 方差DX=? 2>0, 其中? 與? 2未知, 樣本(X1, X2, …, X n )來自總體 X，求? 與? 2的矩估計量。,解：,無論總體的分布形式如何，總體均值?和方差σ2的矩估計量分別為樣本均值和樣本二階中心矩。,矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 .,缺點是，當總體類型已知時，沒有充分利用分布提供的信息 . 一般場

10、合下, 矩估計量不具有唯一性 .,其主要原因在于建立矩法方程時，選取哪些總體矩用相應樣本矩代替帶有一定的隨意性 .,1.2 極大似然估計法,極大似然估計作為一種點估計方法最初是由,德國數學家高斯(Gauss)于1821年提出，英國統(tǒng)計,學家費歇爾(R.A.Fisher)在1922年作了進一步發(fā)展,使之成為數理統(tǒng)計中最重要應用最廣泛的方法之一.,Gauss,Fisher,極大似然估計法是建立在極大似然原理的基礎上的一個統(tǒng)計方法。,極大

11、似然原理的直觀想法是：一次試驗就出現,的事件有較大的概率. 即：一個試驗如有若干個,可能結果 ,若在一次試驗中，結果 出現,,則認為 出現的概率最大.,例如: 有兩外形相同的箱子,各裝100個球 一箱 99個白球 1 個黑球 一箱 1 個白球 99個黑球,現從兩箱中任取一箱, 并從箱中任取一球,結果所取得的球是白球.,問:

12、所取的球來自哪一箱？,答: 第一箱.,假定一個盒中黑球和白球兩種球的數目之比,,為 3:1，但不知哪種球多 ， 表示從盒中任取一球,是黑球的概率，那么 或 , 現在有放回地,從盒中抽3個球，試根據樣本中的黑球數 來估計,參數 .,解,,隨機變量 ，即,,例,估計 只需在 和 之間作出選擇

13、.,計算這兩種情況下 的分布律：,的估計,根據極大似然原理，應該尋找使事件發(fā)生的概率最大的參數值作為未知參數的估計值。,1. 似然函數,進行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數，把它們代入上式，則,設總體分布(以離散型為例)為P(X=x)=P(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2,

14、…, X n )來自總體 X，則樣本(X1, X2, …, X n )的概率分布函數為：,僅為（?1, ?2…… ,?k )∈Θ的函數。把它記作 并稱,為參數（?1, ?2…… ,?k )的似然函數。,進行一次具體的抽樣之后， (X1, X2, …, X n ) 得到一組觀察值 (x1, x2, …, x n )。是一組確定的數，把它們代入上式，則,若總體X為連續(xù)性隨機變量，

15、其密度函數為分布為f(x,?1, ?2…… ,?k), （?1, ?2…… ,?k )∈Θ未知，樣本(X1, X2, …, X n )來自總體 X，則樣本(X1, X2, …, X n )的密度函數為：,僅為（?1, ?2…… ,?k )∈Θ的函數。把它記作 并稱,為參數（?1, ?2…… ,?k )的似然函數。,可見，似然函數實質上是樣本的概率分布或密度函數。,2.極大似

16、然法,當給定一組樣本值時，似然函數L (?1, ?2…… ,?k )為參數(?1, ?2…… ,?k )的函數，極大似然估計法的思想就是：,選擇使似然函數L (?1, ?2…… ,?k )達到最大值的點,作為為參數(?1, ?2…… ,?k )的估計。,定義1.1,若存在樣本值 (x1, x2, …, x n )的函數,使似然函數L (?1, ?2…… ,?k )達到最大值，即,則稱,為參數?i的極大似然估計值；,稱相應的統(tǒng)計量,為?

17、i的極大似然估計量；,極大似然估計值和極大似然估計量統(tǒng)稱為極大似然估計。,3、極大似然估計（離散型總體）的步驟,,極大似然估計（連續(xù)型總體）的步驟,,下面舉例說明如何求參數的極大似然估計。,試求參數p的極大似然估計量,故似然函數為,例1：,試求參數p的極大似然估計量,故似然函數為,例1：,故似然函數為,例2：,似然函數為：,例3：,例4：,例5：,例6：,極大似然法求估計量的步驟：(一般情況下),說明：若似然方程（組）無解，或似然函數不

18、可導， 此法失效，改用其它方法。,例7：,,,方程組無解,點估計,,矩估計法,基本步驟,,,極大似然估計法,基本步驟,,第二節(jié) 點估計的優(yōu)良性準則,我們知道，一個未知參數的估計量可能不止一個。究竟采用哪個為好呢？這就涉及到用什么標準來評價估計量的問題。我們介紹三個常用的標準： 1）無偏性； 2）有效性； 3）一致性。,2.1 無偏

19、性,根據樣本推得的估計值與真值可能不同， 然而，如果有一系列抽樣構成各個估計，很合理地會要求這些估計的期望值與未知參數的真值相等，它的直觀意義是樣本估計量的數值在參數的真值周圍擺動，而無誤差，這就是估計量的無偏性。,定義2.1：設總體X的分布中含有未知參數? ?? ，? 為參數空間，樣本(X1, X2, …, X n)來自 X， ，若,例1：設

20、總體X 有期望 EX=? 與方差 DX=? 2，? 與? 2 都未知。 樣本(X1, X2, …, X n)來自 X，試證： (1) 樣本均值 是總體均值?的無偏估計； (2) 樣本方差S2是? 2的無偏估計； (3) 樣本標準差S不是標準差? 的無偏估計； (4) B2不是? 2的無偏估計。,證： 由定理知： (1),(2) ES2=? 2,這個結論與總

21、體的分布類型沒有關系。只要總體期望和方差存在， 樣本均值總是總體期望的無偏估計，樣本方差總是總體方差的無偏估計,(3) 由DS=ES2 - (ES)2=? 2 - (ES)2，得,所以，樣本標準差S不是標準差? 的無偏估計。,(4) 因,所以，二階樣本中心矩B2不是總體方差? 2的無偏估計。因此，通常把B2的分母修正為n-1獲得樣本方差S2作為總體方差? 2的估計。,例2：設總體X 的期望值 EX=?未知，方差 DX有限， 樣本

22、(X1, X2, …, X n)來自 X，試證：,所以，未知參數? 的無偏估計量往往有許多個， 在這些估計量中，當然是取值對于? 的離散程度越小的 越好，即方差越小的越好。,2.2 無偏估計的有效性,定義2.2：設總體X的分布中含有未知參數? ?? ，? 為參數空間，樣本(X1, X2, …, X n)來自 X，,解：DX1=DX=? 2,解：所謂線性估計是指,為樣本的線性函數，,2.3 一致性（相合性）,例：,樣本

23、均值 是總體均值μ的一致估計值.,結論1：,樣本方差 是總體方差 的一致估計值.,結論2：,要求：,當樣本容量 n 無限增大時，估計量能在某種意義下充分接近被估計的參數。,引言,前面，我們討論了參數點估計. 它是用樣本算得的一個值去估計未知參數. 但是，點估計值僅僅是未知參數的一個近似值，它沒有反映出這個近似值的誤差范圍，使用起來把握不大. 區(qū)間估計正好彌補了點估計的這個缺陷 .,§ 6.3

24、 區(qū)間估計,,譬如，在估計湖中魚數的問題中，若我們根據一個實際樣本，得到魚數 N 的極大似然估計為1000條.,若我們能給出一個區(qū)間，在此區(qū)間內我們合理地相信 N 的真值位于其中. 這樣對魚數的估計就有把握多了.,實際上，N的真值可能大于1000條，也可能小于1000條.,也就是說，我們希望確定一個區(qū)間，使我們能以比較高的可靠程度相信它包含真參數值.,,湖中魚數的真值,[ ],,這里所說的“可靠程度”是用概率來度量的

25、 ，稱為置信度或置信水平.,一、區(qū)間估計的基本概念,的可靠性。,置信區(qū)間表示估計結果的精確性，,而置信概率則表示這一結果,通常，置信系數（可靠性）采用 0.95, 0.99, 0.90 等值。,,未知參數θ的置信區(qū)間，稱為參數θ的區(qū)間估計。,對于已給的置信概率1-α，,根據樣本觀測值來確定,可見，,區(qū)間估計:,1.可靠度：要求區(qū)間以很大的可能性包含? 即：,2.精度：估計的精度要盡可能高, 即 區(qū)間的長度要盡可能小, 或

26、能體現此要求的其它準則。,在保證可靠度的條件下，盡量提高精度,可靠度和精度要統(tǒng)籌兼顧,,,在求置信區(qū)間時，要查表求分位點.,二、置信區(qū)間的求法,教材已經給出了概率分布的上側分位數（分位點）的定義，為便于應用，這里我們再簡要介紹一下.,標準正態(tài)分布的臨界值（? 分位點）,?2分布的臨界值（? 分位點）,例：,t 分布的臨界值（? 分位點）,例：,1. 397,例：,樞軸變量法求置信區(qū)間,(1) 找與?有關的統(tǒng)計量 T (一般T是?

27、的點估計),(2)找一個函數 I=I(T, ? ), I 的分布F與 ? 無關( I(T,? )為樞軸變量),(3)對給定的 1- ? ，找到F 的上分位點 和,三、正態(tài)總體未知參數的區(qū)間估計（樞軸變量法）,1、均值? 的區(qū)間估計,,(1) ? 2已知,設總體X ~N(? ,? 2)，樣本 (X1, X2, …, Xn) 來自總體X 。,所以 ? 的置信系數為1-? 的置信區(qū)間：,樞軸變量為,(2) ? 2未

28、知,所以 ? 的置信系數為1-? 的置信區(qū)間：,,樞軸變量為,例1：從大批燈泡中隨機地抽取5個,測得壽命為(單位: 小時)：1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N(? , 9)，求這批燈泡平均壽命的區(qū)間估計 （? = 0.05）。,解：方差? 2=9已知，利用公式：,,P(1727.37? ? ?1732.63)=0.95,注,,例2 ：從大批燈泡中隨機地抽取5個,測得壽命為(單位: 小時)：

29、1650, 1700, 1680, 1820, 1800，假定燈泡壽命X~N( ?, ? 2)，求這批燈泡平均壽命的區(qū)間估計 （? = 0.05）。,,解：方差? 2未知，利用公式：,,2、方差的區(qū)間估計,(1) ? 已知,? 2 的置信系數為1-?的區(qū)間估計為：,樞軸變量為,,,(2) ? 未知,? 2 的置信系數為1-?的區(qū)間估計為：,,樞軸變量為,查 ? 2 分布表得 ? 20.025(5)=12.833

30、， ? 20.975(5)=0.831。所以，得方差的區(qū)間估計為 [0.055 , 0.842]。,例3：對某塔的高度進行了 5 次測量，數據（單位：米）如下：90.5, 90.4, 89.7, 89.6, 90.2，設測量數據服從正態(tài)分布，求方差的區(qū)間估計（? = 0.05）。 (1) 假設塔的真實高度為 90米。 (2) 假設塔的真實高度未知。,解：(1) 利用公式：,計算得：,,

31、,(2) 利用公式：,,計算得：,查?2分布表得? 20.025(4)=11.143， ? 20.975(4)=0.484。 所以，得方差的區(qū)間估計為 [0.060 , 1.380]。,1、均值差? 1 -?2的區(qū)間估計,(1) ? 12 ,, , ?22都已知,令樞軸變量為,,所以 ? 1 -?2的置信系數為1-? 的置信區(qū)間：,解：由? = 0.1，查標準正態(tài)分

32、布表得 U?/2=U0.05=1.645因 n1=10，n2=12, ?12=25, ?22 =36，所以，,例1：設自總體X~N(?1 ,25)得到一容量為10的樣本，其樣本均值 ，自總體Y~N(?1 ,36)得到一容量為12的樣本，其樣本均值 , 并且兩樣本 相互獨立,求? 1 -?2的置信區(qū)間（? = 0.1）。,得? 1 -?2的置信區(qū)間為 [-8.06,-0.34]。,(2)

33、? 12 ,,=?22= ?2 ,但?2未知,令樞軸變量為 定理（5.10）,所以 ? 1 -?2的置信系數為1-? 的置信區(qū)間：,解：由抽樣的隨機性可推知樣本燈泡相互獨立，又因為它們的總體方差相等，所以由,得? 1 -? 2的置信區(qū)間為 [-36.53,76.53]。,例2：為比較A,B兩種型號燈泡的壽命， 隨機抽取A型燈泡5只，測得 ，標準差SA=28小時，隨機抽取B型燈泡5只，測得

34、 ，標準差SB=32小時，設總體都是正態(tài)的，并且由生產過程知它們的方差相等. 求? 1 -?2 的置信區(qū)間（? = 0.01）,因 n1=5，n2=7, SA=28, SB =32,而 ? = 0.01，查t-分布表得 t?/2(10)= t0.005(10 )= 3.169 , ， 所以,令樞軸變量為,2、兩個正態(tài)總體方差比 的區(qū)

35、間估計,所以方差比 的置信系數為1-?的置信區(qū)間為,例3：兩正態(tài)總體X~N(?1 ,?12)和Y~N(?2 ,?22)的參數均未知，依次取容量為25 ，15的兩獨立樣本，測得 ，樣本方差依次為6.38 ，5.15 ，求兩個正態(tài)總體方差比 的置信區(qū)間（? = 0.1）,所以方差比 的置信系數為1-?的置信區(qū)間為[ 0.527，2.639],解：因 n1=25，n2=15, S12/S22 =6.38/5.15=1.