統計學筆記|數理統計知識點概要（5）

（哇又是斐波那契數列，但不是89贊也不是8贊而是5贊！！！）

大家好，這一節我們將對假設檢驗的剩下一些應用的內容進行簡單的概括介紹，如果篇幅允許我們會繼續介紹方差分析的相關內容。

提供之前筆記的目錄：

統計學筆記|數理統計知識點概要（1）

統計學筆記|數理統計知識點概要（2）

統計學筆記|數理統計知識點概要（3）

統計學筆記|數理統計知識點概要（4）

下面我們開始本節的內容。

假設檢驗收尾

分佈擬合檢驗

單個分佈的

$\chi^2$

擬合檢驗法

分佈族的

$\chi^2$

擬合檢驗法

偏度，峰度檢驗法

假設檢驗問題的p值法

方差分析引入

單因素實驗的方差分析（上）

基本概念

平方和的分解

小結

分佈擬合檢驗

這又是另一個話題了，我們在之前做假設檢驗的時候，目標總是在討論我們是否需要接受某一個引數為某一個值這樣一個問題，在這基礎上我們討論了第Ⅰ類錯誤和第Ⅱ類錯誤。但是大前提是我們

都是在假設它們是正態分佈

（雖然現實生活中這個假設也近似可以滿足）！如果大前提也給你挖掉呢？

所以我們也就很明白了，分佈擬合檢驗這個方法就是用來對付這種情況的。現實中，我們有的時候連總體的分佈函式都不知道，這個時候使用這個方法，結合假設檢驗的思想，我們就能解決這個問題。

單個分佈的

$\chi^2$

擬合檢驗法

這裡的假設我們設定成這樣：

$H_0:\mathrm{the ~ distribution ~ of ~ }X ~ \mathrm{ is ~ }F(x)~ \\ H_1:\mathrm{the ~ distribution ~ of ~ }X ~ \mathrm{ is ~ not ~}F(x)~ \\ \mathrm{(where ~ F(x) ~ does ~ not ~ have ~ unknown~ parameters ~)}$

（我們後面會把

的條件繼續剝奪，再討論）

下面我們來定義檢驗統計量

我們採用

大數定律

的思想。首先把

下的

可能取值的總體

$\Omega$

分為互不相交的子集

$A_1,A_2,\cdots,A_k$

，並且以

記錄樣本觀察值

$x_1,x_2,\cdots,x_k$

中落在

的個數。那麼這樣的話，我們就有了

次獨立試驗中事件

發生的頻率

$\frac{f_i}{n}$

。

另一方面，我們根據我們的假設的分佈，可以得到

發生的機率，並且假設為

。因此根據大數定律的思想，在n取得足夠大的時候，我們有理由相信，只要

真的符合這個分佈，那麼

頻率與機率的值就不會差得太多

。所以我們最後採用

$\sum\limits_{i=1}^{k}C_i(\frac{f_i}{n}-p_i)^2$

這個統計量，很明顯

如果這個值越小，說明我們的假設越正確

（如何定義“越正確”，就是顯著性水平或置信水平的事情了）。

那麼

是什麼呢？為了讓這個統計量能夠有一些方便我們應用的性質，著名統計學家Pearson證明了：如果

，那麼就會有以下的定理：

Theorem:Pearson

統計量

$\sum\limits_{i=1}^{k}\frac{n}{p_i}(\frac{f_i}{n}-p_i)^2$

在n足夠大的時候近似服從分佈

$\chi^2(k-1)$

這個證明超出了我們的範圍，此略。

因此這個統計量

$\chi^2=\sum\limits_{i=1}^{k}\frac{f_i^2}{np_i}-n$

就是我們選取的檢驗統計量（請自己嘗試著去化簡原式）

下面我們討論這個假設檢驗的拒絕域。之前我們討論過，

$\chi^2$

不能太大，也就是說拒絕域的形式應該是

$\chi^2 \ge G$

，而根據我們之前的對假設檢驗的討論和這裡

$\chi^2$

滿足的分佈，我們很容易得到

$\chi^2 \ge \chi_\alpha^2(k-1)$

，這就是它的拒絕域。

這個方法我們叫

#FormatImgID_29#檢驗法

。

這個方法也不是十全十美的，我們要求分組的時候需要滿足

$n \ge 50$

，

$np_i \ge5$

的限制，否則對於

的分組就需要進行合併，直到滿足要求。

在實際生活中，我們的分組

往往都是很顯然的

，因此不需要太擔心如何分組的問題。

這個部分具體可以詳見Pearson‘s chi-squared test

我們舉一個書上的例子。

Example

：

我們現在研究牛的毛色和牛角的有無，兩對獨立的性狀。使用黑色無角牛與紅色有角牛進行雜交，得到黑色五角牛192頭，黑色有角牛78頭，紅色無角牛72頭，紅色有角牛18頭。問我們可不可以認為這兩對性狀是否滿足

的雜交比例（置信性水平為0。1）。

這個問題的類顯然別人已經幫你分好了：四種牛的性狀，我們列舉如下：

同樣的我們的假設自然就是

的比例。它的分佈律是

那麼我們把各類的資料整理一下，可以得到這一個表

因為這個是四類，所以服從的分佈自由度為3。我們現在得到了和為363。37，所以我們的

$\chi^2=363.37-n=363.37-360=3.37$

，又

$\chi_{0.1}^2(3)=6.251>3.37$

。所以我們可以認為假設正確。

分佈族的

$\chi^2$

擬合檢驗

我們這裡進一步深化，在上一個問題中，我們的分佈函式

（請注意我們說的是

累積分佈函式

）是沒有未知引數的。但是生活中，有的時候你並不知道分佈函式，也不知道引數。這個時候我們的分佈函式就要變成

$F(x;\theta_1,\cdots,\theta_r)$

，其中

$\theta_1,\theta_2,\cdots,\theta_r$

是一系列未知引數。

不過我們的做法實際上是沒有太大變化的，我們對於未知引數先使用MLE（

極大似然估計法

），利用樣本得到它們的估計值，然後進行並組處理（因為有的組可能並不滿足我們的要求，需要合併），再構造相似的統計量

$\chi^2=\sum\limits_{i=1}^{k}\frac{f_i^2}{n\hat p_i}-n$

（這裡

$\hat p_i$

是透過MLE得到的估計量），同樣有點變化的是，這個統計量服從的分佈變為了

$\chi^2(k-r-1)$

（因為多了r個未知引數，要多r個方程限制，所以自由度就少了r個，

當然這是感性上的理解

），所以拒絕域也就變成了

$\chi^2 \ge \chi^2_\alpha(k-r-1)$

。

由於方法幾乎相同，這裡就不再給出例子了。很多人容易犯的一個錯誤是：在判斷最後，做出決策是接受假設

時，認為

服從的就是那個給定估計引數的分佈

。這是不對的，MLE只是給出了機率最大的那個，但是實際上這個分佈的引數到底是什麼我們並不清楚，因此武斷的斷言那個函式的引數就是我們透過MLE得到的引數是

不科學的

。因此我們只能認為

這個分佈確實符合我們在假設 #FormatImgID_52# 中給定的機率分佈，並且認為存在一系列引數，它符合我們的樣本

。

偏度，峰度檢驗

這一部分的內容書本上是有標記的，我們老師也跳過了這個部分，但是R中是存在這一方面的函式的，因此我們簡單的介紹一下，如果不需要的可以跳過這一部分。

出現這種檢驗的原因是：根據CLT，正態分佈毫無疑問是實際生活中最廣泛存在的一種分佈，在剛才的

$\chi^2$

檢驗中，統計學家發現，這種方法在檢驗正態分佈的時候，犯第Ⅱ類錯誤的機率較大。因此科學家就又想出了這一種檢驗方法，專門對付正態分佈。

偏度和峰度指的是X的標準化變數的三階和四階矩。具體來說就是

$\upsilon_1=\frac{E[(X-E(X))^3]}{(D(X))^{3/2}},\upsilon_2=\frac{E[(X-E(X))^4]}{(D(X))^2}$

，並且當

服從正態分佈的時候，

$\upsilon_1=0,\upsilon_2=3$

（這一部分是機率論的內容，不懂的可以翻翻書）

回到樣本，我們設

$X_1,X_2,\cdots,X_n$

為來自總體

的樣本，那麼

$\upsilon_1,\upsilon_2$

的矩估計量為

$G_1=B_3/B_2^{3/2},G_2=B_4/B_2^2$

，其中

為樣本

階中心矩，並且分別稱

為樣本偏度和樣本峰度。

關於

，當n充分大的時候，有這樣的兩個結論：

$G_1 \sim N(0,\frac{6(n-2)}{(n+1)(n+3)}),G_2 \sim N(3-\frac6{n+1},\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)})$

（當然，是近似意義下的）

對這兩個變數做標準化

$U_1=\frac{G_1}{\sigma_1},U_2=\frac{(G_2-\mu_2)}{\sigma_2}$

（其中

$\sigma_1=\sqrt{\frac{6(n-2)}{(n+1)(n+3)}},\sigma_2=\sqrt{\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)}},\mu_2=3-\frac6{n+1}$

）

因為

依機率收斂為

$\upsilon_1,\upsilon_2$

，所以直觀來看，

的觀察值

不應該過大（我這裡跳過了一步，請大家自己補上）。那麼根據這個討論與假設檢驗的原本思路，我們容易得到拒絕域的形式為

$|u_1|\ge k_1,|u_2|\ge k_2$

，並且為了防止犯第Ⅰ類錯誤，我們根據習慣規定

$P_{H_0}\{|U_1| \ge k_1\}=\frac{\alpha}{2},P_{H_0}\{{|U_2|} \ge k_2\}=\frac{\alpha}{2}$

（我們在前面幾節對於這一個問題的邏輯解釋得很清楚，如果還有點迷糊的話翻一翻前兩節的筆記）。由於在假設

下，它們服從正態分佈，因此我們可以得到

$k_1=k_2=z_{\alpha/4}$

，也就是說

$|u_1| \ge z_{\alpha/4},|u_2| \ge z_{\alpha/4}$

。

在實際的例子中，思路並不難懂，有的時候卻不會算，這裡為了方便計算，給出樣本原點矩與中心矩的關係式：

$\begin{cases} B_2=A_2-A_1^2 \\ B_3=A_3-3A_2A_1+2A_1^3\\ B_4=A_4-4A_3A_1+6A_2A_1^2-3A_1^4 \end{cases}$

還有一種有趣的檢驗方法叫做

秩和檢驗

，秩和檢驗雖然有效，但是它的前提條件有的時候並不能很好的得到滿足。所以在實際生活中我們也並不是特別多的會涉及到它。因此我們這裡不再提供這方面的解釋，感興趣的可以參考Mann-Whitney U test

假設檢驗問題的臨界值法

臨界值又稱

p值

，我們直接給出它的定義，大家就明白它是什麼了。

Definition:p-value

由檢驗統計量的樣本觀察值得出的原假設可被拒絕的最小顯著性水平被稱為假設檢驗問題的p值。

這裡我們舉個例子，在一個正態分佈的機率函式中，我們做右邊檢驗的時候得到了樞紐量根據樣本的值

$\theta_0$

（並且為了方便起見，我們假設

$\theta_0>0$

），那麼我們現在根據這個值計算

$P\{Z \ge \theta_0\}$

，這個值的結果就是

$1-\Phi(\theta_0)$

，也就是p值。

想像一下，如果p值比顯著性水平

$\alpha$

小，那麼就說明我們的

$\theta_0$

已經比我們的

$z_\alpha$

要大了（因為

增大，

$\Phi(\theta_0)$

減小，也就是

$\theta_0$

會減小，所以原來的

$\theta_0$

比我們的

$z_\alpha$

大），所以根據右邊檢驗的拒絕域，這個值應該讓我們做出拒絕

的決策。

實際上我們根據p值和顯著性水平

$\alpha$

，很容易得到

p值

$\le \alpha$

，那麼在顯著性水平

$\alpha$

下拒絕

。

p值

$>\alpha$

，那麼接受

。

事實上p值的規定在不同的假設檢驗問題中也有不同的定義，但是我這裡不詳細說的原因是：我們只需要看到的是

p值的大小。而這些可以讓R告訴我們

。從另一方面也說明了，p值表示評價反對原假設的依據的強度。

p越小，越顯著

。

到此，假設檢驗的概述算是告一段落了。

方差分析

方差分析可以認為是假設檢驗的一種應用。

從wikipedia抄下來的定義如下

Definition：ANOVA Analysis of variance （ANOVA） is a collection of statistical models used to analyze the differences among group means and their associated procedures （such as “variation” among and between groups）， developed by statistician and evolutionary biologist Ronald Fisher。 In the ANOVA setting， the observed variance in a particular variable is partitioned into components attributable to different sources of variation。 In its simplest form， ANOVA provides a statistical test of whether or not the means of several groups are equal， and therefore generalizes the t-test to more than two groups。 ANOVAs are useful for comparing （testing） three or more means （groups or variables） for statistical significance。 It is conceptually similar to multiple two-sample t-tests， but is more conservative （results in less type I error）［citation needed］ and is therefore suited to a wide range of practical problems。方差分析是一系列被用來分析組均值和他們的相關過程（比如在組內，組間過程中出現的誤差）的統計模型，被統計學家和進化生物學家R。Fisher發展起來。在方差分析中，一個特定的變數，它的觀察到的誤差會被分割為不同部分的元素，每一部分用來解釋一種來源的方差。在它的最簡單的形式中，方差分析提供一種“幾組的均值是否相等”的統計檢驗，因此也將t檢驗推廣到了多於兩組的情況。方差分析在比較三組及以上的均值的統計顯著性上非常有用。它在概念上與多元雙樣本t檢驗相似，但更加保守（更少犯第Ⅰ類錯誤），因此也更加適合於解決大範圍資料量的實際問題。

我們簡要的對

方差分析

開個頭。

單因素試驗的方差分析（上）

基本概念引入

首先我們需要給出幾個定義。

我們在之前的統計推斷問題中，經常需要圍繞分佈，或者分佈裡的某些引數去做文章。在這裡我們把它具象，稱它為

指標

。考察的指標我們一般叫

試驗指標

，影響它的條件稱為

因素

。因素我們一般認為是可控因素（也就是說我們的問題一般不考慮不可抗力）。因素所處的狀態稱為

水平

，如果一項試驗過程中只有一個因素在改變，我們稱為

單因素試驗

，多於一個就稱為

多因素試驗

。

拿書上的一個問題舉個例子。比如說，生產一個鋁合金板，我們要判斷三種生產的機器在生產鋁合金板的厚度上是否有差異。為此我們做了十組獨立的試驗。這個時候，試驗指標就是薄板厚度，機器為因素，不同的三臺機器為不同的水平。在它的定義中也說了，這種試驗，如果我們要做假設檢驗，那麼假設就是它們的均值（鋁合金板的厚度）相等。如果在給定的顯著性水平下，我們拒絕了這個假設，就說明這個因素影響了這個指標（且影響顯著）。

下面我們開始討論單因素試驗的方差分析。

我們要注意的是

，它的公式

不再

是之前的老陳菜了，而且新來的變換和公式也略有複雜，所以……認真看吧。

我們首先假設一個因素

有s個水平

$A_1,A_2,\cdots,A_s$

，我們在水平

下進行

次獨立試驗，就會得到下表的結果

為了方便理解，我們就認為每個水平是一臺機器，那麼相當於s臺機器在互相比較。

顯然，單因素試驗的方差分析就是為了分析出每一個水平它對應的指標是否有變化。也就是說，我們的檢驗的假設是

$\begin{cases} H_0:\mu_1=\mu_2=\cdots=\mu_s \\ H_1:\mu_1,\mu_2,\cdots,\mu_s ~\mathrm{do~ not~ equal ~to~ one ~number} \end{cases}$

同樣的，用來做比較的機器，除了指標層面，其餘的誤差都應該差不多（實際生活中，畢竟都是一個模子刻出來的），所以我們假設它們每一個水平下的多次獨立試驗都具有相同方差

$\sigma^2$

。均值則分別為

$\mu_1,\mu_2,\cdots,\mu_s$

。並且認為不同水平相互獨立，服從分佈

$N(\mu_j,\sigma^2_j)$

，顯然，這些引數都是未知的。

注意到，

$X_{ij}-\mu_j \sim N(0,\sigma^2)$

，所以我們將這個數字記為

$\varepsilon_{ij}$

，表示

隨機誤差

的意思。這樣的話，模型就變成了

$\begin{cases} X_{ij}=\mu_j+\varepsilon_{ij} \\ \varepsilon_{ij} \sim N(0,\sigma^2) \\ i=1,2,\cdots,n_j,j=1,2,\cdots,s \end{cases}$

。

我們繼續探索。因為我們的很重要的一個問題是解決這個假設檢驗的問題。所以我們需要修改一下我們的式子，讓這個問題有辦法去解決。

首先我們記下總平均

$\mu=\frac1n\sum\limits_{j=1}^sn_j\mu_j$

，然後我們再引入

$\delta_j=\mu_j-\mu$

，這個時候就有

$\sum\limits_{j=1}^{s}n_j\delta_j=0$

，

$\delta_j$

表示總均值與這個水平

下的均值的差異，我們稱它為

效應

。也就是說，假如有s臺機器，那麼可能在樣本檢驗的過程中，某一臺機器的打出來的鋁合金板的厚度都高那麼一點點，那麼它就為增長平均值作出了貢獻。也就是說它有一定的正效應。（就和拉高班平均，拉低智商是一個理解）

這樣的話，模型就變成了

$\begin{cases} X_{ij}=\mu+\delta_j+\varepsilon_{ij} \\ \varepsilon_{ij} \sim N(0,\sigma^2) \\ i=1,2,\cdots,n_j,j=1,2,\cdots,s\\ \sum\limits_{j=1}^{s}n_j\delta_j=0 \end{cases}$

，假設也就變成了

$\begin{cases} H_0:\delta_1=\delta_2=\cdots=\delta_s =0\\ H_1:\delta_1,\delta_2,\cdots,\delta_s ~\mathrm{do~ not~ all ~ equal ~to~ zero} \end{cases}$

到這裡之後呢？怎麼辦呢？

平方和的分解

這裡必須要佩服一下那些statistician們……因為它們發現了

平方和的分解

這一有趣的性質。

引入

總偏差平方和

$S_T=\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X)^2$

，其中

$\bar X =\frac1n\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}X_{ij}$

。

顯然，它考慮了所有因素的平方和，因此也稱它為

總變差

。

我們深入到每一個具體的水平下。我們記

$\bar X_{.j}=\frac1{n_j}\sum\limits_{i=1}^{n_j}X_{ij}$

，我們在之後可以看到這是一個過渡式。

然後我們將

寫成這樣的形式

$S_T=\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}[(X_{ij}-\bar X_{.j})+(\bar X_{.j}-\bar X)]^2$

$=\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X_{.j})^2+\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(\bar X_{.j}-\bar X)^2+2\sum\limits_{j=1}^s\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X_{.j})(\bar X_{.j}-\bar X)$

我們注意到

$2\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X_{.j})(\bar X_{.j}-\bar X)=2\sum\limits_{j=1}^{s}(\bar X_{.j}-\bar X)[\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X_{.j})]=0$

（中括號的一項是0，我相信你們能看出來）

所以我們就把這個平方和分解成了兩個獨立的平方和，滿足

並且為了區分，我們設

$S_E=\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(X_{ij}-\bar X_{.j})^2,S_A=\sum\limits_{j=1}^{s}\sum\limits_{i=1}^{n_j}(\bar X_{.j}-\bar X)^2=\sum\limits_{j=1}^{s}n_j\bar X_{.j}^2-n\bar X^2$

可以看出，

強調的是個體與水平均值之間的誤差，強調的是個體誤差，而

則強調的是水平誤差。所以它們的名字也不一樣，

稱為

誤差平方和

，

為

效應平方和

。

雖然我們已經有了這個優美的等式，但是我們之後還需要匯出一些有趣的東西，不過篇幅夠了，我覺得可以留到下一節啦~~

小結

戛然而止的感覺怎麼樣2333？因為方差分析的原理和推導過程都比較複雜，是一種全新的思想。所以這裡給大家先引入一下啦，然後在下一節的時候我們會繼續說這些內容，將單因素和雙因素下的方差分析結合在一起去說，會很有趣的吧……

在下一節中我們會結束方差分析的內容，如果可以的話，或許還會引入一下回歸分析。

持續感謝大家的關注~~我會盡力讓文章能夠有自己的思路，並且易於被大家接受~

————————————————廣告———————————————————————

想要更多方面的知識分享嗎？歡迎關注專欄：一個大學生的日常筆記。我鼓勵和我相似的同志們投稿於此，增加專欄的多元性，讓更多相似的求知者受益~

小蜜蜂問答

小蜜蜂問答

統計學筆記|數理統計知識點概要（5）

推薦文章

小蜜蜂問答

小蜜蜂問答

統計學筆記|數理統計知識點概要（5）

相關文章

怎麼提交心願單？

胎教冥想引導詞？

所有的物理學公式都是有前提條件做系統約束的，有沒有沒有限制的萬有定律？

所有的物理學公式都是有前提條件做系統約束的，有沒有沒有限制的萬有定律？

推薦文章