計量筆記(三) | 線性模型的擬合優度檢驗

計量筆記專欄

計量筆記(一) | OLS估計量推導

計量筆記(二) | OLS估計量性質

前言

前面透過

計量筆記(一) | OLS估計量推導

和

計量筆記(二) | OLS估計量性質

我們已經推匯出了引數的OLS估計量的矩陣表示式即

$\pmb{\hat\beta} = (X^{\tau}X)^{-1}X^{\tau}Y$

，以及證明了在經典假設成立的條件下引數的OLS估計量的矩陣表示式是最佳線性無偏估計量，以及隨機擾動項

$\sigma^2$

的無偏估計

$\hat\sigma^2$

接下來就是要對線性模型進行檢驗，所謂檢驗可以分為經濟意義檢驗和統計準則檢驗，經濟意義檢驗就是判斷估計引數的正負號以及大小是否恰當，只有透過經濟意義檢驗才能進行統計準則檢驗。統計準則檢驗包括擬合優度檢驗（

檢驗）、迴歸模型總體顯著性檢驗（

檢驗）、迴歸係數的顯著性檢驗（

檢驗）

擬合優度檢驗

擬合優度是指多元線性迴歸估計模型對觀測值之間的擬合程度，直觀上理解是觀測值樣本點離擬合迴歸直線上有多近。高斯-馬爾可夫定理：線上性模型的經典假設下，引數的最小二乘估計量是線性無偏估計量中方差最小的估計量（BLUE估計量）。但是擬合程度有多好，需要構建擬合優度指標進行衡量

首先需要對#FormatImgID_7#進行總變差分解：

$\sum{(y_i-\overline{y})^2}= \sum{[(y_i-\hat{y_i})+(\hat{y_i}-\overline{y})]^2}= \sum{e_i^2}+2\sum{e_i(\hat{y_i}-\overline{y})}+\sum{(\hat{y_i}-\overline{y})^2} \\$

下面要先插入OLS的正交性問題

我們在

計量筆記(一) | OLS估計量推導

中得出

$X^{\tau}\pmb{e}=\pmb{0}$

，由於

$\hat{Y}=X\hat{\pmb{\beta}}$

，所以可以得出下式

$\hat{Y}^{\tau}\pmb{e} =(X\hat{\pmb{\beta}})^{\tau}\pmb{e} =\hat{\pmb{\beta}}^{\tau}X^{\tau}\pmb{e} =\hat{\pmb{\beta}}^{\tau}\cdot\pmb{0} =0 \\$

兩個向量之間的積為0，說明兩個向量之間是正交的，由此可見殘差向量

$\pmb{e}$

與常數向量

$\pmb{1}$

正交（殘差之和為0）、與解釋向量

$X^{\tau}$

正交，與擬合值向量

$\hat{Y}$

正交

如何理解殘差向量

$\pmb{e}$

與擬合值向量

$\hat{Y}$

正交？由

$Y=\hat{Y}+\pmb{e}$

可知，擬合值

$\hat{Y}$

為被解釋變數

向解釋變數超平面

的投影，而殘差

$\pmb{e}$

就是擬合值

$\hat{Y}$

到解釋變數超平面

的點到平面的垂直距離（妙）

言歸正傳，根據OLS的正交性，殘差向量與擬合值向量和常數向量正交

$\sum{e_i(\hat{y_i}-\overline{y})}=\sum{e_i\hat{y_i}}-\sum{e_i\overline{y}}=0$

由此，總變差方程式可以變成下式

$\sum{(y_i-\overline{y})^2}= \sum{(y_i-\hat{y_i})^2}+\sum{(\hat{y_i}-\overline{y})^2} \\$

$\sum{(y_i-\overline{y})^2}$

：總離差平方和，

Total Sum of Squares， TSS

，反映因變數觀測值總的變異程度

$\sum{(y_i-\hat{y_i})^2}$

：殘差平方和，

Residual Sum of Squares， RSS

，反映因變量回歸估計值總的變異程度

$\sum{(\hat{y_i}-\overline{y})^2}$

：迴歸平方和，

Explained Sum of Squares， ESS

，反映因變數觀測值與估計值之間的總變差，它是因變數觀測值總變差中由解釋變數解釋的那部分變差，也稱解釋變差

綜上分析可知，總離差平方和由殘差平方和和迴歸平方和兩部分構成。顯然，在總離差平方和一定時，迴歸平方和越大，殘差平方和就會越小，那麼因變量回歸估計值總的變異程度越能解釋因變數觀測值總的變異程度，即解釋變差的解釋能力越強，說明迴歸模型對觀測值的擬合程度越高

定義可決係數#FormatImgID_30#來描述擬合程度

$R^2=\frac{ESS}{TSS}=1-\frac{RSS}{TSS} \\$

定義可決係數

有一個顯著的特點：如果觀測值

不變，可決係數

將隨著解釋變數數目的增加而增大。

直觀理解是隨便加入一個解釋變數（即使是對觀測值

影響很小）也會增強解釋變差的解釋能力，即使這個變數與觀測值

無關（即係數為0），可決係數

起碼可以保持不變

那麼是否意味著加入越多解釋變數，對模型的擬合就越好呢？

在

計量筆記(二) | OLS估計量性質

隨機干擾項方差估計中，我們用

$\hat\sigma^2$

對

$\sigma^2$

進行估計，即

$\hat{\sigma}^2= \frac{\sum{e_i^2}}{n-k} \\$

有些解釋變數對觀測值

影響很小，增加這些變數對減少殘差平方和沒有多大作用，但是引入解釋變數的數目越多，

越大，如果殘差平方和減小不明顯，那麼

$\sigma^2$

估計值

$\hat\sigma^2$

就會增大，而

$\hat\sigma^2$

的增大對於推斷引數

$\pmb{\beta}$

的置信區間以及對於預測區間的估計，都意味著精度的降低。

為了解決這個問題，引入修正可決係數#FormatImgID_47#

$\overline{R}^2=1-\frac{RSS/(n-k)}{TSS/(n-1)} \\$

如果增加一個對觀測值

影響較大的變數，那麼殘差平方和減小比

減小更顯著，修正可決係數

$\overline{R}^2$

就會增大；如果增加一個對觀測值

影響較小的變數，那麼殘差平方和減小沒有

減小顯著，修正可決係數

$\overline{R}^2$

就會減小，說明不應該引入這個解釋變數

修正可決係數#FormatImgID_55#與可決係數#FormatImgID_56#有何聯絡

$\begin{aligned} \overline{R}^2 & = 1-\frac{n-1}{n-k}\frac{RSS}{TSS} \\ & = 1-\frac{n-1}{n-k}(1-R^2) \\ & = 1-\frac{n-1}{n-k}+\frac{n-1}{n-k}R^2 \\ & = \frac{n-1}{n-k}R^2-\frac{k-1}{n-k} \\ & = \frac{(n-k)+(k-1)}{n-k}R^2-\frac{k-1}{n-k} \\ & = R^2-\frac{k-1}{n-k}(1-R^2) \end{aligned} \\$