伍德里奇書上說 在回歸中多增加乙個自變數後,R方絕不會減小,通常會增大。 數學上怎麼解釋?

時間 2021-06-01 00:33:53

1樓:朱恩偉

線性回歸可以理解為最小化殘差平方和 SSR。

從最優化的角度看,把額外增加的自變數前係數約束為 0,則 SSR 和沒有增加該自變數時的 SSR 相同;去掉這個約束,新的 SSR 肯定不大於原 SSR。

又知,R方 = (1-SSR)/SST,所以自變數增加後,R方一定增加。

公式推導見:

為什麼回歸平方和一定隨變數增多而增大?

2樓:StableGenius

計量經濟學:從入門到入土

首先給出乙個短回歸方程: 然後再給出乙個長回歸方程: 我們來比較一下這兩個回歸的R方,如果能夠證明下面的R方不小於上面的R方,那就能夠解決題主的疑惑了。

給出R方的定義: 其中的 指的是回歸的殘差項, ,很容易發現在新增了新的自變數以後,R方只有殘差項的平方和 會發生變化。如果能夠證明第二個回歸方程的 比第乙個回歸方程的小,那麼我們就完成證明過程了。

我們知道: 自然就會有:

現在我們給出短回歸的 :

然後再給出長回歸的 : 根據我記錄的分塊矩陣求逆公式,可以給出: 式中的 ,,,, 。

現在來比較一下大小唄(敲公式太繁瑣,略了,具體看圖):

被略掉的關鍵步驟

如果長回歸方程中出現了完全多重共線性,我們就無法獲得最小二乘估計量了。所以,我們僅考慮不存在完全多重共線性的情形,那麼矩陣 為列滿秩矩陣,自然 為正定矩陣,進而有 為正定矩陣,所以 恆不小於零,於是我們就完成了命題的證明。即,在新增了若干個不會造成完全多重共線性的變數以後,R方不會減小。

啥時候R方會不變呢?那就是 的時候會保持不變。具體來說有兩種情形:①被解釋變數 是解釋變數 的線性組合;②後新增的回歸元與短回歸的殘差項彼此正交。