1樓:朱恩偉
線性回歸可以理解為最小化殘差平方和 SSR。
從最優化的角度看,把額外增加的自變數前係數約束為 0,則 SSR 和沒有增加該自變數時的 SSR 相同;去掉這個約束,新的 SSR 肯定不大於原 SSR。
又知,R方 = (1-SSR)/SST,所以自變數增加後,R方一定增加。
公式推導見:
為什麼回歸平方和一定隨變數增多而增大?
2樓:StableGenius
計量經濟學:從入門到入土
首先給出乙個短回歸方程: 然後再給出乙個長回歸方程: 我們來比較一下這兩個回歸的R方,如果能夠證明下面的R方不小於上面的R方,那就能夠解決題主的疑惑了。
給出R方的定義: 其中的 指的是回歸的殘差項, ,很容易發現在新增了新的自變數以後,R方只有殘差項的平方和 會發生變化。如果能夠證明第二個回歸方程的 比第乙個回歸方程的小,那麼我們就完成證明過程了。
我們知道: 自然就會有:
現在我們給出短回歸的 :
然後再給出長回歸的 : 根據我記錄的分塊矩陣求逆公式,可以給出: 式中的 ,,,, 。
現在來比較一下大小唄(敲公式太繁瑣,略了,具體看圖):
被略掉的關鍵步驟
如果長回歸方程中出現了完全多重共線性,我們就無法獲得最小二乘估計量了。所以,我們僅考慮不存在完全多重共線性的情形,那麼矩陣 為列滿秩矩陣,自然 為正定矩陣,進而有 為正定矩陣,所以 恆不小於零,於是我們就完成了命題的證明。即,在新增了若干個不會造成完全多重共線性的變數以後,R方不會減小。
啥時候R方會不變呢?那就是 的時候會保持不變。具體來說有兩種情形:①被解釋變數 是解釋變數 的線性組合;②後新增的回歸元與短回歸的殘差項彼此正交。