簡單線性迴歸分析用於探討單一自變數及依變數(連續變數)之間的關係,本章將仔細說明其使用方式及SPSS範例推演。

一、使用狀況

迴歸 (regression) 方法是一個分析變數和變數之間關係的工具,主要在探討自變數(x)與依變數(y)之間的線性關係,透過迴歸模型的建立,可以推論預測研究者感興趣的變數(y)。

簡單線性迴歸: 利用單一自變數(x)去預測一個依變數(y)。

二、前提假設
1.假設模型:

其估計式為:Y=B0+B1X1

2.誤差項需滿足三大假設:

(1)常態性(Normality) : 若母體資料呈現常態分配(Normal Distribution),則誤差項也會呈現同樣的分配。可採用常態機率圖(normal probability plot) Shapiro-Wilk常態性檢定做檢查。

(2)獨立性(Independency) : 誤差項之間應該要相互獨立,否則在估計迴歸參數時會降低統計的檢定力。我們可以藉由Durbin-Watson test來檢查。

(3)變異數同質性(Constant Variance) : 變異數若不相等會導致自變數無法有效估計依變數。我們可以藉由殘差圖(Residual Plot)來檢查。

三、假說檢定(Hypothesis Testing)

1. 迴歸模型的顯著性檢定(F test): 探討迴歸模型中的β係數是否全部為0。

當係數不為0時,迴歸模型才具有預測力。

虛無假說(Null hypothesis)→β1=β2=βn=0

對立假說(alternative hypothesis)→至少有一個β不為0

統計值(Statistics)→F

2. 個別迴歸係數的邊際檢定(t test):探討個別自變數之β係數是否為0。

當係數不為0時,自變數才具有解釋力。

虛無假說(Null hypothesis)→βn係數為0

對立假說(alternative hypothesis)→βn係數不為0

統計值(Statistics)→t

*【小常識】

簡單線性迴歸中,F test和t test的統計意義相同。

判定係數: 迴歸模型的總變異中可被自變數解釋之百分比, 判定係數越大迴歸模型的配適度越好。一般而言,判定係數大於0.5就算不錯了。

四、SPSS 操作Example

【例題】由公司的廣告支出去預測其銷售額。

本題例子為簡單線性迴歸,以一個x(廣告支出)去預測y(銷售額)

1. 在SPSS中輸入欲分析之資料。

本次範例中,以廣告為自變數,y為依變數。

2. 簡單線性迴歸:分析→迴歸→線性

3. 因變數:銷售額(y)

自變數:廣告費(x)

4. 檢定結果:

(1)迴歸模型的顯著性檢定(F test):

在本例中,計算後的F統計值為45.24,顯著性p值<0.001,拒絕虛無假說。

→此迴歸模型顯著,具有預測能力。

(2)個別迴歸係數的邊際檢定(t test):

在本例中,計算後的t統計值為6.726,顯著性p值<0.001,拒絕虛無假說。

5. 檢定誤差是否滿足三大假設:

(1) 常態性

A、分析→迴歸→線性→儲存→殘差未標準化

B、分析完後在原始資料的最後一行出現未標準化殘差:RES_1

C、得到殘差數值之後,接著進行殘差的常態分析→描述性統計資料→探索

D、放入依變數(殘差):Unstandardized Residual

E、勾選圖形→常態機率圖附檢定

F、使用Shapiro-Wilk常態性檢定,H0:常態 V.S. Ha:非常態。顯著性=0.98>0.05,不拒絕H0,表示殘差分佈為常態,迴歸模型的常態性通過。

另外,根據常態機率圖的特性,若殘差成45度線則服從常態。根據上圖,我們發現本模型的殘差近似於一條45度的直線,因此也能推論其服從常態性的假設。

接著以下探討第二個假設,獨立性。

(2) 獨立性

A、分析→迴歸→線性→統計資料→Durbin-Watson

B、◆判斷準則:若Durbin-Watson 值<DL 表示資料不獨立

若Durbin-Watson 值>DU 表示資料獨立

若DL <Durbin-Watson 值< DU 則無結論

(K=1:只有一個自變數)

C、利用查表看資料是否具獨立性,因為Durbin-Watson 值=1.106,介於DL和DU之間,所以無法判定。

*【小常識】

DW值愈接近2,代表其愈獨立。

(3) 變異數同質性

A、分析→迴歸→線性→圖形→Y:*ZRESID,X:*ZPRED

B、我們從標準化殘差和預測值的散佈圖中,可以發現資料大致上沿著0線上下均勻跳動,因此符合變異數同質性的假設。

以上為簡單迴歸的基礎說明,後續同學可以參考多元迴歸分析以了解更深入的應用。

本次教學範例檔如下所示,僅供同學練習使用:

https://drive.google.com/file/d/0B8eyCgO9lPB0b2lCcGNidko4OUE/view?usp=sharing