統計學 | 什麼是變方分析ANOVA? ANOVA的概念與統計檢定量的推導

什麼是ANOVA?

在前面的統計學章節，我們學到單變量和兩變量的假設檢定，假設我們想要比較三個以上的樣本是否有差異，這時候就要使用ANOVA了。ANOVA, analysis of variance, 變方分析，雖然名為「變方」分析，但其實是用來檢定三個以上的樣本「均值」是否有差異。

一張圖解釋ANOVA的概念

下面有兩張box plot，各擁有三個均值分別為10, 15, 20的樣本，何者較容易判定這三個樣本均值是否有差異？直觀來看，我們會覺得上圖比較能夠鑑別差異，下圖三樣本的數值的重複範圍大，組內變異數大，比較模稜兩可，無法容易分辨。所以我們可以得知，三個樣本的均值是否有差異，取決於「樣本組間均值差異」和「樣本組內變異」。如果樣本之間的均值差異越大，樣本組內變異越小，越容易判斷樣本的差異性。

如何推導出ANOVA的檢定量？

根據上面的概念，我們想要尋找一個能夠檢定出「樣本組間差異」和「樣本組內變異」的檢定量，來判斷樣本差異性的程度。

舉飼料與天竺鼠2周內增重(克)為例，探討三種不同的飼料餵養天竺鼠的增重效果是否有差異？

假設內容為：

H0: μ1=μ2=μ3 三個樣本沒有差異

Ha: μi≠μj (至少一組) 三個樣本中至少有一個和另外兩者不同

飼料	1	2	3	4	平均Ｘ	組內偏差平方和SS	變方Ｓ
A	7	3	10	4	XA=6	30	SA=10
B	4	10	6	8	XB=7	20	SB=6.67
C	10	14	9	11	XC=11	14	SC=4.67
					總平均Ｘ＝8

現實中可能還有其他的變因的影響，例如說天竺鼠的起始體重，或測量誤差等等，但這裡只探討飼料一個變項(又叫作處理, treatment)，假設其他的變因影響為隨機，所以叫做One-way ANOVA。

為了得到「樣本組間差異」和「樣本組內變異」的兩個變量，我們故意把每一個觀測值和總平均的差值寫成：

   「樣本組內差異」 「樣本組間差異」

觀測值－總平均＝(觀測值－組平均)＋(組平均－總平均)

(7-8) = (7-6) + (6-8)

(3-8) = (3-6) + (6-8)

(10-8) = (10-6) + (6-8)

(4-8) = (4-6) + (6-8)

(4-8) = (4-7) + (7-8)

(10-8) = (10-7) + (7-8)

(6-8) = (6-7) + (7-8)

(8-8) = (8-7) + (7-8)

(10-8) = (10-11) + (11-8)

(14-8) = (14-11) + (11-8)

(9-8) = (9-11) + (11-8)

(11-8) = (11-11) + (11-8)

總平方和 = 組內差異平方和 + 組間差異平方和

   = 誤差平方和 + 處理平方和

很神奇的是，將等號左邊取平方累加，會和等號右邊兩個括號平方相加的累加值相同。(這是可以證明的，不過可以先記結果)。所以我們得到一個很好的衡量關係式：

總平方和 = 誤差平方和 + 處理平方和

SST = SSE + SSt

(Total sum of square = error sum of square + treatment sum of square)

如何理解這一個關係式呢？左邊的總平方和，是所有的觀測值和總平均的偏差平方和，就是總變異。根據公式，總變異是由「誤差平方和」和「處理平方和」所組成，這個值是固定的，也就是說當一者的貢獻越大，另一者越小。假設今天處理平方和越大，代表這個處理對於數值的變異擁有越大的貢獻，誤差平方和(即組內誤差)的影響越小，可以拒絕虛無假設。換言之，假設今天誤差平方和(組內誤差)對總變異的貢獻越大，代表你很難說明來自處理的變異有影響，因此無法拒絕虛無假設。

簡單來說，樣本之間是否有差異，要看總變異來自於處理的變異多，還是誤差的變異多。

到這邊為止，ANOVA的統計檢定量的雛形就呼之欲出了，但還有一個問題要解決，假設共有m個處理，每一個處理的樣本數為n1, n2, n3...nm，總共N個觀測值(n1+n2+...+nm)，不同的總樣本數N和處理種類數量m對於誤差平方和處理平方會造成不同程度的貢獻，當m越多時，處理平方和貢獻的變異會增加。同理，當m一樣，總樣本數N越大，誤差平方和貢獻的變異越多，為了平衡基於不同數量對變異貢獻的差別，必須將平方和除以自由度，得到均方才能互相比較。

總平方和 = 誤差平方和 + 處理平方和

  SST  =    SSE   +    SSt

df: N-1 =    N-m   +   m-1

將平方和除以自由度得到均方

SST/(N-1) = SSE/(N-m) + SSt/(m-1)

MST = MSE + MSt

均方 = 誤差均方 + 處理均方

因此，我們就可以推導出最後要使用的F檢定量為MSt除以MSE，來比較究竟是誤差均方還是處理均方的占比比較大？

Ｆ＝ MSt/MSE

這邊也可以將MSE和MSt視為解釋百分比，例如說處理的因子佔總變異多少，可以解釋多少的變異。最後我們將上面的結果整理成ANOVA table(變方分析表)：

變因(Source Of Variation)	自由度df	平方和SS	均方MS	F值
處理	m-1	SSt	MSt=SSt/m-1	MST/MSE
誤差	N-m	SSE	MSE=SSE/N-m
總和	N-1	SST