Cohen’s kappa係數是用來分析兩個審查者對於類別項目評分的一致性,常用於新儀器與標準儀器之間的比對,以檢測新的儀器是否具有一定的效果或準確度;也可用於分類判定,例如當兩個審查員對某份資料分類判定有較高的一致性時,則可考慮採用此分類判定方式。

  Cohen’s kappa係數(Jacob Cohen, 1960)的公式如下:

其中Po為兩個審查者此次判定結果中相同的比例;Pe則為兩個審查者做獨立選擇時,做出相同判定的期望值

 

  舉例而言,A、B兩位檢驗員對100份產品的合格與否判斷如表1:A與B同時判定合格的有30份;A判定合格而B判定不合格的有10份;A判定不合格而B判定合格的有20份;A與B同時判定不合格的有45份。

則可計算出:

 

  一般將Kappa數值區分如表2:

由表2可知上面計算結果的Kappa值0.49落在一般的區間,表示兩個審查者在資料判定上的一致性程度一般。若Kappa係數過低,則表示評分者間信度 (Inter-rater reliability)較差,可能需重新考慮資料分類的判定標準。

 

  再舉一個分類較多的例子:C、D兩台體脂計對200位受試者的判斷如表3,C與D同時判定偏低的有20位、標準的有40位、偏高的有30位、過高的有32位;C判定偏低而D判定標準的有2位、偏高的有0位、過高的有0位;C判定標準而D判定偏低的有1位、偏高的有1位、過高的有1位;C判定偏高而D判定偏低的有2位、標準的有2位、過高的有2位;C判定過高而D判定偏低的有0位、標準的有1位、偏高的有0位。

則可計算出:

結果大於0.75,表示評分者間信度優良。

 

  若要使用SPSS來計算Cohen’s kappa係數,則可在SPSS介面中選擇【分析】→【描述性統計資料】→【交叉表】。

圖1 SPSS介面

接著將兩位審查者的審查結果變數分別放到列和直欄中。

圖2 交叉表介面

再將【統計資料】中的Kappa選項勾選起來。

圖3 交叉表:統計資料介面

點選【繼續】,最後再點選圖2下方的【確定】,即可產出結果。

圖4 Kappa分析結果

結果:SPSS產出的結果與表1我們根據公式所計算出來的結果數值相同(皆為0.49),表示兩位審查者在資料判定上的一致性程度一般。

SPSS範例資料可從以下連結下載,僅供同學練習使用:https://drive.google.com/file/d/1SoUkEcNXMfm9MZFSgWPcJw7K1Obtmnvb/view?usp=sharing

 

  以上是Cohen’s kappa係數的使用及計算方式介紹,希望對大家有所幫助。