Disagreement on Agreement: Two Alternative Agreement Coefficients

原文載點：http://www2.sas.com/proceedings/forum2007/186-2007.pdf


Kappa一致性係數是用來評量許多評分者對某一類別變數評分是否具有一致性的指標。根據公式，它是實際評定一致的次數百分比與評分者理論上評定的最大可能次數百分比的比率。但是近年來有越來越多的學者發現這個指標的不完美處。於是有許多替代性的指標被研究出來，以克服Kappa一致性係數的缺點。然而SAS並沒有對這些新的一致性指標的程式語法更新至新版的SAS中。也許我們可以期待新的一致性係數會在不久的將來被納入到SAS內建的語法，但畢竟SAS改版的頻率並沒有很高，所以還是用自製的巨集程式比較有效率。本篇教學文件主要是介紹由Kilem Gwet所發表的一階和二階一致性係數(first-order and second order agreement coefficient，簡稱AC1和AC2)在SAS裡面如何操作。其巨集程式由 Emily Blood 和 Kevin Spratt 編寫，並發表於 2007 SAS Global Forum 上。



AC1和AC2的分別在於，AC1是使用任意的類別評分工具下的一致性係數，而AC2是使用已經排序好的類別平分工具下的一致性係數。其理論背景可參照原文。本文主要介紹巨集程式 %AC1AC2 的使用方式。

巨集語法如下:

 %AC1AC2(dataset=,numcategories=,betadata=)

內含三個參數，分別為:

1. dataset: 使用SAS資料檔的名稱
2. numcategories: 評量工具內的等級數量，假設評分標準是1,2,3,4,5，則此參數並須設定為"5"
3. betadata: 錯誤分類機率矩陣的SAS資料檔名稱，主要是拿來計算AC2之用

用一個範例來看執行結果:

資料:

DATA work.one;
 INPUT r1 r2 r3 r4 r5 r6;
CARDS;
 4 4 4 4 4 4
 2 2 5 2 5 5
 3 3 5 2 3 3
 5 5 5 5 5 5
 2 4 2 4 4 2
 1 3 3 3 1 3
 3 5 3 3 5 3
 1 1 3 3 3 4
 4 4 4 4 1 1
 5 5 5 5 5 5
 1 4 4 4 4 4
 1 4 2 4 4 4
 2 3 2 2 3 3
 4 1 4 4 4 4
 2 2 4 4 4 5
 3 3 5 3 3 3
 5 5 1 1 1 4
 1 1 1 1 2 1
 2 2 4 4 4 4
 1 3 3 5 5 5
 5 5 5 5 5 5
 4 4 2 4 4 4
 5 2 5 5 4 2
 1 4 4 4 1 4
 5 4 4 4 4 1
 2 4 2 2 2 2
 1 5 1 1 1 5
 4 2 4 4 4 2
 1 3 3 3 3 3
 5 5 5 5 5 5
;
RUN;

data work.beta;
input cat1 cat2 cat3 cat4 cat5 ;
cards;
.9  .9 .2 .1 0
.05 .1 .8 .7 0
.03  0  0 .1 0
.01  0  0 .1 0
.01  0  0  0 1
;
RUN;

第一筆資料『one』為原始資料，包含六名心理學家對患有某種心理疾病的病人所做的評量，分數從1~5。第二筆資料『beta』裝有錯誤分類的機率資料，代表了不一致性發生時的嚴重程度。其矩陣表示法如下所示：

其中『a|b』表示當原先評分為 b 時，之後評分變成 a 。因此，很明顯的，對角線的數據即表示具有一致評分的機率，而非對角線的數據即表示不一致評分的機率。特別要注意的是，設定這個矩陣的SAS資料集時，每一欄的總和一定要等於1。這個矩陣只有拿來運算AC2，在AC1的公式裡面並不包含這個矩陣。

設定好參數並執行巨集，則會在SAS output視窗上面看到 AC1 和 AC2 各有五個數據出現，從左到右分別是一致性係數值(Agree Stat)、條件變異數(CondVar)、非條件變異數(UncondVar)、評分者評定一致的百分比(PA)以及評分者理論上評定一致的百分比(PE)。

原始巨集碼可至這個網址下載：http://mcrc.hitchcock.org/SASMacros/Agreement/AC1AC2.txt

CONTACT INFORMATION
Your comments and questions are valued and encouraged.  Contact the authors at:
Emily A. Blood or Kevin F. Spratt
Department of Orthopedic Surgery
Dartmouth Medical School
One Medical Center Drive
Hanover, NH 03756
Work Phone: 603-653-6019
E-mail: Emily.a.blood@dartmouth.edu or Kevin.F.Spratt@dartmouth.edu