公告

[公告]
2014/01/17
由於已經是faculty的關係,不太有足夠時間寫部落格。因此更新的速度會相當緩慢。再加上近幾年來SAS GLOBAL FORUM沒有出現讓我覺得驚艷的技術文件,所以能分享的文章相對也減少許多。若有人推薦值得分享的SAS技術文件,請利用『問題討論區』告知。

2013/07/19
臉書留言板的功能因為有不明原因故障,因此特此移除。而intensedebate的留言板因管理不易,也一併移除。目前已經開啟內建的 G+ 留言系統,所以請有需要留言的朋友,可直接至『問題討論區』裡面留言。


2011年2月25日 星期五

Disagreement on Agreement: Two Alternative Agreement Coefficients

原文載點:http://www2.sas.com/proceedings/forum2007/186-2007.pdf


Kappa一致性係數是用來評量許多評分者對某一類別變數評分是否具有一致性的指標。根據公式,它是實際評定一致的次數百分比與評分者理論上評定的最大可能次數百分比的比率。但是近年來有越來越多的學者發現這個指標的不完美處。於是有許多替代性的指標被研究出來,以克服Kappa一致性係數的缺點。然而SAS並沒有對這些新的一致性指標的程式語法更新至新版的SAS中。也許我們可以期待新的一致性係數會在不久的將來被納入到SAS內建的語法,但畢竟SAS改版的頻率並沒有很高,所以還是用自製的巨集程式比較有效率。本篇教學文件主要是介紹由Kilem Gwet所發表的一階和二階一致性係數(first-order and second order agreement coefficient,簡稱AC1和AC2)在SAS裡面如何操作。其巨集程式由 Emily Blood 和 Kevin Spratt 編寫,並發表於 2007 SAS Global Forum 上。



AC1和AC2的分別在於,AC1是使用任意的類別評分工具下的一致性係數,而AC2是使用已經排序好的類別平分工具下的一致性係數。其理論背景可參照原文。本文主要介紹巨集程式 %AC1AC2 的使用方式。

巨集語法如下:

 %AC1AC2(dataset=,numcategories=,betadata=)

內含三個參數,分別為:

  1. dataset: 使用SAS資料檔的名稱
  2. numcategories: 評量工具內的等級數量,假設評分標準是1,2,3,4,5,則此參數並須設定為"5"
  3. betadata: 錯誤分類機率矩陣的SAS資料檔名稱,主要是拿來計算AC2之用
用一個範例來看執行結果:

資料:

DATA work.one;
 INPUT r1 r2 r3 r4 r5 r6;
CARDS;
 4 4 4 4 4 4
 2 2 5 2 5 5
 3 3 5 2 3 3
 5 5 5 5 5 5
 2 4 2 4 4 2
 1 3 3 3 1 3
 3 5 3 3 5 3
 1 1 3 3 3 4
 4 4 4 4 1 1
 5 5 5 5 5 5
 1 4 4 4 4 4
 1 4 2 4 4 4
 2 3 2 2 3 3
 4 1 4 4 4 4
 2 2 4 4 4 5
 3 3 5 3 3 3
 5 5 1 1 1 4
 1 1 1 1 2 1
 2 2 4 4 4 4
 1 3 3 5 5 5
 5 5 5 5 5 5
 4 4 2 4 4 4
 5 2 5 5 4 2
 1 4 4 4 1 4
 5 4 4 4 4 1
 2 4 2 2 2 2
 1 5 1 1 1 5
 4 2 4 4 4 2
 1 3 3 3 3 3
 5 5 5 5 5 5
;
RUN;

data work.beta;
input cat1 cat2 cat3 cat4 cat5 ;
cards;
.9  .9 .2 .1 0
.05 .1 .8 .7 0
.03  0  0 .1 0
.01  0  0 .1 0
.01  0  0  0 1
;
RUN;

第一筆資料『one』為原始資料,包含六名心理學家對患有某種心理疾病的病人所做的評量,分數從1~5。第二筆資料『beta』裝有錯誤分類的機率資料,代表了不一致性發生時的嚴重程度。其矩陣表示法如下所示:

其中『a|b』表示當原先評分為 b 時,之後評分變成 a 。因此,很明顯的,對角線的數據即表示具有一致評分的機率,而非對角線的數據即表示不一致評分的機率。特別要注意的是,設定這個矩陣的SAS資料集時,每一欄的總和一定要等於1。這個矩陣只有拿來運算AC2,在AC1的公式裡面並不包含這個矩陣。

設定好參數並執行巨集,則會在SAS output視窗上面看到 AC1 和 AC2 各有五個數據出現,從左到右分別是一致性係數值(Agree Stat)、條件變異數(CondVar)、非條件變異數(UncondVar)、評分者評定一致的百分比(PA)以及評分者理論上評定一致的百分比(PE)。

原始巨集碼可至這個網址下載:http://mcrc.hitchcock.org/SASMacros/Agreement/AC1AC2.txt

CONTACT INFORMATION
Your comments and questions are valued and encouraged.  Contact the authors at:
Emily A. Blood or Kevin F. Spratt
Department of Orthopedic Surgery
Dartmouth Medical School
One Medical Center Drive
Hanover, NH 03756
Work Phone: 603-653-6019
E-mail: Emily.a.blood@dartmouth.edu or Kevin.F.Spratt@dartmouth.edu
CODE { display: block; /* fixes a strange ie margin bug */ font-family: Courier New; font-size: 8pt; overflow:auto; background: #f0f0f0 url(http://klcintw.images.googlepages.com/Code_BG.gif) left top repeat-y; border: 1px solid #ccc; padding: 10px 10px 10px 21px; max-height:200px; height:200px; // for IE6 line-height: 1.2em; }