ในเมทริกซ์ความสับสน 2 × 2 แบบดั้งเดิม ที่ใช้ในการเรียนรู้ของเครื่องและสถิติเพื่อประเมินการจำแนกแบบไบนารีสูตร Kappa ของ Cohen สามารถเขียนได้ดังนี้: ^{[ 8 ]}

${\displaystyle \kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}}$

โดยที่ TP คือผลบวกจริง FP คือผลบวกเท็จ TN คือผลลบจริง และ FN คือผลลบเท็จ (ในกรณีนี้ ค่า Kappa ของ Cohen เทียบเท่ากับคะแนนทักษะ Heidkeที่รู้จักกันในด้านอุตุนิยมวิทยา ) ^{[ 9 ]}การวัดนี้ได้รับการแนะนำครั้งแรกโดย Myrick Haskell Doolittle ในปี พ.ศ. 2431 ^{[ 10 ]}

สมมติว่าคุณกำลังวิเคราะห์ข้อมูลที่เกี่ยวข้องกับกลุ่มคน 50 คนที่ยื่นขอรับทุน โดยแต่ละข้อเสนอขอรับทุนจะถูกอ่านโดยผู้อ่านสองคน และผู้อ่านแต่ละคนจะตอบว่า "เห็นด้วย" หรือ "ไม่เห็นด้วย" สมมติว่าข้อมูลจำนวนการไม่เห็นด้วยเป็นดังนี้ โดยที่ A และ B คือผู้อ่าน ข้อมูลบนแนวทแยงหลักของเมทริกซ์ (a และ d) นับจำนวนการเห็นด้วย และข้อมูลนอกแนวทแยง (b และ c) นับจำนวนการไม่เห็นด้วย:

เช่น

อัตราส่วนความสอดคล้องที่สังเกตได้คือ:

${\displaystyle p_{o}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7}$

ในการคำนวณp (ความน่าจะเป็นของการตกลงกันโดยบังเอิญ) เราทราบว่า:

• ผู้อ่าน A ตอบว่า "ใช่" กับผู้สมัคร 25 คน และตอบว่า "ไม่" กับผู้สมัคร 25 คน ดังนั้น ผู้อ่าน A ตอบว่า "ใช่" คิดเป็น 50% ของทั้งหมด
• ผู้อ่าน B ตอบว่า "ใช่" กับผู้สมัคร 30 คน และ "ไม่" กับผู้สมัคร 20 คน ดังนั้น ผู้อ่าน B ตอบว่า "ใช่" คิดเป็น 60% ของทั้งหมด

ดังนั้น ความน่าจะเป็นโดยเฉลี่ยที่ทั้งสองคนจะตอบว่า "ใช่" โดยสุ่มคือ:

${\displaystyle p_{\text{Yes}}={\frac {a+b}{a+b+c+d}}\cdot {\frac {a+c}{a+b+c+d}}=0.5\times 0.6=0.3}$

ในทำนองเดียวกัน:

${\displaystyle p_{\text{No}}={\frac {c+d}{a+b+c+d}}\cdot {\frac {b+d}{a+b+c+d}}=0.5\times 0.4=0.2}$

ความน่าจะเป็นโดยรวมของการเห็นพ้องต้องกันโดยสุ่ม คือ ความน่าจะเป็นที่พวกเขาเห็นพ้องต้องกันว่า ใช่ หรือ ไม่ เช่น:

${\displaystyle p_{e}=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5}$

ดังนั้น เมื่อนำสูตรคำนวณค่า Cohen's Kappa มาใช้ เราจะได้:

${\displaystyle \kappa ={\frac {p_{o}-p_{e}}{1-p_{e}}}={\frac {0.7-0.5}{1-0.5}}=0.4}$

กรณีที่บางครั้งถือว่าเป็นปัญหาเกี่ยวกับค่า Kappa ของ Cohen เกิดขึ้นเมื่อเปรียบเทียบค่า Kappa ที่คำนวณสำหรับผู้ประเมินสองคู่ โดยที่ผู้ประเมินทั้งสองในแต่ละคู่มีเปอร์เซ็นต์ความเห็นพ้องเท่ากัน แต่คู่หนึ่งให้จำนวนการให้คะแนนที่คล้ายกันในแต่ละชั้น ในขณะที่อีกคู่หนึ่งให้จำนวนการให้คะแนนที่แตกต่างกันมากในแต่ละชั้น^{[ 11 ]} (ในกรณีด้านล่าง โปรดสังเกตว่า B มีคำตอบว่าใช่ 70 ครั้งและไม่ใช่ 30 ครั้ง ในกรณีแรก แต่ตัวเลขเหล่านั้นจะกลับกันในกรณีที่สอง) ตัวอย่างเช่น ในสองกรณีต่อไปนี้ มีความเห็นพ้องเท่ากันระหว่าง A และ B (60 จาก 100 ในทั้งสองกรณี) ในแง่ของความเห็นพ้องในแต่ละชั้น ดังนั้นเราจึงคาดหวังว่าค่าสัมพัทธ์ของ Kappa ของ Cohen จะสะท้อนถึงสิ่งนี้ อย่างไรก็ตาม การคำนวณค่า Kappa ของ Cohen สำหรับแต่ละกรณี:

${\displaystyle \kappa ={\frac {0.60-0.54}{1-0.54}}=0.1304}$

${\displaystyle \kappa ={\frac {0.60-0.46}{1-0.46}}=0.2593}$

เราพบว่าในกรณีที่สองมีความคล้ายคลึงกันระหว่าง A และ B มากกว่าในกรณีแรก เนื่องจากแม้ว่าเปอร์เซ็นต์ความสอดคล้องจะเท่ากัน แต่เปอร์เซ็นต์ความสอดคล้องที่อาจเกิดขึ้น 'โดยบังเอิญ' นั้นสูงกว่าอย่างมีนัยสำคัญในกรณีแรก (0.54 เทียบกับ 0.46)

ค่า pสำหรับ kappa ไม่ค่อยมีการรายงาน อาจเป็นเพราะแม้ค่า kappa ที่ค่อนข้างต่ำก็ยังสามารถแตกต่างจากศูนย์ได้อย่างมีนัยสำคัญ แต่มีขนาดไม่เพียงพอที่จะตอบสนองความต้องการของนักวิจัย^{[ 12 ] : 66} อย่างไรก็ตาม ข้อผิดพลาดมาตรฐานของมันได้รับการอธิบายไว้แล้ว^{[ 13 ]} และคำนวณโดยโปรแกรมคอมพิวเตอร์ต่างๆ^{[ 14 ]}

ช่วงความเชื่อมั่นสำหรับ Kappa สามารถสร้างได้สำหรับค่า Kappa ที่คาดหวังหากเรามีรายการที่ตรวจสอบจำนวนอนันต์โดยใช้สูตรต่อไปนี้: ^{[ 1 ]}

${\displaystyle CI:\kappa \pm Z_{1-\alpha /2}SE_{\kappa }}$

ที่ไหน${\displaystyle Z_{1-\alpha /2}=1.960}$คือ เปอร์เซ็นไทล์ ปกติมาตรฐานเมื่อ${\displaystyle \alpha =5\%}$, และ${\displaystyle SE_{\kappa }}$คำนวณโดยใช้แจ็คไนฟ์บูตสแตรปหรือสูตรเชิงเส้นกำกับที่อธิบายโดยเฟลสและโคเฮน^{[ 13 ]}

หากนัยสำคัญทางสถิติไม่ใช่แนวทางที่เป็นประโยชน์ ค่า Kappa ขนาดใดที่สะท้อนถึงความสอดคล้องที่เพียงพอ? แนวทางต่างๆ จะเป็นประโยชน์ แต่ปัจจัยอื่นๆ นอกเหนือจากความสอดคล้องสามารถส่งผลต่อขนาดของค่า Kappa ซึ่งทำให้การตีความขนาดที่กำหนดเป็นปัญหา ดังที่ Sim และ Wright ตั้งข้อสังเกต ปัจจัยสำคัญสองประการคือ ความชุก (รหัสมีความน่าจะเป็นเท่ากันหรือไม่ หรือความน่าจะเป็นของรหัสแตกต่างกัน) และอคติ (ความน่าจะเป็นส่วนขอบสำหรับผู้สังเกตการณ์ทั้งสองคล้ายกันหรือแตกต่างกัน) เมื่อปัจจัยอื่นๆ เท่ากัน ค่า Kappa จะสูงขึ้นเมื่อรหัสมีความน่าจะเป็นเท่ากัน ในทางกลับกัน ค่า Kappa จะสูงขึ้นเมื่อรหัสกระจายอย่างไม่สมมาตรโดยผู้สังเกตการณ์ทั้งสอง ในทางตรงกันข้ามกับการเปลี่ยนแปลงความน่าจะเป็น ผลกระทบของอคติจะมากขึ้นเมื่อค่า Kappa มีขนาดเล็กกว่าเมื่อค่า Kappa มีขนาดใหญ่^{[ 15 ] : 261–262}

ปัจจัยอีกประการหนึ่งคือจำนวนรหัส เมื่อจำนวนรหัสเพิ่มขึ้น ค่าแคปปาจะสูงขึ้น จากการศึกษาจำลอง Bakeman และเพื่อนร่วมงานสรุปว่าสำหรับผู้สังเกตการณ์ที่ผิดพลาด ค่าแคปปาจะต่ำลงเมื่อจำนวนรหัสน้อยลง และสอดคล้องกับคำกล่าวของ Sim & Wrights เกี่ยวกับความชุก ค่าแคปปาจะสูงขึ้นเมื่อรหัสมีความน่าจะเป็นใกล้เคียงกัน ดังนั้น Bakeman และคณะจึงสรุปว่า "ไม่มีค่าแคปปาค่าใดค่าหนึ่งที่ถือว่ายอมรับได้โดยทั่วไป" ^{[ 16 ] : 357}พวกเขายังจัดเตรียมโปรแกรมคอมพิวเตอร์ที่ให้ผู้ใช้คำนวณค่าแคปปาโดยระบุจำนวนรหัส ความน่าจะเป็น และความแม่นยำของผู้สังเกตการณ์ ตัวอย่างเช่น เมื่อกำหนดรหัสที่มีความน่าจะเป็นใกล้เคียงกันและผู้สังเกตการณ์ที่มีความแม่นยำ 85% ค่าแคปปาจะเป็น 0.49, 0.60, 0.66 และ 0.69 เมื่อจำนวนรหัสเป็น 2, 3, 5 และ 10 ตามลำดับ

ถึงกระนั้น แนวทางเกี่ยวกับขนาดก็ปรากฏอยู่ในเอกสารทางวิชาการ บางทีแนวทางแรกอาจเป็นของ Landis และ Koch ^{[ 17 ]} ซึ่งระบุค่า <  0 ว่าบ่งชี้ว่าไม่มีข้อตกลง และ 0–0.20 ว่าเล็กน้อย 0.21–0.40 ว่าพอใช้ 0.41–0.60 ว่าปานกลาง 0.61–0.80 ว่ามาก และ 0.81–1 ว่าเกือบสมบูรณ์แบบ อย่างไรก็ตาม แนวทางชุดนี้ไม่ได้เป็นที่ยอมรับโดยทั่วไป Landis และ Koch ไม่ได้ให้หลักฐานใด ๆ มาสนับสนุน แต่ใช้ความคิดเห็นส่วนตัวเป็นพื้นฐาน มีการตั้งข้อสังเกตว่าแนวทางเหล่านี้อาจเป็นอันตรายมากกว่าเป็นประโยชน์^{[ 18 ]} แนวทางที่กำหนดขึ้นโดยพลการเช่นเดียวกัน ของ Fleiss ^{[ 19 ] : 218}ระบุว่าค่า kappa มากกว่า 0.75 ว่ายอดเยี่ยม 0.40 ถึง 0.75 ว่าพอใช้ถึงดี และต่ำกว่า 0.40 ว่าแย่

ค่า Kappa เป็นดัชนีที่พิจารณาความสอดคล้องที่สังเกตได้เทียบกับความสอดคล้องพื้นฐาน อย่างไรก็ตาม นักวิจัยต้องพิจารณาอย่างรอบคอบว่าความสอดคล้องพื้นฐานของ Kappa นั้นเกี่ยวข้องกับคำถามวิจัยเฉพาะหรือไม่ ค่าพื้นฐานของ Kappa มักถูกอธิบายว่าเป็นความสอดคล้องที่เกิดจากโอกาส ซึ่งถูกต้องเพียงบางส่วนเท่านั้น ความสอดคล้องพื้นฐานของ Kappa คือความสอดคล้องที่คาดว่าจะเกิดขึ้นจากการจัดสรรแบบสุ่ม โดยพิจารณาจากปริมาณที่ระบุโดยผลรวมส่วนขอบของตารางความสัมพันธ์แบบสี่เหลี่ยมจัตุรัส ดังนั้น κ = 0 เมื่อการจัดสรรที่สังเกตได้นั้นเห็นได้ชัดว่าเป็นแบบสุ่ม โดยไม่คำนึงถึงความไม่สอดคล้องของปริมาณที่ถูกจำกัดโดยผลรวมส่วนขอบ อย่างไรก็ตาม สำหรับการใช้งานหลายอย่าง นักวิจัยควรสนใจความไม่สอดคล้องของปริมาณในผลรวมส่วนขอบมากกว่าความไม่สอดคล้องของการจัดสรรตามที่อธิบายโดยข้อมูลเพิ่มเติมในแนวทแยงของตารางความสัมพันธ์แบบสี่เหลี่ยมจัตุรัส ดังนั้นสำหรับการใช้งานหลายอย่าง ค่าพื้นฐานของ Kappa จึงทำให้ไขว้เขวมากกว่าให้ความกระจ่าง ลองพิจารณาตัวอย่างต่อไปนี้:

อัตราส่วนความไม่เห็นด้วยคือ 14/16 หรือ 0.875 ความไม่เห็นด้วยเกิดจากปริมาณ เนื่องจากการจัดสรรนั้นเหมาะสมที่สุดแล้ว ค่า κ คือ 0.01

สัดส่วนความไม่เห็นด้วยคือ 2/16 หรือ 0.125 ความไม่เห็นด้วยเกิดจากการจัดสรรเนื่องจากปริมาณเหมือนกัน ค่า Kappa คือ -0.07

ในที่นี้ การรายงานความไม่สอดคล้องกันของปริมาณและการจัดสรรนั้นให้ข้อมูลที่เป็นประโยชน์ ในขณะที่ Kappa บดบังข้อมูล นอกจากนี้ Kappa ยังก่อให้เกิดความท้าทายบางประการในการคำนวณและการตีความ เนื่องจาก Kappa เป็นอัตราส่วน เป็นไปได้ที่อัตราส่วนของ Kappa จะให้ค่าที่ไม่กำหนดเนื่องจากตัวหารเป็นศูนย์ ยิ่งไปกว่านั้น อัตราส่วนไม่เปิดเผยตัวเศษหรือตัวหาร การรายงานความไม่สอดคล้องกันในสององค์ประกอบ ได้แก่ ปริมาณและการจัดสรร จะให้ข้อมูลที่เป็นประโยชน์มากกว่าสำหรับนักวิจัย องค์ประกอบทั้งสองนี้อธิบายความสัมพันธ์ระหว่างหมวดหมู่ได้ชัดเจนกว่าสถิติสรุปเพียงตัวเดียว เมื่อเป้าหมายคือความแม่นยำในการทำนาย นักวิจัยสามารถเริ่มคิดหาวิธีปรับปรุงการทำนายได้ง่ายขึ้นโดยใช้สององค์ประกอบของปริมาณและการจัดสรร แทนที่จะใช้อัตราส่วน Kappa เพียงอย่างเดียว^{[ 2 ]}

นักวิจัยบางคนแสดงความกังวลเกี่ยวกับแนวโน้มของ κ ที่จะถือว่าความถี่ของหมวดหมู่ที่สังเกตได้เป็นค่าคงที่ ซึ่งอาจทำให้ไม่น่าเชื่อถือสำหรับการวัดความสอดคล้องในสถานการณ์ต่างๆ เช่น การวินิจฉัยโรคหายาก ในสถานการณ์เหล่านี้ κ มักจะประเมินความสอดคล้องในหมวดหมู่ที่หายาก ต่ำกว่าความเป็นจริง ^{[ 20 ]}ด้วยเหตุนี้ κ จึงถือเป็นการวัดความสอดคล้องที่อนุรักษ์นิยมมากเกินไป^{[ 21 ]}นักวิจัยคนอื่นๆ^{[ 22 ]}โต้แย้งข้ออ้างที่ว่า kappa "คำนึงถึง" ความสอดคล้องโดยบังเอิญ การทำเช่นนั้นอย่างมีประสิทธิภาพจะต้องใช้แบบจำลองที่ชัดเจนว่าความบังเอิญส่งผลต่อการตัดสินใจของผู้ประเมินอย่างไร การปรับค่าความบังเอิญของสถิติ kappa ที่เรียกว่านั้นถือว่า เมื่อไม่แน่ใจอย่างสมบูรณ์ ผู้ประเมินจะเดาเอา ซึ่งเป็นสถานการณ์ที่ไม่สมจริงอย่างมาก ยิ่งไปกว่านั้น งานวิจัยบางชิ้น^{[ 23 ]}ได้แสดงให้เห็นว่าสถิติ kappa อาจนำไปสู่ข้อสรุปที่ผิดพลาดสำหรับข้อมูลที่ไม่สมดุล

สถิติที่คล้ายกันนี้ เรียกว่าค่าพาย (pi ) ถูกเสนอโดย Scott (1955) ค่าแคปปาของ Cohen และค่าพายของ Scottแตกต่างกันในแง่ของวิธีการคำนวณค่า

โปรดทราบว่าค่าแคปปาของโคเฮนใช้วัดความสอดคล้องระหว่าง ผู้ประเมิน สองคนเท่านั้น สำหรับการวัดความสอดคล้องที่คล้ายกัน ( แคปปาของเฟลส ) ที่ใช้เมื่อมีผู้ประเมินมากกว่าสองคน โปรดดูที่เฟลส (1971) อย่างไรก็ตาม แคปปาของเฟลสเป็นการสรุปทั่วไปของ สถิติพาย ของสก็อ ตต์สำหรับผู้ประเมินหลายคน ไม่ใช่แคปปาของโคเฮน แคปปายังใช้เพื่อเปรียบเทียบประสิทธิภาพในการเรียนรู้ของเครื่องแต่เวอร์ชันแบบมีทิศทางที่เรียกว่าInformednessหรือสถิติ J ของยูเดนนั้นถือว่าเหมาะสมกว่าสำหรับการเรียนรู้แบบมีผู้กำกับดูแล^{[ 24 ]}

ค่า kappa แบบถ่วงน้ำหนักช่วยให้สามารถกำหนดน้ำหนักความไม่เห็นด้วยได้แตกต่างกัน ขึ้นอยู่กับหมวดหมู่^{[ 25 ]} โดยเฉพาะอย่างยิ่งมีประโยชน์เมื่อมีการเรียงลำดับหมวดหมู่ เนื่องจากความไม่เห็นด้วยที่มากขึ้นสามารถกำหนดน้ำหนักได้มากขึ้น^{[ 12 ] : 66}

โปรดจำไว้ว่ามีผู้ประเมินสองคนทำการประเมิน${\displaystyle N}$หัวข้อต่างๆ จะถูกแบ่งออกเป็นหนึ่งหัวข้อ${\displaystyle C}$หมวดหมู่ที่แยกจากกันโดยสิ้นเชิง สาม${\displaystyle C\times C}$เมทริกซ์มีส่วนเกี่ยวข้องในการคำนวณ: การกระจายที่สังเกตได้${\displaystyle {\tilde {O}}}$การกระจายที่คาดหวัง${\displaystyle {\tilde {E}}}$และน้ำหนัก${\displaystyle W}$.

• ใน เมทริกซ์การกระจาย ที่สังเกตได้ (หรือที่เรียกว่าเมทริกซ์ความสับสน ) แต่ละเซลล์${\displaystyle O_{i,j}}$นับจำนวนรายการที่ผู้ประเมินคนแรกจัดไว้ใน${\displaystyle i}$หมวดหมู่ที่ 3 และผู้ประเมินคนที่สองที่อยู่ในหมวดหมู่ที่ 4${\displaystyle j}$หมวดหมู่ที่ th จากนั้นเมทริกซ์จะถูกปรับให้เป็นมาตรฐานโดยจำนวนรายการ${\textstyle N=\sum _{i=1}^{C}\sum _{j=1}^{C}O_{i,j}}$การให้${\textstyle {\tilde {O}}_{i,j}:={\frac {1}{N}}O_{i,j}}$
• ใน เมทริกซ์การกระจาย ที่คาดหวังแต่ละเซลล์${\displaystyle {\tilde {E}}_{i,j}:={\widehat {p_{i,\cdot }}}\ {\widehat {p_{\cdot ,j}}}}$ประเมินความน่าจะเป็นที่สินค้าใหม่จะถูกจัดประเภทเป็น${\displaystyle i}$และ${\displaystyle j}$โดยผู้ประเมินแต่ละคน ในกรณีนี้ก็เช่นเดียวกับที่ผ่านมา${\textstyle {\widehat {p_{i,\cdot }}}=\sum _{j=1}^{C}{\tilde {O}}_{i,j}}$คือความน่าจะเป็นโดยประมาณที่สินค้าใหม่จะถูกจัดประเภทเป็น${\displaystyle i}$โดยผู้ประเมินคนแรก;${\textstyle {\widehat {p_{\cdot ,j}}}=\sum _{i=1}^{C}{\tilde {O}}_{i,j}}$เช่นเดียวกันสำหรับผู้ประเมินคนที่สอง และถือว่าผู้ประเมินแต่ละคนเป็นอิสระต่อกัน กล่าวอีกนัยหนึ่งคือ เมทริกซ์${\displaystyle {\tilde {E}}}$คือผลคูณภายนอกของเวกเตอร์${\displaystyle ({\widehat {p_{i,\cdot }}})_{i=1\dots C}}$และ${\displaystyle ({\widehat {p_{\cdot ,j}}})_{j=1\dots C}}$.
• ใน เมทริกซ์ น้ำหนักแต่ละช่อง${\displaystyle W_{i,j}}$ถูกเลือกใช้เพื่อบ่งชี้ถึงความรุนแรงของความขัดแย้งในกรณีที่รายการนั้นถูกจัดประเภทเป็น${\displaystyle i}$และ${\displaystyle j}$โดยผู้ประเมินแต่ละคน เซลล์บนแนวทแยง${\displaystyle W_{i,i}}$แสดงถึงความเห็นพ้องต้องกัน ดังนั้นจึงกำหนดให้เป็นศูนย์ โดยทั่วไปแล้ว เซลล์นอกแนวทแยงจะถูกถ่วงน้ำหนักเชิงเส้นดังนี้${\displaystyle W_{i,j}:=|i-j|}$(นั่นคือ เซลล์ที่อยู่ห่างจากแนวทแยงหนึ่งช่องจะมีค่าน้ำหนัก 1 เซลล์ที่อยู่ห่างจากแนวทแยงสองช่องจะมีค่าน้ำหนัก 2 เป็นต้น) หรือในรูปแบบกำลังสองดังนี้${\displaystyle W_{i,j}:=(i-j)^{2}}$ซึ่งให้ค่าKappa ถ่วงน้ำหนักกำลังสอง (QWK)

สมการสำหรับค่า κ แบบถ่วงน้ำหนักคือ:

${\displaystyle \kappa =1-{\frac {\sum _{i=1}^{C}\sum _{j=1}^{C}W_{i,j}{\tilde {O}}_{i,j}}{\sum _{i=1}^{C}\sum _{j=1}^{C}W_{i,j}{\tilde {E}}_{i,j}}}}$

การเลือกน้ำหนักที่เท่ากัน (1 สำหรับเซลล์นอกแนวทแยงทั้งหมด, 0 สำหรับเซลล์แนวทแยง หรือ${\displaystyle W_{i,j}:=[i\neq j]}$( โดยใช้ สัญลักษณ์ วงเล็บของไอเวอร์สัน ) จะได้ค่าเดียวกันกับการคำนวณแคปปาแบบไม่ถ่วงน้ำหนักที่กล่าวไว้ข้างต้น