ค่าพายของสก็อต (ตั้งชื่อตามวิลเลียม เอ. สก็อต ) เป็นสถิติที่ใช้วัดความน่าเชื่อถือระหว่างผู้ประเมินสำหรับข้อมูลเชิงนามในงานวิจัยด้านการสื่อสารข้อความจะถูกกำหนดหมวดหมู่โดยผู้ประเมินที่แตกต่างกัน และมีการใช้มาตรวัดต่างๆ เพื่อประเมินระดับความเห็นพ้องระหว่างผู้ประเมิน ซึ่งหนึ่งในนั้นคือค่าพายของสก็อต เนื่องจากการกำหนดหมวดหมู่ข้อความโดยอัตโนมัติเป็นปัญหาที่ได้รับความนิยมในด้านการประมวลผลภาษาธรรมชาติและเป้าหมายคือการทำให้โปรแกรมคอมพิวเตอร์ที่กำลังพัฒนาอยู่นั้นเห็นพ้องกับมนุษย์ในการกำหนดหมวดหมู่ที่สร้างขึ้น การประเมินระดับความเห็นพ้องระหว่างมนุษย์จึงมีความสำคัญต่อการกำหนดขีดจำกัดสูงสุดที่เหมาะสมสำหรับประสิทธิภาพ ของ คอมพิวเตอร์

ค่า pi ของ Scott คล้ายกับค่า kappa ของ Cohenตรงที่ทั้งสองค่านี้ปรับปรุงความแม่นยำของการวัดความสอดคล้องที่สังเกตได้ง่ายๆ โดยคำนึงถึงระดับความสอดคล้องที่อาจเกิดขึ้นได้โดยบังเอิญ อย่างไรก็ตาม ในแต่ละสถิติ การคำนวณความสอดคล้องที่คาดหวังจะแตกต่างกันเล็กน้อย ค่า pi ของ Scott เปรียบเทียบกับค่าพื้นฐานที่ผู้ประเมินไม่เพียงแต่เป็นอิสระต่อกันเท่านั้น แต่ยังมีการกระจายของคำตอบที่เหมือนกันด้วย ในขณะที่ค่า kappa ของ Cohenเปรียบเทียบกับค่าพื้นฐานที่ผู้ประเมินเป็นอิสระต่อกัน แต่มีการกระจายของคำตอบที่แตกต่างกัน ดังนั้น ค่า pi ของ Scott วัดความไม่ลงรอยกันระหว่างผู้ประเมินเมื่อเทียบกับระดับความสอดคล้องที่คาดหวังเนื่องจากโอกาสแบบสุ่มอย่างแท้จริง หากผู้ประเมินเป็นอิสระต่อกันและมีการกระจายเหมือนกัน ในขณะที่ค่า kappa ของ Cohen วัดความไม่ลงรอยกันระหว่างผู้ประเมินที่สูงกว่าความไม่ลงรอยกันโดยเฉลี่ยที่เป็นระบบที่ผู้ประเมินอาจมี ที่จริงแล้ว ค่า kappa ของ Cohen ละเลยความไม่ลงรอยกันโดยเฉลี่ยที่เป็นระบบทั้งหมดระหว่างผู้ประเมินก่อนที่จะเปรียบเทียบผู้ประเมินอย่างชัดเจน ดังนั้น ค่าแคปปาของโคเฮนจึงประเมินเฉพาะระดับความไม่เห็นด้วยที่เปลี่ยนแปลงไปแบบสุ่มระหว่างผู้ให้ข้อมูลเท่านั้น ไม่ใช่ความไม่เห็นด้วยที่เป็นระบบและโดยเฉลี่ย ส่วนค่าพายของสก็อตต์นั้นได้รับการขยายให้ครอบคลุมผู้ให้ข้อมูลมากกว่าสองคนโดยใช้ ค่าแคป ปาของเฟลส

สูตรสำหรับค่าพายของสก็อตต์ เช่นเดียวกับค่าแคปปาของโคเฮนคือ:

${\displaystyle \pi ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},}$

อย่างไรก็ตาม Pr(e) คำนวณโดยใช้ "สัดส่วนร่วม" ยกกำลังสอง ซึ่งเป็นค่าเฉลี่ยเลขคณิตยกกำลังสองของสัดส่วนส่วนขอบ (ในขณะที่วิธีของโคเฮนใช้ค่าเฉลี่ยเรขาคณิตยกกำลังสอง) ดังนั้นสำหรับ${\displaystyle C}$หมวดหมู่${\displaystyle N}$การสังเกตเพื่อจัดหมวดหมู่และ${\displaystyle n_{ki}}$จำนวนครั้งที่ผู้ประเมิน${\displaystyle i}$หมวดหมู่ที่คาดการณ์${\displaystyle k}$:

${\displaystyle \Pr(e)=\sum _{k\in C}\left({\frac {n_{k1}+n_{k2}}{2N}}\right)^{2}}$

เมทริกซ์ความสับสนสำหรับผู้ประเมินสองคน สามหมวดหมู่ {ใช่ ไม่ใช่ อาจจะ} และรายการที่ได้รับการประเมิน 45 รายการ (90 การให้คะแนนสำหรับผู้ประเมินสองคน):

ในการคำนวณความสอดคล้องที่คาดหวัง ให้รวมค่าส่วนต่างระหว่างผู้ประเมินแต่ละคน แล้วหารด้วยจำนวนการประเมินทั้งหมด เพื่อให้ได้สัดส่วนร่วม จากนั้นยกกำลังสองและรวมค่าเหล่านี้เข้าด้วยกัน:

ในการคำนวณระดับความเห็นพ้องที่สังเกตได้ ให้หารจำนวนรายการที่ผู้ประเมินเห็นพ้องกันด้วยจำนวนรายการทั้งหมด ในกรณีนี้

${\displaystyle \Pr(a)={\frac {1+5+9}{45}}=0.333.}$

เนื่องจาก Pr(e) = 0.369 ดังนั้นค่าพายของ Scott คือ

${\displaystyle \pi ={\frac {0.333-0.369}{1-0.369}}=-0.057.}$

• อัลฟ่าของคริปเพนดอร์ฟ