ความน่าจะเป็นร่วมของการตกลงกันเป็นมาตรวัดที่ง่ายที่สุดและมีความน่าเชื่อถือน้อยที่สุด โดยประมาณเป็นเปอร์เซ็นต์ของเวลาที่ผู้ประเมินตกลงกันใน ระบบการให้คะแนน แบบนามหรือแบบจำแนกประเภท มาตรวัดนี้ไม่ได้คำนึงถึงข้อเท็จจริงที่ว่าการตกลงกันอาจเกิดขึ้นโดยอาศัยโอกาสเพียงอย่างเดียว มีคำถามว่าจำเป็นต้อง 'แก้ไข' การตกลงกันโดยบังเอิญหรือไม่ บางคนแนะนำว่าไม่ว่าในกรณีใด การปรับปรุงดังกล่าวควรอยู่บนพื้นฐานของแบบจำลองที่ชัดเจนว่าโอกาสและข้อผิดพลาดส่งผลต่อการตัดสินใจของผู้ประเมินอย่างไร^{[ 3 ]}

เมื่อจำนวนหมวดหมู่ที่ใช้มีน้อย (เช่น 2 หรือ 3) โอกาสที่ผู้ประเมิน 2 คนจะเห็นพ้องกันโดยบังเอิญจะเพิ่มขึ้นอย่างมาก เนื่องจากผู้ประเมินทั้งสองต้องจำกัดตัวเองอยู่กับตัวเลือกที่มีอยู่อย่างจำกัด ซึ่งส่งผลต่ออัตราความเห็นพ้องโดยรวม และไม่ได้ขึ้นอยู่กับแนวโน้ม "โดยเนื้อแท้" ของพวกเขาในการเห็นพ้อง (ความเห็นพ้องจะถือว่าเป็น "โดยเนื้อแท้" หากไม่ได้เกิดจากความบังเอิญ)

ดังนั้น ความน่าจะเป็นร่วมของการตกลงจะยังคงสูงอยู่แม้ว่าจะไม่มีการตกลง "โดยเนื้อแท้" ระหว่างผู้ประเมินก็ตาม ค่าสัมประสิทธิ์ความน่าเชื่อถือระหว่างผู้ประเมินที่มีประโยชน์คาดว่าจะ (ก) ใกล้เคียงกับ 0 เมื่อไม่มีการตกลง "โดยเนื้อแท้" และ (ข) จะเพิ่มขึ้นเมื่ออัตราการตกลง "โดยเนื้อแท้" ดีขึ้น ค่าสัมประสิทธิ์การตกลงที่แก้ไขโอกาสส่วนใหญ่บรรลุวัตถุประสงค์แรก อย่างไรก็ตาม วัตถุประสงค์ที่สองไม่บรรลุผลโดยมาตรวัดที่แก้ไขโอกาสที่เป็นที่รู้จักหลายรายการ^{[ 4 ]}

ค่า Kappa เป็นวิธีการวัดความสอดคล้องหรือความน่าเชื่อถือ โดยแก้ไขความถี่ที่การให้คะแนนอาจสอดคล้องกันโดยบังเอิญ ค่า Kappa ของ Cohen ^{[ 5 ]}ซึ่งใช้ได้กับผู้ให้คะแนนสองคน และค่า Kappa ของ Fleiss ^{[ 6 ]}ซึ่งเป็นการปรับปรุงที่ใช้ได้กับผู้ให้คะแนนจำนวนคงที่ใดๆ ก็ตาม จะช่วยปรับปรุงความน่าจะเป็นร่วมกันโดยคำนึงถึงปริมาณความสอดคล้องที่คาดว่าจะเกิดขึ้นโดยบังเอิญ เวอร์ชันดั้งเดิมมีปัญหาเช่นเดียวกับความน่าจะเป็นร่วมกันตรงที่ถือว่าข้อมูลเป็นแบบนามและสมมติว่าการให้คะแนนไม่มีลำดับตามธรรมชาติ หากข้อมูลมีลำดับ (ระดับการวัดแบบเรียงลำดับ) ข้อมูลนั้นจะไม่ได้รับการพิจารณาอย่างครบถ้วนในการวัด

การขยายแนวทางในภายหลังรวมถึงเวอร์ชันที่สามารถจัดการกับ "เครดิตบางส่วน" และมาตราส่วนลำดับ^{[ 7 ]}การขยายเหล่านี้บรรจบกับตระกูลของค่าสหสัมพันธ์ภายในกลุ่ม (ICC) ดังนั้นจึงมีวิธีการประมาณความน่าเชื่อถือที่เกี่ยวข้องในเชิงแนวคิดสำหรับแต่ละระดับของการวัดตั้งแต่ระดับนาม (แคปปา) ไปจนถึงระดับลำดับ (แคปปาลำดับหรือ ICC—การขยายสมมติฐาน) ไปจนถึงระดับช่วง (ICC หรือแคปปาลำดับ—การถือว่ามาตราส่วนช่วงเป็นลำดับ) และระดับอัตราส่วน (ICC) นอกจากนี้ยังมีรูปแบบต่างๆ ที่สามารถพิจารณาความสอดคล้องของผู้ประเมินในชุดรายการ (เช่น ผู้สัมภาษณ์สองคนเห็นด้วยกับคะแนนภาวะซึมเศร้าสำหรับรายการทั้งหมดในการสัมภาษณ์แบบกึ่งโครงสร้างเดียวกันสำหรับกรณีหนึ่งหรือไม่) เช่นเดียวกับผู้ประเมิน x กรณี (เช่น ผู้ประเมินสองคนขึ้นไปเห็นด้วยกันดีแค่ไหนว่า 30 กรณีได้รับการวินิจฉัยว่าเป็นโรคซึมเศร้าหรือไม่ ใช่/ไม่ใช่—ตัวแปรนาม)

ค่า Kappa คล้ายกับค่าสัมประสิทธิ์สหสัมพันธ์ตรงที่ค่าไม่สามารถสูงกว่า +1.0 หรือต่ำกว่า -1.0 ได้ เนื่องจากใช้เป็นมาตรวัดความสอดคล้อง จึงคาดหวังได้เฉพาะค่าบวกในสถานการณ์ส่วนใหญ่ ค่าลบจะบ่งชี้ถึงความไม่สอดคล้องกันอย่างเป็นระบบ ค่า Kappa จะมีค่าสูงมากได้ก็ต่อเมื่อความสอดคล้องดีและอัตราของเงื่อนไขเป้าหมายอยู่ใกล้ 50% (เนื่องจากรวมอัตราพื้นฐานในการคำนวณความน่าจะเป็นร่วม) ผู้เชี่ยวชาญหลายท่านได้เสนอ "หลักเกณฑ์คร่าวๆ" สำหรับการตีความระดับความสอดคล้อง ซึ่งหลายหลักเกณฑ์มีใจความตรงกันแม้ว่าคำพูดจะไม่เหมือนกันทุกประการก็ตาม^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]}

ไม่ว่าจะเป็น ของเพียร์สันก็ตาม${\displaystyle r}$τ ของ Kendallหรือ τ ของSpearman${\displaystyle \rho }$ สามารถใช้เพื่อวัดความสัมพันธ์แบบคู่ระหว่างผู้ประเมินโดยใช้มาตราส่วนที่เรียงลำดับ สถิติของ Pearson ถือว่ามาตราส่วนการให้คะแนนเป็นแบบต่อเนื่อง ในขณะที่สถิติของ Kendall และ Spearman ถือว่ามาตราส่วนนั้นเป็นแบบเรียงลำดับเท่านั้น หากมีผู้ประเมินมากกว่าสองคน สามารถคำนวณระดับความเห็นพ้องเฉลี่ยของกลุ่มได้โดยการหาค่าเฉลี่ยของ${\displaystyle r}$, τหรือ${\displaystyle \rho }$ค่าจากผู้ประเมินแต่ละคู่ที่เป็นไปได้

อีกวิธีหนึ่งในการทดสอบความน่าเชื่อถือคือการใช้สัมประสิทธิ์สหสัมพันธ์ภายในกลุ่ม (ICC) ^{[ 12 ]}มีหลายประเภท และประเภทหนึ่งถูกกำหนดไว้ว่า "สัดส่วนของความแปรปรวนของการสังเกตเนื่องจากความแปรปรวนระหว่างบุคคลในคะแนนที่แท้จริง" ^{[ 13 ]}ช่วงของ ICC อาจอยู่ระหว่าง 0.0 ถึง 1.0 (คำจำกัดความแรกเริ่มของ ICC อาจอยู่ระหว่าง-1ถึง +1) ICC จะสูงเมื่อมีความแปรปรวนน้อยระหว่างคะแนนที่ผู้ประเมินให้แก่แต่ละรายการ เช่น หากผู้ประเมินทั้งหมดให้คะแนนเดียวกันหรือคล้ายกันสำหรับแต่ละรายการ ICC เป็นการปรับปรุงที่ดีกว่าของ Pearson${\displaystyle r}$และของสเปียร์แมน${\displaystyle \rho }$เนื่องจากวิธีการนี้คำนึงถึงความแตกต่างของคะแนนในแต่ละส่วน รวมถึงความสัมพันธ์ระหว่างผู้ให้คะแนนด้วย

อีกแนวทางหนึ่งในการประเมินความสอดคล้อง (ซึ่งมีประโยชน์เมื่อมีผู้ประเมินเพียงสองคนและมาตรวัดเป็นแบบต่อเนื่อง) คือการคำนวณความแตกต่างระหว่างการสังเกตของผู้ประเมินทั้งสองคู่ ค่าเฉลี่ยของความแตกต่างเหล่านี้เรียกว่าค่าเบี่ยงเบนและช่วงอ้างอิง (ค่าเฉลี่ย ±  1.96  × ส่วนเบี่ยงเบนมาตรฐาน ) เรียกว่าขอบเขตความสอดคล้อง ขอบเขตความสอดคล้องช่วยให้เข้าใจว่าความผันแปรแบบสุ่มมีอิทธิพลต่อการประเมินมากน้อยเพียงใด 

หากผู้ประเมินมักเห็นพ้องกัน ความแตกต่างระหว่างการสังเกตของผู้ประเมินจะใกล้เคียงกับศูนย์ หากผู้ประเมินคนใดคนหนึ่งมักให้คะแนนสูงกว่าหรือต่ำกว่าอีกคนหนึ่งอย่างสม่ำเสมอ ความเอนเอียงจะแตกต่างจากศูนย์ หากผู้ประเมินมักไม่เห็นด้วย แต่ไม่มีรูปแบบที่สม่ำเสมอที่ผู้ประเมินคนหนึ่งให้คะแนนสูงกว่าอีกคนหนึ่ง ค่าเฉลี่ยจะใกล้เคียงกับศูนย์ สามารถคำนวณช่วงความเชื่อมั่น (โดยปกติ 95%) สำหรับทั้งความเอนเอียงและขอบเขตความเห็นพ้องแต่ละด้านได้

มีสูตรหลายสูตรที่สามารถใช้ในการคำนวณขีดจำกัดของข้อตกลง สูตรง่ายๆ ซึ่งระบุไว้ในย่อหน้าก่อนหน้าและใช้ได้ดีสำหรับขนาดตัวอย่างที่มากกว่า 60 ^{[ 14 ]}คือ

${\displaystyle {\bar {x}}\pm 1.96 วินาที}$

สำหรับขนาดตัวอย่างที่เล็กกว่า การลดความซับซ้อนทั่วไปอีกอย่างหนึ่ง^{[ 15 ]}คือ

${\displaystyle {\bar {x}}\pm 2s}$

อย่างไรก็ตาม สูตรที่แม่นยำที่สุด (ซึ่งใช้ได้กับขนาดตัวอย่างทุกขนาด) ^{[ 14 ]}คือ

${\displaystyle {\bar {x}}\pm t_{0.05,n-1}s{\sqrt {1+{\frac {1}{n}}}}}$

Bland และ Altman ^{[ 15 ]}ได้ขยายแนวคิดนี้โดยการสร้างกราฟแสดงความแตกต่างของแต่ละจุด ความแตกต่างเฉลี่ย และขอบเขตของความเห็นพ้องบนแนวตั้งเทียบกับค่าเฉลี่ยของการให้คะแนนทั้งสองบนแนวนอนแผนภาพ Bland–Altman ที่ได้ แสดงให้เห็นไม่เพียงแต่ระดับความเห็นพ้องโดยรวมเท่านั้น แต่ยังแสดงให้เห็นด้วยว่าความเห็นพ้องนั้นเกี่ยวข้องกับคุณค่าพื้นฐานของรายการหรือไม่ ตัวอย่างเช่น ผู้ให้คะแนนสองคนอาจเห็นพ้องกันอย่างใกล้ชิดในการประเมินขนาดของรายการขนาดเล็ก แต่ไม่เห็นด้วยเกี่ยวกับรายการขนาดใหญ่

เมื่อเปรียบเทียบวิธีการวัดสองวิธี สิ่งสำคัญไม่เพียงแต่คือการประเมินทั้งค่าความคลาดเคลื่อนและขอบเขตความสอดคล้องระหว่างสองวิธี (ความสอดคล้องระหว่างผู้ประเมิน) เท่านั้น แต่ยังต้องประเมินลักษณะเหล่านี้สำหรับแต่ละวิธีด้วย อาจเป็นไปได้ว่าความสอดคล้องระหว่างสองวิธีนั้นไม่ดีเพียงเพราะวิธีหนึ่งมีขอบเขตความสอดคล้อง กว้าง ในขณะที่อีกวิธีหนึ่งมีขอบเขตความสอดคล้องแคบ ในกรณีนี้ วิธีที่มีขอบเขตความสอดคล้อง แคบ จะดีกว่าในเชิงสถิติ ในขณะที่ข้อพิจารณาในทางปฏิบัติหรือข้อพิจารณาอื่นๆ อาจเปลี่ยนแปลงการประเมินนี้ได้ขอบเขตความสอดคล้อง ที่แคบหรือกว้าง หรือ ค่าความคลาดเคลื่อนมากหรือน้อยนั้นเป็นเรื่องของการประเมินในทางปฏิบัติในแต่ละกรณี

ค่าอัลฟาของ Krippendorff ^{[ 16 ] [ 17 ]}เป็นสถิติอเนกประสงค์ที่ใช้ประเมินความสอดคล้องที่เกิดขึ้นระหว่างผู้สังเกตการณ์ที่จัดหมวดหมู่ ประเมิน หรือวัดวัตถุชุดหนึ่งตามค่าของตัวแปร โดยจะขยายค่าสัมประสิทธิ์ความสอดคล้องเฉพาะทางหลายค่าโดยยอมรับจำนวนผู้สังเกตการณ์ใดๆ ก็ได้ สามารถใช้ได้กับระดับการวัดแบบนาม แบบเรียงลำดับ แบบช่วง และแบบอัตราส่วน สามารถจัดการกับข้อมูลที่ขาดหายไปได้และได้รับการแก้ไขสำหรับขนาดตัวอย่างขนาดเล็ก

Alphaปรากฏขึ้นในด้านการวิเคราะห์เนื้อหาซึ่งหน่วยข้อความจะถูกจัดหมวดหมู่โดยผู้เข้ารหัสที่ได้รับการฝึกฝน และถูกนำไปใช้ในการให้คำปรึกษาและการวิจัยสำรวจซึ่งผู้เชี่ยวชาญจะเข้ารหัสข้อมูลการสัมภาษณ์แบบปลายเปิดให้เป็นคำที่สามารถวิเคราะห์ได้ ในด้านจิตวิทยาการวัดผลซึ่งมีการทดสอบคุณลักษณะส่วนบุคคลด้วยวิธีการหลายวิธี ในการศึกษาเชิงสังเกตซึ่งมีการบันทึกเหตุการณ์ที่ไม่เป็นโครงสร้างเพื่อการวิเคราะห์ในภายหลัง และในด้านภาษาศาสตร์เชิงคำนวณซึ่งมีการใส่คำอธิบายประกอบข้อความสำหรับคุณสมบัติทางไวยากรณ์และความหมายต่างๆ