กลับไปหน้าบทความ

อ่าน 2 นาที

การประเมินตามฉันทามติ

การประเมินโดยอาศัยฉันทามติ เป็นการต่อยอดจากแนวทางปฏิบัติทั่วไปของ การตัดสินใจโดยอาศัยฉันทามติ...

การประเมินตามฉันทามติ

การประเมินโดยอาศัยฉันทามติเป็นการต่อยอดจากแนวทางปฏิบัติทั่วไปของการตัดสินใจโดยอาศัยฉันทามติและข้อสังเกตเชิงทฤษฎีที่ว่าความเชี่ยวชาญสามารถประมาณได้อย่างใกล้เคียงโดยกลุ่มผู้เริ่มต้นหรือผู้ที่มีประสบการณ์จำนวนมาก วิธีการนี้สร้างวิธีการกำหนดมาตรฐานการวัดสำหรับขอบเขตความรู้ที่ไม่ชัดเจนมาก เช่นความฉลาดทางอารมณ์การเมือง ศาสนา ค่านิยม และวัฒนธรรมโดยทั่วไป จากมุมมองนี้ ความรู้ร่วมกันที่ก่อให้เกิดฉันทามติทางวัฒนธรรมสามารถประเมินได้ในลักษณะเดียวกับความเชี่ยวชาญหรือสติปัญญาทั่วไป

มาตรฐานการวัดสำหรับสติปัญญาทั่วไป

การประเมินโดยอาศัยฉันทามติมีพื้นฐานมาจากข้อค้นพบง่ายๆ ที่ว่า กลุ่มตัวอย่างบุคคลที่มีความสามารถแตกต่างกัน (เช่น ผู้เชี่ยวชาญและผู้ฝึกงาน) ให้คะแนนสถานการณ์ที่เกี่ยวข้องโดยใช้มาตราส่วนลิเคิร์ตโดยมีคะแนนเฉลี่ยที่คล้ายคลึงกัน ดังนั้น จากมุมมองของกรอบการประเมินโดยอาศัยฉันทามติ มาตรฐานทางวัฒนธรรมสำหรับเกณฑ์การให้คะแนนสามารถได้มาจากประชากรที่กำลังได้รับการประเมิน ปีเตอร์ เลกรี และโจเซฟ พโซทก้า ซึ่งทำงานร่วมกันมาหลายทศวรรษ ได้เสนอว่า ค่าgทางจิตวิทยาสามารถวัดได้อย่างแนบเนียนผ่านมาตราส่วนแบบสำรวจที่ต้องอาศัยการตัดสินใจ ซึ่งอาจใช้คะแนนเบี่ยงเบนของแต่ละบุคคลจากค่าเฉลี่ยของกลุ่มหรือผู้เชี่ยวชาญ หรือค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สันระหว่างการตัดสินใจของพวกเขาและค่าเฉลี่ยของกลุ่ม เทคนิคทั้งสองมีความสัมพันธ์กันอย่างสมบูรณ์ เลกรีและพโซทก้าจึงสร้างมาตราส่วนที่ขอให้บุคคลประเมินความถี่ของคำ ตัดสินความน่าจะเป็นแบบไบนารีของการดำเนินการต่อที่ดี ระบุนัยยะของความรู้ และประมาณการการกระจายการจ้างงาน รายการต่างๆ ได้รับการคัดเลือกอย่างระมัดระวังเพื่อหลีกเลี่ยงการอ้างอิงแบบวัตถุประสงค์ ดังนั้นมาตราส่วนจึงต้องการให้ผู้ตอบแบบสอบถามให้การตัดสินใจซึ่งได้รับการให้คะแนนเทียบกับมาตรฐานฉันทามติที่พัฒนาขึ้นอย่างกว้างขวาง ผลการทดสอบการตัดสินใจชุดนี้มีความสัมพันธ์ประมาณ 0.80 กับการวัดค่าg ทางจิตวิทยาแบบดั้งเดิม เกณฑ์การตอบคำถามได้มาจากการเห็นพ้องต้องกัน แตกต่างจากคำถามคณิตศาสตร์หรือฟิสิกส์ การเลือกข้อสอบ สถานการณ์ และตัวเลือกเพื่อประเมินค่าg ทางจิตวิทยา ได้รับการชี้นำโดยทฤษฎีที่เน้นการตัดสินใจที่ซับซ้อน แต่เกณฑ์การตอบคำถามที่ชัดเจนนั้นไม่เป็นที่ทราบจนกว่าจะมีการประเมินเสร็จสิ้น เกณฑ์เหล่านั้นถูกกำหนดโดยค่าเฉลี่ยของคำตอบของทุกคน โดยใช้คะแนนส่วนเบี่ยงเบน ความสัมพันธ์ หรือคะแนนปัจจัย

มาตรฐานการวัดความรู้ทางวัฒนธรรม

วิธีหนึ่งที่จะเข้าใจความเชื่อมโยงระหว่างความเชี่ยวชาญและฉันทามติ คือการพิจารณาว่าในหลายๆ ด้านของการปฏิบัติงาน ความเชี่ยวชาญส่วนใหญ่สะท้อนถึงความรู้ที่ได้มาจากประสบการณ์ เนื่องจากผู้เริ่มต้นมักมีประสบการณ์น้อยกว่า ความคิดเห็นของพวกเขาจึงผิดพลาดไปในทิศทางต่างๆ ที่ไม่สอดคล้องกัน อย่างไรก็ตาม เมื่อได้รับประสบการณ์มากขึ้น ความคิดเห็นของผู้ที่มีประสบการณ์ไปจนถึงผู้เชี่ยวชาญก็จะมีความสอดคล้องกันมากขึ้น ตามมุมมองนี้ ข้อผิดพลาดจึงเป็นแบบสุ่ม ข้อมูลการให้คะแนนที่รวบรวมจากกลุ่มตัวอย่างขนาดใหญ่ของผู้ตอบแบบสอบถามที่มีความเชี่ยวชาญแตกต่างกัน จึงสามารถนำมาใช้เพื่อประมาณค่าเฉลี่ยของการให้คะแนนที่ผู้เชี่ยวชาญจำนวนมากจะให้ หากมีผู้เชี่ยวชาญจำนวนมาก เนื่องจากค่า เบี่ยง เบนมาตรฐานของค่าเฉลี่ยจะเข้าใกล้ศูนย์เมื่อจำนวนการสังเกตมีขนาดใหญ่มาก การประมาณค่าโดยอิงจากกลุ่มที่มีความสามารถแตกต่างกันจะให้ค่าประมาณที่บรรจบกันของมาตรฐานการปฏิบัติงานที่ดีที่สุด ค่าเฉลี่ยของคำตอบของกลุ่มเหล่านี้สามารถนำมาใช้สร้างเกณฑ์ การให้คะแนนที่มีประสิทธิภาพ หรือมาตรฐานการวัดเพื่อประเมินผลการปฏิบัติงาน วิธีการนี้มีความเกี่ยวข้องอย่างยิ่งกับการให้คะแนนในด้านความรู้เชิงอัตวิสัยที่วัดโดยใช้มาตราส่วนการตอบแบบลิเคิร์ต และวิธีการนี้ได้ถูกนำไปใช้เพื่อพัฒนามาตรฐานการให้คะแนนสำหรับหลายๆ ด้านที่ผู้เชี่ยวชาญมีจำนวนน้อย

ผลการทดลอง

ในทางปฏิบัติ การวิเคราะห์แสดงให้เห็นถึงความสอดคล้องกันในระดับสูงระหว่างมาตรฐานของผู้เชี่ยวชาญและมาตรฐาน CBA โดยค่าที่วัดมาตรฐานเหล่านั้นมีความสัมพันธ์กันสูง (ค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สันRอยู่ในช่วง .72 ถึง .95) และคะแนนที่อิงตามมาตรฐานเหล่านั้นก็มีความสัมพันธ์กันสูงเช่นกัน ( ค่า Rอยู่ในช่วง .88 ถึง .99) โดยมีเงื่อนไขว่าขนาดตัวอย่างของทั้งสองกลุ่มมีขนาดใหญ่ (Legree, Psotka, Tremble & Bourne, 2005) ความสอดคล้องกันระหว่างคะแนน CBA และคะแนนอ้างอิงจากผู้เชี่ยวชาญ รวมถึงข้อมูลความถูกต้องที่เกี่ยวข้อง บ่งชี้ว่าการให้คะแนน CBA และการให้คะแนนโดยผู้เชี่ยวชาญสามารถใช้แทนกันได้ โดยมีเงื่อนไขว่าข้อมูลการให้คะแนนนั้นเก็บรวบรวมจากกลุ่มตัวอย่างขนาดใหญ่ของผู้เชี่ยวชาญและผู้เริ่มต้นหรือผู้ชำนาญการ

การวิเคราะห์ปัจจัย

การประเมินความเข้าใจทาง วัฒนธรรม (CBA) มักคำนวณโดยใช้ค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สัน (Pearson R)ของการตัดสินใจแต่ละบุคคล ในมาตราส่วน ลิเคิร์ต (Likert scale)เทียบกับค่าเฉลี่ยของการตัดสินใจของทุกคนในหัวข้อเดียวกัน ค่าสหสัมพันธ์นี้จะเป็นตัววัดความใกล้เคียงของบุคคลนั้นกับฉันทามติ บางครั้งก็คำนวณโดยใช้ค่าเบี่ยงเบนมาตรฐานจากค่าเฉลี่ยฉันทามติของกลุ่ม วิธีการทั้งสองนี้มีความคล้ายคลึงกันทางคณิตศาสตร์ หากถือว่าวัฒนธรรมเป็นความรู้ร่วมกัน และค่าเฉลี่ยของการให้คะแนนของกลุ่มในโดเมนความรู้เฉพาะเจาะจงถือเป็นตัววัดฉันทามติทางวัฒนธรรมในโดเมนนั้น ดังนั้นทั้งสองวิธีจึงประเมิน CBA ในฐานะตัววัดความเข้าใจทางวัฒนธรรมของแต่ละบุคคล

อย่างไรก็ตาม อาจเป็นไปได้ว่าฉันทามติไม่ได้กระจายอย่างเท่าเทียมกันในทุกประเด็นย่อยเกี่ยวกับหัวข้อใดหัวข้อหนึ่ง บางทีเนื้อหาความรู้ของประเด็นเหล่านั้นอาจกระจายอยู่ตามโดเมนที่มีฉันทามติแตกต่างกัน ตัวอย่างเช่น อนุรักษ์นิยมที่เป็นเสรีนิยมอาจมีความรู้สึกเกี่ยวกับการละเมิดความเป็นส่วนตัวแตกต่างจากอนุรักษ์นิยมที่ยึดมั่นในกฎหมายและความสงบเรียบร้อย อันที่จริงการวิเคราะห์ปัจจัย มาตรฐาน ได้นำประเด็นนี้มาสู่ความสนใจ

ไม่ว่าจะเป็นการวิเคราะห์แบบเซนทรอยด์หรือการวิเคราะห์องค์ประกอบหลัก (PCA) คะแนนปัจจัยแรกจะถูกสร้างขึ้นโดยการคูณคะแนนแต่ละคะแนนด้วยค่าสหสัมพันธ์ของปัจจัย (โดยปกติคือค่าเฉลี่ยของคะแนนมาตรฐานทั้งหมดสำหรับแต่ละบุคคล) กับคะแนนของแต่ละรายการ การคูณนี้จะให้น้ำหนักแต่ละรายการด้วยค่าสหสัมพันธ์ของรูปแบบความแตกต่างระหว่างบุคคลในแต่ละรายการ (คะแนนองค์ประกอบ) หากความเห็นพ้องกระจายไม่เท่ากันในรายการเหล่านี้ บางรายการอาจมุ่งเน้นไปที่ประเด็นโดยรวมของปัจจัยร่วมมากกว่า หากรายการใดมีความสัมพันธ์สูงกับรูปแบบความแตกต่างระหว่างบุคคลโดยรวม รายการนั้นจะได้รับน้ำหนักมากขึ้นในคะแนนปัจจัยโดยรวม การให้น้ำหนักนี้ยังให้น้ำหนักกับคะแนน CBA โดยปริยายด้วย เนื่องจากรายการที่ใช้รูปแบบความเห็นพ้องร่วมกันของ CBA จะได้รับน้ำหนักมากกว่าในการวิเคราะห์ปัจจัย

การวิเคราะห์ปัจจัยแบบสลับตำแหน่งหรือวิธี Q ซึ่งคิดค้นโดยวิลเลียม สตีเฟนสัน (นักจิตวิทยา)แสดงให้เห็นความสัมพันธ์นี้อย่างชัดเจน คะแนน CBA มีความสอดคล้องทางสถิติกับคะแนนองค์ประกอบใน PCA สำหรับการวิเคราะห์ปัจจัยแบบ Q โดยเป็นค่าการถ่วงน้ำหนักของคำตอบของแต่ละบุคคลบนค่าเฉลี่ยของคำตอบของทุกคน ดังนั้น การวิเคราะห์ปัจจัยแบบ Q อาจให้การวัด CBA ที่เหนือกว่า หากสามารถใช้ในการเลือกบุคคลที่แสดงถึงมิติที่โดดเด่นก่อน เมื่อเทียบกับรายการที่แสดงถึงมิติคุณลักษณะรองของโดเมน (เช่น เสรีนิยมในโดเมนทางการเมือง) จากนั้น การวิเคราะห์ปัจจัยสามารถให้ค่า CBA ของแต่ละบุคคลตามแกนเฉพาะนั้นของโดเมนได้

ในทางปฏิบัติ เมื่อการสร้างและจัดเรียงรายการเพื่อให้ได้มาตรวัดที่มีความน่าเชื่อถือสูงทำได้ยาก การวิเคราะห์ปัจจัย Q จึงไม่จำเป็น เนื่องจากผลการวิเคราะห์ปัจจัยดั้งเดิมควรเลือกรายการที่มีฉันทามติร่วมกันอยู่แล้ว ตัวอย่างเช่น ในมาตรวัดทัศนคติทางการเมือง รายการอาจถามเกี่ยวกับทัศนคติที่มีต่อรัฐบาลขนาดใหญ่กฎหมายและความสงบเรียบร้อย ปัญหาเศรษฐกิจ ปัญหาแรงงาน หรือประเด็นเสรีนิยม การระบุล่วงหน้าว่ารายการใดมีผลต่อทัศนคติทางการเมืองของกลุ่มที่สำรวจมากที่สุดอาจเป็นเรื่องยาก อย่างไรก็ตาม เนื่องจากการวิเคราะห์ปัจจัยเป็นการคำนวณแบบสมมาตรบนเมทริกซ์ของรายการและผู้คน การวิเคราะห์ปัจจัยดั้งเดิมของรายการ (เมื่อเป็นมาตรวัดแบบลิเคิร์ต) จะเลือกไม่เพียงแต่รายการที่อยู่ในโดเมนที่คล้ายคลึงกันเท่านั้น แต่โดยทั่วไปแล้วจะเลือกรายการที่มีฉันทามติที่คล้ายคลึงกันด้วย ข้อดีเพิ่มเติมของเทคนิคการวิเคราะห์ปัจจัยนี้คือ รายการจะถูกจัดเรียงตามปัจจัยโดยอัตโนมัติ เพื่อให้คะแนนลิเคิร์ตสูงสุดเป็นคะแนนมาตรฐาน CBA สูงสุดด้วย เมื่อเลือกแล้ว ปัจจัยนั้นจะเป็นตัวกำหนดคะแนน CBA (องค์ประกอบ)

บทวิจารณ์

ข้อวิจารณ์ที่พบบ่อยที่สุดเกี่ยวกับมาตรฐาน CBA คือการตั้งคำถามว่าค่าเฉลี่ยจะเป็นมาตรฐานสูงสุดได้อย่างไร ข้อวิจารณ์นี้กล่าวว่า CBA ไม่เหมาะสมสำหรับการทดสอบประสิทธิภาพสูงสุดของคุณลักษณะทางจิตวิทยา โดยเฉพาะอย่างยิ่งสติปัญญา ถึงกระนั้น เทคนิค CBA ก็ยังถูกนำมาใช้เป็นประจำในการวัดสติปัญญาที่ไม่ใช่แบบดั้งเดิมต่างๆ (เช่น สติปัญญาเชิงปฏิบัติ สติปัญญาทางอารมณ์ สติปัญญาทางสังคม เป็นต้น) ข้อวิจารณ์โดยละเอียดมีอยู่ใน Gottfredson (2003) และ MacCann, Roberts, Matthews, & Zeidner (2004) รวมถึงในเอกสารทางวิทยาศาสตร์ อื่นๆ ด้วย

ดูเพิ่มเติม

  • เทคโนโลยีสารสนเทศและการทำงานร่วมกัน (ดูบทที่ 5): การจัดการปัญญาประดิษฐ์แบบรวมหมู่ สู่ธรรมาภิบาลองค์กรรูปแบบใหม่
  • สมาร์ทม็อบ
  • ภูมิปัญญาของมวลชน
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Consensus-based_assessment&oldid=1323349038 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การประเมินตามฉันทามติ

การประเมินโดยอาศัยฉันทามติ เป็นการต่อยอดจากแนวทางปฏิบัติทั่วไปของ การตัดสินใจโดยอาศัยฉันทามติ...

มาตรฐานการวัดสำหรับสติปัญญาทั่วไป

การประเมินโดยอาศัยฉันทามติมีพื้นฐานมาจากข้อค้นพบง่ายๆ ที่ว่า กลุ่มตัวอย่างบุคคลที่มีความสามารถแตกต่างกัน (เช่น ผู้เชี่ยวชาญและผู้ฝึกงาน) ให้คะแนนสถานการณ์ที่เกี่ยวข้องโดยใช้ มาตราส่วนลิเคิร์ต โดยมีคะแนนเฉลี่ยที่คล้ายคลึงกัน ดังนั้น...

มาตรฐานการวัดความรู้ทางวัฒนธรรม

วิธีหนึ่งที่จะเข้าใจความเชื่อมโยงระหว่างความเชี่ยวชาญและฉันทามติ คือการพิจารณาว่าในหลายๆ ด้านของการปฏิบัติงาน ความเชี่ยวชาญส่วนใหญ่สะท้อนถึงความรู้ที่ได้มาจากประสบการณ์ เนื่องจากผู้เริ่มต้นมักมีประสบการณ์น้อยกว่า ความคิดเห็นของพวกเขาจึงผิดพลาดไปในทิศทางต่างๆ...

ผลการทดลอง

ในทางปฏิบัติ การวิเคราะห์แสดงให้เห็นถึงความสอดคล้องกันในระดับสูงระหว่างมาตรฐานของผู้เชี่ยวชาญและมาตรฐาน CBA โดยค่าที่วัดมาตรฐานเหล่านั้นมีความสัมพันธ์กันสูง (ค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สัน R อยู่ในช่วง .72 ถึง .