การ ทดสอบ Winograd schema challenge ( WSC ) เป็นการทดสอบความฉลาดของเครื่องจักรที่เสนอโดยHector Levesqueนักวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยโทรอนโต ในปี 2012 ออกแบบมาเพื่อปรับปรุงการทดสอบ Turingโดยเป็นการทดสอบแบบเลือกตอบที่ใช้Winograd schema ซึ่งเป็น คำถามที่มีโครงสร้างเฉพาะเจาะจงมาก ตั้งชื่อตามTerry Winogradศาสตราจารย์ด้านวิทยาศาสตร์คอมพิวเตอร์จากมหาวิทยาลัยสแตนฟอร์ด^{[ 1 ]}

โดยผิวเผิน คำถาม แบบแผน Winograd ต้องการเพียงการแก้ปัญหาการอ้างอิง : เครื่องจักรต้องระบุคำที่อ้าง ถึง คำสรรพนามที่กำกวมในประโยค ซึ่งทำให้เป็นงานของการประมวลผลภาษาธรรมชาติแต่ Levesque โต้แย้งว่าสำหรับแบบแผน Winograd งานนี้ต้องการการใช้ความรู้และ การใช้ เหตุผลสามัญสำนึก^{[ 2 ]}

ความท้าทายนี้ถือว่า "พ่ายแพ้" ตั้งแต่ปี 2019 เมื่อ โมเดลภาษาที่ใช้Transformerจำนวนมากบรรลุความแม่นยำมากกว่า 90% ^{[ 3 ]}

การท้าทาย Winograd Schema ได้รับการเสนอขึ้นโดยยึดหลักการของการทดสอบ Turingซึ่งเสนอโดยAlan Turingในปี 1950 การทดสอบ Turing มีบทบาทสำคัญในปรัชญาของปัญญาประดิษฐ์ Turing เสนอว่า แทนที่จะถกเถียงกันว่าเครื่องจักรสามารถคิดได้หรือไม่ วิทยาศาสตร์ของ AI ควรให้ความสำคัญกับการสาธิตพฤติกรรมที่ชาญฉลาด ซึ่งสามารถทดสอบได้ แต่ลักษณะที่แท้จริงของการทดสอบที่ Turing เสนอนั้นได้รับการตรวจสอบอย่างละเอียด โดยเฉพาะอย่างยิ่งหลังจากที่แชทบอท AI ชื่อEugene Goostmanอ้างว่าผ่านการทดสอบในปี 2014 ข้อกังวลหลักประการหนึ่งเกี่ยวกับการทดสอบ Turing คือ เครื่องจักรสามารถผ่านการทดสอบได้อย่างง่ายดายด้วยกำลังดิบและ/หรือกลอุบาย แทนที่จะใช้สติปัญญาที่แท้จริง^{[ 4 ]}

ความท้าทายของสคีมา Winograd ได้รับการเสนอในปี 2012 ส่วนหนึ่งเพื่อบรรเทาปัญหาที่เกิดขึ้นเกี่ยวกับลักษณะของโปรแกรมที่ทำงานได้ดีในการทดสอบ^{[ 5 ]}

ข้อเสนอเดิมของ Turing คือสิ่งที่เขาเรียกว่าเกมเลียนแบบซึ่งเกี่ยวข้องกับการสนทนาแบบอิสระและไม่จำกัดในภาษาอังกฤษระหว่างผู้พิพากษาที่เป็นมนุษย์และโปรแกรมคอมพิวเตอร์ผ่านช่องทางข้อความเท่านั้น (เช่น โทรพิมพ์) โดยทั่วไป เครื่องจักรจะผ่านการทดสอบหากผู้สอบถามไม่สามารถแยกแยะความแตกต่างระหว่างเครื่องจักรกับมนุษย์ได้ในการสนทนาห้านาที^{[ 4 ]}

Nuance Communicationsประกาศในเดือนกรกฎาคม 2014 ว่าจะสนับสนุนการแข่งขัน WSC ประจำปี โดยมีรางวัล 25,000 ดอลลาร์สำหรับระบบที่ดีที่สุดที่สามารถเทียบเท่าประสิทธิภาพของมนุษย์ได้^{[ 6 ]}อย่างไรก็ตาม ปัจจุบันไม่มีการมอบรางวัลนี้อีกต่อไป

ปัจจัยสำคัญใน WSC คือรูปแบบพิเศษของคำถาม ซึ่งได้มาจากแผนผังของวินโนกราด คำถามในรูปแบบนี้สามารถปรับแต่งให้ต้องการความรู้และการใช้เหตุผลอย่างมีวิจารณญาณในหลากหลายสาขา นอกจากนี้ยังต้องเขียนคำถามอย่างระมัดระวังเพื่อไม่ให้เฉลยคำตอบด้วยข้อจำกัดในการเลือกหรือข้อมูลทางสถิติเกี่ยวกับคำในประโยค

ในปี 2016 และ 2018 Nuance Communications ได้สนับสนุนการแข่งขัน โดยมอบรางวัลใหญ่ 25,000 ดอลลาร์สหรัฐฯ ให้กับผู้ที่ได้คะแนนสูงสุดมากกว่า 90% (เพื่อเปรียบเทียบ มนุษย์ตอบคำถาม WSC ได้ถูกต้อง 92–96% ^{[ 10 ]} ) อย่างไรก็ตาม ไม่มีใครเข้าใกล้การชนะรางวัลในปี 2016 และการแข่งขันในปี 2018 ถูกยกเลิกเนื่องจากขาดโอกาส^{[ 11 ]}ปัจจุบันไม่มีการมอบรางวัลอีกต่อไป^{[ 12 ]}

การประชุมวิชาการนานาชาติครั้งที่สิบสองว่าด้วยการกำหนดรูปแบบเชิงตรรกะของการให้เหตุผลสามัญสำนึกจัดขึ้นระหว่างวันที่ 23-25 ​​มีนาคม 2558 ณ งานประชุมวิชาการฤดูใบไม้ผลิ ของ AAAIที่มหาวิทยาลัยสแตนฟอร์ด โดยเน้นเป็นพิเศษที่ความท้าทายของแผนผัง Winograd คณะกรรมการจัดงานประกอบด้วย Leora Morgenstern ( Leidos ), Theodore Patkos (The Foundation for Research & Technology Hellas) และ Robert Sloan ( มหาวิทยาลัยอิลลินอยส์แห่งชิคาโก ) ^{[ 13 ]}

การแข่งขัน Winograd Schema Challenge ปี 2016 จัดขึ้นเมื่อวันที่ 11 กรกฎาคม 2016 ในงาน IJCAI-16 มีผู้เข้าร่วมแข่งขัน 4 คน รอบแรกของการแข่งขันคือการแก้ปัญหา PDPs—ปัญหาการแยกความหมายของสรรพนาม ซึ่งดัดแปลงมาจากแหล่งวรรณกรรม ไม่ได้สร้างเป็นคู่ประโยค^{[ 14 ]}คะแนนสูงสุดที่ได้รับคือ 58% โดย Quan Liu และคณะ จากมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีแห่งประเทศจีน^{[ 15 ]}ดังนั้น ตามกฎของการแข่งขันนั้น จึงไม่มีการมอบรางวัล และการแข่งขันไม่ได้ดำเนินการต่อในรอบที่สอง คณะกรรมการจัดงานในปี 2016 ได้แก่ Leora Morgenstern, Ernest Davis และ Charles Ortiz ^{[ 16 ]}

ในปี 2017 โมเดลการเชื่อมโยงประสาทที่ออกแบบมาเพื่อการได้มาซึ่งความรู้สามัญสำนึกบรรลุความแม่นยำ 70% ในปัญหาที่เลือกด้วยตนเอง 70 ข้อจากชุดข้อมูล Winograd schema ดั้งเดิม 273 ข้อ^{[ 17 ]}ในเดือนมิถุนายน 2018 บรรลุความแม่นยำ 63.7% บนชุดข้อมูลทั้งหมดโดยใช้โมเดลภาษาเครือข่ายประสาทแบบวนซ้ำแบบรวม กลุ่ม ^{[ 18 ]}ซึ่งถือเป็นการใช้เครือข่ายประสาทเชิงลึก ครั้งแรก ที่เรียนรู้จากคลังข้อมูลอิสระเพื่อได้มาซึ่งความรู้สามัญสำนึก ในปี 2019 บรรลุคะแนน 90.1% บนชุดข้อมูล Winograd schema ดั้งเดิมโดยการปรับแต่ง โมเดลภาษา BERT ด้วย ข้อมูลการฝึกอบรมที่เหมาะสมคล้ายกับ WSC เพื่อหลีกเลี่ยงการเรียนรู้การให้เหตุผลสามัญสำนึก^{[ 10 ]}โมเดลภาษาทั่วไปGPT-3บรรลุคะแนน 88.3% โดยไม่ต้องปรับแต่งเฉพาะในปี 2020 ^{[ 19 ]}

ชุดข้อมูล "Winogrande" ที่ท้าทายและมีลักษณะเป็นปฏิปักษ์มากขึ้น ซึ่งประกอบด้วยปัญหา 44,000 ข้อ ได้รับการออกแบบในปี 2019 ชุดข้อมูลนี้ประกอบด้วยประโยคแบบเติมคำในช่องว่าง ซึ่งแตกต่างจากรูปแบบคำสรรพนามของชุดข้อมูลก่อนหน้านี้^{[ 10 ]}

เวอร์ชันหนึ่งของความท้าทายแบบแผน Winograd เป็นส่วนหนึ่งของชุดเกณฑ์มาตรฐาน GLUE ( General Language Understanding Evaluation ) ของความท้าทายในการทำความเข้าใจภาษาธรรมชาติแบบ อัตโนมัติ ^{[ 20 ]}

• เว็บไซต์สำหรับการประกวดที่ได้รับการสนับสนุนโดย Nuance Communications
• Kocijan, Vid; Davis, Ernest; Lukasiewicz, Thomas; Marcus, Gary; Morgenstern, Leora (1 ธันวาคม 2023). "ความพ่ายแพ้ของ Winograd Schema Challenge" . ปัญญาประดิษฐ์ . 325 103971. arXiv : 2201.02387 . doi : 10.1016/j.artint.2023.103971 . ISSN 0004-3702 . 
• โคซิจัน, วิด; ลูกาซีวิคซ์, โธมัส; เดวิส, เออร์เนสต์; มาร์คัส, แกรี่; มอร์เกนสเติร์น, ลีโอรา (2020) "การทบทวนชุดข้อมูลและแนวทาง Winograd Schema Challenge" arXiv : 2004.13831 [ cs.CL ].