ภายในปัญญาประดิษฐ์ (AI) AI ที่อธิบายได้ ( XAI ) ซึ่งโดยทั่วไปจะทับซ้อนกับAI ที่ตีความได้หรือการเรียนรู้ของเครื่องที่อธิบายได้ ( XML ) เป็นสาขาการวิจัยที่สำรวจวิธีการที่ทำให้มนุษย์สามารถกำกับดูแลอัลกอริทึม AI ได้อย่างชาญฉลาด^{[ 1 ] [ 2 ]}จุดเน้นหลักอยู่ที่เหตุผลเบื้องหลังการตัดสินใจหรือการคาดการณ์ที่ทำโดยอัลกอริทึม AI ^{[ 3 ]}เพื่อให้เข้าใจได้ง่ายและโปร่งใสมากขึ้น^{[ 4 ]}ซึ่งตอบสนองความต้องการของผู้ใช้ในการประเมินความปลอดภัยและตรวจสอบการตัดสินใจอัตโนมัติในแอปพลิเคชัน^{[ 5 ] [ 6 ]} XAI ต่อต้านแนวโน้ม " กล่องดำ " ของการเรียนรู้ของเครื่อง ซึ่งแม้แต่นักออกแบบ AI ก็ไม่สามารถอธิบายได้ว่าทำไมจึงตัดสินใจเช่นนั้น^{[ 7 ] [ 8 ]}

XAI มุ่งหวังที่จะช่วยให้ผู้ใช้ระบบที่ขับเคลื่อนด้วย AI ทำงานได้อย่างมีประสิทธิภาพมากขึ้นโดยการปรับปรุงความเข้าใจเกี่ยวกับวิธีการใช้เหตุผลของระบบเหล่านั้น^{[ 9 ]} XAI อาจเป็นการนำสิทธิทางสังคมในการได้รับคำ อธิบายไป ใช้^{[ 10 ]}แม้ว่าจะไม่มีสิทธิทางกฎหมายหรือข้อกำหนดด้านกฎระเบียบดังกล่าว XAI ก็สามารถปรับปรุงประสบการณ์การใช้งานผลิตภัณฑ์หรือบริการได้โดยการช่วยให้ผู้ใช้ปลายทางเชื่อมั่นว่า AI กำลังตัดสินใจได้อย่างถูกต้อง^{[ 11 ]} XAI มีเป้าหมายที่จะอธิบายสิ่งที่ได้ทำไปแล้ว สิ่งที่กำลังทำอยู่ สิ่งที่จะทำต่อไป และข้อมูลใดที่ใช้เป็นพื้นฐานในการกระทำเหล่านี้^{[ 12 ]}ซึ่งทำให้สามารถยืนยันความรู้ที่มีอยู่ ท้าทายความรู้ที่มีอยู่ และสร้างสมมติฐานใหม่ได้^{[ 13 ]}

อัลกอริทึม การเรียนรู้ของเครื่อง (ML) ที่ใช้ใน AI สามารถจำแนกได้เป็นแบบกล่องขาวหรือกล่องดำ [ ^{14 ] โมเดล}กล่องขาวให้ผลลัพธ์ที่ผู้เชี่ยวชาญในสาขาสามารถเข้าใจได้ ในทางกลับกัน โมเดลกล่องดำนั้นยากมากที่จะอธิบายและอาจไม่เข้าใจได้แม้แต่ผู้เชี่ยวชาญในสาขา^{[ 15 ]}อัลกอริทึม XAI ปฏิบัติตามหลักการสามประการ ได้แก่ ความโปร่งใส ความสามารถในการตีความ และความสามารถในการอธิบาย

• แบบจำลองจะโปร่งใส "หากกระบวนการที่ดึงพารามิเตอร์ของแบบจำลองจากข้อมูลการฝึกอบรมและสร้างป้ายกำกับจากข้อมูลการทดสอบสามารถอธิบายและให้เหตุผลได้โดยนักออกแบบแนวทาง" ^{[ 16 ]}
• ความสามารถในการตีความหมายถึงความเป็นไปได้ในการทำความเข้าใจโมเดล ML และการนำเสนอพื้นฐานเบื้องหลังการตัดสินใจในรูปแบบที่มนุษย์สามารถเข้าใจได้^{[ 17 ] [ 18 ] [ 19 ]}
• ความสามารถในการอธิบายเป็นแนวคิดที่ได้รับการยอมรับว่ามีความสำคัญ แต่ยังไม่มีคำจำกัดความที่เป็นที่ยอมรับร่วมกัน^{[ 16 ]}ความเป็นไปได้หนึ่งคือ "ชุดของคุณลักษณะของโดเมนที่ตีความได้ซึ่งมีส่วนช่วยในการสร้างการตัดสินใจ (เช่น การจำแนกประเภทหรือการถดถอย) สำหรับตัวอย่างที่กำหนด" ^{[ 20 ]}

โดยสรุปแล้ว ความสามารถในการตีความหมายถึงความสามารถของผู้ใช้ในการเข้าใจผลลัพธ์ของแบบจำลอง ในขณะที่ความโปร่งใสของแบบจำลองประกอบด้วยความสามารถในการจำลอง (ความสามารถในการทำซ้ำของการคาดการณ์) ความสามารถในการแยกส่วน (คำอธิบายที่เข้าใจง่ายสำหรับพารามิเตอร์) และความโปร่งใสของอัลกอริทึม (การอธิบายวิธีการทำงานของอัลกอริทึม) ฟังก์ชันการทำงานของแบบจำลองมุ่งเน้นไปที่คำอธิบายที่เป็นข้อความ การแสดงภาพ และคำอธิบายเฉพาะที่ ซึ่งชี้แจงผลลัพธ์หรือตัวอย่างเฉพาะมากกว่าแบบจำลองทั้งหมด แนวคิดทั้งหมดเหล่านี้มีจุดมุ่งหมายเพื่อเพิ่มความเข้าใจและความสามารถในการใช้งานของระบบ AI ^{[ 21 ]} หากอัลกอริทึมเป็นไปตามหลักการเหล่านี้ จะเป็นพื้นฐานสำหรับการให้เหตุผลในการตัดสินใจ การติดตาม และการตรวจสอบ การปรับปรุงอัลกอริทึม และการสำรวจข้อเท็จจริงใหม่ ๆ^{[ 22 ]}

บางครั้งก็สามารถบรรลุผลลัพธ์ที่มีความแม่นยำสูงได้ด้วยอัลกอริธึม ML แบบกล่องขาว อัลกอริธึมเหล่านี้มีโครงสร้างที่ตีความได้ซึ่งสามารถใช้เพื่ออธิบายการคาดการณ์ได้^{[ 23 ]}โมเดล Concept Bottleneck ซึ่งใช้การสรุปเชิงนามธรรมระดับแนวคิดเพื่ออธิบายเหตุผลของโมเดล เป็นตัวอย่างของสิ่งนี้และสามารถนำไปใช้ได้ทั้งในงานทำนาย ภาพ ^{[ 24 ]}และข้อความ^{[ 25 ]} สิ่งนี้มีความสำคัญอย่างยิ่งในโดเมนต่างๆ เช่น การแพทย์การป้องกันประเทศการเงินและกฎหมายซึ่งการทำความเข้าใจการตัดสินใจและการสร้างความเชื่อมั่นในอัลกอริธึมเป็นสิ่งสำคัญ^{[ 12 ]}นักวิจัยหลายคนโต้แย้งว่า อย่างน้อยสำหรับการเรียนรู้ของเครื่องแบบมีผู้กำกับดูแลแนวทางข้างหน้าคือการถดถอยเชิงสัญลักษณ์ซึ่งอัลกอริธึมจะค้นหาพื้นที่ของนิพจน์ทางคณิตศาสตร์เพื่อค้นหาโมเดลที่เหมาะสมที่สุดกับชุดข้อมูลที่กำหนด^{[ 26 ] [ 27 ] [ 28 ]}

ระบบ AI ปรับพฤติกรรมให้เหมาะสมเพื่อตอบสนองระบบเป้าหมายที่กำหนดทางคณิตศาสตร์ซึ่งเลือกโดยนักออกแบบระบบ เช่น คำสั่ง "เพิ่มความแม่นยำในการประเมินว่าบทวิจารณ์ภาพยนตร์เป็นไปในเชิงบวกมากน้อยเพียงใดในชุดข้อมูลทดสอบ" AI อาจเรียนรู้กฎทั่วไปที่เป็นประโยชน์จากชุดทดสอบ เช่น "บทวิจารณ์ที่มีคำว่า "แย่มาก" มีแนวโน้มที่จะเป็นลบ" อย่างไรก็ตาม มันอาจเรียนรู้กฎที่ไม่เหมาะสม เช่น "บทวิจารณ์ที่มีคำว่า ' Daniel Day-Lewis ' มักจะเป็นบวก" กฎดังกล่าวอาจไม่พึงปรารถนาหากมีแนวโน้มที่จะไม่สามารถสรุปผลได้นอกชุดฝึกอบรม หรือหากผู้คนพิจารณาว่ากฎนั้นเป็นการ "โกง" หรือ "ไม่ยุติธรรม" มนุษย์สามารถตรวจสอบกฎใน XAI เพื่อให้ได้แนวคิดว่าระบบมีแนวโน้มที่จะสรุปผลไปยังข้อมูลจริงในอนาคตนอกชุดทดสอบได้มากน้อยเพียงใด^{[ 29 ]}

ความร่วมมือระหว่างตัวแทน – ในกรณีนี้คืออัลกอริทึมและมนุษย์ – ขึ้นอยู่กับความไว้วางใจ หากมนุษย์จะยอมรับคำสั่งจากอัลกอริทึม พวกเขาจำเป็นต้องไว้วางใจอัลกอริทึมนั้น ความไม่สมบูรณ์ของเกณฑ์ความไว้วางใจอย่างเป็นทางการเป็นอุปสรรคต่อการเพิ่มประสิทธิภาพ ความโปร่งใส ความสามารถในการตีความ และความสามารถในการอธิบายเป็นเป้าหมายระดับกลางบนเส้นทางสู่เกณฑ์ความไว้วางใจที่ครอบคลุมมากขึ้น^{[ 30 ]}สิ่งนี้มีความเกี่ยวข้องอย่างยิ่งในทางการแพทย์^{[ 31 ]}โดยเฉพาะอย่างยิ่งกับระบบสนับสนุนการตัดสินใจทางคลินิก (CDSS) ซึ่งผู้เชี่ยวชาญทางการแพทย์ควรจะสามารถเข้าใจวิธีการและเหตุผลที่การตัดสินใจโดยเครื่องจักรเกิดขึ้น เพื่อที่จะไว้วางใจการตัดสินใจและเสริมกระบวนการตัดสินใจของพวกเขา^{[ 32 ] [ 33 ]}

ระบบ AI บางครั้งเรียนรู้กลอุบายที่ไม่พึงประสงค์ซึ่งทำงานได้ดีที่สุดเพื่อตอบสนองเป้าหมายที่ตั้งโปรแกรมไว้ล่วงหน้าอย่างชัดเจนบนข้อมูลการฝึกอบรม แต่ไม่ได้สะท้อนถึงความต้องการโดยนัยที่ละเอียดอ่อนกว่าของผู้ออกแบบระบบที่เป็นมนุษย์หรือความซับซ้อนทั้งหมดของข้อมูลโดเมน ตัวอย่างเช่น ระบบในปี 2017 ที่ได้รับ มอบหมายให้ จดจำภาพได้เรียนรู้ที่จะ "โกง" โดยการมองหาแท็กลิขสิทธิ์ที่บังเอิญเกี่ยวข้องกับภาพม้าแทนที่จะเรียนรู้วิธีบอกว่ามีภาพม้าอยู่จริงหรือไม่^{[ 8 ]}ในอีกระบบหนึ่งในปี 2017 AI การเรียนรู้แบบมีผู้กำกับดูแลซึ่งได้รับมอบหมายให้จับสิ่งของในโลกเสมือนจริงได้เรียนรู้ที่จะโกงโดยการวางตัวควบคุมไว้ระหว่างวัตถุและผู้ดูในลักษณะที่ทำให้ดูเหมือนว่ากำลังจับวัตถุอยู่^{[ 34 ] [ 35 ]}

โครงการความโปร่งใสโครงการหนึ่งคือ โครงการ DARPA XAI ซึ่งมีเป้าหมายเพื่อสร้างแบบจำลอง " กล่องแก้ว " ที่สามารถอธิบายให้ " มนุษย์ที่อยู่ในวงจร " เข้าใจได้โดยไม่ต้องเสียสละประสิทธิภาพของ AI มากนัก ผู้ใช้ที่เป็นมนุษย์ของระบบดังกล่าวสามารถเข้าใจการรับรู้ของ AI (ทั้งแบบเรียลไทม์และภายหลัง) และสามารถตัดสินใจได้ว่าจะเชื่อถือ AI หรือไม่^{[ 36 ]}การใช้งานอื่นๆ ของ XAI ได้แก่การสกัดความรู้จากแบบจำลองกล่องดำและการเปรียบเทียบแบบจำลอง^{[ 37 ]}ในบริบทของระบบตรวจสอบการปฏิบัติตามจริยธรรมและกฎหมายสังคม คำว่า "กล่องแก้ว" มักใช้เพื่ออ้างถึงเครื่องมือที่ติดตามอินพุตและเอาต์พุตของระบบที่เกี่ยวข้อง และให้คำอธิบายตามคุณค่าสำหรับพฤติกรรมของเครื่องมือเหล่านั้น เครื่องมือเหล่านี้มีจุดมุ่งหมายเพื่อให้แน่ใจว่าระบบทำงานตามมาตรฐานทางจริยธรรมและกฎหมาย และกระบวนการตัดสินใจมีความโปร่งใสและตรวจสอบได้ คำว่า "กล่องแก้ว" มักใช้เพื่อเปรียบเทียบกับระบบ "กล่องดำ" ซึ่งขาดความโปร่งใสและตรวจสอบและควบคุมได้ยากกว่า^{[ 38 ]} คำนี้ยังใช้เพื่อตั้งชื่อผู้ช่วยเสียงที่สร้างข้อความเชิงสมมติเป็นคำอธิบาย^{[ 39 ]}

มีความแตกต่างเล็กน้อยระหว่างคำว่าความสามารถในการอธิบายและความสามารถในการตีความในบริบทของ AI ^{[ 40 ]}

เทคนิคการอธิบายบางอย่างไม่จำเป็นต้องเข้าใจว่าโมเดลทำงานอย่างไร และอาจใช้ได้กับระบบ AI ต่างๆ การมองโมเดลเป็นกล่องดำและวิเคราะห์ว่าการเปลี่ยนแปลงเพียงเล็กน้อยในข้อมูลป้อนเข้าส่งผลต่อผลลัพธ์อย่างไร บางครั้งก็ให้คำอธิบายที่เพียงพอแล้ว

ความสามารถในการอธิบายผลลัพธ์นั้นมีประโยชน์ในการช่วยให้มั่นใจได้ว่าแบบจำลอง AI จะไม่ตัดสินใจโดยอาศัยเกณฑ์ที่ไม่เกี่ยวข้องหรือไม่ยุติธรรม สำหรับ แบบจำลอง การจำแนกประเภทและการถดถอยมีเทคนิคที่เป็นที่นิยมอยู่หลายวิธี:

• แผนภาพแสดงความสัมพันธ์แบบบางส่วน (Partial dependency plots)แสดงผลกระทบส่วนเพิ่มของคุณลักษณะอินพุตต่อผลลัพธ์ที่คาดการณ์ไว้
• SHAP (SHapley Additive exPlanations) ช่วยให้เห็นภาพการมีส่วนร่วมของฟีเจอร์อินพุตแต่ละรายการต่อเอาต์พุต โดยทำงานโดยการคำนวณค่า Shapleyซึ่งวัดการมีส่วนร่วมเฉลี่ยของฟีเจอร์ในทุกชุดค่าผสมที่เป็นไปได้ของฟีเจอร์^{[ 42 ]}
• ความสำคัญของฟีเจอร์เป็นการประเมินว่าฟีเจอร์นั้นมีความสำคัญต่อโมเดลมากน้อยเพียงใด โดยปกติจะใช้การวัดความสำคัญจากการเรียงสับเปลี่ยน (permutation importance ) ซึ่งวัดการลดลงของประสิทธิภาพเมื่อค่าของฟีเจอร์ถูกสุ่มสลับไปมาในทุกตัวอย่าง
• LIME (Local Interpretable Model-Agnostic Explanations method) ประมาณค่าเอาต์พุตของโมเดลในระดับท้องถิ่นด้วยโมเดลที่ตีความได้ง่ายกว่า^{[ 43 ]}
• การเรียนรู้แบบมัลติทาสก์ให้ผลลัพธ์จำนวนมากนอกเหนือจากการจำแนกประเภทเป้าหมาย ผลลัพธ์อื่นๆ เหล่านี้สามารถช่วยให้นักพัฒนาสรุปได้ว่าเครือข่ายได้เรียนรู้อะไร ^{[ 44 ]}

สำหรับรูปภาพแผนที่ความเด่นชัดจะเน้นส่วนต่างๆ ของรูปภาพที่มีอิทธิพลต่อผลลัพธ์มากที่สุด^{[ 45 ]}

ระบบผู้เชี่ยวชาญหรือระบบที่ใช้ความรู้เป็นพื้นฐานคือระบบซอฟต์แวร์ที่สร้างโดยผู้เชี่ยวชาญ ระบบนี้ประกอบด้วยการเข้ารหัสตามความรู้สำหรับความรู้ในโดเมน ระบบนี้มักจะจำลองเป็นกฎการผลิต และมีคนใช้ฐานความรู้นี้ซึ่งผู้ใช้สามารถตั้งคำถามกับระบบเพื่อขอความรู้ได้ ในระบบผู้เชี่ยวชาญ ภาษาและคำอธิบายจะเข้าใจได้พร้อมกับคำอธิบายสำหรับเหตุผลหรือกิจกรรมการแก้ปัญหา^{[ 5 ]}

อย่างไรก็ตาม เทคนิคเหล่านี้ไม่เหมาะกับแบบจำลองภาษาเช่นทรานส์ฟอร์เมอร์แบบฝึกฝนล่วงหน้าเชิงกำเนิดเนื่องจากแบบจำลองเหล่านี้สร้างภาษาขึ้นมา จึงสามารถให้คำอธิบายได้ แต่คำอธิบายนั้นอาจไม่น่าเชื่อถือ เทคนิคอื่นๆ ได้แก่ การวิเคราะห์ ความสนใจ (การตรวจสอบว่าแบบจำลองให้ความสำคัญกับส่วนต่างๆ ของอินพุตอย่างไร) วิธีการตรวจสอบ (การทดสอบว่าข้อมูลใดถูกจับไว้ในการแสดงผลของแบบจำลอง) การติดตามสาเหตุ (การติดตามการไหลของข้อมูลผ่านแบบจำลอง) และ การค้นพบ วงจร (การระบุเครือข่ายย่อยเฉพาะที่รับผิดชอบต่อพฤติกรรมบางอย่าง) การวิจัยความสามารถในการอธิบายในพื้นที่นี้ทับซ้อนกับการวิจัย ความสามารถในการตีความและ การจัดเรียง อย่างมีนัยสำคัญ ^{[ 46 ]}

นักวิชาการบางครั้งใช้คำว่า " ความสามารถในการตีความเชิงกลไก " เพื่ออ้างถึงกระบวนการ วิศวกรรม ย้อนกลับ ของ เครือข่ายประสาทเทียมเพื่อทำความเข้าใจกลไกการตัดสินใจภายในและส่วนประกอบต่างๆ คล้ายกับวิธีการวิเคราะห์เครื่องจักรหรือโปรแกรมคอมพิวเตอร์ที่ซับซ้อน^{[ 48 ] [ 49 ]}

การศึกษาความสามารถในการตีความของ แบบจำลองพื้นฐานขั้นสูงสุดมักเกี่ยวข้องกับการค้นหาวิธีการอัตโนมัติในการระบุ "คุณลักษณะ" ในทรานส์ฟอร์เมอร์ที่ได้รับการฝึกฝนล่วงหน้าแบบสร้าง ในเครือข่ายประสาทคุณลักษณะคือรูปแบบของการกระตุ้นเซลล์ประสาทที่สอดคล้องกับแนวคิด เทคนิคที่ต้องใช้การคำนวณอย่างมากที่เรียกว่า " การเรียนรู้พจนานุกรม " ทำให้สามารถระบุคุณลักษณะได้ในระดับหนึ่ง การเพิ่มความสามารถในการระบุและแก้ไขคุณลักษณะคาดว่าจะช่วยปรับปรุงความปลอดภัยของแบบจำลอง AI ขั้นสูง ได้อย่างมาก ^{[ 50 ] [ 51 ]}

สำหรับโครงข่ายประสาทเทียมแบบคอนโวลูชัน DeepDream สามารถสร้างภาพที่กระตุ้นเซลล์ประสาทเฉพาะอย่างได้อย่างมาก โดยให้คำแนะนำทางภาพเกี่ยวกับสิ่งที่เซลล์ประสาทได้รับการฝึกฝนให้ระบุ^{[ 52 ]}

แบบจำลองภาษาขนาดใหญ่ (LLMs) เช่นแบบจำลองที่ใช้ Transformer (GPT) ดูเหมือนจะใช้ความรู้ ทั่วไป ในการสร้างผลลัพธ์ (การอนุมาน ) ความสามารถนี้ทำให้เกิดคำถามว่า ความรู้ดังกล่าวถูกจัดเก็บไว้ภายในแบบจำลองอย่างไรกันแน่

งานวิจัยชี้ให้เห็นว่าส่วนประกอบ MLPของโมเดล(เลเยอร์ฟีดฟอร์เวิร์ด) เป็นแหล่งหลักในการจัดเก็บความรู้ โดยเข้ารหัสข้อมูลผ่านการเชื่อมโยงแบบสัมพันธ์ที่ทำหน้าที่เป็นหน่วยความจำแบบคีย์-ค่า: คีย์แต่ละตัวสอดคล้องกับรูปแบบข้อความในข้อมูลการฝึกอบรม ในขณะที่ค่าแต่ละตัวจะเหนี่ยวนำให้เกิดการกระจายตัวของคำศัพท์เอาต์พุต^{[ 53 ]}

การศึกษาในปี 2022 ซึ่งมีเป้าหมายเพื่อระบุตำแหน่งที่ความรู้อยู่ในโมเดล ได้ใช้เทคนิคที่เรียกว่า Causal Tracing ^{[ 54 ]}ในงานที่ต้องใช้ความรู้ทั่วไป นักวิจัยได้ใส่สัญญาณรบกวนเข้าไปในค่าแอคทีฟที่ซ่อนอยู่ของโมเดล ทำให้โมเดลไม่สามารถทำงานให้เสร็จสมบูรณ์ได้ จากนั้นพวกเขาก็คืนค่าแอคทีฟที่สะอาด (ที่ได้จากการทำงานที่ปราศจากสัญญาณรบกวน) ไปยังส่วนต่างๆ ของโมเดลในแต่ละครั้ง และสังเกตว่าเมื่อใดที่โมเดลสามารถกลับมาให้คำตอบที่ถูกต้องได้ จากผลลัพธ์เหล่านี้ ผู้เขียนสรุปว่าความรู้เชิงข้อเท็จจริงส่วนใหญ่ถูกจัดเก็บไว้ในส่วนประกอบ MLP ของเลเยอร์กลางของโมเดล พวกเขายังเสนอเพิ่มเติมว่าการแก้ไขโมเดลจะมีประสิทธิภาพมากที่สุดในบริเวณเหล่านั้น แม้ว่าข้ออ้างนี้จะถูกตั้งคำถามในภายหลังก็ตาม^{[ 55 ]}

การศึกษาในภายหลังชี้ให้เห็นว่าในกรณีส่วนใหญ่ ข้อมูลข้อเท็จจริงจะกระจายอยู่ทั่วโมเดลมากกว่าที่จะจำกัดอยู่ภายในชั้นเดียว^{[ 56 ] [ 57 ]}ตามมุมมองหนึ่ง ชั้นต่างๆ จะเข้ารหัสแง่มุมต่างๆ ของความสัมพันธ์เดียวกัน ตัวอย่างเช่น คำถามเกี่ยวกับเมืองหลวงของญี่ปุ่นอาจกระตุ้นการแสดงที่เกี่ยวข้องกับ "ญี่ปุ่น" ในชั้นหนึ่ง และการแสดงที่สอดคล้องกับ "เมืองหลวง" ในอีกชั้นหนึ่ง การรวมกันของการแสดงเหล่านี้จะทำให้เกิดแนวคิดของ "โตเกียว" ^{[ 57 ]}

ในช่วงทศวรรษ 1970 ถึง 1990 ระบบการให้เหตุผลเชิงสัญลักษณ์เช่นMYCIN [ ^{58 ]} GUIDON ^{[ 59 ]} SOPHIE ^{[ 60 ]}และ PROTOS ^{[ 61 ] [ 62 ] สามารถแสดงเหตุผล อธิบาย และให้เหตุผลเพื่อวัตถุประสงค์ในการวินิจฉัย การสอน หรือการเรียนรู้ ของ}เครื่องจักร (การเรียนรู้ตามคำอธิบาย) MYCIN ซึ่งพัฒนาขึ้นในช่วงต้นทศวรรษ 1970 ในฐานะต้นแบบการวิจัยสำหรับการวินิจฉัย การติดเชื้อ แบคทีเรียในกระแสเลือด สามารถอธิบาย^{[ 63 ]}ว่ากฎที่เขียนด้วยมือข้อใดมีส่วนช่วยในการวินิจฉัยในกรณีเฉพาะ การวิจัยในระบบการสอนอัจฉริยะส่งผลให้เกิดการพัฒนาระบบต่างๆ เช่น SOPHIE ที่สามารถทำหน้าที่เป็น "ผู้เชี่ยวชาญที่พูดจาฉะฉาน" อธิบายกลยุทธ์การแก้ปัญหาในระดับที่นักเรียนสามารถเข้าใจได้ เพื่อให้พวกเขารู้ว่าจะต้องดำเนินการอย่างไรต่อไป ตัวอย่างเช่น SOPHIE สามารถอธิบายเหตุผลเชิงคุณภาพเบื้องหลังการแก้ไขปัญหาทางอิเล็กทรอนิกส์ได้ แม้ว่าในที่สุดจะอาศัย โปรแกรมจำลองวงจร SPICEก็ตาม ในทำนองเดียวกัน GUIDON ได้เพิ่มกฎการสอนเพื่อเสริมกฎระดับโดเมนของ MYCIN เพื่อให้สามารถอธิบายกลยุทธ์สำหรับการวินิจฉัยทางการแพทย์ได้ แนวทางเชิงสัญลักษณ์ในการเรียนรู้ของเครื่องที่อาศัยการเรียนรู้ตามคำอธิบาย เช่น PROTOS ได้ใช้การแสดงคำอธิบายที่ชัดเจนซึ่งแสดงในภาษาคำอธิบายเฉพาะ ทั้งเพื่ออธิบายการกระทำและเพื่อรับความรู้ใหม่^{[ 62 ]}

ในช่วงทศวรรษ 1980 ถึงต้นทศวรรษ 1990 ระบบการบำรุงรักษาความจริง (TMS) ได้ขยายขีดความสามารถของระบบการให้เหตุผลเชิงสาเหตุ ระบบ การอนุมาน ตามกฎและระบบการอนุมานตามตรรกะ^{[ 64 ] : 360–362} TMS ติดตามเส้นทางการให้เหตุผลทางเลือก การให้เหตุผลสำหรับข้อสรุป และเส้นทางการให้เหตุผลที่นำไปสู่ความขัดแย้งอย่างชัดเจน ทำให้การให้เหตุผลในอนาคตสามารถหลีกเลี่ยงทางตันเหล่านี้ได้ ในการให้คำอธิบาย ระบบจะติดตามการให้เหตุผลจากข้อสรุปไปยังสมมติฐานผ่านการดำเนินการตามกฎหรือการอนุมานเชิงตรรกะ ทำให้สามารถสร้างคำอธิบายจากร่องรอยการให้เหตุผลได้ ตัวอย่างเช่น ลองพิจารณาตัวแก้ปัญหาตามกฎที่มีกฎเพียงไม่กี่ข้อเกี่ยวกับโสกราตีสที่สรุปได้ว่าเขาเสียชีวิตจากยาพิษ:

เพียงแค่ติดตามโครงสร้างความสัมพันธ์ ผู้แก้ปัญหาสามารถสร้างคำอธิบายต่อไปนี้ได้: "โสกราตีสเสียชีวิตเพราะเขาเป็นมนุษย์และดื่มยาพิษ และมนุษย์ทุกคนต้องตายเมื่อดื่มยาพิษ โสกราตีสเป็นมนุษย์เพราะเขาเป็นผู้ชาย และผู้ชายทุกคนต้องตาย โสกราตีสดื่มยาพิษเพราะเขามีความเชื่อที่แตกต่าง รัฐบาลเป็นอนุรักษ์นิยม และผู้ที่มีความเชื่อที่แตกต่างแบบอนุรักษ์นิยมภายใต้รัฐบาลอนุรักษ์นิยมต้องดื่มยาพิษ" ^{[ 65 ] : 164–165}

ในช่วงทศวรรษ 1990 นักวิจัยเริ่มศึกษาว่าเป็นไปได้หรือไม่ที่จะดึงกฎที่ไม่ได้เขียนด้วยมือซึ่งสร้างขึ้นโดยเครือข่ายประสาทเทียมที่ได้รับการฝึกฝนอย่างไม่โปร่งใสออกมาได้อย่างมีความหมาย^{[ 66 ]}นักวิจัยในระบบผู้เชี่ยวชาญ ทางคลินิก ที่สร้างระบบสนับสนุนการตัดสินใจที่ขับเคลื่อนด้วยเครือข่ายประสาทเทียมสำหรับแพทย์พยายามพัฒนาคำอธิบายแบบไดนามิกที่ช่วยให้เทคโนโลยีเหล่านี้มีความน่าเชื่อถือและไว้วางใจได้มากขึ้นในทางปฏิบัติ^{[ 10 ]}ในช่วงทศวรรษ 2010 ความกังวลของสาธารณชนเกี่ยวกับอคติทางเชื้อชาติและอคติอื่นๆ ในการใช้ AI สำหรับการตัดสินโทษทางอาญาและการค้นหาความน่าเชื่อถือทางเครดิตอาจนำไปสู่ความต้องการปัญญาประดิษฐ์ที่โปร่งใสมากขึ้น^{[ 8 ]}ด้วยเหตุนี้ นักวิชาการและองค์กรจำนวนมากจึงกำลังพัฒนาเครื่องมือเพื่อช่วยตรวจจับอคติในระบบของตน^{[ 67 ]}

Marvin Minskyและคณะได้หยิบยกประเด็นที่ว่า AI สามารถทำหน้าที่เป็นรูปแบบหนึ่งของการเฝ้าระวัง โดยมีอคติที่แฝงอยู่ในการเฝ้าระวัง และเสนอแนะว่า HI (Humanistic Intelligence) เป็นวิธีสร้าง AI ที่มี "มนุษย์เข้ามาเกี่ยวข้อง" ที่ยุติธรรมและสมดุลมากขึ้น^{[ 68 ]}

AI ที่อธิบายได้เพิ่งกลายเป็นหัวข้อการวิจัยภายในdeep learningเทคนิค AI ที่ซับซ้อนสมัยใหม่ เช่น deep learning นั้นโดยธรรมชาติแล้วไม่โปร่งใส^{[ 69 ]}เพื่อแก้ไขปัญหานี้ จึงมีการพัฒนาวิธีการต่างๆ เพื่อทำให้โมเดลใหม่สามารถอธิบายและตีความได้มากขึ้น^{[ 18 ] [ 70 ]}ซึ่งรวมถึง layerwise relevance propagation (LRP) ซึ่งเป็นเทคนิคในการกำหนดว่าคุณลักษณะใดในเวกเตอร์อินพุตเฉพาะมีส่วนช่วยมากที่สุดต่อเอาต์พุตของเครือข่ายประสาท^{[ 71 ] [ 72 ]}แม้ว่าเทคนิคนี้จะแสดงให้เห็นว่ามีปัญหาสำคัญหลายประการ^{[ 73 ]}เทคนิคอื่นๆ อธิบายการคาดการณ์เฉพาะบางอย่างที่ทำโดยโมเดลกล่องดำ (แบบไม่เชิงเส้น) ซึ่งเป็นเป้าหมายที่เรียกว่า "ความสามารถในการตีความในระดับท้องถิ่น" ^{[ 74 ] [ 75 ] [ 76 ] [ 77 ] [ 78 ]} นอกจาก นี้ยังมีการวิจัยว่าแนวคิดของความสามารถในการตีความในระดับท้องถิ่นสามารถนำไปใช้กับบริบทระยะไกลได้หรือไม่ ซึ่งโมเดลนั้นดำเนินการโดยบุคคลที่สาม^{[ 79 ] [ 80 ]}

มีการทำงานเกี่ยวกับการสร้างแบบจำลองกล่องแก้วที่โปร่งใสต่อการตรวจสอบมากขึ้น^{[ 23 ] [ 81 ]}ซึ่งรวมถึงต้นไม้ตัดสินใจ [ ^{82 ]}เครือข่ายเบย์เซียนแบบจำลองเชิงเส้นแบบเบาบาง[ ^{83 ] และ}อื่นๆ^{[ 84 ]}การ^{ประชุม} Association for Computing Machinery Conference on Fairness, Accountability, and Transparency (ACM FAccT)ก่อตั้งขึ้นในปี 2018 เพื่อศึกษาความโปร่งใสและความสามารถในการอธิบายในบริบทของระบบทางสังคมและเทคโนโลยี ซึ่งหลายระบบรวมถึงปัญญาประดิษฐ์^{[ 85 ] [ 86 ]}

เทคนิคบางอย่างช่วยให้เห็นภาพอินพุตที่เซลล์ประสาทซอฟต์แวร์ แต่ละตัว ตอบสนองได้ดีที่สุด กลุ่มวิจัยหลายกลุ่มพบว่าเซลล์ประสาทสามารถรวมกันเป็นวงจรที่ทำหน้าที่ที่มนุษย์เข้าใจได้ ซึ่งบางส่วนเกิดขึ้นอย่างน่าเชื่อถือในเครือข่ายต่างๆ ที่ได้รับการฝึกฝนอย่างอิสระ^{[ 87 ] [ 88 ]}

มีเทคนิคต่างๆ มากมายในการสกัดการแสดงแทนแบบบีบอัดของคุณลักษณะของอินพุตที่กำหนด ซึ่งสามารถวิเคราะห์ได้โดยใช้เทคนิคการจัดกลุ่ม มาตรฐาน หรืออีกทางหนึ่ง เครือข่ายสามารถฝึกฝนให้ส่งออกคำอธิบายเชิงภาษาของพฤติกรรม ซึ่งมนุษย์สามารถตีความได้โดยตรง^{[ 89 ]}พฤติกรรมของแบบจำลองยังสามารถอธิบายได้โดยอ้างอิงถึงข้อมูลการฝึกอบรม เช่น โดยการประเมินว่าอินพุตการฝึกอบรมใดมีอิทธิพลต่อพฤติกรรมที่กำหนดมากที่สุด^{[ 90 ]}หรือโดยการประมาณการคาดการณ์โดยใช้ตัวอย่างที่คล้ายคลึงกันมากที่สุดจากข้อมูลการฝึกอบรม^{[ 91 ]}

การใช้ปัญญาประดิษฐ์ที่อธิบายได้ (XAI) ในการวิจัยความเจ็บปวด โดยเฉพาะอย่างยิ่งในการทำความเข้าใจบทบาทของกิจกรรมทางไฟฟ้าของผิวหนังสำหรับการรับรู้ความเจ็บปวดอัตโนมัติ : คุณลักษณะที่สร้างขึ้นด้วยมือและแบบจำลองการเรียนรู้เชิงลึกในการรับรู้ความเจ็บปวด โดยเน้นถึงข้อมูลเชิงลึกที่ว่าคุณลักษณะที่สร้างขึ้นด้วยมืออย่างง่ายสามารถให้ประสิทธิภาพที่เทียบเคียงได้กับแบบจำลองการเรียนรู้เชิงลึก และทั้งวิธีการสร้างคุณลักษณะแบบดั้งเดิมและวิธีการเรียนรู้คุณลักษณะเชิงลึกต่างก็อาศัยลักษณะที่เรียบง่ายของข้อมูลอนุกรมเวลาที่ป้อนเข้า^{[ 92 ]}

เมื่อหน่วยงานกำกับดูแล หน่วยงานราชการ และผู้ใช้ทั่วไปเริ่มพึ่งพาระบบไดนามิกที่ใช้ AI ความรับผิดชอบที่ชัดเจนยิ่งขึ้นจะเป็นสิ่งจำเป็นสำหรับ กระบวนการ ตัดสินใจอัตโนมัติเพื่อให้มั่นใจในความไว้วางใจและความโปร่งใส การประชุมระดับโลกครั้งแรกที่อุทิศให้กับสาขาวิชาที่กำลังเกิดขึ้นใหม่นี้คือการประชุมนานาชาติร่วมว่าด้วยปัญญาประดิษฐ์ : การประชุมเชิงปฏิบัติการเกี่ยวกับปัญญาประดิษฐ์ที่อธิบายได้ (XAI) ประจำ ปี 2017 ^{[ 93 ]} การประชุม นี้ได้พัฒนาขึ้นเรื่อย ๆ ในช่วงหลายปีที่ผ่านมา โดยมีการจัดการประชุมเชิงปฏิบัติการต่าง ๆ และจัดร่วมกับการประชุมนานาชาติอื่น ๆ อีกมากมาย และปัจจุบันมีงานระดับโลกโดยเฉพาะคือ "การประชุมระดับโลกเกี่ยวกับปัญญาประดิษฐ์ที่อธิบายได้" พร้อมด้วยเอกสารประกอบการประชุมของตนเอง^{[ 94 ] [ 95 ]}

สหภาพยุโรปได้นำสิทธิในการขอคำอธิบายมาใช้ในระเบียบการคุ้มครองข้อมูลทั่วไป (GDPR) เพื่อแก้ไขปัญหาที่อาจเกิดขึ้นจากความสำคัญที่เพิ่มขึ้นของอัลกอริทึม การบังคับใช้ระเบียบดังกล่าวเริ่มขึ้นในปี 2018 อย่างไรก็ตาม สิทธิในการขอคำอธิบายใน GDPR ครอบคลุมเฉพาะแง่มุมของการตีความในระดับท้องถิ่นเท่านั้น ในสหรัฐอเมริกา บริษัทประกันภัยจะต้องสามารถอธิบายการตัดสินใจเกี่ยวกับอัตราและขอบเขตความคุ้มครองของตนได้^{[ 96 ]}ในฝรั่งเศส กฎหมาย Loi pour une République numérique (Digital Republic Act) ให้สิทธิแก่บุคคลในการขอและรับข้อมูลที่เกี่ยวข้องกับการนำอัลกอริทึมที่ประมวลผลข้อมูลเกี่ยวกับพวกเขาไปใช้

แม้จะมีความพยายามอย่างต่อเนื่องในการปรับปรุงความสามารถในการอธิบายของแบบจำลอง AI แต่แบบจำลองเหล่านั้นก็ยังคงมีข้อจำกัดโดยธรรมชาติหลายประการ

การทำให้ระบบ AI สามารถอธิบายได้มากขึ้นยังเผยให้เห็นการทำงานภายในของระบบมากขึ้นด้วย ตัวอย่างเช่น วิธีการอธิบายความสำคัญของฟีเจอร์จะระบุฟีเจอร์หรือตัวแปรที่สำคัญที่สุดในการกำหนดผลลัพธ์ของโมเดล ในขณะที่วิธีการตัวอย่างที่มีอิทธิพลจะระบุตัวอย่างการฝึกอบรมที่มีอิทธิพลมากที่สุดในการกำหนดผลลัพธ์ โดยพิจารณาจากอินพุตเฉพาะ^{[ 97 ]}ฝ่ายตรงข้ามสามารถใช้ประโยชน์จากความรู้นี้ได้

ตัวอย่างเช่น บริษัทคู่แข่งอาจจำลองแง่มุมต่างๆ ของระบบ AI ดั้งเดิมในผลิตภัณฑ์ของตนเอง ซึ่งจะลดความได้เปรียบในการแข่งขันลง^{[ 98 ]}ระบบ AI ที่อธิบายได้ก็มีความเสี่ยงที่จะถูก "หลอกลวง" ได้เช่นกัน กล่าวคือ ได้รับอิทธิพลในลักษณะที่บั่นทอนวัตถุประสงค์ที่ตั้งใจไว้ การศึกษาหนึ่งยกตัวอย่างระบบการคาดการณ์การก่ออาชญากรรม ในกรณีนี้ ผู้ที่อาจ "หลอกลวง" ระบบได้คืออาชญากรที่อยู่ภายใต้การตัดสินใจของระบบ ในการศึกษานี้ นักพัฒนาระบบได้หารือเกี่ยวกับปัญหาของแก๊งอาชญากรที่ต้องการได้หนังสือเดินทางอย่างผิดกฎหมาย และพวกเขากังวลว่า หากได้รับข้อมูลเกี่ยวกับปัจจัยที่อาจกระตุ้นการแจ้งเตือนในกระบวนการยื่นขอหนังสือเดินทาง แก๊งเหล่านั้นจะสามารถ "ส่งหนูทดลอง" ไปทดสอบตัวกระตุ้นเหล่านั้น และในที่สุดก็จะพบช่องโหว่ที่จะทำให้พวกเขาสามารถ "ได้รับหนังสือเดินทางได้อย่างน่าเชื่อถือโดยที่เจ้าหน้าที่ไม่รู้ตัว" ^{[ 99 ]}

วิธีการหลายอย่างที่ใช้ให้คำอธิบายโดยทั่วไป ไม่ได้คำนึงถึงภูมิหลังและระดับความรู้ที่หลากหลายของผู้ใช้ ซึ่งนำไปสู่ความท้าทายในการทำความเข้าใจอย่างถูกต้องสำหรับผู้ใช้ทุกคน ผู้ใช้ที่มีความเชี่ยวชาญอาจพบว่าคำอธิบายขาดความลึกซึ้งและง่ายเกินไป ในขณะที่ผู้ใช้มือใหม่อาจประสบปัญหาในการทำความเข้าใจคำอธิบายเนื่องจากมีความซับซ้อน ข้อจำกัดนี้ลดทอนความสามารถของเทคนิค XAI ในการดึงดูดผู้ใช้ที่มีระดับความรู้แตกต่างกัน ซึ่งอาจส่งผลกระทบต่อความไว้วางใจจากผู้ใช้และผู้ที่ใช้งาน คุณภาพของคำอธิบายอาจแตกต่างกันไปในหมู่ผู้ใช้ เนื่องจากพวกเขาทุกคนมีระดับความเชี่ยวชาญที่แตกต่างกัน รวมถึงสถานการณ์และเงื่อนไขที่แตกต่างกัน^{[ 100 ]}

อุปสรรคสำคัญในการทำให้ระบบ AI สามารถอธิบายได้คือความซับซ้อนทางเทคนิคของระบบดังกล่าว ผู้ใช้ปลายทางมักขาดความรู้ด้านการเขียนโค้ดที่จำเป็นในการทำความเข้าใจซอฟต์แวร์ทุกประเภท วิธีการปัจจุบันที่ใช้ในการอธิบาย AI ส่วนใหญ่เป็นวิธีการทางเทคนิค มุ่งเน้นไปที่วิศวกรการเรียนรู้ของเครื่องเพื่อวัตถุประสงค์ในการแก้ไขข้อบกพร่อง มากกว่าที่จะมุ่งเน้นไปที่ผู้ใช้ปลายทางซึ่งได้รับผลกระทบจากระบบในท้ายที่สุด ทำให้เกิด "ช่องว่างระหว่างความสามารถในการอธิบายในทางปฏิบัติและเป้าหมายของความโปร่งใส" ^{[ 97 ]}แนวทางแก้ไขที่เสนอเพื่อแก้ไขปัญหาความซับซ้อนทางเทคนิค ได้แก่ การส่งเสริมการศึกษาการเขียนโค้ดแก่ประชาชนทั่วไปเพื่อให้คำอธิบายทางเทคนิคเข้าถึงได้ง่ายขึ้นสำหรับผู้ใช้ปลายทาง หรือการให้คำอธิบายในภาษาที่คนทั่วไปเข้าใจได้^{[ 98 ]}

วิธีแก้ปัญหาต้องหลีกเลี่ยงการทำให้ง่ายเกินไป สิ่งสำคัญคือต้องสร้างสมดุลระหว่างความถูกต้อง – คำอธิบายสะท้อนถึงกระบวนการของระบบ AI ได้อย่างซื่อสัตย์เพียงใด – และความสามารถในการอธิบาย – ผู้ใช้ปลายทางเข้าใจกระบวนการได้ดีเพียงใด นี่เป็นความสมดุลที่ทำได้ยาก เนื่องจากความซับซ้อนของการเรียนรู้ของเครื่องทำให้แม้แต่วิศวกร ML ก็ยังเข้าใจได้ยาก นับประสาอะไรกับผู้ที่ไม่เชี่ยวชาญ^{[ 97 ]}

เป้าหมายของการอธิบายให้ผู้ใช้ปลายทางของระบบ AI เข้าใจได้คือการเพิ่มความไว้วางใจในระบบ แม้กระทั่ง "แก้ไขข้อกังวลเกี่ยวกับการขาด 'ความยุติธรรม' และผลกระทบจากการเลือกปฏิบัติ" ^{[ 98 ]}อย่างไรก็ตาม แม้จะมีความเข้าใจที่ดีเกี่ยวกับระบบ AI ผู้ใช้ปลายทางอาจไม่จำเป็นต้องไว้วางใจระบบเสมอไป^{[ 101 ]}ในการศึกษาหนึ่ง ผู้เข้าร่วมได้รับการนำเสนอคำอธิบายแบบผสมผสานระหว่างแบบกล่องขาวและกล่องดำ รวมถึงคำอธิบายแบบคงที่และแบบโต้ตอบของระบบ AI แม้ว่าคำอธิบายเหล่านี้จะช่วยเพิ่มความเข้าใจทั้งที่รายงานด้วยตนเองและความเข้าใจเชิงวัตถุวิสัย แต่ก็ไม่มีผลกระทบต่อระดับความไว้วางใจของพวกเขา ซึ่งยังคงอยู่ในระดับที่สงสัย^{[ 102 ]}

ผลลัพธ์นี้เป็นจริงโดยเฉพาะอย่างยิ่งสำหรับการตัดสินใจที่ส่งผลกระทบต่อผู้ใช้ปลายทางอย่างมีนัยสำคัญ เช่น การรับเข้าศึกษาต่อในระดับบัณฑิตศึกษา ผู้เข้าร่วมตัดสินว่าอัลกอริทึมมีความยืดหยุ่นน้อยเกินไปและไม่ให้อภัยเมื่อเทียบกับผู้ตัดสินใจที่เป็นมนุษย์ แทนที่จะยึดมั่นในชุดของกฎอย่างเคร่งครัด มนุษย์สามารถพิจารณากรณีพิเศษรวมถึงการอุทธรณ์ต่อการตัดสินใจเบื้องต้นได้^{[ 102 ]}สำหรับการตัดสินใจดังกล่าว ความสามารถในการอธิบายจะไม่จำเป็นต้องทำให้ผู้ใช้ปลายทางยอมรับการใช้อัลกอริทึมการตัดสินใจ

อย่างไรก็ตาม บางคนเน้นย้ำว่าจุดประสงค์ของการอธิบายปัญญาประดิษฐ์นั้นไม่ใช่เพียงแค่เพิ่มความไว้วางใจของผู้ใช้ต่อการตัดสินใจของระบบ แต่เป็นการปรับระดับความไว้วางใจของผู้ใช้ให้อยู่ในระดับที่เหมาะสม^{[ 103 ]}ตามหลักการนี้ ความไว้วางใจของผู้ใช้ที่มีต่อระบบ AI มากเกินไปหรือน้อยเกินไปจะส่งผลเสียต่อประสิทธิภาพโดยรวมของหน่วยมนุษย์-ระบบ เมื่อความไว้วางใจมากเกินไป ผู้ใช้จะไม่วิพากษ์วิจารณ์ข้อผิดพลาดที่อาจเกิดขึ้นของระบบ และเมื่อผู้ใช้ไม่มีความไว้วางใจในระบบมากพอ พวกเขาก็จะไม่ได้รับประโยชน์อย่างเต็มที่จากระบบนั้น

นักวิชาการบางคนเสนอแนะว่าความสามารถในการอธิบายใน AI ควรได้รับการพิจารณาว่าเป็นเป้าหมายรองจากประสิทธิภาพของ AI และการส่งเสริมการพัฒนา XAI เพียงอย่างเดียวอาจจำกัดการทำงานของ AI ในวงกว้างมากขึ้น^{[ 104 ] [ 105 ]}การวิจารณ์ XAI อาศัยแนวคิดที่พัฒนาแล้วของการให้เหตุผลเชิงกลไกและเชิงประจักษ์จากเวชศาสตร์เชิงประจักษ์เพื่อชี้ให้เห็นว่าเทคโนโลยี AI สามารถตรวจสอบความถูกต้องทางคลินิกได้แม้ว่าผู้ใช้งานจะไม่เข้าใจการทำงานของมันก็ตาม^{[ 104 ]}

นักวิจัยบางคนสนับสนุนการใช้โมเดลการเรียนรู้ของเครื่องที่สามารถตีความได้โดยธรรมชาติ มากกว่าการใช้คำอธิบายแบบ post-hoc ซึ่งสร้างโมเดลที่สองขึ้นมาเพื่ออธิบายโมเดลแรก ส่วนหนึ่งเป็นเพราะโมเดล post-hoc เพิ่มความซับซ้อนในเส้นทางการตัดสินใจ และอีกส่วนหนึ่งเป็นเพราะมักไม่ชัดเจนว่าคำอธิบายแบบ post-hoc สามารถเลียนแบบการคำนวณของโมเดลที่แยกจากกันได้อย่างแม่นยำเพียงใด^{[ 23 ]}อย่างไรก็ตาม มุมมองอีกมุมหนึ่งคือ สิ่งสำคัญคือคำอธิบายนั้นต้องบรรลุเป้าหมายที่กำหนดไว้ และไม่ว่าจะเป็นแบบ pre-hoc หรือ post-hoc ก็ไม่สำคัญ หากวิธีการอธิบายแบบ post-hoc ช่วยให้แพทย์วินิจฉัยมะเร็งได้ดีขึ้น สิ่งสำคัญรองลงมาคือคำอธิบายนั้นถูกต้องหรือไม่ถูกต้อง

เป้าหมายของ XAI เทียบเท่ากับการบีบอัดแบบสูญเสียข้อมูล รูปแบบหนึ่ง ซึ่งจะมีประสิทธิภาพน้อยลงเมื่อโมเดล AI มีจำนวนพารามิเตอร์เพิ่มขึ้น ร่วมกับปัจจัยอื่นๆ สิ่งนี้ทำให้เกิดข้อจำกัดทางทฤษฎีสำหรับความสามารถในการอธิบาย^{[ 106 ]}

ความสามารถในการอธิบายได้รับการศึกษาในทฤษฎีการเลือกทางสังคม ด้วยเช่นกัน ทฤษฎีการเลือกทางสังคมมีเป้าหมายเพื่อค้นหาวิธีแก้ปัญหาการตัดสินใจทางสังคมโดยอาศัยสัจพจน์ที่ได้รับการยอมรับอย่างดีAriel D. Procaccia ^{[ 107 ]}อธิบายว่าสัจพจน์เหล่านี้สามารถใช้สร้างคำอธิบายที่น่าเชื่อถือสำหรับวิธีแก้ปัญหาได้ หลักการนี้ถูกนำมาใช้เพื่อสร้างคำอธิบายในสาขาย่อยต่างๆ ของการเลือกทางสังคม

Cailloux และ Endriss ^{[ 108 ]}นำเสนอวิธีการอธิบายกฎการลงคะแนนโดยใช้สัจพจน์ที่บ่งบอกลักษณะเฉพาะ พวกเขายกตัวอย่างวิธีการของพวกเขาโดยใช้กฎ การลงคะแนนของ Borda

Peters, Procaccia, Psomas และ Zhou ^{[ 109 ]}นำเสนออัลกอริทึมสำหรับการอธิบายผลลัพธ์ของกฎ Borda โดยใช้คำอธิบาย O( m ² ) และพิสูจน์ว่ามีความกระชับในกรณีที่เลวร้ายที่สุด

Yang, Hausladen, Peters, Pournaras, Fricker และ Helbing ^{[ 110 ]}นำเสนอการศึกษาเชิงประจักษ์เกี่ยวกับความสามารถในการอธิบายในการจัดทำงบประมาณแบบมีส่วนร่วมพวกเขาเปรียบเทียบ กฎ การแบ่งส่วนแบบโลภและแบบเท่าเทียมและคำอธิบายสามประเภท ได้แก่คำอธิบายกลไก (คำอธิบายทั่วไปเกี่ยวกับวิธีการทำงานของกฎการรวมกลุ่มโดยพิจารณาจากข้อมูลการลงคะแนน) คำอธิบายรายบุคคล (อธิบายว่ามีผู้ลงคะแนนกี่คนที่มีโครงการที่ได้รับการอนุมัติอย่างน้อยหนึ่งโครงการ อย่างน้อย 10,000 ฟรังก์สวิสในโครงการที่ได้รับการอนุมัติ) และคำอธิบายกลุ่ม (อธิบายว่างบประมาณถูกจัดสรรอย่างไรในเขตและหัวข้อต่างๆ) พวกเขาเปรียบเทียบความน่าเชื่อถือและความเป็นธรรม ที่รับ รู้ได้ของการแบ่งส่วนแบบโลภและแบบเท่าเทียม ก่อนและหลังการอธิบาย พวกเขาพบว่า สำหรับ MES คำอธิบายกลไกทำให้ความเป็นธรรมและความน่าเชื่อถือที่รับรู้ได้เพิ่มขึ้นสูงสุด รองลงมาคือคำอธิบายกลุ่ม สำหรับแบบโลภ คำอธิบายกลไกทำให้ความน่าเชื่อถือที่รับรู้ได้เพิ่มขึ้น แต่ไม่เพิ่มความเป็นธรรม ในขณะที่คำอธิบายรายบุคคลทำให้ทั้งความเป็นธรรมและความน่าเชื่อถือที่รับรู้ได้เพิ่มขึ้น คำอธิบายกลุ่ม ทำให้ ความเป็นธรรมและความน่าเชื่อถือที่รับรู้ได้ ลดลง

Nizri, Azaria และ Hazon ^{[ 111 ]}นำเสนออัลกอริทึมสำหรับการคำนวณคำอธิบายสำหรับค่า Shapleyโดยเมื่อกำหนดเกมแบบกลุ่ม อัลกอริทึมของพวกเขาจะแยกเกมนั้นออกเป็นเกมย่อย ซึ่งง่ายต่อการสร้างคำอธิบายด้วยวาจาโดยอิงจากสัจพจน์ที่บ่งบอกลักษณะของค่า Shapley การจัดสรรผลตอบแทนสำหรับแต่ละเกมย่อยนั้นถือว่ายุติธรรม ดังนั้นการจัดสรรผลตอบแทนตามค่า Shapley สำหรับเกมที่กำหนดจึงควรดูยุติธรรมเช่นกัน การทดลองกับผู้เข้าร่วม 210 คนแสดงให้เห็นว่า ด้วยคำอธิบายที่สร้างขึ้นโดยอัตโนมัติ ผู้เข้าร่วมรับรู้ว่าการจัดสรรผลตอบแทนตามค่า Shapley นั้นยุติธรรมกว่าอย่างมีนัยสำคัญเมื่อเทียบกับคำอธิบายมาตรฐานทั่วไป

• ผลกระทบสะสมในระดับท้องถิ่น  – วิธีการเรียนรู้ของเครื่องจักร
• ความโปร่งใสของอัลกอริทึม  – ความโปร่งใสในการตัดสินใจโดยอัลกอริทึม
• สิทธิในการได้รับคำอธิบาย  – สิทธิในการได้รับคำอธิบายเกี่ยวกับอัลกอริทึม

• "Leaders today face a new paradox: deploying powerful AI solutions". 31 October 2025.
• "the World Conference on eXplainable Artificial Intelligence".
• "ACM Conference on Fairness, Accountability, and Transparency (FAccT)".
• Mazumdar, Dipankar; Neto, Mário Popolin; Paulovich, Fernando V. (2021). "Random Forest similarity maps: A Scalable Visual Representation for Global and Local Interpretation". Electronics. 10 (22): 2862. doi:10.3390/electronics10222862.
• "Explainable AI: Making machines understandable for humans". Explainable AI: Making machines understandable for humans. Retrieved 2017-11-02.
• "Explaining How End-to-End Deep Learning Steers a Self-Driving Car". Parallel Forall. 2017-05-23. Retrieved 2017-11-02.
• Knight, Will (14 มีนาคม 2017). "DARPA กำลังให้ทุนสนับสนุนโครงการที่จะพยายามเปิดเผยกล่องดำของ AI" . MIT Technology Review . สืบค้นเมื่อ2 พฤศจิกายน 2017 .