การทำนายแบบคอนฟอร์มอล ( CP ) เป็นอัลกอริธึมสำหรับการวัดปริมาณความไม่แน่นอนที่สร้างพื้นที่การทำนายที่ถูกต้องทางสถิติ ( ช่วงการทำนาย หลายมิติ ) สำหรับตัวทำนายจุด พื้นฐานใดๆ (ไม่ว่าจะเป็นทางสถิติการเรียนรู้ของเครื่องหรือการเรียนรู้เชิงลึก ) โดยสมมติว่าข้อมูลสามารถแลกเปลี่ยนกันได้ CP ทำงานโดยการคำนวณ "คะแนนความไม่สอดคล้อง" บน ข้อมูลที่ติดป้ายกำกับ ไว้ก่อนหน้า นี้ และใช้คะแนนเหล่านี้เพื่อสร้างชุดการทำนายบนจุดข้อมูลทดสอบใหม่ (ที่ไม่ได้ติดป้ายกำกับ) เวอร์ชันทราน สดักทีฟของCP ได้รับการเสนอครั้งแรกในปี 1998 โดยGammerman , VovkและVapnik ^{[ 1 ]}และตั้งแต่นั้นมา ได้มีการพัฒนารูปแบบต่างๆ ของการทำนายแบบคอนฟอร์มอลที่มีความซับซ้อนในการคำนวณ การรับประกันอย่างเป็นทางการ และการใช้งานจริงที่แตกต่างกัน^{[ 2 ]}

การทำนายแบบคอนฟอร์มอลต้องใช้ ระดับนัยสำคัญที่ผู้ใช้กำหนดซึ่งอัลกอริทึมควรใช้ในการทำนาย ระดับนัยสำคัญนี้จะจำกัดความถี่ของข้อผิดพลาดที่อัลกอริทึมสามารถทำได้ ตัวอย่างเช่น ระดับนัยสำคัญ 0.1 หมายความว่าอัลกอริทึมสามารถทำการ ทำนายผิดพลาด ได้มากที่สุด 10% เพื่อให้เป็นไปตามข้อกำหนดนี้ ผลลัพธ์ที่ได้คือการทำนายแบบเซตแทนที่จะเป็นการทำนายแบบจุดเดียวที่สร้างขึ้นโดย แบบจำลอง การเรียนรู้ของเครื่องแบบมีผู้กำกับดูแล มาตรฐาน สำหรับงานการจำแนกประเภท หมายความว่าการทำนายจะไม่ใช่คลาสเดียว เช่น'cat'แต่เป็นเซต เช่น{'cat', 'dog'}ขึ้นอยู่กับว่าแบบจำลองพื้นฐานดีแค่ไหน (สามารถแยกแยะระหว่างแมว สุนัข และสัตว์อื่นๆ ได้ดีเพียงใด) และระดับนัยสำคัญที่กำหนด เซตเหล่านี้อาจมีขนาดเล็กหรือใหญ่กว่า สำหรับงานการถดถอย ผลลัพธ์ที่ได้คือช่วงการทำนาย โดยระดับนัยสำคัญที่เล็กกว่า (ข้อผิดพลาดที่อนุญาตน้อยลง) จะสร้างช่วงที่กว้างขึ้นซึ่งมีความเฉพาะเจาะจงน้อยลง และในทางกลับกัน ข้อผิดพลาดที่อนุญาตมากขึ้นจะสร้างช่วงการทำนายที่แคบลง^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]}

การทำนายแบบคอนฟอร์มอลเกิดขึ้นครั้งแรกจากการทำงานร่วมกันระหว่าง Gammerman, Vovk และ Vapnik ในปี 1998 ^{[ 1 ]}การทำนายแบบคอนฟอร์มอลเวอร์ชันเริ่มต้นนี้ใช้สิ่งที่ปัจจุบันเรียกว่าค่า Eแม้ว่าเวอร์ชันของการทำนายแบบคอนฟอร์มอลที่เป็นที่รู้จักมากที่สุดในปัจจุบันจะใช้ค่า pและได้รับการเสนอโดย Saunders และคณะในอีกหนึ่งปีต่อมา^{[ 7 ]} Vovk, Gammerman และนักศึกษาและผู้ร่วมงานของพวกเขา โดยเฉพาะอย่างยิ่ง Craig Saunders, Harris Papadopoulos และ Kostas Proedrou ได้พัฒนาแนวคิดของการทำนายแบบคอนฟอร์มอลต่อไป การพัฒนาที่สำคัญ ได้แก่ การเสนอการทำนายแบบคอนฟอร์มอลเชิงอุปนัย (หรือที่เรียกว่าการทำนายแบบคอนฟอร์มอลแบบแยกส่วน) ในปี 2002 ^{[ 8 ]} Vovk และ Shafer ได้เขียนหนังสือเกี่ยวกับหัวข้อนี้ในปี 2005 ^{[ 3 ]}และมีการตีพิมพ์บทช่วยสอนในปี 2008 ^{[ 9 ]}

ข้อมูลต้องเป็นไปตามมาตรฐานบางอย่าง เช่น ข้อมูลสามารถแลกเปลี่ยนกันได้ (ซึ่งเป็นสมมติฐานที่อ่อนกว่ามาตรฐานIIDที่กำหนดไว้ในการเรียนรู้เครื่องจักรมาตรฐานเล็กน้อย) สำหรับการทำนายแบบสอดคล้อง พื้นที่การทำนาย n % จะถือว่าถูกต้องหากความจริงอยู่ในเอาต์พุตn % ของเวลา^{[ 3 ]}ประสิทธิภาพคือขนาดของเอาต์พุต สำหรับการจำแนกประเภท ขนาดนี้คือจำนวนคลาส สำหรับการถดถอย ขนาดนี้คือความกว้างของช่วง^{[ 9 ]}

ในรูปแบบที่บริสุทธิ์ที่สุด การทำนายแบบสอดคล้องจะทำขึ้นสำหรับส่วนออนไลน์ (ทรานสดักทีฟ) นั่นคือ หลังจากทำนายป้ายกำกับแล้ว ป้ายกำกับที่แท้จริงจะทราบก่อนการทำนายครั้งถัดไป ดังนั้น โมเดลพื้นฐานสามารถฝึกฝนใหม่ได้โดยใช้จุดข้อมูลใหม่นี้ และการทำนายครั้งถัดไปจะทำบนชุดการสอบเทียบที่มี จุดข้อมูล n  + 1 จุด โดยที่โมเดลก่อนหน้านี้มีจุดข้อมูลn จุด ^{[ 9 ]}

เป้าหมายของ อัลกอริธึมการ จำแนกประเภท มาตรฐาน คือการจำแนกวัตถุทดสอบออกเป็นหนึ่งในหลายคลาสที่แยกจากกัน ในทางกลับกัน ตัวจำแนกประเภทแบบสอดคล้องจะคำนวณและแสดง ค่า pสำหรับแต่ละคลาสที่มีอยู่ โดยการจัดอันดับค่าความไม่สอดคล้อง (ค่า α) ของวัตถุทดสอบเทียบกับตัวอย่างจากชุดข้อมูลฝึกฝน เช่นเดียวกับการทดสอบ สมมติฐานมาตรฐาน ค่าpร่วมกับค่าเกณฑ์ (เรียกว่าระดับนัยสำคัญในสาขา CP) จะถูกใช้เพื่อพิจารณาว่าควรเพิ่มป้ายกำกับนั้นลงในชุดการทำนายหรือไม่ ตัวอย่างเช่น สำหรับระดับนัยสำคัญ 0.1 คลาสทั้งหมดที่มี ค่า pเท่ากับ 0.1 หรือมากกว่าจะถูกเพิ่มเข้าไปในชุดการทำนาย อัลกอริธึมแบบทรานสดักทีฟจะคำนวณคะแนนความไม่สอดคล้องโดยใช้ข้อมูลฝึกฝนทั้งหมดที่มีอยู่ ในขณะที่อัลกอริธึมแบบอินดักทีฟจะคำนวณจากชุดย่อยของชุดข้อมูลฝึกฝน

การทำนายแบบคอนฟอร์มอลเชิงอุปนัย (Inductive Conformal Prediction) เดิมทีรู้จักกันในชื่อเครื่องจักรความเชื่อมั่นเชิงอุปนัย^{[ 8 ]}แต่ต่อมาได้นำกลับมาใช้ใหม่ในชื่อ ICP ซึ่งได้รับความนิยมในการใช้งานจริง เนื่องจากโมเดลพื้นฐานไม่จำเป็นต้องได้รับการฝึกฝนใหม่สำหรับตัวอย่างทดสอบใหม่ทุกตัว ทำให้โมเดลนี้มีความน่าสนใจสำหรับโมเดลใดๆ ที่ต้องใช้เวลาในการฝึกฝนมาก เช่น เครือข่ายประสาทเทียม^{[ 10 ]}

ใน MICP ค่าอัลฟ่าขึ้นอยู่กับคลาส (มอนเดรียน) และแบบจำลองพื้นฐานไม่ได้ปฏิบัติตามการตั้งค่าออนไลน์ดั้งเดิมที่นำมาใช้ในปี 2548 ^{[ 4 ]}

อัลกอริทึมการฝึกฝน:

1. ฝึกฝนโมเดลการเรียนรู้ของเครื่องจักร
2. ทำการปรับเทียบโมเดลและบันทึกผลลัพธ์จากขั้นตอนที่เลือก
   • ในการเรียนรู้เชิงลึก ค่า softmaxมักถูกนำมาใช้
3. ใช้ฟังก์ชันความไม่สอดคล้องเพื่อคำนวณค่า α
   • จุดข้อมูลในชุดสอบเทียบจะส่งผลให้ได้ ค่า αสำหรับคลาสที่แท้จริงของจุดข้อมูลนั้น

อัลกอริทึมการทำนาย:

1. สำหรับจุดข้อมูลทดสอบ ให้สร้างค่าα ใหม่
2. หาค่า p สำหรับแต่ละคลาสของจุดข้อมูล
3. ถ้าค่า p มากกว่าระดับนัยสำคัญ ให้รวมคลาสไว้ในผลลัพธ์^{[ 4 ]}

การทำนายแบบคอนฟอร์มอล (Conformal prediction) ถูกคิดค้นขึ้นครั้งแรกสำหรับงานจำแนกประเภท แต่ต่อมาได้ถูกดัดแปลงเพื่อใช้ในการถดถอย (Regression) ต่างจากการจำแนกประเภทซึ่งให้ ค่า pโดยไม่มีระดับนัยสำคัญที่กำหนดไว้ การถดถอยต้องการระดับนัยสำคัญที่คงที่ในเวลาทำนาย เพื่อสร้างช่วงการทำนายสำหรับวัตถุทดสอบใหม่ สำหรับการถดถอยแบบคอนฟอร์มอลแบบคลาสสิก ไม่มีอัลกอริทึมแบบทราน ดักทีฟ (Transductive algorithm) เนื่องจากเป็นไปไม่ได้ที่จะกำหนดป้ายกำกับที่เป็นไปได้ทั้งหมดสำหรับวัตถุทดสอบใหม่ เพราะพื้นที่ของป้ายกำกับนั้นต่อเนื่อง อัลกอริทึมที่มีอยู่ทั้งหมดจึงถูกคิดค้นขึ้นในบริบท แบบ อินดักทีฟ (Inductive setting) ซึ่งคำนวณกฎการทำนายเพียงครั้งเดียวและนำไปใช้กับการทำนายในอนาคตทั้งหมด

อัลกอริทึมแบบอุปนัยทั้งหมดจำเป็นต้องแบ่งชุดข้อมูลตัวอย่างการฝึกอบรมที่มีอยู่เป็นสองชุดที่ไม่ซ้ำกันชุดหนึ่งใช้สำหรับฝึกโมเดลพื้นฐาน ( ชุดฝึกอบรมที่เหมาะสม ) และอีกชุดหนึ่งใช้สำหรับปรับเทียบการทำนาย ( ชุดปรับเทียบ ) ใน ICP การแบ่งนี้ทำเพียงครั้งเดียว ดังนั้นจึงฝึกโมเดล ML เพียงโมเดลเดียว หากการแบ่งทำแบบสุ่มและข้อมูลสามารถแลกเปลี่ยนกันได้ โมเดล ICP จะได้รับการพิสูจน์ว่าถูกต้องโดยอัตโนมัติ (กล่าวคือ อัตราข้อผิดพลาดสอดคล้องกับระดับนัยสำคัญที่ต้องการ)

อัลกอริทึมการฝึกฝน:

1. แบ่งข้อมูลฝึกฝนออกเป็นชุดข้อมูลฝึกฝน และชุดข้อมูลปรับเทียบ ให้เหมาะสม
2. ฝึกฝนโมเดล ML พื้นฐานโดยใช้ชุดข้อมูลฝึกฝนที่เหมาะสม
3. ทำนายตัวอย่างจาก ชุด ข้อมูลสอบเทียบโดยใช้แบบจำลอง ML ที่ได้มา → ค่าŷ
4. ตัวเลือกเสริม: หากใช้ฟังก์ชันความไม่สอดคล้อง แบบมาตรฐาน
   1. ฝึกโมเดล ML การทำให้เป็นมาตรฐาน
   2. ทำนายคะแนนการทำให้เป็นมาตรฐาน → ค่า 𝜺
5. คำนวณค่าความไม่สอดคล้อง ( ค่า α ) สำหรับตัวอย่างการสอบเทียบทั้งหมด โดยใช้ ค่า ŷและ 𝜺
6. จัดเรียงมาตรวัดความไม่สอดคล้องและสร้างคะแนนความไม่สอดคล้อง
7. บันทึกโมเดล ML พื้นฐาน โมเดล ML สำหรับการปรับค่ามาตรฐาน (ถ้ามี) และคะแนนความไม่สอดคล้อง

อัลกอริทึมการทำนาย:

ข้อมูลที่ต้องป้อน: ระดับนัยสำคัญ ( s )

1. ทำนายวัตถุทดสอบโดยใช้โมเดล ML → ŷ _t
2. ตัวเลือกเสริม: หากใช้ฟังก์ชันความไม่สอดคล้องแบบมาตรฐาน
   1. ทำนายวัตถุทดสอบโดยใช้แบบจำลองการทำให้เป็นมาตรฐาน → 𝜺 _t
3. เลือกคะแนนความไม่สอดคล้องจากรายการคะแนนที่ได้จากชุดข้อมูลสอบเทียบในการฝึกอบรม ซึ่งสอดคล้องกับระดับนัยสำคัญs → α _s
4. คำนวณความกว้างครึ่งหนึ่งของช่วงการทำนาย ( d ) จากการจัดเรียงฟังก์ชันความไม่สอดคล้องใหม่และป้อนค่าαs (และอาจรวมถึง 𝜺 ด้วย) _→ d
5. แสดงช่วงการทำนายผลลัพธ์ ( ŷ − d , ŷ + d ) สำหรับระดับนัยสำคัญs ที่กำหนด

SCP ซึ่งมักเรียกว่าAggregated Conformal Predictor (ACP) สามารถพิจารณาได้ว่าเป็นกลุ่มของICPโดยทั่วไปแล้ว SCP จะช่วยเพิ่มประสิทธิภาพในการทำนาย (กล่าวคือ สร้างช่วงการทำนายที่แคบลง) เมื่อเทียบกับ ICP เดี่ยว แต่จะสูญเสียความถูกต้องอัตโนมัติในการทำนายที่สร้างขึ้น

SCP ประเภทหนึ่งที่พบได้ทั่วไปคือตัวทำนายแบบครอสคอนฟอร์มอล (CCP) ซึ่งแบ่งข้อมูลฝึกฝนออกเป็นชุดฝึกฝนและ ชุด ปรับเทียบ ที่เหมาะสม หลายครั้งในกลยุทธ์ที่คล้ายกับ การตรวจสอบแบบ ครอสแวลิดเด ชัน k เท่า ไม่ว่าจะเป็นเทคนิคการแบ่งแบบใดก็ตาม อัลกอริทึมจะทำการ แบ่ง nครั้งและฝึกฝน ICP สำหรับแต่ละการแบ่ง เมื่อทำนายวัตถุทดสอบใหม่ จะใช้ค่ามัธยฐานŷและdจาก ICP ทั้ง n ตัวเพื่อสร้างช่วงการทำนายสุดท้ายเป็น ( ŷ = _{ค่ามัธยฐาน} − d = _{ค่ามัธยฐาน} , ŷ = _{ค่ามัธยฐาน} + d = _{ค่ามัธยฐาน} )

สามารถใช้โมเดล การเรียนรู้ของเครื่องหลายแบบร่วมกับการทำนายแบบสอดคล้องได้ การศึกษาแสดงให้เห็นว่าสามารถนำไปใช้กับเครือข่ายประสาทแบบคอนโวลูชัน [ ^{11 ]}เครื่องสนับสนุนเวกเตอร์และอื่นๆ ^ได้

การทำนายแบบคอนฟอร์มอลถูกนำมาใช้ในหลากหลายสาขาและเป็นหัวข้อวิจัยที่กำลังได้รับความสนใจ ตัวอย่างเช่น ในด้านเทคโนโลยีชีวภาพมีการใช้การทำนายแบบคอนฟอร์มอลเพื่อทำนายความไม่แน่นอนในมะเร็งเต้านม [ ^{12 ] ความ} เสี่ยงของโรคหลอดเลือดสมอง^{[ 13 ]}การจัดเก็บข้อมูล^{[ 14 ]}และการล้างข้อมูลในไดรฟ์ดิสก์^{[ 15 ]}ในด้านความปลอดภัยของฮาร์ดแวร์ มีการใช้การทำนายแบบคอนฟอร์มอลเพื่อตรวจจับโทรจันฮาร์ดแวร์ที่กำลังพัฒนา^{[ 16 ]}ในด้านเทคโนโลยีภาษา บทความเกี่ยวกับการทำนายแบบคอนฟอร์มอลจะถูกนำเสนอเป็นประจำในงานสัมมนาเรื่องการทำนายแบบคอนฟอร์มอลและแบบความน่าจะเป็นพร้อมการประยุกต์ใช้งาน (COPA) ^{[ 17 ]}การทำนายแบบคอนฟอร์มอลยังถูกนำไปใช้ใน การค้น พบยาโมเลกุลขนาดเล็ก อีกด้วย ^{[ 18 ]}

การทำนายแบบสอดคล้อง (Conformal prediction) ในหลายกรณีใช้เพื่อให้แบบจำลองการเรียนรู้ของเครื่องเข้าใจความไม่แน่นอนในผลลัพธ์ได้ดียิ่งขึ้น ในการทำนายแบบสอดคล้อง คะแนนความไม่สอดคล้องจะวัดว่าตัวอย่างใหม่นั้นผิดปกติไปจากข้อมูลฝึกฝนมากน้อยเพียงใด และคะแนนเหล่านี้จะถูกนำมาใช้ในการคำนวณค่า pที่กำหนดชุดการทำนายขั้นสุดท้าย แทนที่จะสร้างป้ายกำกับเพียงป้ายเดียว แบบจำลองจะสร้างค่า p เพื่อแสดงว่าป้ายกำกับที่เป็นไปได้แต่ละป้ายมีความสัมพันธ์กับจุดข้อมูลใหม่อย่างไร จากนั้นค่า p เหล่านี้จะถูกนำมาใช้เพื่อสร้างชุดการทำนายและคะแนนความน่าเชื่อถือที่บ่งชี้ว่าสมมติฐานแบบเรียลไทม์ของแบบจำลองยังคงใช้ได้กับข้อมูลป้อนเข้าที่กำลังประเมินอยู่หรือไม่

เนื่องจากการทำนายแบบสอดคล้องจะเปรียบเทียบรูปแบบที่เรียนรู้จากข้อมูลในอดีตกับข้อมูลป้อนเข้าใหม่ จึงสามารถช่วยเปิดเผยได้ว่าการกระจายข้อมูลพื้นฐานมีการเปลี่ยนแปลงเมื่อใด เมื่อ เกิด การเปลี่ยนแปลงแนวคิดข้อมูลใหม่อาจได้รับคะแนน p-value ที่ต่ำกว่า ซึ่งบ่งชี้ว่าแบบจำลองกำลังเผชิญกับข้อมูลป้อนเข้าที่แตกต่างจากการกระจายการฝึกอบรม ทำให้การทำนายแบบสอดคล้องมีประโยชน์สำหรับการประเมินว่าแบบจำลองยังคงน่าเชื่อถือหรือไม่เมื่อข้อมูลมีการเปลี่ยนแปลงตามธรรมชาติเมื่อเวลาผ่านไป^{[ 19 ]}

นักวิจัยได้ประยุกต์ใช้การทำนายแบบสอดคล้องในโดเมนต่างๆ เช่นความปลอดภัยทางไซเบอร์และการตรวจจับความผิดปกติซึ่งข้อมูลมีการเปลี่ยนแปลงอย่างรวดเร็ว ในบริบทของการจำแนกมัลแวร์ คะแนนความสอดคล้องและค่า p สามารถช่วยเน้นไฟล์ที่เบี่ยงเบนจากรูปแบบที่สังเกตได้ก่อนหน้านี้ ซึ่งบ่งชี้ถึงความไม่แน่นอนหรือการจัดการที่เป็นปรปักษ์ที่อาจเกิดขึ้นได้^{[ 19 ]}สิ่งนี้ทำให้การทำนายแบบสอดคล้องมีคุณค่าสำหรับการเสริมสร้างการป้องกันการเรียนรู้ของเครื่องในสภาพแวดล้อมที่ภัยคุกคามมีการพัฒนาอย่างต่อเนื่อง

การทำนายแบบคอนฟอร์มอลเป็นหนึ่งในหัวข้อหลักที่กล่าวถึงในการประชุม COPA ทุกปี ทั้งทฤษฎีและการประยุกต์ใช้การทำนายแบบคอนฟอร์มอลได้รับการนำเสนอโดยผู้นำในสาขานี้ การประชุมนี้จัดขึ้นตั้งแต่ปี 2012 ^{[ 17 ]}โดยจัดขึ้นในหลายประเทศในยุโรป ได้แก่ กรีซ สหราชอาณาจักร อิตาลี และสวีเดน

หนังสือที่ตีพิมพ์เกี่ยวกับการทำนายแบบคอนฟอร์มอล ได้แก่ Algorithmic Learning in a Random World, ^{[ 20 ]} Conformal Prediction for Reliable Machine Learning: Theory, Adaptations and Applications, ^{[ 21 ]} Practical Guide to Applied Conformal Prediction in Python: Learn and Apply the Best Uncertainty Frameworks to Your Industry Applications, ^{[ 22 ]} Conformal Prediction: A Gentle Introduction (Foundations and Trends in Machine Learning), ^{[ 23 ]}และ Conformal Prediction for Inventors. ^{[ 24 ]}

• การสอบเทียบ (สถิติ)
• วิธีการบูตสแตรป
• การถดถอยควอนไทล์