ในทฤษฎีความน่าจะเป็นเมตริกความน่าจะเป็นเชิง ปริพันธ์ เป็นประเภทของฟังก์ชันระยะทางระหว่างการแจกแจงความน่าจะเป็น ซึ่งกำหนดโดยความสามารถของกลุ่มฟังก์ชันในการแยกแยะการแจกแจงทั้งสองนั้นระยะทางทางสถิติ ที่สำคัญหลายอย่าง เป็นเมตริกความน่าจะเป็นเชิงปริพันธ์ รวมถึงระยะทาง Wasserstein-1และระยะทางความแปรผันรวมนอกจากความสำคัญทางทฤษฎีแล้ว เมตริกความน่าจะเป็นเชิงปริพันธ์ยังถูกใช้อย่างกว้างขวางในสาขาสถิติและ การเรียน รู้ ของเครื่องจักร

ชื่อ "เมตริกความน่าจะเป็นเชิงปริพันธ์" ได้รับการตั้งโดยนักสถิติชาวเยอรมัน Alfred Müller; ^{[ 1 ]}ระยะทางเหล่านี้เคยถูกเรียกว่า "เมตริกที่มี โครงสร้าง ζ " มาก่อนเช่นกัน ^{[ 2 ]}

เมตริกความน่าจะเป็นเชิงปริพันธ์ (IPMs) คือระยะทางบนปริภูมิของการแจกแจงเหนือเซตซึ่งกำหนดโดยคลาสของฟังก์ชันค่าจริงบน เซต โดยที่ สัญลักษณ์P fหมายถึงค่าคาดหวังของfภายใต้การแจกแจงPค่าสัมบูรณ์ในนิยามนั้นไม่จำเป็น และมักถูกละเว้นในกรณีปกติที่สำหรับทุกค่า ค่าผกผันของมันก็อยู่ในเซตด้วยเช่นกัน ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {X}}}$$${\displaystyle D_{\mathcal {F}}(P,Q)=\sup _{f\in {\mathcal {F}}}{\big |}\mathbb {E} _{X\sim P}f(X)-\mathbb {E} _{Y\sim Q}f(Y){\big |}=\sup _{f\in {\mathcal {F}}}{\big |}Pf-Qf{\big |};}$$${\displaystyle f\in {\mathcal {F}}}$${\displaystyle -f}$${\displaystyle {\mathcal {F}}}$

ฟังก์ชันfที่ถูกปรับให้เหมาะสมที่สุดบางครั้งเรียกว่าฟังก์ชัน "วิจารณ์" ^{[ 3 ]}หากฟังก์ชันใดฟังก์ชันหนึ่งบรรลุค่าสูงสุด มักจะเรียกว่าฟังก์ชัน "พยาน" ^{[ 4 ]} (มัน "เป็นพยาน" ถึงความแตกต่างในการกระจาย) ฟังก์ชันเหล่านี้พยายามมีค่ามากสำหรับตัวอย่างจากPและค่าเล็กน้อย (มีแนวโน้มที่จะเป็นลบ) สำหรับตัวอย่างจากQซึ่งสามารถคิดได้ว่าเป็นเวอร์ชันที่อ่อนกว่าของตัวจำแนกและในความเป็นจริง IPM สามารถตีความได้ว่าเป็นความเสี่ยง ที่เหมาะสมที่สุด ของตัวจำแนกเฉพาะ^{[ 5 ] : มาตรา 4} ${\displaystyle f^{*}\in {\mathcal {F}}}$

การเลือกจะกำหนดระยะทางที่เฉพาะเจาะจง มากกว่าหนึ่งสามารถสร้างระยะทางเดียวกันได้^{[ 1 ]}${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {F}}}$

สำหรับตัวเลือกใดๆ ของจะตรงตามคำจำกัดความทั้งหมดของเมตริก ยกเว้นว่าเราอาจมีสำหรับบางP ≠ Qซึ่งเรียกกันว่า " เมตริกเทียม " หรือ "เมตริกกึ่ง" ขึ้นอยู่กับชุมชน ตัวอย่างเช่น การใช้คลาสที่มีเฉพาะฟังก์ชันศูนย์จะเป็นศูนย์โดยสมบูรณ์เป็นเมตริกก็ต่อเมื่อแยกจุดบนพื้นที่ของการกระจายความน่าจะเป็น กล่าวคือ สำหรับP ≠ Q ใดๆ จะมีบางค่าที่ทำให้[ ^{1 ] กรณี}เฉพาะทั่วไปส่วนใหญ่ แต่ไม่ใช่ทั้งหมด เป็นไปตามคุณสมบัตินี้ ${\displaystyle {\mathcal {F}}}$${\displaystyle D_{\mathcal {F}}}$${\displaystyle D_{\mathcal {F}}(P,Q)=0}$${\displaystyle {\mathcal {F}}=\{x\mapsto 0\}}$${\displaystyle D_{\mathcal {F}}(P,Q)}$${\displaystyle D_{\mathcal {F}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle f\in {\mathcal {F}}}$${\displaystyle Pf\neq Qf}$

ตัวอย่างทั้งหมดนี้เป็นตัวชี้วัด ยกเว้นในกรณีที่ระบุไว้เป็นอย่างอื่น

• ระยะทาง Wasserstein -1 (หรือเรียกอีกอย่างว่าระยะทาง Earth Mover ) ผ่านการแสดงแทนแบบคู่ขนานจะมีเซตของฟังก์ชัน 1- Lipschitz${\displaystyle {\mathcal {F}}}$
• เมตริก Dudley ที่เกี่ยวข้องนั้นสร้างขึ้นจากเซตของฟังก์ชัน 1-Lipschitz ที่มีขอบเขต
• ระยะทางความแปรผันรวมสามารถสร้างขึ้นได้โดยซึ่งเป็นชุดของฟังก์ชันตัวบ่งชี้สำหรับเหตุการณ์ใดๆ หรือโดยคลาสที่ใหญ่กว่า${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to \{0,1\}\}}$${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to [0,1]\}}$
• เมตริก Radonที่เกี่ยวข้องอย่างใกล้ชิดถูกสร้างขึ้นโดยฟังก์ชันต่อเนื่องที่มีขอบเขตใน[ -1, 1]ความแปรผันทั้งหมดและเมตริก Radon ตรงกัน (จนถึงการปรับขนาด) บนพื้นที่ Polish ^{[ 1 ] : ส่วนที่ 5.2 [ 6 ]}
• เมตริก Kolmogorov ที่ใช้ในการทดสอบ Kolmogorov-Smirnovมีคลาสฟังก์ชันของฟังก์ชันตัวบ่งชี้${\displaystyle {\mathcal {F}}=\{1_{(-\infty ,t]}:t\in \mathbb {R} \}}$
• ความคลาดเคลื่อนเฉลี่ยสูงสุดของเคอร์เนล (MMD)มีลูกบอลหน่วยในปริภูมิฮิลเบิร์ตเคอร์เนลที่สร้างซ้ำได้ระยะทางนี้ง่ายต่อการประมาณจากตัวอย่างโดยไม่จำเป็นต้องปรับให้เหมาะสม เป็นเมตริกที่เหมาะสมเมื่อเคอร์เนลพื้นฐานมีลักษณะเฉพาะ^{[ 7 ]}${\displaystyle {\mathcal {F}}}$
• ระยะทางพลังงานซึ่งเป็นกรณีพิเศษของความคลาดเคลื่อนเฉลี่ยสูงสุด^{[ 8 ]}ถูกสร้างขึ้นโดยลูกบอลหน่วยในปริภูมิฮิลเบิร์ตเคอร์เนลการสร้างซ้ำเฉพาะ
• การกำหนดโดยฟังก์ชันที่มีบรรทัดฐาน Sobolev ที่มีขอบเขต จะให้ระยะทางที่มีประโยชน์สำหรับการสร้างแบบจำลองเชิงกำเนิดรวมถึงการใช้งานอื่นๆ^{[ 9 ]}${\displaystyle {\mathcal {F}}}$
• ฟังก์ชันที่มีบรรทัดฐาน Besov ที่มีขอบเขต จะขยายรูปแบบอื่นๆ ของ IPM และสามารถวิเคราะห์ทางทฤษฎีได้^{[ 10 ] [ 11 ]}
• เครือข่ายปฏิปักษ์เชิงกำเนิดและการทดสอบสองตัวอย่างแบบ อิง ตัวจำแนกประเภทหลายรูปแบบ^{[ 12 ] [ 13 ]}ใช้ "ระยะทางเครือข่ายประสาท" ^{[ 14 ] [ 15 ]}โดยที่เป็นคลาสของเครือข่ายประสาทสิ่งเหล่านี้ไม่ใช่เมตริกสำหรับเครือข่ายขนาดคงที่ทั่วไป แต่สามารถเป็นเมตริกสำหรับตัวจำแนกประเภทอื่นๆ ได้ โดยเฉพาะอย่างยิ่งสำหรับWasserstein GANsมีการโต้แย้งว่าการวิเคราะห์ในแง่ของระยะทางนี้และไม่ใช่ Wasserstein ที่พวกมันประมาณค่ามีความสำคัญมากต่อพฤติกรรมของแบบจำลองเหล่านี้^{[ 14 ] [ 16 ] [ 17 ]}${\displaystyle {\mathcal {F}}}$

ค่าf -divergenceน่าจะเป็นวิธีที่รู้จักกันดีที่สุดในการวัดความไม่เหมือนกันของการกระจายความน่าจะเป็น มีการแสดงให้เห็นแล้ว^{[ 5 ] : ส่วนที่ 2} ว่าฟังก์ชันเดียวที่เป็นทั้ง IPM และf -divergence นั้นมีรูปแบบโดยที่และคือระยะทางความแปรผันรวมระหว่างการกระจาย ${\displaystyle c\,\operatorname {TV} (P,Q)}$${\displaystyle c\in [0,\infty ]}$${\displaystyle \operatorname {TV} }$

ความแตกต่างที่สำคัญอย่างหนึ่งระหว่างf -divergences และ IPM ส่วนใหญ่คือ เมื่อPและQมีการรองรับที่ไม่ทับซ้อนกันf -divergences ทั้งหมดจะมีค่าคงที่^{[ 18 ]}ในทางตรงกันข้าม IPM ที่ฟังก์ชันในนั้น"เรียบ" สามารถให้ "เครดิตบางส่วน" ได้ ตัวอย่างเช่น พิจารณาลำดับของการวัด Diracที่1/ nลำดับนี้ลู่เข้าในการกระจายไปยังและ IPM หลายตัวเป็นไปตามแต่ไม่มีf -divergence ที่ไม่เป็นศูนย์ใดที่สามารถตอบสนองสิ่งนี้ได้ นั่นคือ IPM หลายตัวมีความต่อเนื่องในโทโพโลยีที่อ่อนกว่าf -divergences คุณสมบัตินี้บางครั้งมีความสำคัญอย่างมาก^{[ 19 ]}แม้ว่าจะมีตัวเลือกอื่น ๆ เช่น การพิจารณาf -divergences ระหว่างการกระจายที่รวมกับสัญญาณรบกวนต่อเนื่อง^{[ 19 ] [ 20 ]}หรือการรวมแบบไม่เป็นทางการระหว่าง f-divergences และเมตริกความน่าจะเป็นแบบอินทิกรัล^{[ 21 ] [ 22 ]}${\displaystyle {\mathcal {F}}}$${\displaystyle \delta _{1/n}}$${\displaystyle \delta _{0}}$${\displaystyle D_{\mathcal {F}}(\delta _{1/n},\delta _{0})\to 0}$

เนื่องจากค่า IPM ระหว่างการแจกแจงแบบไม่ต่อเนื่องมักจะสมเหตุสมผล จึงมักจะเหมาะสมที่จะประมาณค่าโดยใช้ตัวประมาณค่าแบบ "เสียบปลั๊ก" ง่ายๆโดยที่และเป็นการวัดเชิงประจักษ์ของชุดตัวอย่าง ระยะทางเชิงประจักษ์เหล่านี้สามารถคำนวณได้อย่างแม่นยำสำหรับบางคลาส[ ^{5 ] คุณภาพ}การประมาณค่าจะแตกต่างกันไปตามระยะทาง แต่สามารถเป็นค่ามินิแม็กซ์ที่เหมาะสมที่สุดได้ในบางสถานการณ์^{[ 15 ] [ 23 ] [ 24 ]}${\displaystyle D_{\mathcal {F}}(P,Q)}$${\displaystyle D_{\mathcal {F}}({\hat {P}},{\hat {Q}})}$${\displaystyle {\hat {P}}}$${\displaystyle {\hat {Q}}}$${\displaystyle {\mathcal {F}}}$

เมื่อการหาค่าสูงสุดที่แน่นอนไม่สามารถทำได้หรือมีค่าใช้จ่ายสูงเกินไป แผนการที่ใช้กันทั่วไปอีกวิธีหนึ่งคือการแบ่งตัวอย่างออกเป็นชุด "ฝึกฝน" (ด้วยการวัดเชิงประจักษ์และ) และชุด "ทดสอบ" ( และ) ค้นหาค่าสูงสุดโดยประมาณจากนั้นใช้เป็นค่าประมาณ^{[ 25 ] [ 13 ] [ 26 ] [ 27 ]}ตัวประมาณนี้อาจมีความสอดคล้องแต่มีอคติเชิงลบ^{[ 25 ] : ทฤษฎีบท 2} ในความเป็นจริง ไม่มีตัวประมาณที่ไม่เอนเอียงสำหรับ IPM ใดๆ^{[ 25 ] : ทฤษฎีบท 3} แม้ว่าจะมีตัวประมาณที่ไม่เอนเอียงของความคลาดเคลื่อนเฉลี่ยสูงสุดกำลังสอง ก็ตาม ^{[ 4 ]}${\displaystyle {\hat {P}}_{\mathit {train}}}$${\displaystyle {\hat {Q}}_{\mathit {train}}}$${\displaystyle {\hat {P}}_{\mathit {test}}}$${\displaystyle {\hat {Q}}_{\mathit {test}}}$${\displaystyle {\hat {f}}}$${\displaystyle {\big |}{\hat {P}}_{\mathit {train}}f-{\hat {Q}}_{\mathit {train}}f{\big |}}$${\displaystyle {\big |}{\hat {P}}_{\mathit {test}}{\hat {f}}-{\hat {Q}}_{\mathit {test}}{\hat {f}}{\big |}}$