ตารางความน่าจะเป็น

สมมติฐาน หลักฐาน	สอดคล้องกับสมมติฐานH	ขัดแย้งกับสมมติฐาน${\displaystyle \neg H}$⁠		ทั้งหมด
มีหลักฐานE	${\displaystyle P(H|E)\cdot P(E)}$${\displaystyle =P(E|H)\cdot P(H)}$	${\displaystyle P(\neg H|E)\cdot P(E)}$${\displaystyle =P(E|\neg H)\cdot P(\neg H)}$		⁠${\displaystyle P(E)}$⁠
ไม่มีหลักฐาน${\displaystyle \neg E}$⁠	${\displaystyle P(H|\neg E)\cdot P(\neg E)}$${\displaystyle =P(\neg E|H)\cdot P(H)}$	${\displaystyle P(\neg H|\neg E)\cdot P(\neg E)}$${\displaystyle =P(\neg E|\neg H)\cdot P(\neg H)}$		${\displaystyle P(\neg E)}$=${\displaystyle 1-P(E)}$
ทั้งหมด	⁠${\displaystyle P(H)}$⁠	${\displaystyle P(\neg H)=1-P(H)}$	1

การอนุมานแบบเบย์เซียนได้มาจากความน่าจะเป็นภายหลัง (posterior probability)ซึ่งเป็นผลมาจากสองปัจจัยเบื้องต้นได้แก่ความน่าจะเป็นก่อนหน้า (prior probability ) และ " ฟังก์ชันความน่าจะเป็น " (likelihood function ) ที่ได้มาจาก แบบจำลองทางสถิติสำหรับข้อมูลที่สังเกตได้ การอนุมานแบบเบย์เซียนคำนวณความน่าจะเป็นภายหลังตามทฤษฎีบทของเบย์ส :

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

ที่ไหน

• ${\displaystyle H}$หมายถึงสมมติฐาน ใดๆ ที่ความน่าจะเป็นอาจได้รับผลกระทบจากข้อมูล (ซึ่งต่อไปนี้จะเรียกว่าหลักฐาน ) บ่อยครั้งที่มีสมมติฐานที่แข่งขันกัน และงานที่ต้องทำคือการพิจารณาว่าสมมติฐานใดมีความน่าจะเป็นมากที่สุด
• ${\displaystyle P(H)}$ความน่าจะเป็นก่อนหน้าคือการประมาณความน่าจะเป็นของสมมติฐาน${\displaystyle H}$ก่อนข้อมูล${\displaystyle E}$จากหลักฐานที่มีอยู่ในปัจจุบัน พบว่า...
• ${\displaystyle E}$หลักฐานดังกล่าว สอดคล้องกับข้อมูลใหม่ที่ไม่ได้ใช้ในการคำนวณความน่าจะเป็นก่อนหน้า
• ${\displaystyle P(H\mid E)}$ความน่าจะเป็นภายหลังคือ ความน่าจะเป็นของ${\displaystyle H}$ที่ให้ไว้${\displaystyle E}$กล่าวคือหลังจาก${\displaystyle E}$มีการสังเกตพบสิ่งนี้ นี่คือสิ่งที่เราต้องการทราบ: ความน่าจะเป็นของสมมติฐานเมื่อพิจารณาจากหลักฐานที่สังเกตได้
• ${\displaystyle P(E\mid H)}$คือความน่าจะเป็นของการสังเกต${\displaystyle E}$ที่ให้ไว้${\displaystyle H}$และเรียกว่าความน่าจะเป็นโดยเป็นฟังก์ชันของ${\displaystyle E}$กับ${\displaystyle H}$ค่าคงที่นี้บ่งชี้ถึงความสอดคล้องของหลักฐานกับสมมติฐานที่กำหนด ฟังก์ชันความน่าจะเป็นเป็นฟังก์ชันของหลักฐาน${\displaystyle E}$ในขณะที่ความน่าจะเป็นภายหลังเป็นฟังก์ชันของสมมติฐาน${\displaystyle H}$.
• ${\displaystyle P(E)}$บางครั้งเรียกว่าความน่าจะเป็นส่วนเพิ่มหรือ "หลักฐานแบบจำลอง" ปัจจัยนี้จะเหมือนกันสำหรับสมมติฐานที่เป็นไปได้ทั้งหมดที่กำลังพิจารณา (ดังที่เห็นได้จากข้อเท็จจริงที่ว่าสมมติฐาน${\displaystyle H}$(ไม่ปรากฏที่ใดในสัญลักษณ์ ซึ่งแตกต่างจากปัจจัยอื่นๆ ทั้งหมด) และด้วยเหตุนี้จึงไม่นำมาพิจารณาในการกำหนดความน่าจะเป็นสัมพัทธ์ของสมมติฐานต่างๆ
• ${\displaystyle P(E)>0}$(มิฉะนั้นจะมี)${\displaystyle 0/0}$.)

สำหรับค่าต่างๆ ของ${\displaystyle H}$เฉพาะปัจจัยเท่านั้น${\displaystyle P(H)}$และ${\displaystyle P(E\mid H)}$ทั้งสองตัวในตัวเศษมีผลต่อค่าของ${\displaystyle P(H\mid E)}$ –ความน่าจะเป็นภายหลังของสมมติฐานเป็นสัดส่วนกับความน่าจะเป็นก่อนหน้า (ความเป็นไปได้โดยธรรมชาติ) และความน่าจะเป็นที่ได้มาใหม่ (ความสอดคล้องกับหลักฐานที่สังเกตได้ใหม่)

ในกรณีที่${\displaystyle \neg H}$("ไม่${\displaystyle H}$"), การปฏิเสธเชิงตรรกะของ${\displaystyle H}$หากเป็นความน่าจะเป็นที่ถูกต้อง กฎของเบย์สสามารถเขียนใหม่ได้ดังนี้:

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$

เพราะ

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

และ

$${\displaystyle P(H)+P(\neg H)=1.}$$

สิ่งนี้จะดึงความสนใจไปที่คำนั้น

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

ถ้าค่าดังกล่าวมีค่าประมาณ 1 ความน่าจะเป็นของสมมติฐานเมื่อพิจารณาจากหลักฐานแล้วจะเป็นดังนี้${\displaystyle P(H\mid E)}$เกี่ยวกับ${\displaystyle {\tfrac {1}{2}}}$มีโอกาสประมาณ 50% - มีโอกาสเท่ากันหรือไม่มีโอกาสเลย หากค่าของพจน์นั้นน้อยมาก ใกล้เคียงกับศูนย์ ความน่าจะเป็นของสมมติฐานนั้น เมื่อพิจารณาจากหลักฐานแล้ว...${\displaystyle P(H\mid E)}$ถ้าค่าดังกล่าวใกล้เคียงกับ 1 หรือสมมติฐานแบบมีเงื่อนไขนั้นมีความเป็นไปได้ค่อนข้างสูง แต่ถ้าค่าดังกล่าวมีขนาดใหญ่มาก มากกว่า 1 มาก สมมติฐานนั้นก็ไม่น่าจะเป็นไปได้เลยเมื่อพิจารณาจากหลักฐานที่มีอยู่ ถ้าสมมติฐานนั้นไม่น่าจะเป็นไปได้ (โดยไม่คำนึงถึงหลักฐาน) แล้ว${\displaystyle P(H)}$มีขนาดเล็ก (แต่ไม่จำเป็นต้องเล็กมากจนน่าตกใจ) และ${\displaystyle {\tfrac {1}{P(H)}}}$มีค่ามากกว่า 1 มาก และสามารถประมาณค่าเทอมนี้ได้ดังนี้${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$และสามารถเปรียบเทียบความน่าจะเป็นที่เกี่ยวข้องได้โดยตรง

วิธีที่ง่ายและรวดเร็วในการจำสมการนี้คือการใช้กฎการคูณ :

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

การปรับปรุงแบบเบย์เซียนนั้นใช้กันอย่างแพร่หลายและสะดวกในการคำนวณ อย่างไรก็ตาม มันไม่ใช่กฎการปรับปรุงเพียงอย่างเดียวที่อาจถือได้ว่าสมเหตุสมผล

เอียน แฮ็กกิ้งตั้งข้อสังเกตว่าข้อโต้แย้ง " หนังสือดัตช์ " แบบดั้งเดิมไม่ได้ระบุถึงการปรับปรุงแบบเบย์เซียน: พวกเขาเปิดโอกาสไว้ว่ากฎการปรับปรุงที่ไม่ใช่แบบเบย์เซียนสามารถหลีกเลี่ยงหนังสือดัตช์ได้ แฮ็กกิ้งเขียนว่า: ^{[ 3 ]} "และทั้งข้อโต้แย้งหนังสือดัตช์หรือข้อโต้แย้งอื่น ๆ ในคลังอาวุธของบุคคลนิยมในการพิสูจน์สัจพจน์ความน่าจะเป็นไม่ได้บ่งชี้ถึงสมมติฐานแบบไดนามิก ไม่มีข้อใดบ่งชี้ถึงความเป็นเบย์เซียน ดังนั้นบุคคลนิยมจึงต้องการให้สมมติฐานแบบไดนามิกเป็นแบบเบย์เซียน เป็นความจริงที่ว่าในความสอดคล้อง บุคคลนิยมสามารถละทิ้งแบบจำลองเบย์เซียนของการเรียนรู้จากประสบการณ์ได้ เกลืออาจสูญเสียรสชาติไป"

อันที่จริง มีกฎการปรับปรุงที่ไม่ใช่แบบเบย์เซียนที่หลีกเลี่ยงหนังสือแบบดัตช์ (ดังที่ได้กล่าวถึงในเอกสารเกี่ยวกับ " จลนศาสตร์ความน่าจะเป็น ") หลังจากการตีพิมพ์กฎของRichard C. Jeffreyซึ่งใช้กฎของเบย์เซียนกับกรณีที่หลักฐานเองได้รับการกำหนดความน่าจะเป็น^{[ 4 ]}สมมติฐานเพิ่มเติมที่จำเป็นในการต้องการการปรับปรุงแบบเบย์เซียนโดยเฉพาะนั้นถือว่ามีนัยสำคัญ ซับซ้อน และไม่น่าพอใจ^{[ 5 ]}

สมมติว่ากระบวนการหนึ่งกำลังสร้างเหตุการณ์ที่เป็นอิสระและมีการกระจายแบบเดียวกัน${\displaystyle E_{n},\ n=1,2,3,\ldots }$แต่การกระจายความน่าจะเป็นนั้นไม่เป็นที่รู้จัก ให้ปริภูมิเหตุการณ์เป็น${\displaystyle \Omega }$แสดงถึงสถานะความเชื่อในปัจจุบันสำหรับกระบวนการนี้ แต่ละแบบจำลองแสดงด้วยเหตุการณ์${\displaystyle M_{m}}$ความน่าจะเป็นแบบมีเงื่อนไข${\displaystyle P(E_{n}\mid M_{m})}$มีการระบุเพื่อกำหนดแบบจำลอง${\displaystyle P(M_{m})}$คือระดับของความเชื่อใน${\displaystyle M_{m}}$ก่อนขั้นตอนการอนุมานครั้งแรก${\displaystyle \{P(M_{m})\}}$คือชุดของความน่าจะเป็นเบื้องต้น ซึ่งผลรวมของความน่าจะเป็นเหล่านี้ต้องเท่ากับ 1 แต่ค่าอื่นๆ นั้นสามารถกำหนดได้ตามอำเภอใจ

สมมติว่ากระบวนการดังกล่าวถูกสังเกตว่าก่อให้เกิด${\displaystyle E\in \{E_{n}\}}$สำหรับแต่ละ${\displaystyle M\in \{M_{m}\}}$ก่อนหน้านี้${\displaystyle P(M)}$ได้รับการอัปเดตไปยังส่วนหลัง${\displaystyle P(M\mid E)}$จากทฤษฎีบทของเบย์ส : ^{[ 6 ]}

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

หากพบหลักฐานเพิ่มเติม อาจทำขั้นตอนนี้ซ้ำได้

สำหรับลำดับของการสังเกตการณ์ที่เป็นอิสระและมีการกระจายเหมือนกัน${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$สามารถแสดงได้โดยการอุปมานว่า การประยุกต์ใช้สิ่งข้างต้นซ้ำๆ นั้นเทียบเท่ากับ $${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$ ที่ไหน $${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

ด้วยการกำหนดพารามิเตอร์ให้กับพื้นที่ของแบบจำลอง ความเชื่อในแบบจำลองทั้งหมดสามารถปรับปรุงได้ในขั้นตอนเดียว การกระจายความเชื่อเหนือพื้นที่ของแบบจำลองจึงอาจมองได้ว่าเป็นการกระจายความเชื่อเหนือพื้นที่ของพารามิเตอร์ การกระจายในส่วนนี้แสดงเป็นแบบต่อเนื่อง โดยแทนด้วยความหนาแน่นของความน่าจะเป็น เนื่องจากเป็นสถานการณ์ปกติ อย่างไรก็ตาม เทคนิคนี้สามารถนำไปใช้กับการกระจายแบบไม่ต่อเนื่องได้เช่นกัน

ให้เวกเตอร์${\displaystyle {\boldsymbol {\theta }}}$ครอบคลุมพื้นที่พารามิเตอร์ ให้การแจกแจงความน่าจะเป็นล่วงหน้าเริ่มต้นเหนือ${\displaystyle {\boldsymbol {\theta }}}$เป็น${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$, ที่ไหน${\displaystyle {\boldsymbol {\alpha }}}$คือชุดพารามิเตอร์สำหรับค่าก่อนหน้า หรือไฮเปอร์พารามิเตอร์ให้${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$เป็นลำดับของการสังเกตเหตุการณ์ที่เป็นอิสระและมีการกระจายเหมือนกัน โดยที่ทั้งหมด${\displaystyle e_{i}}$มีการกระจายตัวดังนี้${\displaystyle p(e\mid {\boldsymbol {\theta }})}$สำหรับบางคน${\displaystyle {\boldsymbol {\theta }}}$ทฤษฎีบทของเบย์สถูกนำมาใช้เพื่อหา การ แจกแจง ความ น่าจะเป็นภายหลัง (posterior distribution)${\displaystyle {\boldsymbol {\theta }}}$:

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ ที่ไหน $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$โดยทั่วไปแล้ว นี่คือจุดข้อมูล อาจเป็นเวกเตอร์ของค่าต่างๆ ก็ได้
• ${\displaystyle \theta }$พารามิเตอร์ของการกระจายจุดข้อมูลเช่น${\displaystyle x\sim p(x\mid \theta )}$นี่ อาจเป็นเวกเตอร์ของพารามิเตอร์
• ${\displaystyle \alpha }$พารามิเตอร์เสริมของการกระจายพารามิเตอร์ กล่าวคือ${\displaystyle \theta \sim p(\theta \mid \alpha )}$นี่ อาจเป็นเวกเตอร์ของไฮเปอร์พารามิเตอร์
• ${\displaystyle \mathbf {X} }$คือตัวอย่าง ซึ่งเป็นชุดของ${\displaystyle n}$จุดข้อมูลที่สังเกตได้ เช่น${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$จุดข้อมูลใหม่ที่ต้องการทำนายการกระจายตัว

• การแจกแจงก่อนหน้าคือการแจกแจงของพารามิเตอร์ก่อนที่จะมีการสังเกตข้อมูลใดๆ กล่าวคือ${\displaystyle p(\theta \mid \alpha )}$การกำหนดการกระจายความน่าจะเป็นล่วงหน้าอาจทำได้ยาก ในกรณีเช่นนี้ วิธีหนึ่งที่เป็นไปได้คือการใช้การกระจายความน่าจะเป็นล่วงหน้าของเจฟฟรีย์ (Jeffreys prior)เพื่อหาการกระจายความน่าจะเป็นล่วงหน้าก่อนที่จะปรับปรุงด้วยข้อมูลสังเกตการณ์ใหม่ ๆ
• การแจกแจงตัวอย่างคือการแจกแจงของข้อมูลที่สังเกตได้โดยมีเงื่อนไขตามพารามิเตอร์ กล่าวคือ${\displaystyle p(\mathbf {X} \mid \theta )}$ สิ่งนี้เรียกอีกอย่างว่าความน่าจะเป็นโดยเฉพาะอย่างยิ่งเมื่อพิจารณาในฐานะฟังก์ชันของพารามิเตอร์ ซึ่งบางครั้งเขียนว่า${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$.
• ความน่าจะเป็นแบบมาร์จินัล (บางครั้งเรียกว่าหลักฐาน ) คือการกระจายของข้อมูลที่สังเกตได้ซึ่งหาค่ามาร์จินัลโดยพิจารณาจากพารามิเตอร์ กล่าวคือ$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$เป็นการวัดปริมาณความสอดคล้องระหว่างข้อมูลและความเห็นของผู้เชี่ยวชาญในเชิงเรขาคณิตที่สามารถทำให้แม่นยำได้^{[ 7 ]}หากความน่าจะเป็นส่วนขอบเป็น 0 แสดงว่าไม่มีความสอดคล้องระหว่างข้อมูลและความเห็นของผู้เชี่ยวชาญ และไม่สามารถใช้กฎของเบย์สได้
• การแจกแจงความน่าจะเป็นภายหลัง (posterior distribution) คือการแจกแจงของพารามิเตอร์หลังจากพิจารณาข้อมูลที่สังเกตได้แล้ว ซึ่งกำหนดโดยกฎของเบย์สซึ่งเป็นหัวใจสำคัญของการอนุมานแบบเบย์ส:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}}$${\displaystyle ={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$

สิ่งนี้สามารถแสดงออกมาในรูปคำพูดได้ว่า "ค่าความน่าจะเป็นภายหลังเป็นสัดส่วนกับค่าความน่าจะเป็นคูณด้วยค่าความน่าจะเป็นก่อนหน้า" หรือบางครั้งก็เขียนว่า "ค่าความน่าจะเป็นภายหลัง = ค่าความน่าจะเป็นคูณด้วยค่าความน่าจะเป็นก่อนหน้า หารด้วยหลักฐาน"

• ในทางปฏิบัติ สำหรับแบบจำลองเบย์เซียนที่ซับซ้อนเกือบทั้งหมดที่ใช้ในการเรียนรู้ของเครื่องจักร การแจกแจงความน่าจะเป็นภายหลัง (posterior distribution)${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$ไม่สามารถหาได้ในรูปแบบการแจกแจงแบบปิด เนื่องจากพื้นที่พารามิเตอร์สำหรับ${\displaystyle \theta }$ค่าอาจสูงมาก หรือแบบจำลองเบย์เซียนอาจคงโครงสร้างลำดับชั้นบางอย่างที่กำหนดขึ้นจากข้อมูลสังเกตการณ์ไว้${\displaystyle \mathbf {X} }$และพารามิเตอร์${\displaystyle \theta }$ในสถานการณ์เช่นนี้ เราจำเป็นต้องหันไปใช้เทคนิคการประมาณค่า^{[ 8 ]}
• กรณีทั่วไป: ให้${\displaystyle P_{Y}^{x}}$เป็นการแจกแจงแบบมีเงื่อนไขของ${\displaystyle Y}$ที่ให้ไว้${\displaystyle X=x}$และปล่อยให้${\displaystyle P_{X}}$เป็นการกระจายของ${\displaystyle X}$การแจกแจงร่วมจึงเป็นดังนี้${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$การแจกแจงแบบมีเงื่อนไข${\displaystyle P_{X}^{y}}$ของ${\displaystyle X}$ ที่ให้ไว้${\displaystyle Y=y}$จากนั้นจึงกำหนดโดย

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$การมีอยู่และความเป็นเอกลักษณ์ของความคาดหวังแบบมีเงื่อนไข ที่จำเป็น นั้นเป็นผลมาจากทฤษฎีบท Radon–Nikodym Kolmogorovได้กำหนดทฤษฎีบทนี้ไว้ในหนังสือที่มีชื่อเสียงของเขาในปี 1933 Kolmogorov เน้นย้ำถึงความสำคัญของความน่าจะเป็นแบบมีเงื่อนไขโดยเขียนว่า "ฉันต้องการดึงความสนใจไปที่ ... และโดยเฉพาะอย่างยิ่งทฤษฎีความน่าจะเป็นแบบมีเงื่อนไขและความคาดหวังแบบมีเงื่อนไข..." ในคำนำ^{[ 9 ]}ทฤษฎีบทของ Bayes กำหนดการแจกแจงภายหลังจากการแจกแจงก่อนหน้า ความเป็นเอกลักษณ์ต้องอาศัยสมมติฐานความต่อเนื่อง^{[ 10 ]}ทฤษฎีบทของ Bayes สามารถขยายให้ครอบคลุมการแจกแจงก่อนหน้าที่ไม่เหมาะสม เช่น การแจกแจงแบบเอกรูปบนเส้นจำนวนจริง^{[ 11 ]} วิธี การ Markov chain Monte Carloสมัยใหม่ได้เพิ่มความสำคัญของทฤษฎีบทของ Bayes รวมถึงกรณีที่มีการแจกแจงก่อนหน้าที่ไม่เหมาะสม^{[ 12 ]}

• การแจกแจงทำนายภายหลัง (posterior predictive distribution)คือการแจกแจงของจุดข้อมูลใหม่ โดยหาค่าเฉลี่ยจากค่าการแจกแจงภายหลัง (posterior distribution):$${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• การแจกแจงการทำนายก่อนหน้าคือการแจกแจงของจุดข้อมูลใหม่ ซึ่งถูกหาค่าเฉลี่ยจากค่าก่อนหน้า:$${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

ทฤษฎีเบย์เซียนเรียกร้องให้ใช้การแจกแจงการทำนายภายหลัง (posterior predictive distribution) เพื่อทำการอนุมานเชิงทำนายกล่าวคือ เพื่อทำนายการแจกแจงของจุดข้อมูลใหม่ที่ไม่เคยสังเกตมาก่อน นั่นคือ แทนที่จะใช้จุดคงที่ในการทำนาย จะได้การแจกแจงของจุดที่เป็นไปได้ทั้งหมดกลับมา วิธีนี้เท่านั้นที่จะใช้การแจกแจงภายหลังทั้งหมดของพารามิเตอร์ได้ ในทางตรงกันข้าม การทำนายในสถิติแบบความถี่มักเกี่ยวข้องกับการหาค่าประมาณจุดที่ดีที่สุดของพารามิเตอร์ เช่น โดยวิธีความน่าจะเป็นสูงสุด ( maximum likelihood ) หรือการประมาณค่าภายหลังสูงสุด (maximum a posteriori estimation : MAP) แล้วนำค่าประมาณนี้ไปใส่ในสูตรสำหรับการแจกแจงของจุดข้อมูล วิธีนี้มีข้อเสียคือไม่ได้คำนึงถึงความไม่แน่นอนใดๆ ในค่าของพารามิเตอร์ และดังนั้นจึงจะประเมินความแปรปรวนของการแจกแจงเชิงทำนาย ต่ำกว่าความเป็นจริง

ในบางกรณี สถิติแบบความถี่สามารถแก้ไขปัญหานี้ได้ ตัวอย่างเช่นช่วงความเชื่อมั่นและช่วงการทำนายในสถิติแบบความถี่ เมื่อสร้างจาก ข้อมูลที่มี การแจกแจงแบบปกติโดยมีค่าเฉลี่ยและความแปรปรวน ที่ไม่ทราบค่า จะสร้างขึ้นโดยใช้การแจกแจงแบบ t ของนักเรียนซึ่งประมาณค่าความแปรปรวนได้อย่างถูกต้อง เนื่องจากข้อเท็จจริงที่ว่า (1)  ค่าเฉลี่ยของตัวแปรสุ่มที่มีการแจกแจงแบบปกติก็มีการแจกแจงแบบปกติเช่นกัน และ (2) การแจกแจงการทำนายของจุดข้อมูลที่มีการแจกแจงแบบปกติโดยมีค่าเฉลี่ยและความแปรปรวนที่ไม่ทราบค่า โดยใช้ไพรเออร์แบบคอนจูเกตหรือแบบไม่ให้ข้อมูล จะมีการแจกแจงแบบ t ของนักเรียน อย่างไรก็ตาม ในสถิติแบบเบย์เซียน การแจกแจงการทำนายภายหลังสามารถกำหนดได้อย่างแม่นยำเสมอ หรืออย่างน้อยก็มีความแม่นยำในระดับที่กำหนดได้เมื่อใช้วิธีการเชิงตัวเลข

การแจกแจงการทำนายทั้งสองประเภทมีรูปแบบเป็นการแจกแจงความน่าจะเป็นแบบผสม (เช่นเดียวกับความน่าจะเป็นแบบมาร์จินัล ) อันที่จริง หากการแจกแจงก่อนหน้าเป็นการ แจกแจง ก่อนหน้าแบบสังยุค ซึ่งหมายความว่าการแจกแจงก่อนหน้าและการแจกแจงภายหลังมาจากตระกูลเดียวกัน จะเห็นได้ว่าการแจกแจงการทำนายทั้งก่อนหน้าและภายหลังก็มาจากตระกูลเดียวกันของการแจกแจงแบบผสมเช่นกัน ความแตกต่างเพียงอย่างเดียวคือ การแจกแจงการทำนายภายหลังใช้ค่าที่อัปเดตแล้วของไฮเปอร์พารามิเตอร์ (โดยใช้กฎการอัปเดตแบบเบย์เซียนที่ระบุไว้ใน บทความเกี่ยวกับการแจกแจง ก่อนหน้าแบบสังยุค ) ในขณะที่การแจกแจงการทำนายก่อนหน้าใช้ค่าของไฮเปอร์พารามิเตอร์ที่ปรากฏใน1การแจกแจงก่อนหน้า

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$กล่าวคือ หากแบบจำลองนั้นเป็นจริง หลักฐานก็จะมีโอกาสปรากฏมากกว่าที่คาดการณ์ไว้จากระดับความเชื่อในปัจจุบัน ในทางกลับกัน หากความเชื่อลดลง หลักฐานก็จะสอดคล้องกัน หากความเชื่อไม่เปลี่ยนแปลง${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$กล่าวคือ หลักฐานนั้นเป็นอิสระจากแบบจำลอง หากแบบจำลองนั้นถูกต้อง หลักฐานก็จะมีโอกาสเกิดขึ้นเท่ากับที่คาดการณ์ไว้จากสถานะความเชื่อในปัจจุบัน

ถ้า${\displaystyle P(M)=0}$แล้ว${\displaystyle P(M\mid E)=0}$. ถ้า${\displaystyle P(M)=1}$และ${\displaystyle P(E)>0}$, แล้ว${\displaystyle P(M|E)=1}$สิ่งนี้อาจตีความได้ว่า ความเชื่อมั่นที่แข็งกร้าวไม่คำนึงถึงหลักฐานโต้แย้ง

ข้อแรกเป็นผลโดยตรงจากทฤษฎีบทของเบย์ส ส่วนข้อหลังสามารถอนุมานได้โดยการนำกฎข้อแรกไปใช้กับเหตุการณ์ "ไม่"${\displaystyle M}$" แทนที่ "${\displaystyle M}$"ซึ่งให้ผลลัพธ์ว่า "ถ้า${\displaystyle 1-P(M)=0}$, แล้ว${\displaystyle 1-P(M\mid E)=0}$"ซึ่งผลลัพธ์จะตามมาทันที"

พิจารณาพฤติกรรมของการกระจายความเชื่อเมื่อมีการอัปเดตจำนวนมากครั้งด้วยการทดลองที่เป็นอิสระและมีการกระจายเหมือนกัน สำหรับความน่าจะเป็นก่อนหน้าที่ดีพอสมควร ทฤษฎีบทของ Bernstein-von Misesระบุว่าในขีดจำกัดของการทดลองที่ไม่มีที่สิ้นสุด ความน่าจะเป็นภายหลังจะลู่เข้าสู่การกระจายแบบเกาส์เซียนที่เป็น อิสระจากความน่าจะเป็นก่อนหน้าเริ่มต้นภายใต้เงื่อนไขบางประการที่ Joseph L. Doobได้สรุปและพิสูจน์อย่างเข้มงวดเป็นครั้งแรกในปี 1948 กล่าวคือ หากตัวแปรสุ่มที่พิจารณามีปริภูมิความน่าจะ เป็นจำกัด ผลลัพธ์ทั่วไปมากขึ้นได้รับในภายหลังโดยนักสถิติDavid A. Freedmanซึ่งตีพิมพ์ในเอกสารวิจัยสำคัญสองฉบับในปี 1963 ^{[ 13 ]}และ 1965 ^{[ 14 ]}เมื่อใดและภายใต้สถานการณ์ใดที่พฤติกรรมเชิงอะซิมโทติกของความน่าจะเป็นภายหลังได้รับการรับประกัน เอกสารของเขาในปี 1963 เช่นเดียวกับ Doob (1949) พิจารณากรณีจำกัดและได้ข้อสรุปที่น่าพอใจ อย่างไรก็ตาม หากตัวแปรสุ่มมีปริภูมิความน่าจะ เป็นอนันต์แต่สามารถนับได้ (เช่น สอดคล้องกับลูกเต๋าที่มีหน้าอนันต์) บทความปี 1965 แสดงให้เห็นว่าสำหรับเซตย่อยที่หนาแน่นของไพรเออร์ทฤษฎีบทของ Bernstein-von Misesไม่สามารถนำมาใช้ได้ ในกรณีนี้แทบจะไม่มีการลู่เข้าแบบเชิงเส้นกำกับอย่างแน่นอน ต่อมาในช่วงปี 1980 และ 1990 FreedmanและPersi Diaconisได้ทำงานต่อในกรณีของปริภูมิความน่าจะเป็นอนันต์ที่สามารถนับได้^{[ 15 ]}โดยสรุป อาจมีการทดลองไม่เพียงพอที่จะระงับผลกระทบของการเลือกเริ่มต้น และโดยเฉพาะอย่างยิ่งสำหรับระบบขนาดใหญ่ (แต่จำกัด) การลู่เข้าอาจช้ามาก

ในรูปแบบพารามิเตอร์ มักจะถือว่าการแจกแจงก่อนหน้ามาจากตระกูลของการแจกแจงที่เรียกว่า การแจกแจงก่อนหน้าแบบสังยุค (conjugate priors ) ประโยชน์ของการแจกแจงก่อนหน้าแบบสังยุคคือ การแจกแจงภายหลังที่สอดคล้องกันจะอยู่ในตระกูลเดียวกัน และการคำนวณสามารถแสดงได้ใน รูป แบบปิด

โดยทั่วไปแล้ว มักต้องการใช้การแจกแจงความน่าจะเป็นภายหลัง (posterior distribution) เพื่อประมาณค่าพารามิเตอร์หรือตัวแปร วิธีการประมาณค่าแบบเบย์เซียนหลายวิธีจะเลือกค่าการวัดแนวโน้มศูนย์กลางจากการแจกแจงความน่าจะเป็นภายหลัง

สำหรับปัญหาหนึ่งมิติ จะมีค่ามัธยฐานที่ไม่ซ้ำกันสำหรับปัญหาต่อเนื่องในทางปฏิบัติ ค่ามัธยฐานภายหลังมีความน่าสนใจในฐานะตัวประมาณที่แข็งแกร่ง^{[ 16 ]}

หากมีค่าเฉลี่ยจำกัดสำหรับการแจกแจงแบบโพสทีเรียร์ ค่าเฉลี่ยแบบโพสทีเรียร์ก็จะเป็นวิธีการประมาณค่า^{[ 17 ]}$${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

การเลือกค่าที่มีความน่าจะเป็นสูงสุดจะกำหนดค่าประมาณสูงสุดภายหลัง (MAP): ^{[ 18 ]}$${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

มีบางกรณีที่ไม่มีค่าสูงสุดเกิดขึ้น ซึ่งในกรณีนั้น ชุดค่าประมาณ MAP จะว่างเปล่า

มีวิธีการประมาณค่าอื่นๆ ที่ลดความเสี่ยง ภายหลัง (การสูญเสียภายหลังที่คาดหวัง) ให้น้อยที่สุดเมื่อเทียบกับฟังก์ชันการสูญเสียและสิ่งเหล่านี้เป็นที่น่าสนใจสำหรับทฤษฎีการตัดสินใจทางสถิติโดยใช้การแจกแจงการสุ่มตัวอย่าง (สถิติความถี่) ^{[ 19 ]}

การแจกแจงการทำนายภายหลังของการสังเกตใหม่${\displaystyle {\tilde {x}}}$(ซึ่งเป็นอิสระจากการสังเกตก่อนหน้านี้) ถูกกำหนดโดย^{[ 20 ]}${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta }$${\displaystyle =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

สมมติว่ามีชามคุกกี้สองใบที่บรรจุเต็ม ชามที่ 1 มีคุกกี้ช็อกโกแลตชิป 10 ชิ้นและคุกกี้ธรรมดา 30 ชิ้น ในขณะที่ชามที่ 2 มีคุกกี้ช็อกโกแลตชิปและคุกกี้ธรรมดาอย่างละ 20 ชิ้น เฟรดเลือกชามใดชามหนึ่งโดยสุ่ม แล้วจึงสุ่มหยิบคุกกี้หนึ่งชิ้น ซึ่งหมายความว่าไม่มีเหตุผลที่จะเชื่อว่าเฟรดปฏิบัติต่อชามทั้งสองใบแตกต่างกัน เช่นเดียวกับคุกกี้ในชามทั้งสองใบ ปรากฏว่าคุกกี้ที่เฟรดหยิบออกมาเป็นคุกกี้ธรรมดา ส่วนความน่าจะเป็นที่เฟรดหยิบคุกกี้ชิ้นนั้นมาจากชามที่ 1 นั้นเป็นตัวอย่างของปัญหาที่สามารถแก้ไขได้ด้วยการอนุมานแบบเบย์เซียน

โดยสัญชาตญาณแล้ว ดูเหมือนชัดเจนว่าคำตอบควรจะมากกว่าครึ่ง เนื่องจากมีคุกกี้ธรรมดาในชามที่ 1 มากกว่า คำตอบที่แม่นยำนั้นได้มาจากทฤษฎีบทของเบย์ส ให้${\displaystyle H_{1}}$ตรงกับชามหมายเลข 1 และ${\displaystyle H_{2}}$สำหรับชามหมายเลข 2 กำหนดให้ชามทั้งสองใบเหมือนกันทุกประการจากมุมมองของเฟรด ดังนั้น${\displaystyle P(H_{1})=P(H_{2})}$และทั้งสองต้องรวมกันได้ 1 ดังนั้นทั้งสองจึงเท่ากับ 0.5 เหตุการณ์${\displaystyle E}$เป็นการสังเกตคุกกี้ธรรมดาชิ้นหนึ่ง จากสิ่งที่อยู่ในชามนั้น ทำให้ทราบว่า${\displaystyle P(E\mid H_{1})=30/40=0.75}$และ${\displaystyle P(E\mid H_{2})=20/40=0.5.}$สูตรของเบย์สจึงให้ผลลัพธ์ดังนี้ ${\displaystyle P(H_{1}\mid E)={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}}$${\displaystyle ={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}=0.6}$

ก่อนที่จะสังเกตเห็นคุกกี้ของเฟรด ความน่าจะเป็นที่เฟรดจะเลือกชามหมายเลข 1 คือความน่าจะเป็นก่อนหน้า${\displaystyle P(H_{1})=50\%.}$เมื่อยอมรับคุกกี้แล้วการประเมินที่แม่นยำยิ่งขึ้น ของเฟรด (หรือผู้สังเกตการณ์คนใดก็ตาม) เกี่ยวกับเรื่องนี้ก็จะเกิดขึ้น${\displaystyle P(H_{1})}$ได้รับการอัปเดตเป็น${\displaystyle P(H_{1}\mid E)=60\%.}$

นักโบราณคดีกำลังทำงานอยู่ในแหล่งโบราณคดีที่เชื่อว่ามีอายุอยู่ในยุคกลาง ระหว่างศตวรรษที่ 11 ถึง 16 อย่างไรก็ตาม ยังไม่แน่ชัดว่าสถานที่แห่งนี้มีผู้คนอาศัยอยู่เมื่อใดในยุคนั้น พบเศษเครื่องปั้นดินเผาหลายชิ้น บางชิ้นเคลือบและบางชิ้นตกแต่งลวดลาย คาดว่าหากสถานที่แห่งนี้มีผู้คนอาศัยอยู่ในช่วงต้นยุคกลาง เศษเครื่องปั้นดินเผาประมาณ 1% จะเคลือบ และ 50% ของพื้นที่ที่ตกแต่งลวดลาย ในขณะที่หากมีผู้คนอาศัยอยู่ในช่วงปลายยุคกลาง เศษเครื่องปั้นดินเผาประมาณ 81% จะเคลือบ และ 5% ของพื้นที่ที่ตกแต่งลวดลาย นักโบราณคดีมั่นใจได้มากแค่ไหนเกี่ยวกับช่วงเวลาที่สถานที่แห่งนี้มีผู้คนอาศัยอยู่ เนื่องจากเศษชิ้นส่วนที่ขุดพบนั้นมีอายุเก่าแก่มากน้อยเพียงใด?

ระดับความเชื่อมั่นในตัวแปรต่อเนื่อง${\displaystyle C}$(ศตวรรษ) จะต้องคำนวณ โดยใช้ชุดเหตุการณ์ที่แยกจากกัน${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$เป็นหลักฐาน ข้อมูลจากย่อหน้าก่อนหน้านี้ให้ผลลัพธ์ดังนี้ $${\displaystyle p_{G}(c)=0.01+{\frac {0.80}{5}}(c-11)}$$ สำหรับความน่าจะเป็นของการเคลือบและ $${\displaystyle p_{D}(c)=0.5-{\frac {0.45}{5}}(c-11)}$$ สำหรับความน่าจะเป็นของการตกแต่ง; ส่วนประกอบของพวกมันคือ $${\displaystyle {\bar {p}}_{G}(c)=1-p_{G}(c),\quad {\bar {p}}_{D}(c)=1-p_{D}(c).}$$ โดยสมมติว่าการเปลี่ยนแปลงของเคลือบและลวดลายเป็นแบบเชิงเส้นตามเวลา และตัวแปรเหล่านี้เป็นอิสระต่อกัน ความน่าจะเป็นของแต่ละเหตุการณ์จะเป็นดังนี้

เมื่อมีชิ้นส่วนใหม่ของประเภท${\displaystyle e}$เมื่อมีการค้นพบสิ่งใหม่ นั่นหมายถึงข้อมูลเพิ่มเติมสำหรับการสืบสวน และด้วยทฤษฎีบทของเบย์ส จะทำให้ การอนุมานแบบเบย์ส ได้รับการปรับปรุงไปสู่ระดับความเชื่อมั่น (หรือความมั่นใจ) ที่ดีขึ้นในการประเมินของนักโบราณคดี โดยสมมติว่ามีค่าความน่าจะเป็นล่วงหน้าแบบสม่ำเสมอ${\textstyle f_{C}(c)=0.2}$และการทดลองเหล่านั้นเป็นอิสระต่อกันและมีการกระจายตัวเหมือนกันทุกประการ

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)}$${\displaystyle ={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c).}$

กราฟแสดงผลการจำลองด้วยคอมพิวเตอร์เกี่ยวกับการเปลี่ยนแปลงความเชื่อเมื่อมีการขุดพบชิ้นส่วนโบราณ 50 ชิ้น ในการจำลองนี้ บริเวณดังกล่าวมีผู้คนอาศัยอยู่ราวปี ค.ศ. 1420 หรือ${\displaystyle c=15.2}$โดยการคำนวณพื้นที่ใต้กราฟส่วนที่เกี่ยวข้องสำหรับการทดลอง 50 ครั้ง นักโบราณคดีสามารถกล่าวได้ว่าแทบไม่มีโอกาสเลยที่สถานที่แห่งนี้จะมีผู้คนอาศัยอยู่ในช่วงศตวรรษที่ 11 และ 12 มีโอกาสประมาณ 1% ที่จะมีผู้คนอาศัยอยู่ในช่วงศตวรรษที่ 13 โอกาส 63% ในช่วงศตวรรษที่ 14 และโอกาส 36% ในช่วงศตวรรษที่ 15 ทฤษฎีบทเบิร์นสไตน์-ฟอน มิเซสยืนยันถึงการลู่เข้าแบบเชิงเส้นกำกับไปสู่การกระจาย "ที่แท้จริง" เนื่องจากปริภูมิความน่าจะเป็นที่สอดคล้องกับชุดเหตุการณ์แบบไม่ต่อเนื่อง${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$มีค่าจำกัด (ดูรายละเอียดในส่วนพฤติกรรมเชิงอะซิมโทติกของค่าความน่าจะเป็นภายหลังด้านบน)

ระเบียบวิธีแบบเบย์เซียนยังมีบทบาทในการเลือกแบบจำลองโดยมีเป้าหมายเพื่อเลือกแบบจำลองหนึ่งแบบจากชุดของแบบจำลองที่แข่งขันกัน ซึ่งแสดงถึงกระบวนการพื้นฐานที่สร้างข้อมูลที่สังเกตได้ใกล้เคียงที่สุด ในการเปรียบเทียบแบบจำลองแบบเบย์เซียน แบบจำลองที่มีความน่าจะเป็นภายหลัง สูงสุด เมื่อพิจารณาจากข้อมูลจะถูกเลือก ความน่าจะเป็นภายหลังของแบบจำลองขึ้นอยู่กับหลักฐาน หรือความน่าจะเป็นแบบมาร์จินัลซึ่งสะท้อนถึงความน่าจะเป็นที่ข้อมูลถูกสร้างขึ้นโดยแบบจำลอง และความเชื่อก่อนหน้าของแบบจำลอง เมื่อแบบจำลองที่แข่งขันกันสองแบบถูกพิจารณาว่ามีความน่าจะเป็นเท่ากันโดยปริยาย อัตราส่วนของความน่าจะเป็นภายหลังของแบบจำลองทั้งสองจะสอดคล้องกับปัจจัยเบย์เซียนเนื่องจากการเปรียบเทียบแบบจำลองแบบเบย์เซียนมีเป้าหมายเพื่อเลือกแบบจำลองที่มีความน่าจะเป็นภายหลังสูงสุด ระเบียบวิธีนี้จึงถูกเรียกว่ากฎการเลือกความน่าจะเป็นภายหลังสูงสุด (MAP) ^{[ 29 ]}หรือกฎความน่าจะเป็น MAP ^{[ 30 ]}

โปรดดูรายละเอียดเพิ่มเติมเกี่ยวกับสถิติแบบเบย์เซียน ได้ในบทความวิกิพีเดีย โดยเฉพาะ ส่วน การสร้างแบบจำลองทางสถิติในหน้านั้น

การอนุมานแบบเบย์เซียนมีการประยุกต์ใช้ในปัญญาประดิษฐ์และระบบผู้เชี่ยวชาญเทคนิคการอนุมานแบบเบย์เซียนเป็นส่วนสำคัญของ เทคนิค การจดจำรูปแบบ ด้วยคอมพิวเตอร์ มาตั้งแต่ปลายทศวรรษ 1950 ^{[ 34 ]}นอกจากนี้ยังมีความเชื่อมโยงที่เพิ่มมากขึ้นระหว่างวิธีการแบบเบย์เซียนและ เทคนิค Monte Carlo ที่ใช้การจำลอง เนื่องจากแบบจำลองที่ซับซ้อนไม่สามารถประมวลผลในรูปแบบปิดได้ด้วยการวิเคราะห์แบบเบย์เซียน ในขณะที่โครงสร้างแบบจำลองกราฟิกอาจช่วยให้สามารถใช้อัลกอริธึมการจำลองที่มีประสิทธิภาพ เช่นการสุ่มตัวอย่างแบบ Gibbsและแผนการอัลกอริธึม Metropolis–Hastings อื่นๆ ^{[ 35 ]}เมื่อเร็วๆ นี้การอนุมานแบบเบย์เซียนได้รับความนิยมในหมู่ ชุมชน ด้านพันธุศาสตร์เชิงวิวัฒนาการด้วยเหตุผลเหล่านี้ การประยุกต์ใช้จำนวนมากช่วยให้สามารถประมาณค่าพารามิเตอร์ทางประชากรศาสตร์และวิวัฒนาการได้พร้อมกันหลายตัว

เมื่อนำมาประยุกต์ใช้กับการจำแนกประเภททางสถิติการอนุมานแบบเบย์เซียนได้ถูกนำมาใช้ในการพัฒนาอัลกอริทึมสำหรับการระบุอีเมลสแปม แอปพลิเค ชันที่ใช้การอนุมานแบบเบย์เซียนสำหรับการกรองสแปม ได้แก่CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS และอื่นๆ การจำแนกประเภทสแปมจะกล่าวถึงในรายละเอียดเพิ่มเติมในบทความเกี่ยวกับตัวจำแนกแบบเบย์เซียนแบบง่าย ( naïve Bayes classifier )

การอนุมานแบบอุปนัยของ Solomonoffเป็นทฤษฎีการทำนายโดยอาศัยการสังเกต ตัวอย่างเช่น การทำนายสัญลักษณ์ถัดไปโดยอาศัยชุดสัญลักษณ์ที่กำหนด ข้อสมมติเพียงอย่างเดียวคือสภาพแวดล้อมเป็นไปตามการแจกแจงความน่าจะ เป็นที่ไม่ทราบแต่สามารถคำนวณได้ เป็นกรอบการอุปนัยที่เป็นทางการที่รวมหลักการสองประการของการอนุมานแบบอุปนัยที่ได้รับการศึกษามาเป็นอย่างดี ได้แก่ สถิติแบบเบย์เซียนและมีดโกนของอ็อกแคม [ ^{36 ] ความ}น่าจะเป็นก่อนหน้าสากลของ Solomonoff สำหรับคำนำหน้าp ใดๆ ของลำดับที่คำนวณได้xคือผลรวมของความน่าจะเป็นของโปรแกรมทั้งหมด (สำหรับคอมพิวเตอร์สากล) ที่คำนวณบางสิ่งบางอย่างที่เริ่มต้นด้วยpเมื่อกำหนดpและการแจกแจงความน่าจะเป็นที่คำนวณได้แต่ไม่ทราบใดๆ ที่ สุ่มตัวอย่าง x ความน่า จะเป็นก่อนหน้าสากลและทฤษฎีบทของเบย์เซียนสามารถใช้เพื่อทำนายส่วนที่ยังไม่เคยเห็นของx ได้ อย่างเหมาะสมที่สุด^{[ 37 ] [ 38 ]}

การอนุมานแบบเบย์เซียนถูกนำไปใช้ใน แอปพลิ เคชันชีวสารสนเทศ ต่างๆ รวมถึงการวิเคราะห์การแสดงออกของยีนที่แตกต่างกัน^{[ 39 ]}การอนุมานแบบเบย์เซียนยังถูกใช้ในแบบจำลองความเสี่ยงมะเร็งทั่วไปที่เรียกว่าCIRI (ดัชนีความเสี่ยงเฉพาะบุคคลแบบต่อเนื่อง) ซึ่งมีการรวมการวัดแบบอนุกรมเพื่ออัปเดตแบบจำลองเบย์เซียนที่สร้างขึ้นจากความรู้ก่อนหน้าเป็นหลัก^{[ 40 ] [ 41 ]}

แนวทางแบบเบย์เซียนเป็นหัวใจสำคัญของความก้าวหน้าล่าสุดในด้านจักรวาลวิทยาและการประยุกต์ใช้ทางฟิสิกส์ดาราศาสตร์^{[ 42 ] [ 43 ]}และขยายไปสู่ปัญหาทางฟิสิกส์ดาราศาสตร์ที่หลากหลาย รวมถึงการจำแนกลักษณะของดาวเคราะห์นอกระบบ (เช่น การปรับบรรยากาศสำหรับk2-18b ^{[ 44 ]} ) ข้อจำกัดของพารามิเตอร์ด้วยข้อมูลจักรวาลวิทยา^{[ 45 ]}และการสอบเทียบในการทดลองทางฟิสิกส์ดาราศาสตร์^{[ 46 ]}

ในจักรวาลวิทยา มักใช้ร่วมกับเทคนิคการคำนวณ เช่นMarkov chain Monte Carlo (MCMC) และอัลกอริทึมการสุ่มตัวอย่างแบบซ้อนเพื่อวิเคราะห์ชุดข้อมูลที่ซับซ้อนและนำทางในพื้นที่พารามิเตอร์ที่มีมิติสูง การประยุกต์ใช้ที่โดดเด่นคือข้อมูล CMB ของ Planck 2018 สำหรับการอนุมานพารามิเตอร์^{[ 45 ]} พารามิเตอร์จักรวาลวิทยาพื้นฐานหกตัวในแบบจำลอง Lambda-CDMไม่ได้ถูกทำนายโดยทฤษฎี แต่ถูกปรับให้เข้ากับข้อมูลพื้นหลังไมโครเวฟของจักรวาล (CMB) กับแบบจำลองจักรวาลวิทยาที่เลือก (แบบจำลอง Lambda-CDM) ^{[ 47 ]}รหัสเบย์เซียนสำหรับจักรวาลวิทยา `cobaya` ^{[ 48 ]}ตั้งค่าการทำงานทางจักรวาลวิทยาและเชื่อมต่อความน่าจะเป็นทางจักรวาลวิทยา รหัส Boltzmann ^{[ 49 ] [ 50 ]}ซึ่งคำนวณความไม่สม่ำเสมอของ CMB ที่ทำนายไว้สำหรับชุดพารามิเตอร์จักรวาลวิทยาที่กำหนดใดๆ ด้วย MCMC หรือตัวสุ่มตัวอย่างแบบซ้อน

กรอบการคำนวณนี้ไม่ได้จำกัดอยู่เฉพาะแบบจำลองมาตรฐานเท่านั้น แต่ยังจำเป็นสำหรับการทดสอบทฤษฎีจักรวาลวิทยาทางเลือกหรือแบบขยาย เช่น ทฤษฎีที่มีพลังงานมืดในช่วงต้น^{[ 51 ]}หรือทฤษฎีแรงโน้มถ่วงที่ดัดแปลงโดยแนะนำพารามิเตอร์เพิ่มเติมที่นอกเหนือจาก Lambda-CDM การเปรียบเทียบแบบจำลองแบบเบย์เซียนสามารถนำมาใช้ในการคำนวณหลักฐานสำหรับแบบจำลองที่แข่งขันกัน โดยให้พื้นฐานทางสถิติในการประเมินว่าข้อมูลสนับสนุนแบบจำลองเหล่านั้นมากกว่า Lambda-CDM มาตรฐานหรือไม่^{[ 52 ]}

การอนุมานแบบเบย์เซียนสามารถใช้โดยคณะลูกขุนเพื่อรวบรวมหลักฐานทั้งฝ่ายสนับสนุนและฝ่ายคัดค้านจำเลยอย่างสอดคล้องกัน และเพื่อดูว่าโดยรวมแล้วตรงตามเกณฑ์ส่วนตัวของพวกเขาสำหรับ " เกินกว่าข้อสงสัยที่สมเหตุสมผล " หรือไม่ ^{[ 53 ] [ 54 ] [ 55 ]}ทฤษฎีบทของเบย์เซียนจะถูกนำมาใช้กับหลักฐานทั้งหมดที่นำเสนออย่างต่อเนื่อง โดยค่าหลังของขั้นตอนหนึ่งจะกลายเป็นค่าก่อนหน้าสำหรับขั้นตอนถัดไป ข้อดีของแนวทางแบบเบย์เซียนคือมันให้กลไกที่เป็นกลางและมีเหตุผลแก่คณะลูกขุนในการรวมหลักฐาน อาจเหมาะสมที่จะอธิบายทฤษฎีบทของเบย์เซียนแก่คณะลูกขุนในรูปแบบอัตราต่อรองเนื่องจากอัตราต่อรองในการเดิมพันเป็นที่เข้าใจกันอย่างกว้างขวางมากกว่าความน่าจะเป็น หรืออีกทางหนึ่งแนวทางแบบลอการิทึมโดยแทนที่การคูณด้วยการบวก อาจง่ายกว่าสำหรับคณะลูกขุนในการจัดการ

หากไม่มีข้อสงสัยเกี่ยวกับการมีอยู่ของอาชญากรรม มีเพียงการระบุตัวตนของผู้กระทำผิดเท่านั้นที่มีข้อสงสัย ได้มีการแนะนำว่าความน่าจะเป็นก่อนหน้าควรมีความสม่ำเสมอในประชากรที่มีคุณสมบัติ^{[ 56 ]}ตัวอย่างเช่น หากมีคน 1,000 คนที่อาจก่ออาชญากรรม ความน่าจะเป็นก่อนหน้าของความผิดจะเป็น 1/1000

การใช้ทฤษฎีบทของเบย์สโดยคณะลูกขุนนั้นเป็นประเด็นถกเถียง ในสหราชอาณาจักรพยานผู้เชี่ยวชาญฝ่าย จำเลย ได้อธิบายทฤษฎีบทของเบย์สให้คณะลูกขุนฟังในคดีR v Adamsคณะลูกขุนตัดสินว่าจำเลยมีความผิด แต่คดีถูกอุทธรณ์โดยอ้างว่าไม่มีวิธีการรวบรวมหลักฐานใด ๆ สำหรับคณะลูกขุนที่ไม่ต้องการใช้ทฤษฎีบทของเบย์ส ศาลอุทธรณ์ยืนยันคำตัดสินว่ามีความผิด แต่ก็ให้ความเห็นว่า "การนำทฤษฎีบทของเบย์ส หรือวิธีการที่คล้ายคลึงกันใด ๆ มาใช้ในการพิจารณาคดีอาญา จะทำให้คณะลูกขุนต้องเข้าไปเกี่ยวข้องกับทฤษฎีและความซับซ้อนที่ไม่เหมาะสมและไม่จำเป็น เบี่ยงเบนพวกเขาจากหน้าที่ที่ถูกต้องของพวกเขา"

Gardner-Medwin ^{[ 57 ]}โต้แย้งว่าเกณฑ์ที่ควรใช้ในการตัดสินคดีอาญาไม่ใช่ความน่าจะเป็นของความผิด แต่เป็นความน่าจะเป็นของหลักฐาน โดยที่จำเลยเป็นผู้บริสุทธิ์ (คล้ายกับค่า p แบบความถี่ ) เขาโต้แย้งว่าหากจะคำนวณความน่าจะเป็นภายหลังของความผิดโดยใช้ทฤษฎีบทของ Bayes ความน่าจะเป็นก่อนหน้าของความผิดจะต้องทราบ ซึ่งจะขึ้นอยู่กับความถี่ของการเกิดอาชญากรรม ซึ่งเป็นหลักฐานที่ไม่ปกติที่จะนำมาพิจารณาในคดีอาญา ลองพิจารณาข้อเสนอสามข้อต่อไปนี้:

A – ข้อเท็จจริงและคำให้การที่ทราบกันดีอยู่แล้วนั้น อาจเกิดขึ้นได้หากจำเลยมีความผิดจริง

B – ข้อเท็จจริงและคำให้การที่ทราบกันดีนั้น อาจเกิดขึ้นได้หากจำเลยเป็นผู้บริสุทธิ์

C – จำเลยมีความผิด

การ์ดเนอร์-เมดวินแย้งว่า คณะลูกขุนควรเชื่อทั้งAและไม่เชื่อBเพื่อตัดสินว่าจำเลย มีความผิด Aและไม่เชื่อBหมายความว่าC เป็นจริง แต่ในทางกลับกันนั้นไม่เป็นจริง เป็นไปได้ที่BและCจะเป็นจริงทั้งคู่ แต่ในกรณีนี้ เขาแย้งว่าคณะลูกขุนควรตัดสินให้จำเลยพ้นผิด แม้ว่าพวกเขาจะรู้ว่าพวกเขากำลังปล่อยให้คนผิดบางคนเป็นอิสระก็ตาม ดูเพิ่มเติมที่ปรากฏการณ์ขัดแย้งของลินด์ลีย์

ญาณวิทยาแบบเบย์เซียนเป็นแนวคิดที่สนับสนุนการอนุมานแบบเบย์เซียนในฐานะวิธีการในการพิสูจน์กฎเกณฑ์ของตรรกะแบบอุปนัย

Karl PopperและDavid Millerได้ปฏิเสธแนวคิดของเหตุผลนิยมแบบเบย์เซียน กล่าวคือ การใช้กฎของเบย์เซียนเพื่ออนุมานทางญาณวิทยา: ^{[ 58 ]}มันมีแนวโน้มที่จะตกอยู่ในวงจรที่เลวร้าย เช่นเดียวกับญาณวิทยา แบบให้ เหตุผล อื่นๆเพราะมันตั้งสมมติฐานในสิ่งที่มันพยายามจะให้เหตุผล ตามมุมมองนี้ การตีความเชิงเหตุผลของการอนุมานแบบเบย์เซียนจะมองว่ามันเป็นเพียงเวอร์ชันความน่าจะเป็นของการพิสูจน์ความเท็จโดยปฏิเสธความเชื่อที่ชาวเบย์เซียนส่วนใหญ่ยึดถือกัน ว่าความน่าจะเป็นสูงที่ได้จากการอัปเดตแบบเบย์เซียนหลายครั้งจะพิสูจน์สมมติฐานได้เกินกว่าข้อสงสัยใดๆ หรือแม้กระทั่งมีความน่าจะเป็นมากกว่า 0

• บางครั้ง วิธีการทางวิทยาศาสตร์ถูกตีความว่าเป็นการประยุกต์ใช้การอนุมานแบบเบย์เซียน ในมุมมองนี้ กฎของเบย์เซียนชี้นำ (หรือควรชี้นำ) การปรับปรุงความน่าจะเป็นเกี่ยวกับสมมติฐาน โดยมีเงื่อนไขตามการสังเกตหรือ การทดลองใหม่^{[ 59 ]}การอนุมานแบบเบย์เซียนยังถูกนำไปใช้เพื่อแก้ ปัญหา การจัดตารางเวลาแบบสุ่มที่มีข้อมูลไม่ครบถ้วนโดย Cai et al. (2009) ^{[ 60 ]}
• ทฤษฎีการค้นหาแบบเบย์เซียนถูกนำมาใช้ในการค้นหาวัตถุที่สูญหาย
• การอนุมานแบบเบย์เซียนในวิวัฒนาการชาติพันธุ์
• เครื่องมือแบบเบย์เซียนสำหรับการวิเคราะห์เมทิลเลชั่น
• แนวทางแบบเบย์เซียนในการศึกษาการทำงานของสมองนั้น ตรวจสอบสมองในฐานะกลไกแบบเบย์เซียน
• การอนุมานแบบเบย์เซียนในการศึกษาเชิงนิเวศวิทยา^{[ 61 ] [ 62 ]}
• การอนุมานแบบเบย์เซียนใช้เพื่อประมาณค่าพารามิเตอร์ในแบบจำลองจลนศาสตร์เคมีแบบสุ่ม^{[ 63 ]}
• การอนุมานแบบเบย์เซียนในเศรษฐศาสตร์ฟิสิกส์สำหรับสกุลเงินหรือการคาดการณ์การเปลี่ยนแปลงแนวโน้มในการเสนอราคาทางการเงิน^{[ 64 ]}
• การอนุมานแบบเบย์เซียนในด้านการตลาด
• การอนุมานแบบเบย์เซียนในการเรียนรู้การเคลื่อนไหว
• การอนุมานแบบเบย์เซียนถูกนำมาใช้ในเชิงตัวเลขความน่าจะเป็นเพื่อแก้ปัญหาเชิงตัวเลข