การถดถอยเชิงเส้นแบบเบย์เซียนเป็นรูปแบบหนึ่งของการสร้างแบบจำลองแบบมีเงื่อนไขโดยที่ค่าเฉลี่ยของตัวแปรหนึ่งจะถูกอธิบายด้วยการรวมเชิงเส้นของตัวแปรอื่น ๆ โดยมีเป้าหมายเพื่อหาความน่าจะเป็นภายหลังของสัมประสิทธิ์การถดถอย (รวมถึงพารามิเตอร์อื่น ๆ ที่อธิบายการกระจายของตัวแปรตาม) และในที่สุดก็ทำให้สามารถทำนายตัวแปรตาม (มักเรียกว่า) นอกตัวอย่างได้โดยมีเงื่อนไขจากค่าที่สังเกตได้ของตัวแปรอิสระ (โดยปกติคือ) แบบจำลองที่ง่ายที่สุดและใช้กันอย่างแพร่หลายที่สุดคือแบบจำลองเชิงเส้นปกติซึ่งกำหนดให้ มีการกระจายแบบเกาส์เซียนในแบบจำลองนี้ และภายใต้การเลือกความน่าจะเป็นก่อนหน้าสำหรับพารามิเตอร์ที่เฉพาะเจาะจง—ที่เรียกว่าความน่าจะเป็นก่อนหน้าแบบสังยุค—สามารถหาความน่าจะเป็นภายหลังได้โดยวิธีการวิเคราะห์ หากเลือกความน่าจะเป็นก่อนหน้าโดยพลการมากขึ้น ความน่าจะเป็นภายหลังโดยทั่วไปจะต้องประมาณค่า ${\displaystyle y}$${\displaystyle X}$${\displaystyle y}$${\displaystyle X}$

พิจารณา ปัญหา การถดถอยเชิงเส้น มาตรฐาน ซึ่งเรากำหนดค่าเฉลี่ยของการแจกแจงแบบมีเงื่อนไขของโดยกำหนดเวกเตอร์ตัวทำนาย: ${\displaystyle i=1,\ldots ,n}$${\displaystyle y_{i}}$${\displaystyle k\times 1}$${\displaystyle \mathbf {x} _{i}}$$${\displaystyle y_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i},}$$

โดยที่เป็นเวกเตอร์ และเป็นตัวแปรสุ่มอิสระและมีการกระจายแบบปกติ เหมือนกัน : ${\displaystyle {\boldสัญลักษณ์ {\beta }}}$${\displaystyle k\times 1}$${\displaystyle \varepsilon _{i}}$$${\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2}).}$$

ซึ่งสอดคล้องกับฟังก์ชันความน่าจะเป็น ดังต่อไปนี้ :

$${\displaystyle \rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right).}$$

ใช้วิธีการหาค่าสัมประสิทธิ์กำลังสองน้อยที่สุดแบบธรรมดาใน การประมาณค่าเวกเตอร์สัมประสิทธิ์โดยใช้ ผกผันเทียมของมัวร์-เพนโรส : $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$$

โดยที่คือเมทริกซ์การออกแบบซึ่งแต่ละแถวเป็นเวกเตอร์ตัวทำนายและ คือ เวก เตอร์คอลัมน์${\displaystyle \mathbf {X} }$${\displaystyle n\times k}$${\displaystyle \mathbf {x} _{i}^{\mathsf {T}}}$${\displaystyle \mathbf {y} }$${\displaystyle n}$${\displaystyle [y_{1}\;\cdots \;y_{n}]^{\mathsf {T}}}$

นี่เป็น แนวทาง ความถี่และถือว่ามีการวัดเพียงพอที่จะกล่าวถึงสิ่งที่มีความหมายเกี่ยวกับในแนวทางแบบเบย์เซียน^{[ 1 ]}ข้อมูลจะถูกเสริมด้วยข้อมูลเพิ่มเติมในรูปแบบของการแจกแจงความน่าจะเป็นก่อนหน้าความเชื่อก่อนหน้าเกี่ยวกับพารามิเตอร์จะถูกรวมเข้ากับฟังก์ชันความน่าจะเป็นของข้อมูลตามทฤษฎีบทของเบย์สเพื่อให้ได้ความเชื่อภายหลังเกี่ยวกับพารามิเตอร์และความเชื่อก่อนหน้าสามารถมีรูปแบบฟังก์ชันที่แตกต่างกันได้ขึ้นอยู่กับโดเมนและข้อมูลที่มีอยู่ก่อนหน้า ${\displaystyle {\boldสัญลักษณ์ {\beta }}}$${\displaystyle {\boldสัญลักษณ์ {\beta }}}$${\displaystyle \sigma }$

เนื่องจากข้อมูลประกอบด้วยทั้งและจึงจำเป็นต้องพิจารณาเฉพาะการกระจายตัวของโดยมีเงื่อนไขว่า ต้องมีการให้เหตุผล ในความเป็นจริง การวิเคราะห์แบบเบย์เซียนแบบ "เต็มรูปแบบ" จะต้องใช้ความน่าจะเป็นร่วมพร้อมกับความน่าจะเป็นก่อนหน้าโดยที่แทนพารามิเตอร์ของการกระจายตัวสำหรับ ${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {X} }$${\displaystyle \rho (\mathbf {y} ,\mathbf {X} \mid {\boldsymbol {\beta }},\sigma ^{2},\gamma )}$${\displaystyle \rho (\beta ,\sigma ^{2},\gamma )}$${\displaystyle \gamma }$${\displaystyle \mathbf {X} }$

เราสามารถแยกความน่าจะเป็นร่วมออกได้โดยการสมมติ ความเป็นเอกพันธุ์ อย่างเคร่งครัด^{[ 2 ]} ความเป็นเอกพันธุ์อย่างเคร่งครัดต้องมี:

• เวกเตอร์พารามิเตอร์สามารถแยกออกเป็นสองส่วน โดยส่วนหนึ่งแสดงความหนาแน่นแบบมีเงื่อนไขของตัวแปรตอบสนองและอีกส่วนหนึ่งแสดงความหนาแน่นแบบมาร์จินัลของตัวแปรอิสระ${\displaystyle {\boldsymbol {\theta }}=({\boldsymbol {\beta }},\gamma )}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \rho (y_{i}\mid {\boldsymbol {x}}_{i})}$${\displaystyle \gamma }$${\displaystyle \rho ({\boldsymbol {x}}_{i})}$
• จุดข้อมูลนั้นไม่ได้ให้ข้อมูลเพิ่มเติมใดๆ เกี่ยวกับจุดข้อมูลนั้นนอกเหนือจากข้อมูลที่มีอยู่ในตัวแปรอิสระและเวกเตอร์พารามิเตอร์${\displaystyle y_{j}}$${\displaystyle y_{i}}$${\displaystyle {\boldsymbol {x}}_{i}}$${\displaystyle {\boldsymbol {\beta }}}$

ตามหลักการแล้ว เงื่อนไขแรกกำหนดให้ และและเงื่อนไขที่สองกำหนดให้สำหรับทุกๆ ${\displaystyle \rho (y_{i}\mid {\boldsymbol {x}}_{i},{\boldsymbol {\theta }})=\rho (y_{i}\mid {\boldsymbol {x}}_{i},{\boldsymbol {\beta }})}$${\displaystyle \rho ({\boldsymbol {x}}_{i}\mid {\boldsymbol {\theta }})=\rho ({\boldsymbol {x}}_{i}\mid \gamma )}$${\displaystyle \rho (y_{i}|y_{j},{\boldsymbol {x}}_{i},{\boldsymbol {x}}_{j},{\boldsymbol {\beta }})=\rho (y_{i}|{\boldsymbol {x}}_{i},{\boldsymbol {\beta }})}$${\displaystyle j\neq i}$

ภายใต้เงื่อนไขความเป็นอิสระที่เข้มงวด ความน่าจะเป็นร่วมสามารถแยกตัวประกอบได้เป็นส่วนหลังมักจะถูกละเลยภายใต้สมมติฐานของชุดพารามิเตอร์ที่ไม่ทับซ้อนกัน ยิ่งไปกว่านั้นมักจะถือว่าถูกเลือก (ตัวอย่างเช่น ในการทดลองที่ออกแบบไว้) และด้วยเหตุนี้จึงมีความน่าจะเป็นที่ทราบโดยไม่มีพารามิเตอร์^{[ 3 ]}${\displaystyle \rho (\mathbf {y} \mid {\boldsymbol {\mathbf {X} }},\beta ,\sigma ^{2})\rho (\mathbf {X} \mid \gamma )}$${\displaystyle \mathbf {X} }$

สำหรับการแจกแจงความน่าจะเป็นก่อนหน้าแบบใดๆ อาจไม่มีคำตอบเชิงวิเคราะห์สำหรับการแจกแจงความน่าจะเป็นภายหลังในส่วนนี้ เราจะพิจารณาการแจกแจงความน่าจะเป็นก่อนหน้าแบบสังยุค ซึ่งสามารถหาการแจกแจงความน่าจะเป็นภายหลังได้โดยวิธีวิเคราะห์

ความน่าจะเป็นก่อนหน้า (prior) จะเป็นคู่สมกับฟังก์ชันความน่าจะเป็นนี้ ถ้าความน่าจะเป็นภายหลัง (posterior) มีรูปแบบฟังก์ชันเดียวกันเมื่อเทียบกับและเนื่องจากลอการิทึมของความน่าจะเป็นเป็นฟังก์ชันกำลังสองของ ดังนั้นลอการิทึมของความน่าจะเป็นจึงถูกเขียนใหม่เพื่อให้ความน่าจะเป็นกลายเป็นฟังก์ชันปกติของเขียน ${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})}$

$${\displaystyle {\begin{aligned}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})&=[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]^{\mathsf {T}}[(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})]\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})+\underbrace {2(\mathbf {X} {\hat {\boldsymbol {\beta }}}-\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})} _{=\ 0}\\&=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})+({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\,.\end{aligned}}}$$

ความน่าจะเป็นถูกเขียนใหม่เป็น โดย ที่ คือ จำนวนสัมประสิทธิ์การถดถอย $${\displaystyle \rho (\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v}{2}}}\exp \left(-{\frac {vs^{2}}{2{\sigma }^{2}}}\right)(\sigma ^{2})^{-{\frac {n-v}{2}}}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\right),}$$$${\displaystyle vs^{2}=(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\quad {\text{ and }}\quad v=n-k,}$$${\displaystyle k}$

สิ่งนี้ชี้ให้เห็นรูปแบบของค่าก่อนหน้า: โดยที่คือการแจกแจงแบบอินเวอร์สแกมมา$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2})=\rho (\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2}),}$$${\displaystyle \rho (\sigma ^{2})}$$${\displaystyle \rho (\sigma ^{2})\propto (\sigma ^{2})^{-{\frac {v_{0}}{2}}-1}\exp \left(-{\frac {v_{0}s_{0}^{2}}{2\sigma ^{2}}}\right).}$$

ในสัญลักษณ์ที่แนะนำใน บทความเกี่ยวกับ การแจกแจงแบบอินเวอร์สแกมมานี่คือความหนาแน่นของการแจกแจงที่มีและโดยมีและเป็นค่าก่อนหน้าของและตามลำดับ หรืออาจอธิบายได้อีกอย่างว่าคือ การแจกแจงแบบอินเวอร์ สไคกำลังสองที่ปรับขนาดแล้ว${\displaystyle {\text{Inv-Gamma}}(a_{0},b_{0})}$${\displaystyle a_{0}={\tfrac {v_{0}}{2}}}$${\displaystyle b_{0}={\tfrac {1}{2}}v_{0}s_{0}^{2}}$${\displaystyle v_{0}}$${\displaystyle s_{0}^{2}}$${\displaystyle v}$${\displaystyle s^{2}}$${\displaystyle {\text{Scale-inv-}}\chi ^{2}(v_{0},s_{0}^{2}).}$

นอกจากนี้ ความหนาแน่นความน่าจะเป็นล่วงหน้าแบบมีเงื่อนไขยังเป็นการแจกแจงแบบปกติด้วย ${\displaystyle \rho ({\boldsymbol {\beta }}|\sigma ^{2})}$

$${\displaystyle \rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}\mathbf {\Lambda } _{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right).}$$

ในสัญลักษณ์ของการแจกแจงปกติการแจกแจงก่อนหน้าแบบมีเงื่อนไขคือ${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{0},\sigma ^{2}{\boldsymbol {\Lambda }}_{0}^{-1}\right).}$

เมื่อระบุค่าก่อนหน้าแล้ว การแจกแจงความน่าจะเป็นภายหลังสามารถแสดงได้ดังนี้

$${\displaystyle {\begin{aligned}\rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )&\propto \rho (\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})\rho ({\boldsymbol {\beta }}\mid \sigma ^{2})\rho (\sigma ^{2})\\&\propto (\sigma ^{2})^{-n/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\right)(\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})\right)(\sigma ^{2})^{-(a_{0}+1)}\exp \left(-{\frac {b_{0}}{\sigma ^{2}}}\right)\end{aligned}}}$$

ด้วยการจัดเรียงใหม่บางส่วน^{[ 4 ]}สามารถเขียนค่าหลังใหม่ได้เพื่อให้ค่าเฉลี่ยหลังของเวกเตอร์พารามิเตอร์สามารถแสดงได้ในรูปของตัวประมาณค่ากำลังสองน้อยที่สุดและค่าเฉลี่ยก่อนหน้าโดยที่ความแรงของค่าก่อนหน้าระบุโดยเมทริกซ์ความแม่นยำก่อนหน้า${\displaystyle {\boldsymbol {\mu }}_{n}}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\hat {\boldsymbol {\beta }}}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\Lambda }}_{0}}$

$${\displaystyle {\boldsymbol {\mu }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}).}$$

เพื่อพิสูจน์ว่านั่นคือค่าเฉลี่ยภายหลังจริง ๆ พจน์กำลังสองในเลขชี้กำลังสามารถจัดเรียงใหม่เป็น รูป ^แบบกำลังสองใน[ ^{5 ]}${\displaystyle {\boldsymbol {\mu }}_{n}}$${\displaystyle {\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n}}$

$${\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\mathsf {T}}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})+({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{0})=({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}.}$$

ตอนนี้ค่าความน่าจะเป็นภายหลังสามารถแสดงได้ในรูป ของ การแจกแจงปกติคูณกับการแจกแจงแกมมาผกผัน :

$${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto (\sigma ^{2})^{-k/2}\exp \left(-{\frac {1}{2{\sigma }^{2}}}({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0})({\boldsymbol {\beta }}-{\boldsymbol {\mu }}_{n})\right)(\sigma ^{2})^{-{\frac {n+2a_{0}}{2}}-1}\exp \left(-{\frac {2b_{0}+\mathbf {y} ^{\mathsf {T}}\mathbf {y} -{\boldsymbol {\mu }}_{n}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +{\boldsymbol {\Lambda }}_{0}){\boldsymbol {\mu }}_{n}+{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}}{2\sigma ^{2}}}\right).}$$

ดังนั้น การแจกแจงความน่าจะเป็นภายหลังสามารถกำหนดพารามิเตอร์ได้ดังนี้ โดยที่ปัจจัยทั้งสองสอดคล้องกับความหนาแน่นของ การแจกแจง และโดยมีพารามิเตอร์ของการแจกแจงเหล่านี้กำหนดโดย $${\displaystyle \rho ({\boldsymbol {\beta }},\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} )\propto \rho ({\boldsymbol {\beta }}\mid \sigma ^{2},\mathbf {y} ,\mathbf {X} )\rho (\sigma ^{2}\mid \mathbf {y} ,\mathbf {X} ),}$$${\displaystyle {\mathcal {N}}\left({\boldsymbol {\mu }}_{n},\sigma ^{2}{\boldsymbol {\Lambda }}_{n}^{-1}\right)\,}$${\displaystyle {\text{Inv-Gamma}}\left(a_{n},b_{n}\right)}$

$${\displaystyle {\boldsymbol {\Lambda }}_{n}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\mathbf {\Lambda } _{0}),\quad {\boldsymbol {\mu }}_{n}=({\boldsymbol {\Lambda }}_{n})^{-1}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} {\hat {\boldsymbol {\beta }}}+{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}),}$$$${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},\qquad b_{n}=b_{0}+{\frac {1}{2}}(\mathbf {y} ^{\mathsf {T}}\mathbf {y} +{\boldsymbol {\mu }}_{0}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}-{\boldsymbol {\mu }}_{n}^{\mathsf {T}}{\boldsymbol {\Lambda }}_{n}{\boldsymbol {\mu }}_{n}).}$$

ซึ่งแสดงให้เห็นว่าการอนุมานแบบเบย์เซียนเป็นการประนีประนอมระหว่างข้อมูลที่มีอยู่ในความน่าจะเป็นก่อนหน้าและข้อมูลที่มีอยู่ในตัวอย่าง

หลักฐาน ของ แบบจำลอง คือความน่าจะเป็นของข้อมูลที่กำหนดโดยแบบจำลองเรียกอีกอย่างว่าความน่าจะเป็นแบบมาร์จินัลและความหนาแน่นของการทำนายแบบก่อนหน้าในที่นี้ แบบจำลองถูกกำหนดโดยฟังก์ชันความน่าจะเป็นและการกระจายแบบก่อนหน้าบนพารามิเตอร์ เช่นหลักฐานของแบบจำลองแสดงให้เห็นในตัวเลขเดียวว่าแบบจำลองดังกล่าวอธิบายการสังเกตได้ดีเพียงใด หลักฐานของแบบจำลองการถดถอยเชิงเส้นแบบเบย์เซียนที่นำเสนอในส่วนนี้สามารถใช้เพื่อเปรียบเทียบแบบจำลองเชิงเส้นที่แข่งขันกันโดยใช้ปัจจัยเบย์แบบจำลองเหล่านี้อาจแตกต่างกันในจำนวนและค่าของตัวแปรทำนาย ตลอดจนความน่าจะเป็นแบบก่อนหน้าบนพารามิเตอร์ของแบบจำลอง ความซับซ้อนของแบบจำลองได้รับการพิจารณาแล้วโดยหลักฐานของแบบจำลอง เนื่องจากเป็นการหาค่ามาร์จินัลของพารามิเตอร์โดยการอินทิเกรตเหนือค่าที่เป็นไปได้ทั้งหมดของและอิน ทิกรัลนี้สามารถคำนวณได้ทางคณิตศาสตร์และคำตอบแสดงอยู่ในสมการต่อไปนี้^{[ 6 ]}${\displaystyle p(\mathbf {y} \mid m)}$${\displaystyle m}$${\displaystyle p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )}$${\displaystyle p({\boldsymbol {\beta }},\sigma )}$${\displaystyle p(\mathbf {y} ,{\boldsymbol {\beta }},\sigma \mid \mathbf {X} )}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$$${\displaystyle p(\mathbf {y} |m)=\int p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma )\,p({\boldsymbol {\beta }},\sigma )\,d{\boldsymbol {\beta }}\,d\sigma }$$$${\displaystyle p(\mathbf {y} \mid m)={\frac {1}{(2\pi )^{n/2}}}{\sqrt {\frac {\det({\boldsymbol {\Lambda }}_{0})}{\det({\boldsymbol {\Lambda }}_{n})}}}\cdot {\frac {b_{0}^{a_{0}}}{b_{n}^{a_{n}}}}\cdot {\frac {\Gamma (a_{n})}{\Gamma (a_{0})}}}$$

ในที่นี้หมายถึงฟังก์ชันแกมมาเนื่องจากเราได้เลือกไพรเออร์แบบคอนจูเกต ความน่าจะเป็นแบบมาร์จินัลจึงสามารถคำนวณได้ง่ายโดยการประเมินความเท่าเทียมกันต่อไปนี้สำหรับค่าใดๆ ของและ[ ^{7 ]} โปรดทราบว่าสมการนี้ได้มาจากการจัดเรียงใหม่ของทฤษฎีบทของเบย์ส การใส่สูตรสำหรับไพรเออร์ ความน่าจะเป็น และความน่าจะ ^เป็นภายหลัง และการทำให้การแสดงออกที่ได้นั้นง่ายขึ้น จะนำไปสู่การแสดงออกเชิงวิเคราะห์ที่แสดงไว้ข้างต้น ${\displaystyle \Gamma }$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \sigma }$$${\displaystyle p(\mathbf {y} \mid m)={\frac {p({\boldsymbol {\beta }},\sigma |m)\,p(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ,m)}{p({\boldsymbol {\beta }},\sigma \mid \mathbf {y} ,\mathbf {X} ,m)}}}$$

^{โดยทั่วไป การหาการแจกแจงความน่าจะ เป็น}ภายหลังโดยวิธีวิเคราะห์อาจเป็นไปไม่ได้หรือทำได้ยาก อย่างไรก็ตาม เป็นไปได้ที่จะประมาณค่าความน่าจะเป็นภายหลังโดยใช้ วิธี การอนุมานแบบเบย์เซียนโดยประมาณเช่นการสุ่มตัวอย่างแบบมอนเตคาร์โล [ ^{8 ]} INLAหรือ เบย์เซียน แบบ แปรผัน

กรณีพิเศษนี้เรียกว่าการถดถอยแบบสัน (ridge regression ) ${\displaystyle {\boldsymbol {\mu }}_{0}=0,\mathbf {\Lambda } _{0}=c\mathbf {I} }$

สามารถทำการวิเคราะห์ที่คล้ายกันได้สำหรับกรณีทั่วไปของการถดถอยหลายตัวแปร และส่วนหนึ่งของการวิเคราะห์นี้จะนำไปสู่การประมาณค่าเมทริกซ์ความแปรปรวนร่วม แบบเบย์เซียน : ดูการถดถอยเชิงเส้นหลายตัวแปรแบบเบย์เซียน

• สถิติเชิงเส้นแบบเบย์
• กำลังสองน้อยที่สุดแบบมีข้อจำกัด
• กำลังสองน้อยที่สุดแบบปรับปรุง
• การปรับเสถียรภาพแบบทิโคนอฟ
• การเลือกตัวแปร Spike และ slab
• การตีความแบบเบย์เซียนของการปรับค่าเคอร์เนล

• การประมาณค่าแบบเบย์เซียนของแบบจำลองเชิงเส้น (วิกิบุ๊กการเขียนโปรแกรม R)การถดถอยเชิงเส้นแบบเบย์เซียนที่นำมาใช้ในR