กลับไปหน้าบทความ

อ่าน 11 นาที

การประมาณของลาปลาซ

การอนุมานแบบเบย์/การประมาณทางสถิติ

การประมาณของลาปลาซหรือการประมาณกำลังสอง ( QUAP ) ให้การแสดงออกเชิงวิเคราะห์สำหรับการกระจายความน่าจะเป็นภายหลังโดยการปรับให้เข้ากับการกระจายแบบเกาส์เซียนที่มีค่าเฉลี่ยเท่ากับ คำตอบ

การประมาณของลาปลาซ

การประมาณของลาปลาซหรือการประมาณกำลังสอง ( QUAP ) [ 1 ]ให้การแสดงออกเชิงวิเคราะห์สำหรับการกระจายความน่าจะเป็นภายหลังโดยการปรับให้เข้ากับการกระจายแบบเกาส์เซียนที่มีค่าเฉลี่ยเท่ากับ คำตอบ MAPและความแม่นยำเท่ากับข้อมูลฟิชเชอร์ที่สังเกตได้ [ 2 ] [ 3 ] การประมาณนี้ได้รับการพิสูจน์โดยทฤษฎีบทเบิร์นสไตน์-ฟอน มิเซสซึ่งระบุว่าภายใต้เงื่อนไขความสม่ำเสมอ ข้อผิดพลาดของการประมาณมีแนวโน้มเข้าใกล้ 0 เมื่อจำนวนจุดข้อมูลมีแนวโน้มเข้าสู่ค่าอนันต์[ 4 ] [ 5 ]

ตัวอย่างเช่น พิจารณาแบบจำลองการถดถอยหรือการจำแนกประเภทที่มีชุดข้อมูลประกอบด้วยอินพุตและเอาต์พุตที่มีเวกเตอร์พารามิเตอร์ (ที่ไม่ทราบค่า) ที่มีความยาว n ฟังก์ชัน ความน่าจะเป็นจะถูกแทนด้วยและความน่าจะเป็นก่อนหน้า ของพารามิเตอร์จะถูกแทน ด้วย สมมติว่าเราต้องการประมาณความหนาแน่นร่วมของเอาต์พุตและพารามิเตอร์สูตรของเบย์มีดังนี้:

ค่าร่วม (joint) เท่ากับผลคูณของความน่าจะเป็นแบบมีเงื่อนไข (likelihood) และความน่าจะเป็นก่อนหน้า (prior) และตามกฎของเบย์ส (Bayes' rule ) เท่ากับผลคูณของ ความน่าจะเป็นแบบมีเงื่อนไข (marginal likelihood ) และ ความน่าจะ เป็นภายหลัง (posterior ) เมื่อมองในฐานะฟังก์ชันของค่าร่วม จะเป็นความหนาแน่นที่ไม่ได้รับการปรับให้เป็นมาตรฐาน (un-normalized density)

ในการประมาณของลาปลาซ เราประมาณค่าร่วมกันโดยใช้ฟังก์ชันเกาส์เซียนที่ไม่ปรับค่ามาตรฐานโดยที่เราใช้เพื่อแสดงถึงความหนาแน่นโดยประมาณสำหรับความหนาแน่นที่ไม่ปรับค่ามาตรฐาน และค่าคงที่การปรับค่ามาตรฐานของ(ซึ่งไม่ขึ้นอยู่กับ) เนื่องจากความน่าจะเป็นแบบมาร์จินัลไม่ขึ้นอยู่กับพารามิเตอร์และความน่าจะเป็นแบบโพสทีเรี ยร์ ปรับค่ามาตรฐานตามเราจึงสามารถระบุได้ทันทีว่ามันคือและของการประมาณของเรา ตามลำดับ

การประมาณค่าของลาปลาซคือ

โดยที่เราได้กำหนดไว้แล้ว

โดยที่คือตำแหน่งของโหมดของความหนาแน่นเป้าหมายร่วม หรือที่เรียกว่าจุด ค่า สูงสุดภายหลัง (maximum a posterioriหรือ MAP point) และคือ เมทริกซ์ บวกกำหนด (positive definite matrix) ของอนุพันธ์อันดับสองของค่าลบของลอการิทึมของความหนาแน่นเป้าหมายร่วมที่โหมดนั้นดังนั้น การประมาณแบบเกาส์เซียนจะตรงกับค่า และความโค้งของลอการิทึมของความหนาแน่นเป้าหมายที่ไม่ได้รับการปรับค่ามาตรฐานที่โหมดนั้น โดยปกติแล้วค่าของจะหาได้โดยใช้วิธีการที่อิงตามเกรเดียนต์

โดยสรุปแล้ว เรามี

สำหรับค่าประมาณของความน่าจะเป็นภายหลังและค่าประมาณของลอการิทึมของความน่าจะเป็นส่วนขอบตามลำดับ

จุดอ่อนหลักของการประมาณค่าของลาปลาซคือมีความสมมาตรรอบโหมดและเป็นแบบเฉพาะที่: การประมาณค่าทั้งหมดได้มาจากคุณสมบัติที่จุดเดียวของความหนาแน่นเป้าหมาย วิธีการของลาปลาซถูกใช้กันอย่างแพร่หลายและได้รับการบุกเบิกในบริบทของเครือข่ายประสาทโดย David MacKay [ 6 ]และสำหรับกระบวนการเกาส์เซียนโดย Williams และ Barber [ 7 ]

การประมาณค่าลาปลาสแบบซ้อนกันแบบบูรณาการ

การประมาณค่าลาปลาสแบบซ้อนกันแบบบูรณาการ (INLAเป็นวิธีการอนุมานแบบเบย์เซียนโดยอาศัยการประมาณของลาปลาซ [ 8 ]มันถูกออกแบบมาสำหรับแบบจำลองประเภทหนึ่งที่เรียกว่าแบบจำลองเกาส์เซียนแฝง (LGM) ซึ่งสามารถเป็นทางเลือกที่รวดเร็วและแม่นยำสำหรับมาร์คอฟเชน มอนเตคาร์โลเพื่อคำนวณการแจกแจงมาร์จินัลแบบโพสทีเรียร์ [ 9 ] [ 10 ] [ 11 ]เนื่องจากความเร็วที่ค่อนข้างสูงแม้กับชุดข้อมูลขนาดใหญ่สำหรับปัญหาและแบบจำลองบางอย่าง INLA จึงเป็นวิธีการอนุมานที่ได้รับความนิยมในสถิติประยุกต์ โดยเฉพาะอย่างยิ่งสถิติเชิงพื้นที่นิเวศวิทยาแผ่นดินไหววิทยาและระบาดวิทยา[ 12 ] [ 13 ] [ 14 ] นอกจากนี้ยังสามารถรวม INLA กับวิธีการไฟไนต์เอเลเมนต์เพื่อแก้สมการเชิงอนุพันธ์ย่อยแบบเพื่อศึกษา เช่น กระบวนการจุดเชิงพื้นที่และแบบจำลองการกระจายพันธุ์ [ 15 ] [ 16 ]วิธีการ INLA ถูกนำไปใช้ในแพ็คเกจR [ 17 ]

แบบจำลองเกาส์เซียนแฝง

ให้แทนตัวแปรตอบสนอง (นั่นคือ ข้อมูลสังเกต) ซึ่งอยู่ในตระกูลการแจกแจง แบบเอกซ์โพเนนเชียล โดยค่าเฉลี่ย(ของ) เชื่อมโยงกับตัวทำนายเชิงเส้นผ่านฟังก์ชันเชื่อมโยง ที่เหมาะสม ตัวทำนายเชิงเส้นสามารถอยู่ในรูปแบบของแบบจำลองบวก (แบบเบย์เซียน) ผลกระทบแฝงทั้งหมด (ตัวทำนายเชิงเส้น ค่าคงที่ สัมประสิทธิ์ของตัวแปรอธิบายที่เป็นไปได้ และอื่นๆ) จะถูกแทนด้วยเวกเตอร์พารามิเตอร์ของแบบจำลองจะถูกแทนด้วยตามสถิติแบบเบย์เซียนและเป็นตัวแปรสุ่มที่มีการแจกแจงแบบก่อนหน้า

ถือว่า การสังเกตการณ์เป็นอิสระต่อกันแบบมีเงื่อนไขเมื่อกำหนดและ: โดยที่คือเซตของดัชนีสำหรับองค์ประกอบที่สังเกตได้ของ(บางองค์ประกอบอาจไม่ได้รับการสังเกต และสำหรับองค์ประกอบเหล่านี้ INLA จะคำนวณการแจกแจงการทำนายภายหลัง) โปรดทราบว่าตัวทำนายเชิงเส้นเป็นส่วนหนึ่งของ

เพื่อให้แบบจำลองเป็นแบบจำลองเกาส์เซียนแฝง สมมติว่าเป็น Gaussian Markov Random Field (GMRF) [ 8 ] (นั่นคือ เกาส์เซียนหลายตัวแปรที่มี คุณสมบัติ ความเป็นอิสระแบบมีเงื่อนไข เพิ่มเติม ) โดยมีความหนาแน่นของความน่า จะเป็น โดยที่เป็นเมทริกซ์ความแม่นยำแบบเบาบางที่ขึ้นอยู่กับและเป็นดีเทอร์มิแนนต์ของเมทริกซ์นั้น เมทริกซ์ความแม่นยำเป็นแบบเบาบางเนื่องจากสมมติฐาน GMRF การแจกแจงก่อนหน้าสำหรับไฮเปอร์พารามิเตอร์ไม่จำเป็นต้องเป็นเกาส์เซียน อย่างไรก็ตาม จำนวนไฮเปอร์พารามิเตอร์ถือว่ามีขนาดเล็ก (เช่น น้อยกว่า 15)

การอนุมานแบบเบย์เซียนโดยประมาณด้วย INLA

ในการอนุมานแบบเบย์เซียน เราต้องการหาการแจกแจงความน่าจะเป็นภายหลังของตัวแปรแฝงและโดยใช้ทฤษฎีบทของเบย์การแจกแจงความน่าจะเป็นภายหลังร่วมของและจะได้จากการหาการแจกแจงความน่าจะเป็นภายหลังที่แน่นอนนั้นโดยทั่วไปเป็นปัญหาที่ยากมาก ใน INLA เป้าหมายหลักคือการประมาณค่าการแจกแจงความน่าจะเป็นภายหลังแบบมาร์จินัลโดย ที่

แนวคิดหลักของ INLA คือการสร้างการประมาณแบบซ้อนกัน โดยกำหนดโดยที่เป็นความหนาแน่นของความน่าจะเป็นภายหลังที่ประมาณค่าได้ การประมาณความหนาแน่นของความน่าจะเป็นส่วนชายขอบได้มาในลักษณะซ้อนกัน โดยการประมาณค่าและก่อน จากนั้นจึงทำการอินทิเกรต เชิงตัวเลข โดยที่ผลรวมนั้นครอบคลุมค่าของโดยมีน้ำหนักการอินทิเกรตที่กำหนดโดยการประมาณค่าของคำนวณได้โดยการอินทิเกรตเชิงตัวเลข จาก

เพื่อให้ได้การกระจายโดยประมาณสามารถใช้ความสัมพันธ์เป็นจุดเริ่มต้นได้ จากนั้นจะได้ค่าเฉพาะของไฮเปอร์พารามิเตอร์ด้วยการประมาณของลาปลาส[ 8 ]โดยที่คือการประมาณแบบเกาส์เซียนของซึ่ง โหมดที่ ค่าที่กำหนดคือโหมดสามารถหาได้ด้วยวิธีเชิงตัวเลข เช่น ด้วยวิธีนิวตัน-ราฟสัน

เทคนิคในการประมาณค่าลาปลาสข้างต้นคือข้อเท็จจริงที่ว่าการประมาณค่าเกาส์เซียนถูกนำไปใช้กับเงื่อนไขทั้งหมดของในตัวส่วน เนื่องจากโดยปกติแล้วจะใกล้เคียงกับเกาส์เซียนเนื่องจากคุณสมบัติ GMRF ของการใช้การประมาณค่าในที่นี้ช่วยปรับปรุงความแม่นยำของวิธีการ เนื่องจากค่าหลังเองไม่จำเป็นต้องใกล้เคียงกับเกาส์เซียน ดังนั้นการประมาณค่าเกาส์เซียนจึงไม่ได้นำไปใช้กับโดยตรงคุณสมบัติที่สำคัญประการที่สองของ GMRF คือความเบาบางของเมทริกซ์ความแม่นยำซึ่งจำเป็นสำหรับการคำนวณที่มีประสิทธิภาพสำหรับแต่ละค่า[ 8 ]

การหาการกระจายโดยประมาณนั้นมีความซับซ้อนมากขึ้น และวิธี INLA มีตัวเลือกสามแบบสำหรับเรื่องนี้ ได้แก่ การประมาณแบบเกาส์เซียน การประมาณแบบลาปลาส หรือการประมาณแบบลาปลาสแบบง่าย[ 8 ]สำหรับการบูรณาการเชิงตัวเลขเพื่อให้ได้ก็มีสามตัวเลือกเช่นกัน ได้แก่ การค้นหาแบบกริด การออกแบบคอมโพสิตกลาง หรือเบย์สเชิงประจักษ์[ 8 ]

อ่านเพิ่มเติม

  • Amaral Turkman, M. Antónia; Paulino, Carlos Daniel; Müller, Peter ( 2019). "วิธีการลาปลาสแบบคลาสสิก" สถิติเบย์เซียนเชิงคำนวณ: บทนำเคมบริดจ์: สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์ หน้า  154–159 ISBN 978-1-108-48103-8.
  • Gomez-Rubio, Virgilio (2021). การอนุมานแบบเบย์เซียนด้วย INLA . Chapman and Hall/CRC. ISBN 978-1-03-217453-2.
  • Tanner, Martin A. (1996). "โมเมนต์ภายหลังและการหาค่าเฉลี่ยโดยใช้วิธีของลาปลา ซ" เครื่องมือสำหรับการอนุมานทางสถิตินิวยอร์ก: สปริงเกอร์ หน้า  44–51 ISBN 0-387-94688-8.
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Laplace%27s_approximation&oldid=1352998077 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การประมาณของลาปลาซ

การประมาณของลาปลาซหรือการประมาณกำลังสอง ( QUAP ) ให้การแสดงออกเชิงวิเคราะห์สำหรับการกระจายความน่าจะเป็นภายหลังโดยการปรับให้เข้ากับการกระจายแบบเกาส์เซียนที่มีค่าเฉลี่ยเท่ากับ คำตอบ

การประมาณค่าลาปลาสแบบซ้อนกันแบบบูรณาการ

การประมาณค่าลาปลาสแบบซ้อนกันแบบบูรณาการ ( INLA เป็นวิธี การอนุมานแบบเบย์เซียน โดยอาศัยการประมาณของลาปลาซ [ 8 ] มันถูกออกแบบมาสำหรับแบบจำลองประเภทหนึ่งที่เรียกว่าแบบจำลองเกาส์เซียนแฝง (LGM) ซึ่งสามารถเป็นทางเลือกที่รวดเร็วและแม่นยำสำหรับ มาร์คอฟเชน มอนเตคาร์โล...

แบบจำลองเกาส์เซียนแฝง

ให้แทนตัวแปรตอบสนอง (นั่นคือ ข้อมูลสังเกต) ซึ่งอยู่ใน ตระกูลการแจกแจง แบบเอกซ์โพเนนเชียล โดยค่าเฉลี่ย(ของ) เชื่อมโยงกับ ตัวทำนายเชิงเส้น ผ่าน ฟังก์ชันเชื่อมโยง ที่เหมาะสม ตัวทำนายเชิงเส้นสามารถอยู่ในรูปแบบของ แบบจำลองบวก (แบบเบย์เซียน) ผลกระทบแฝงทั้งหมด...

การอนุมานแบบเบย์เซียนโดยประมาณด้วย INLA

ในการอนุมานแบบเบย์เซียน เราต้องการหา การแจกแจงความน่าจะเป็นภายหลัง ของตัวแปรแฝงและโดยใช้ ทฤษฎีบทของเบย์ การแจกแจงความน่าจะเป็นภายหลังร่วมของและจะได้จากการหาการแจกแจงความน่าจะเป็นภายหลังที่แน่นอนนั้นโดยทั่วไปเป็นปัญหาที่ยากมาก ใน INLA...