คณิตศาสตร์เชิงความน่าจะเป็นเป็น สาขาการศึกษา ที่กำลังดำเนินอยู่ณ จุดตัดของคณิตศาสตร์ประยุกต์สถิติและการเรียนรู้ของเครื่องจักรโดยมุ่งเน้นที่แนวคิดเรื่องความไม่แน่นอนในการคำนวณในคณิตศาสตร์เชิงความน่าจะเป็น งานในการวิเคราะห์เชิงตัวเลขเช่น การหาคำตอบเชิงตัวเลขสำหรับการอินทิเกรต พีชคณิตเชิง เส้น การหาค่า เหมาะสมที่สุด การจำลองและสมการเชิงอนุพันธ์ จะถูกมองว่าเป็นปัญหาของ การอนุมานทางสถิติ ความน่าจะเป็น หรือ แบบเบ ย์ เซียน ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

วิธีการเชิงตัวเลขคืออัลกอริทึมที่ประมาณค่าคำตอบของปัญหาทางคณิตศาสตร์ (ตัวอย่างต่อไปนี้ได้แก่ คำตอบของระบบสมการเชิงเส้นค่าของอินทิกรัลคำตอบของสมการเชิงอนุพันธ์ค่าต่ำสุดของฟังก์ชันหลายตัวแปร) ใน อัลกอริทึมเชิงตัวเลข แบบความน่าจะเป็น กระบวนการประมาณค่านี้ถือเป็นปัญหาของการประมาณค่าการอนุมานหรือการเรียนรู้และเกิดขึ้นในกรอบของการอนุมานแบบความน่าจะเป็น (บ่อยครั้ง แต่ไม่เสมอไป คือการอนุมานแบบเบย์เซียน ) ^{[ 6 ]}

ในทางทฤษฎีแล้ว หมายความว่าเราต้องกำหนดรูปแบบของปัญหาการคำนวณให้อยู่ในรูปของการแจกแจงความน่าจะเป็นก่อนหน้า (prior distribution ) โดยกำหนดความสัมพันธ์ระหว่างตัวเลขที่คำนวณโดยคอมพิวเตอร์ (เช่น การคูณเมทริกซ์กับเวกเตอร์ในพีชคณิตเชิงเส้น เกรเดียนต์ในการหาค่าเหมาะสมที่สุด ค่าของตัวอินทิกรัลหรือสนามเวกเตอร์ที่กำหนดสมการเชิงอนุพันธ์) กับปริมาณที่ต้องการหา (คำตอบของปัญหาเชิงเส้น ค่าต่ำสุด อินทิกรัล เส้นโค้งคำตอบ) ในฟังก์ชันความน่าจะเป็น (likelihood function ) และส่งคืนการแจกแจงความน่าจะเป็นภายหลัง (posterior distribution ) เป็นผลลัพธ์ ในกรณีส่วนใหญ่ อัลกอริทึมเชิงตัวเลขยังมีการตัดสินใจปรับตัวภายในเกี่ยวกับการเลือกตัวเลขที่จะคำนวณ ซึ่งก่อให้เกิด ปัญหา การเรียนรู้เชิงรุก (active learning problem)

อั ลกอริทึมเชิงตัวเลขคลาสสิกที่เป็นที่นิยมจำนวนมากสามารถตีความใหม่ได้ในกรอบงานความน่าจะเป็น ซึ่งรวมถึงวิธีการไล่ระดับแบบคอนจูเกต [ ^{7 ] [ 8 ] [ 9 ] วิธี} การของนอร์ดซี คกฎการหาปริพันธ์แบบเกาส์เซียน^{[ 10 ]}และวิธีการควาซี-นิวตัน [ ^{11 ] ใน}ทุกกรณีเหล่านี้ วิธีการแบบคลาสสิกจะขึ้นอยู่กับการประมาณค่ากำลังสองน้อยที่สุดแบบ ปรับปรุง ซึ่งสามารถเชื่อมโยงกับค่าเฉลี่ยภายหลังที่เกิดขึ้นจากความ น่าจะเป็นก่อนหน้าและความน่าจะเป็นแบบ เกาส์เซียนในกรณีเช่นนี้ ความแปรปรวนของความน่าจะเป็นภายหลังแบบเกาส์เซียนจะเชื่อมโยงกับการประมาณค่ากรณีที่เลวร้ายที่สุดสำหรับข้อผิดพลาดกำลังสอง

วิธีการเชิงตัวเลขแบบความน่าจะเป็นให้ข้อได้เปรียบเชิงแนวคิดหลายประการเหนือกว่าเทคนิคการประมาณค่าแบบคลาสสิกที่อิงตามค่าประมาณจุด:

• ฟังก์ชัน เหล่านี้จะส่งคืน ค่าประมาณความคลาดเคลื่อน ที่มีโครงสร้าง (โดยเฉพาะอย่างยิ่ง ความสามารถในการส่งคืนตัวอย่างความน่าจะเป็นภายหลังร่วมกัน กล่าวคือ สมมติฐานที่สมจริงหลายประการสำหรับคำตอบที่แท้จริงที่ไม่ทราบของปัญหา)
• การอนุมานแบบเบย์เซียนเชิงลำดับชั้นสามารถนำมาใช้ในการกำหนดและควบคุมพารามิเตอร์ภายในของวิธีการดังกล่าวได้อย่างเป็นระบบ แทนที่จะต้องคิดค้นวิธีการใหม่สำหรับแต่ละพารามิเตอร์
• เนื่องจากวิธีการเชิงตัวเลขแบบความน่าจะเป็นใช้และอนุญาตให้มีความน่าจะเป็นที่ชัดเจนซึ่งอธิบายความสัมพันธ์ระหว่างตัวเลขที่คำนวณได้กับปริมาณเป้าหมาย วิธีการเชิงตัวเลขแบบความน่าจะเป็นจึงสามารถใช้ผลลัพธ์ของการคำนวณที่ไม่แม่นยำ มีอคติ และสุ่มได้^{[ 12 ]}ในทางกลับกัน วิธีการเชิงตัวเลขแบบความน่าจะเป็นยังสามารถให้ความน่าจะเป็นในการคำนวณที่มักถือว่า " ปราศจากความน่าจะเป็น " ในที่อื่นได้อีก ด้วย ^{[ 13 ]}
• เนื่องจากวิธีการเชิงตัวเลขแบบความน่าจะเป็นทั้งหมดใช้ข้อมูลประเภทเดียวกันโดยพื้นฐาน นั่นคือ การวัดความน่าจะเป็น เพื่อวัดปริมาณความไม่แน่นอนทั้งในข้อมูลนำเข้าและข้อมูลส่งออกจึงสามารถนำวิธีการเหล่านี้มาเชื่อมโยงกันเพื่อกระจายความไม่แน่นอนไปทั่วการคำนวณขนาดใหญ่และซับซ้อนได้
• แหล่งข้อมูลจากแหล่งข้อมูลหลายแหล่ง (เช่น ความรู้เชิงพีชคณิต กลไกเกี่ยวกับรูปแบบของสมการเชิงอนุพันธ์ และการสังเกตวิถีการเคลื่อนที่ของระบบที่รวบรวมได้ในโลกทางกายภาพ) สามารถนำมารวมกันได้อย่างเป็นธรรมชาติและภายในลูปภายในของอัลกอริทึม โดยขจัดลูปซ้อนกันที่จำเป็นในการคำนวณ เช่น ใน^{ปัญหา}ผกผัน [ ^{14 ]}

ข้อดีเหล่านี้โดยพื้นฐานแล้วเทียบเท่ากับข้อดีเชิงฟังก์ชันที่คล้ายคลึงกันซึ่งวิธีการแบบเบย์เซียนมีเหนือกว่าการประมาณค่าแบบจุดในแมชชีนเลิร์นนิง ซึ่งนำมาประยุกต์ใช้หรือถ่ายทอดไปยังโดเมนการคำนวณ

ได้มีการพัฒนาวิธีการเชิงตัวเลขแบบความน่าจะเป็นสำหรับปัญหาการอินทิเกรตเชิงตัวเลขโดยวิธีที่ได้รับความนิยมมากที่สุดเรียกว่าBayesian quadrature ^{[ 15 ] [ 16 ] [ 17 ] [ 18 ]}

ในการหาปริพันธ์เชิงตัวเลข การประเมินค่าฟังก์ชันณ จุดต่างๆจะถูกนำมาใช้เพื่อประมาณค่าปริพันธ์ของฟังก์ชันเทียบกับตัววัดบางอย่างการหาปริพันธ์แบบเบย์เซียนประกอบด้วยการกำหนดการแจกแจงแบบก่อนหน้า (prior distribution) บนและกำหนดเงื่อนไขการแจกแจงแบบก่อนหน้านี้บน เพื่อให้ได้การแจกแจงแบบภายหลัง (posterior distribution) บน จากนั้นจึงคำนวณ การแจกแจงแบบภายหลังโดยนัยบน ตัวเลือกการแจกแจงแบบก่อนหน้าที่นิยมใช้มากที่สุดคือกระบวนการเกาส์เซียนเนื่องจากทำให้เราได้การแจกแจงแบบภายหลังในรูปแบบปิดบนปริพันธ์ ซึ่งเป็นการแจกแจงเกาส์เซียนแบบตัวแปรเดียว การหาปริพันธ์แบบเบย์เซียนมีประโยชน์อย่างยิ่งเมื่อฟังก์ชันมีค่าใช้จ่ายในการประเมินสูง และมิติของข้อมูลมีขนาดเล็กถึงปานกลาง ${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle \textstyle \int f(x)\nu (dx)}$${\displaystyle f}$${\displaystyle \nu }$${\displaystyle f}$${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle f}$${\displaystyle \textstyle \int f(x)\nu (dx)}$${\displaystyle f}$

นอกจากนี้ ยังมีการศึกษาการคำนวณเชิงความน่าจะเป็นเพื่อใช้ในการหาค่าเหมาะสมที่สุดทางคณิตศาสตร์ซึ่งประกอบด้วยการหาค่าต่ำสุดหรือสูงสุดของฟังก์ชันเป้าหมายโดยพิจารณาจากค่าประเมินของฟังก์ชันนั้น (ซึ่งอาจมีสัญญาณรบกวนหรือได้มาโดยอ้อม) ณ จุดต่างๆ ${\displaystyle f}$

บางทีความพยายามที่โดดเด่นที่สุดในทิศทางนี้คือการเพิ่มประสิทธิภาพแบบเบย์เซียน [ ^{20 ] ซึ่ง เป็น}แนวทางทั่วไปในการเพิ่มประสิทธิภาพโดยอาศัยการอนุมานแบบเบย์เซียน อัลกอริทึมการเพิ่มประสิทธิภาพแบบเบย์เซียนทำงานโดยการรักษาความเชื่อเชิงความน่าจะเป็นตลอดกระบวนการเพิ่มประสิทธิภาพ ซึ่งมักจะอยู่ในรูปแบบของกระบวนการเกาส์เซียนก่อนหน้าโดยมีเงื่อนไขตามการสังเกต ความเชื่อนี้จะนำทางอัลกอริทึมในการได้มาซึ่งการสังเกตที่น่าจะทำให้กระบวนการเพิ่มประสิทธิภาพก้าวหน้า นโยบายการเพิ่มประสิทธิภาพแบบเบย์เซียนมักจะเกิดขึ้นโดยการแปลงฟังก์ชันวัตถุประสงค์ภายหลังให้เป็นฟังก์ชันการได้มาซึ่งอนุพันธ์ ราคาไม่แพง ซึ่งมีค่าสูงสุดเพื่อเลือกตำแหน่งการสังเกตที่ต่อเนื่องกันแต่ละตำแหน่ง แนวทางที่โดดเด่นอย่างหนึ่งคือการจำลองการเพิ่มประสิทธิภาพผ่านการออกแบบการทดลองแบบลำดับเบย์เซียนโดยมุ่งหวังที่จะได้มาซึ่งลำดับของการสังเกตที่ให้ความก้าวหน้าในการเพิ่มประสิทธิภาพมากที่สุดตามที่ประเมินโดยฟังก์ชันอรรถประโยชน์ ที่เหมาะสม ผลข้างเคียงที่น่ายินดีจากแนวทางนี้คือความไม่แน่นอนในฟังก์ชันวัตถุประสงค์ ตามที่วัดโดยความเชื่อเชิงความน่าจะเป็นพื้นฐาน สามารถนำทางนโยบายการเพิ่มประสิทธิภาพในการจัดการกับการแลกเปลี่ยนระหว่างการสำรวจและการใช้ประโยชน์ แบบคลาสสิก ได้ ${\displaystyle f}$

วิธีการเชิงตัวเลขแบบความน่าจะเป็นได้รับการพัฒนาขึ้นในบริบทของการเพิ่มประสิทธิภาพแบบสุ่มสำหรับการเรียนรู้เชิงลึกโดยเฉพาะอย่างยิ่งเพื่อแก้ไขปัญหาหลัก เช่น การปรับ อัตราการเรียนรู้และการค้นหาเส้น^{[ 21 ]} การเลือกขนาดแบทช์^{[ 22 ]} การหยุดก่อนกำหนด [ ^{23 ] การ} ตัดแต่ง^{[ 24 ]}และทิศทางการค้นหาลำดับที่หนึ่งและลำดับที่สอง^{[ 25 ] [ 26 ]}

ในบริบทนี้ วัตถุประสงค์ของการปรับให้เหมาะสมมักจะเป็นความเสี่ยงเชิงประจักษ์ในรูปแบบ ที่กำหนดโดยชุดข้อมูลและความสูญเสียที่วัดปริมาณว่าแบบจำลองการทำนายที่กำหนดพารามิเตอร์โดยนั้น ทำงานได้ดีเพียงใดในการทำนายเป้าหมายจากอินพุตที่สอดคล้องกันความไม่แน่นอนทางความรู้เกิดขึ้นเมื่อขนาดของชุดข้อมูลมีขนาดใหญ่และไม่สามารถประมวลผลได้ในคราวเดียว ซึ่งหมายความว่าปริมาณเฉพาะที่ (เมื่อกำหนดค่าบางอย่าง) เช่น ฟังก์ชันความสูญเสีย เองหรืออนุพันธ์ของฟังก์ชันนั้นไม่สามารถคำนวณได้ในเวลาที่เหมาะสม ดังนั้น โดยทั่วไปจึงใช้การแบ่งกลุ่มย่อยเพื่อสร้างตัวประมาณค่าของปริมาณเหล่านี้บนชุดย่อยแบบสุ่มของข้อมูล วิธีการเชิงตัวเลขแบบความน่าจะเป็นจำลองความไม่แน่นอนนี้อย่างชัดเจนและอนุญาตให้มีการตัดสินใจและการปรับแต่งพารามิเตอร์โดยอัตโนมัติ ${\displaystyle \textstyle L(\theta )={\frac {1}{N}}\sum _{n=1}^{N}\ell (y_{n},f_{\theta }(x_{n}))}$${\displaystyle \textstyle {\mathcal {D}}=\{(x_{n},y_{n})\__{n=1}^{N}}$${\displaystyle \ell (y,f_{\theta }(x))}$${\displaystyle f_{\theta }(x)}$${\displaystyle \theta }$${\displaystyle y}$${\displaystyle x}$${\displaystyle N}$${\displaystyle \theta }$${\displaystyle L(\theta )}$${\displaystyle \nabla L(\theta )}$

วิธีการเชิงตัวเลขแบบความน่าจะเป็นสำหรับพีชคณิตเชิงเส้น^{[ 7 ] [ 8 ] [ 27 ] [ 9 ] [ 28 ] [ 29 ]} มุ่งเน้นไปที่การแก้ระบบสมการเชิงเส้นในรูปแบบและการคำนวณดีเทอร์มิแนนต์เป็น หลัก ^{[ 30 ] [ 31 ]}${\displaystyle Ax=b}$${\displaystyle |A|}$

วิธีการจำนวนมากมีลักษณะเป็นแบบวนซ้ำและรวบรวมข้อมูลเกี่ยวกับระบบเชิงเส้นที่จะแก้ไขผ่านการคูณเมทริกซ์-เวกเตอร์ซ้ำๆกับเมทริกซ์ระบบที่มีเวกเตอร์ต่างกันวิธีการดังกล่าวสามารถแบ่งออกได้คร่าวๆ เป็นมุมมองแบบอิงตามวิธีแก้ปัญหา^{[ 8 ] [ 28 ]}และแบบอิงตามเมทริกซ์^{[ 7 ] [ 9 ]}ขึ้นอยู่กับว่าความเชื่อนั้นแสดงออกเหนือวิธีแก้ปัญหาของระบบเชิงเส้นหรือ (ผกผันเทียม) ของเมทริกซ์ การอัปเดตความเชื่อใช้ว่าวัตถุที่อนุมานนั้นเชื่อมโยงกับการคูณเมทริกซ์หรือผ่านและวิธีการโดยทั่วไปจะถือว่ามีการกระจายแบบเกาส์เซียน เนื่องจากความปิดภายใต้การสังเกตเชิงเส้นของปัญหา แม้ว่าจะแตกต่างกันในเชิงแนวคิด แต่มุมมองทั้งสองนี้เทียบเท่ากันในเชิงการคำนวณและเชื่อมต่อกันโดยเนื้อแท้ผ่านด้านขวามือผ่าน^{[ 27 ]}${\displaystyle v\mapsto Av}$${\displaystyle A}$${\displaystyle v}$${\displaystyle x}$${\displaystyle H=A^{\dagger }}$${\displaystyle y=Av}$${\displaystyle z=A^{\intercal }v}$${\displaystyle b^{\intercal }z=x^{\intercal }v}$${\displaystyle v=A^{-1}y}$${\displaystyle x=A^{-1}b}$

รูทีนพีชคณิตเชิงเส้นเชิงตัวเลขแบบความน่าจะเป็นได้รับการประยุกต์ใช้สำเร็จในการปรับขนาดกระบวนการเกาส์เซียนให้เข้ากับชุดข้อมูลขนาดใหญ่^{[ 31 ] [ 32 ]}โดยเฉพาะอย่างยิ่ง รูทีนเหล่านี้ช่วยให้สามารถ แพร่กระจายข้อผิดพลาดในการประมาณค่าไปยังกระบวนการเกาส์เซียนแบบผสมได้ อย่างแม่นยำซึ่งจะวัดปริมาณความไม่แน่นอนที่เกิดขึ้นจากทั้งจำนวนข้อมูลที่สังเกตได้จำกัดและปริมาณการคำนวณที่ใช้ไป จำกัด ^{[ 32 ]}

วิธีการเชิงตัวเลขแบบความน่าจะเป็นสำหรับสมการเชิงอนุพันธ์สามัญ ได้รับการพัฒนาขึ้นสำหรับปัญหาค่าเริ่มต้นและค่าขอบเขต วิธีการเชิงตัวเลขแบบความน่าจะเป็นที่แตกต่างกันมากมายที่ออกแบบมาสำหรับสมการเชิงอนุพันธ์สามัญได้รับการเสนอแนะ และสามารถจัดกลุ่มได้เป็นสองประเภทหลักดังต่อไปนี้: ${\displaystyle {\dot {y}}(t)=f(t,y(t))}$

• วิธีการที่ใช้การสุ่มจะถูกกำหนดผ่านการรบกวนแบบสุ่มของวิธีการเชิงตัวเลขแบบกำหนดมาตรฐานสำหรับสมการเชิงอนุพันธ์สามัญ ตัวอย่างเช่น สิ่งนี้ทำได้โดยการเพิ่มการรบกวนแบบเกาส์เซียนในการแก้ปัญหาของตัวรวมแบบขั้นตอนเดียว^{[ 33 ]}หรือโดยการรบกวนขั้นตอนเวลาแบบสุ่ม^{[ 34 ]}ซึ่งกำหนดมาตรวัดความน่าจะเป็นในการแก้ปัญหาของสมการเชิงอนุพันธ์ที่สามารถสุ่มตัวอย่างได้
• วิธีการถดถอยกระบวนการเกาส์เซียนนั้นตั้งอยู่บนสมมติฐานของการกำหนดปัญหาการแก้สมการเชิงอนุพันธ์ที่อยู่ในมือให้เป็นปัญหาการถดถอยกระบวนการเกาส์เซียน โดยตีความการประเมินค่าด้านขวามือเป็นข้อมูลเกี่ยวกับอนุพันธ์^{[ 35 ]}เทคนิคเหล่านี้คล้ายกับการคำนวณแบบเบย์เซียน แต่ใช้แบบจำลองการสังเกตที่แตกต่างกันและมักจะไม่เป็นเชิงเส้น^{[ 36 ] [ 37 ]}ในช่วงเริ่มต้น วิธีการประเภทนี้ตั้งอยู่บน การถดถอย กระบวนการเกาส์เซียน แบบง่ายๆ ต่อมาได้มีการปรับปรุง (ในแง่ของการคำนวณที่มีประสิทธิภาพ) โดยใช้ไพรเออร์แบบเกาส์-มาร์คอฟ^{[ 38 ] [ 39 ]}ซึ่งจำลองโดยสม การเชิง อนุพันธ์เชิงสุ่ม โดยที่ เป็นเวกเตอร์มิติ ที่จำลองอนุพันธ์อันดับแรกของและ โดยที่เป็นการเคลื่อนที่แบบบราวน์มิติการอนุมานจึงสามารถดำเนินการได้อย่างมีประสิทธิภาพด้วยวิธีการที่ใช้การกรองแบบคาลมาน${\displaystyle \mathrm {d} x(t)=Ax(t)\,\mathrm {d} t+B\,\mathrm {d} v(t)}$${\displaystyle x(t)}$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle y(t)}$${\displaystyle v(t)}$${\displaystyle \nu }$

ขอบเขตระหว่างสองหมวดหมู่นี้ไม่ชัดเจน อันที่จริงแล้ววิธีการถดถอยกระบวนการเกาส์เซียนที่อิงตามข้อมูลแบบสุ่มก็ได้รับการพัฒนาเช่นกัน^{[ 40 ]}วิธีการเหล่านี้ถูกนำไปใช้กับปัญหาในเรขาคณิตแบบรีมันน์เชิงคำนวณ^{[ 41 ]}ปัญหาผกผัน แบบจำลองแรงแฝง และสมการเชิงอนุพันธ์ที่มีโครงสร้างทางเรขาคณิต เช่น ซิมเพล็กติก

มีการเสนอวิธีการเชิงตัวเลขแบบความน่าจะเป็นจำนวนหนึ่งสำหรับสมการเชิงอนุพันธ์ย่อยเช่นเดียวกับสมการเชิงอนุพันธ์สามัญ แนวทางเหล่านี้สามารถแบ่งออกได้กว้างๆ เป็นแนวทางที่อิงกับการสุ่ม โดยทั่วไปแล้วจะเป็นตาข่ายองค์ประกอบจำกัดพื้นฐาน^{[ 33 ] [ 42 ]}และแนวทางที่อิงกับการถดถอยกระบวนการเกาส์เซียน^{[ 4 ] [ 3 ] [ 43 ] [ 44 ]}

ตัวแก้ PDE เชิงตัวเลขแบบความน่าจะเป็นที่ใช้การถดถอยกระบวนการเกาส์เซียนจะกู้คืนวิธีการแบบคลาสสิกบน PDE เชิงเส้นสำหรับไพรเออร์บางอย่าง โดยเฉพาะอย่างยิ่งวิธีการของค่าตกค้างถ่วงน้ำหนักเฉลี่ยซึ่งรวมถึงวิธีการ Galerkinวิธีการองค์ประกอบจำกัดและวิธีการสเปกตรัม^{[ 44 ]}

ความสัมพันธ์ระหว่างการวิเคราะห์เชิงตัวเลขและความน่าจะเป็นนั้นเกี่ยวข้องกับสาขาอื่นๆ ของคณิตศาสตร์หลายสาขา รวมถึงการวิเคราะห์กรณีเฉลี่ยของวิธีการเชิงตัวเลขความซับซ้อนตามข้อมูลทฤษฎีเกมและทฤษฎีการตัดสินใจ ทางสถิติ ต้นกำเนิดของสิ่งที่เรียกว่า "การคำนวณเชิงความน่าจะเป็น" ในปัจจุบัน สามารถพบได้ตั้งแต่ปลายศตวรรษที่ 19 และต้นศตวรรษที่ 20

ที่มาของตัวเลขเชิงความน่าจะเป็นสามารถสืบย้อนไปถึงการอภิปรายเกี่ยวกับแนวทางเชิงความน่าจะเป็นในการแทรกสอดพหุนามโดยHenri PoincaréในCalcul des Probabilités ของเขา ^{[ 45 ]} ในศัพท์สมัยใหม่ Poincaré พิจารณาการแจกแจงแบบเกาส์เซียนก่อนหน้าบนฟังก์ชันซึ่งแสดงเป็นอนุกรมกำลัง อย่างเป็นทางการ ที่มีสัมประสิทธิ์แบบสุ่ม และถามถึง "ค่าที่เป็นไปได้" ของ โดยพิจารณาจากก่อน หน้านี้และการสังเกตสำหรับ${\displaystyle f\colon \mathbb {R} \to \mathbb {R} }$${\displaystyle f(x)}$${\displaystyle n\in \mathbb {N} }$${\displaystyle f(a_{i})=B_{i}}$${\displaystyle i=1,\dots ,n}$

ผลงานชิ้นสำคัญชิ้นต่อมาเกี่ยวกับปฏิสัมพันธ์ระหว่างการวิเคราะห์เชิงตัวเลขและความน่าจะเป็นนั้นมาจาก Albert Suldin ในบริบทของการหาปริพันธ์เชิงตัวเลขแบบ ตัวแปรเดียว ^{[ 46 ]} ปัญหาทางสถิติที่ Suldin พิจารณาคือการประมาณค่าปริพันธ์จำกัดของฟังก์ชันภายใต้การเคลื่อนที่แบบบราวน์ก่อนหน้าบนโดยให้เข้าถึงการประเมินค่าแบบจุดต่อจุดของที่โหนดSuldin แสดงให้เห็นว่า สำหรับโหนดการหาปริพันธ์เชิงตัวเลขที่กำหนด กฎการหาปริพันธ์เชิงตัวเลขที่มีข้อผิดพลาดกำลังสองเฉลี่ย น้อยที่สุด คือกฎรูปสี่เหลี่ยมคางหมูยิ่งไปกว่านั้น ข้อผิดพลาดน้อยที่สุดนี้เป็นสัดส่วนกับผลรวมของกำลังสามของระยะห่างระหว่างโหนด ส่งผลให้เราสามารถมองกฎรูปสี่เหลี่ยมคางหมูที่มีโหนดเว้นระยะเท่ากันว่าเป็นกฎที่เหมาะสมที่สุดทางสถิติในบางแง่ ซึ่งเป็นตัวอย่างแรกๆ ของการวิเคราะห์กรณีเฉลี่ยของวิธีการเชิงตัวเลข มุมมองของ Suldin ได้รับการขยายเพิ่มเติมในภายหลังโดย Mike Larkin ^{[ 47 ]} โปรดทราบว่าการเคลื่อนที่แบบบราวน์ของซัลดินก่อนหน้าบนอินทิกรัลเป็นการวัดแบบเกาส์เซียน และการดำเนินการของการอินทิเกรตและการประเมินค่าแบบจุดต่อจุดของต่างก็เป็นแผนที่เชิงเส้นดังนั้น อินทิกรัลจำกัดจึงเป็นตัวแปรสุ่มเกาส์เซียนค่าจริง โดยเฉพาะอย่างยิ่ง หลังจากปรับเงื่อนไขตามค่าแบบจุดที่สังเกตได้ของ แล้วจะมีการกระจายแบบปกติโดยมีค่าเฉลี่ยเท่ากับกฎสี่เหลี่ยมคางหมูและความแปรปรวนเท่ากับมุมมองนี้ใกล้เคียงกับมุมมองของการหาปริพันธ์แบบเบย์เซียน มาก โดยมองผลลัพธ์ของวิธีการหาปริพันธ์ไม่ใช่แค่การประมาณค่าแบบจุด แต่เป็นการกระจายความน่าจะเป็นในตัวมันเอง ${\displaystyle \textstyle \int u(t)\,\mathrm {d} t}$${\displaystyle u\colon [a,b]\to \mathbb {R} }$${\displaystyle u}$${\displaystyle u}$${\displaystyle t_{1},\dots ,t_{n}\in [a,b]}$${\displaystyle u}$${\displaystyle u}$${\displaystyle \textstyle \int u(t)\,\mathrm {d} t}$${\displaystyle u}$${\displaystyle \textstyle {\frac {1}{12}}\sum _{i=2}^{n}(t_{i}-t_{i-1})^{3}}$

ตามที่Houman Owhadiและผู้ร่วมงาน ได้กล่าวไว้ ^{[ 3 ] [ 48 ]}ปฏิสัมพันธ์ระหว่างการประมาณเชิงตัวเลขและการอนุมานทางสถิติยังสามารถสืบย้อนไปถึง Palasti และ Renyi ^{[ 49 ]} Sard ^{[ 50 ]} Kimeldorf และ Wahba ^{[ 51 ]} (เกี่ยวกับความสอดคล้องระหว่างการประมาณแบบเบย์เซียนและการปรับเรียบ/การแทรกสอดแบบสปลายน์) และ Larkin ^{[ 47 ]} (เกี่ยวกับความสอดคล้องระหว่าง การถดถอย กระบวนการเกาส์เซียนและการประมาณเชิงตัวเลข) แม้ว่าแนวทางการสร้างแบบจำลองฟังก์ชันที่ทราบอย่างสมบูรณ์เป็นตัวอย่างจากกระบวนการสุ่มอาจดูขัดกับสัญชาตญาณ แต่กรอบการทำงานที่เป็นธรรมชาติสำหรับการทำความเข้าใจสามารถพบได้ในความซับซ้อนตามข้อมูล (IBC) ^{[ 52 ]}ซึ่งเป็นสาขาของความซับซ้อนในการคำนวณที่ตั้งอยู่บนข้อสังเกตว่าการนำไปใช้เชิงตัวเลขต้องใช้การคำนวณด้วยข้อมูลบางส่วนและทรัพยากรที่จำกัด ใน IBC ประสิทธิภาพของอัลกอริทึมที่ทำงานบนข้อมูลที่ไม่สมบูรณ์สามารถวิเคราะห์ได้ในกรณีที่เลวร้ายที่สุดหรือกรณีเฉลี่ย (แบบสุ่ม) โดยสัมพันธ์กับข้อมูลที่ขาดหายไป ยิ่งไปกว่านั้น ดังที่ Packel ^{[ 53 ]}สังเกต กรณีเฉลี่ยสามารถตีความได้ว่าเป็นกลยุทธ์แบบผสมในเกมแบบต่อต้านซึ่งได้มาจากการยกปัญหา minmax (กรณีที่เลวร้ายที่สุด) ไปสู่ปัญหา minmax บนกลยุทธ์แบบผสม (แบบสุ่ม) การสังเกตนี้ทำให้เกิดความเชื่อมโยงตามธรรมชาติ^{[ 54 ] [ 3 ]}ระหว่างการประมาณค่าเชิงตัวเลขและทฤษฎีการตัดสินใจของ Wald ซึ่งเห็นได้ชัดว่าได้รับอิทธิพลจากทฤษฎีเกมของ von Neumannเพื่ออธิบายความเชื่อมโยงนี้ ให้พิจารณาการตั้งค่าการกู้คืนที่เหมาะสมที่สุดของ Micchelli และ Rivlin ^{[ 55 ]}ซึ่งพยายามประมาณค่าฟังก์ชันที่ไม่ทราบค่าจากการวัดเชิงเส้นจำนวนจำกัดบนฟังก์ชันนั้น การตีความปัญหาการกู้คืนที่เหมาะสมที่สุดนี้ว่าเป็นเกมผลรวมเป็นศูนย์โดยที่ผู้เล่น I เลือกฟังก์ชันที่ไม่ทราบ และผู้เล่น II เลือกการประมาณค่าของฟังก์ชันนั้น และใช้ข้อผิดพลาดสัมพัทธ์ในบรรทัดฐานกำลังสองเพื่อกำหนดการสูญเสีย ไพรเออร์แบบเกาส์เซียนจึงปรากฏขึ้น^{[ 3 ]} เป็นกลยุทธ์ผสมที่เหมาะสมที่สุดสำหรับเกมดังกล่าว และตัวดำเนินการความแปรปรวนร่วมของไพรเออร์แบบเกาส์เซียนที่เหมาะสมที่สุดจะถูกกำหนดโดยบรรทัดฐานกำลังสองที่ใช้ในการกำหนดข้อผิดพลาดสัมพัทธ์ของการกู้คืน

• ProbNum : การคำนวณเชิงความน่าจะเป็นในภาษา Python
• ProbNumDiffEq.jl : ตัวแก้สมการเชิงอนุพันธ์สามัญเชิงตัวเลขแบบความน่าจะเป็นโดยใช้การกรอง ซึ่งเขียนด้วยภาษา Julia
• Emukit : ชุดเครื่องมือ Python ที่ปรับเปลี่ยนได้สำหรับการตัดสินใจภายใต้ความไม่แน่นอน
• BackPACK : สร้างขึ้นบนพื้นฐานของ PyTorch สามารถคำนวณปริมาณอื่นๆ นอกเหนือจากค่าความชันได้อย่างมีประสิทธิภาพ

• การวิเคราะห์กรณีเฉลี่ย
• ความซับซ้อนตามข้อมูล
• การหาปริมาณความไม่แน่นอน