อ่าน 11 นาที
การกรองทั่วไป
การกรองแบบทั่วไปเป็น แผนการ กรองแบบเบย์เซียน ทั่วไป สำหรับแบบจำลองปริภูมิสถานะที่ไม่เป็นเชิงเส้นโดยอาศัยหลักการแปรผันของการกระทำน้อยที่สุดซึ่งกำหนดในพิกัดการเคลื่อนที่แบบทั่วไปโปรด...
การกรองทั่วไป
การกรองแบบทั่วไปเป็น แผนการ กรองแบบเบย์เซียน ทั่วไป สำหรับแบบจำลองปริภูมิสถานะที่ไม่เป็นเชิงเส้น[ 1 ]โดยอาศัยหลักการแปรผันของการกระทำน้อยที่สุดซึ่งกำหนดในพิกัดการเคลื่อนที่แบบทั่วไป[ 2 ]โปรดทราบว่า "พิกัดการเคลื่อนที่แบบทั่วไป" เกี่ยวข้องกับ แต่แตกต่างจากพิกัดแบบทั่วไปที่ใช้ในการวิเคราะห์ระบบพลวัต (หลายส่วน) การกรองแบบทั่วไปให้ความหนาแน่นภายหลังเหนือสถานะที่ซ่อนอยู่ (และพารามิเตอร์) ที่สร้างข้อมูลที่สังเกตได้โดยใช้การไล่ระดับแบบ ทั่วไป บนพลังงานอิสระแปรผัน ภายใต้สมมติฐานของลาปลาสแตกต่างจากการกรองแบบคลาสสิก (เช่นKalman-Bucyหรืออนุภาค ) การกรองแบบทั่วไปหลีกเลี่ยงสมมติฐานแบบมาร์โคเวียนเกี่ยวกับการผันผวนแบบสุ่ม นอกจากนี้ยังทำงานแบบออนไลน์ โดยการรวมข้อมูลเพื่อประมาณความหนาแน่นภายหลังเหนือปริมาณที่ไม่ทราบค่า โดยไม่จำเป็นต้องมีการส่งผ่านย้อนกลับ กรณีพิเศษ ได้แก่การกรองแบบแปรผัน [ 3 ]การเพิ่มความคาดหวังแบบไดนามิก[ 4 ] และการเข้ารหัสทำนาย แบบทั่วไป
คำนิยาม
คำจำกัดความ : การกรองแบบทั่วไปอาศัยทูเปิล ดังต่อไปนี้ :
- ปริภูมิของตัวอย่าง ซึ่ง สุ่มค่าความผันผวนมา
- สถานะควบคุม – ที่ทำหน้าที่เป็นสาเหตุภายนอก ปัจจัยนำเข้า หรือเงื่อนไขบังคับ
- สภาวะที่ซ่อนเร้น – ซึ่งก่อให้เกิดสภาวะทางประสาทสัมผัสและขึ้นอยู่กับสภาวะควบคุม
- สถานะเซ็นเซอร์ – การแมปเชิงความน่าจะเป็นจากสถานะที่ซ่อนอยู่และสถานะควบคุม
- ความหนาแน่นของการสร้าง – ครอบคลุมสถานะทางประสาทสัมผัส สถานะที่ซ่อนเร้น และสถานะควบคุมภายใต้แบบจำลองการสร้าง
- ความหนาแน่นแปรผัน – เหนือสถานะที่ซ่อนอยู่และสถานะควบคุมด้วยค่าเฉลี่ย
ในที่นี้ ~ หมายถึงตัวแปรในพิกัดการเคลื่อนที่แบบทั่วไป:
การกรองทั่วไป
วัตถุประสงค์คือการประมาณความหนาแน่นของโพสทีเรียร์เหนือสถานะที่ซ่อนอยู่และสถานะควบคุม โดยพิจารณาจากสถานะเซนเซอร์และแบบจำลองการสร้างและประมาณหลักฐานของแบบจำลอง (ปริพันธ์เส้นทางของ) เพื่อเปรียบเทียบแบบจำลองต่างๆ โดยทั่วไปแล้วสิ่งนี้เกี่ยวข้องกับการหาค่าเฉลี่ยที่ไม่สามารถคำนวณได้เหนือสถานะที่ซ่อนอยู่ ดังนั้นหลักฐานของแบบจำลอง (หรือความน่าจะเป็นแบบมาร์จินัล) จึงถูกแทนที่ด้วยขอบเขตพลังงานอิสระแบบแปรผัน[ 5 ]โดยพิจารณาจากคำจำกัดความต่อไปนี้:
ให้ แทนเอนโทรปีของแชนนอนของความหนาแน่นจากนั้นเราสามารถเขียนพลังงานอิสระแบบแปรผันได้สองวิธี:
ความเท่าเทียมกันที่สองแสดงให้เห็นว่าการลดพลังงานอิสระแปรผันให้น้อยที่สุด (i) จะลดความแตกต่างของ Kullback-Leiblerระหว่างความหนาแน่นภายหลังแปรผันและความหนาแน่นภายหลังที่แท้จริงให้น้อยที่สุด และ (ii) ทำให้พลังงานอิสระแปรผัน (การประมาณขอบเขต) เป็นหลักฐานลอการิทึมเชิงลบ (เนื่องจากความแตกต่างไม่สามารถน้อยกว่าศูนย์ได้) [ 6 ]ภายใต้สมมติฐานของ Laplace ความหนาแน่นแปรผันเป็นแบบเกาส์เซียน และความแม่นยำที่ลดพลังงานอิสระให้น้อยที่สุดคือซึ่งหมายความว่าพลังงานอิสระสามารถแสดงได้ในรูปของค่าเฉลี่ยแปรผัน[ 7 ] (ละเว้นค่าคงที่):
วิธีการแปรผันที่ลดค่าต่ำสุดของ (ปริพันธ์เส้นทาง) ของพลังงานอิสระ สามารถกู้คืนได้โดยการแก้ตัวกรองทั่วไป:
โดยที่เป็น ตัวดำเนินการอนุพันธ์ เมทริกซ์บล็อกของเมทริกซ์เอกลักษณ์ ซึ่ง
ฐานแปรผัน
การกรองแบบทั่วไปนั้นอิงตามบทพิสูจน์ย่อยต่อไปนี้: คำตอบที่สอดคล้องกันเองนั้นสอดคล้องกับหลักการแปรผันของการกระทำที่อยู่กับที่โดยที่การกระทำนั้นคือปริพันธ์เส้นทางของพลังงานอิสระแปรผัน
บทพิสูจน์ : ความสอดคล้องในตัวเองกำหนดให้การเคลื่อนที่ของค่าเฉลี่ยต้องเป็นค่าเฉลี่ยของการเคลื่อนที่ และ (ตามบทพิสูจน์พื้นฐานของแคลคูลัสเชิงแปรผัน )
กล่าวโดยสรุป การรบกวนเล็กน้อยต่อเส้นทางของค่าเฉลี่ยจะไม่เปลี่ยนแปลงพลังงานอิสระแปรผัน และเส้นทางนี้มีผลกระทบน้อยที่สุดในบรรดาเส้นทาง (เฉพาะที่) ที่เป็นไปได้ทั้งหมด
หมายเหตุ : โดยทั่วไปแล้ว การกรองแบบทั่วไปจะทำการลดระดับความชันบนพลังงานอิสระแปรผันในกรอบอ้างอิงที่เคลื่อนที่: โดยที่กรอบนั้นเองจะทำให้พลังงานอิสระแปรผันมีค่าน้อยที่สุด สำหรับตัวอย่างที่เกี่ยวข้องในฟิสิกส์เชิงสถิติ โปรดดู Kerr และ Graham [ 8 ]ซึ่งใช้พลวัตของกลุ่มในพิกัดทั่วไปเพื่อจัดเตรียมเวอร์ชันพื้นที่เฟสทั่วไปของสมการ Langevin และสมการ Fokker-Planck ที่เกี่ยวข้อง
ในทางปฏิบัติ การกรองแบบทั่วไปใช้การทำให้เป็นเส้นตรงเฉพาะที่[ 9 ]ในช่วงเวลาต่างๆเพื่อกู้คืนการอัปเดตแบบไม่ต่อเนื่อง
ฟังก์ชันนี้จะอัปเดตค่าเฉลี่ยของตัวแปรแฝงในแต่ละช่วงเวลา (โดยปกติคือช่วงเวลาระหว่างการสังเกตการณ์)
แบบจำลองเชิงกำเนิด (ปริภูมิสถานะ) ในพิกัดทั่วไป
โดยปกติแล้ว ความหนาแน่นหรือแบบจำลองการสร้างจะถูกกำหนดในรูปของแบบจำลองอินพุต-สถานะ-เอาต์พุตแบบไม่เชิงเส้นที่มีฟังก์ชันไม่เชิงเส้นต่อเนื่อง:
แบบจำลองทั่วไปที่สอดคล้องกัน (ภายใต้สมมติฐานความเป็นเส้นตรงเฉพาะที่) ได้รับมาจากกฎลูกโซ่
สมมติฐานแบบเกาส์เซียนเกี่ยวกับการผันผวนแบบสุ่มจะกำหนดความน่าจะเป็นและค่าความน่าจะเป็นเบื้องต้นเชิงประจักษ์เกี่ยวกับการเคลื่อนที่ของสถานะที่ซ่อนอยู่
ค่าความแปรปรวนร่วมจะแยกออกเป็นค่าความแปรปรวนร่วมระหว่างตัวแปร และค่าสหสัมพันธ์ระหว่างความผันผวนทั่วไป ซึ่งเข้ารหัสค่าสหสัมพันธ์อัตโนมัติของตัวแปร เหล่านั้น :
ในที่นี้อนุพันธ์อันดับสองของฟังก์ชันสหสัมพันธ์อัตโนมัติจะถูกประเมินที่ศูนย์ นี่คือการวัดความหยาบที่พบได้ทั่วไปในทฤษฎีของกระบวนการสุ่ม[ 10 ] ที่สำคัญ ความแม่นยำ (ความแปรปรวนผกผัน) ของอนุพันธ์อันดับสูงจะลดลงเป็นศูนย์ค่อนข้างเร็ว ซึ่งหมายความ ว่าจำเป็นต้องสร้างแบบจำลองการเคลื่อนที่ทั่วไปที่มีลำดับค่อนข้างต่ำ (โดยปกติอยู่ระหว่างสองถึงแปด) สำหรับฟังก์ชันสหสัมพันธ์อัตโนมัติที่กำหนดหรือกำหนดพารามิเตอร์ใดๆ เท่านั้น
กรณีพิเศษ
การกรองอนุกรมเวลาแบบไม่ต่อเนื่อง
เมื่อพิจารณาอนุกรมเวลาเป็นลำดับการสังเกตแบบไม่ต่อเนื่อง การสุ่มตัวอย่างโดยปริยายจะถูกมองว่าเป็นส่วนหนึ่งของกระบวนการสร้าง โดย (ใช้ทฤษฎีบทของเทย์เลอร์ )
โดยหลักการแล้ว ลำดับทั้งหมดสามารถนำมาใช้ประมาณค่าตัวแปรที่ซ่อนอยู่ ณ แต่ละช่วงเวลาได้ อย่างไรก็ตาม ความแม่นยำของตัวอย่างในอดีตและอนาคตจะลดลงอย่างรวดเร็วและสามารถละเลยได้ วิธีนี้ช่วยให้สามารถประมวลผลข้อมูลแบบออนไลน์ได้ โดยใช้การสังเกตการณ์ในพื้นที่รอบๆ แต่ละช่วงเวลา (โดยทั่วไปอยู่ระหว่างสองถึงแปดช่วงเวลา)
การกรองทั่วไปและพารามิเตอร์ของแบบจำลอง
สำหรับพารามิเตอร์แบบจำลองที่เปลี่ยนแปลงช้าๆ ของสมการการเคลื่อนที่หรือการกรองทั่วไปที่มีความแม่นยำสูง จะอยู่ในรูปแบบต่อไปนี้ (โดยที่สอดคล้องกับค่าเฉลี่ยแปรผันของพารามิเตอร์)
ในที่นี้ วิธีแก้ปัญหาจะลดพลังงานอิสระแปรผันให้น้อยที่สุด เมื่อการเคลื่อนที่ของค่าเฉลี่ยมีขนาดเล็ก สามารถเห็นได้จากการสังเกต เป็นการ ง่ายที่จะแสดงให้เห็นว่าวิธีแก้ปัญหานี้สอดคล้องกับ การปรับปรุงแบบนิวตันแบบคลาสสิก[ 11 ]
ความสัมพันธ์กับการกรองแบบเบย์เซียนและการเข้ารหัสเชิงทำนาย
การกรองแบบทั่วไปและการกรองแบบคาลมาน
การกรองแบบคลาสสิกภายใต้สมมติฐานแบบมาร์โคเวียนหรือไวเนอร์นั้นเทียบเท่ากับการสมมติว่าความแม่นยำของการเคลื่อนที่ของความผันผวนแบบสุ่มเป็นศูนย์ ในกรณีจำกัดนี้ เราต้องพิจารณาเฉพาะสถานะและอนุพันธ์อันดับแรกของสถานะเหล่านั้นเท่านั้นซึ่งหมายความว่าการกรองแบบทั่วไปจะมีรูปแบบเป็นตัวกรอง Kalman-Bucy โดยมีเงื่อนไขการทำนายและการแก้ไข:
การแทนที่การกรองลำดับแรกนี้ลงในแผนการอัปเดตแบบไม่ต่อเนื่องข้างต้นจะให้ผลลัพธ์ที่เทียบเท่ากับการกรอง Kalman (แบบขยาย) [ 12 ]
การกรองทั่วไปและการกรองอนุภาค
การกรองอนุภาคเป็นแผนการที่ใช้การสุ่มตัวอย่างซึ่งผ่อนคลายข้อสมมติเกี่ยวกับรูปแบบของความหนาแน่นหลังแบบแปรผันหรือโดยประมาณ แผนการกรองทั่วไปที่สอดคล้องกันเรียกว่า การกรอง แบบแปรผัน[ 3 ]ในการกรองแบบแปรผัน กลุ่มของอนุภาคจะแพร่กระจายไปทั่วภูมิทัศน์พลังงานอิสระในกรอบอ้างอิงที่เคลื่อนที่ไปพร้อมกับการเคลื่อนที่ที่คาดหวัง (ทั่วไป) ของกลุ่ม ซึ่งให้แผนการที่ค่อนข้างง่ายซึ่งหลีกเลี่ยงข้อสมมติแบบเกาส์เซียน (แบบโมดอลเดียว) แตกต่างจากการกรองอนุภาคตรงที่ไม่ต้องการความหนาแน่นของข้อเสนอ หรือการกำจัดหรือการสร้างอนุภาค
การกรองทั่วไปและเบย์แบบแปรผัน
Variational Bayesอาศัยการแบ่งส่วนแบบสนามเฉลี่ยของความหนาแน่นแปรผัน:
การแบ่งส่วนนี้ทำให้เกิดการอัปเดตหรือขั้นตอนแบบแปรผันสำหรับความหนาแน่นขอบแต่ละส่วน ซึ่งโดยปกติจะแก้ไขได้ด้วยวิธีวิเคราะห์โดยใช้ไพรเออร์แบบคอนจูเกต ในการกรองแบบทั่วไป สิ่งนี้นำไปสู่การเพิ่มความคาดหวังแบบไดนามิก[ 4 ]ซึ่งประกอบด้วยขั้นตอน D ที่ปรับสถิติที่เพียงพอของสถานะที่ไม่ทราบ ขั้นตอน E สำหรับพารามิเตอร์ และขั้นตอน M สำหรับความแม่นยำ
การกรองทั่วไปและการเข้ารหัสเชิงทำนาย
โดยทั่วไปแล้ว การกรองแบบทั่วไปจะใช้เพื่อกลับแบบจำลองลำดับชั้นที่มีรูปแบบดังต่อไปนี้
จากนั้น การลดระดับความชันทั่วไปที่เกิดขึ้นบนพลังงานอิสระสามารถแสดงได้อย่างกระชับในรูปของข้อผิดพลาดในการทำนาย โดยที่ (ละเว้นพจน์ลำดับสูง):
ในที่นี้คือความแม่นยำของความผันผวนแบบสุ่มที่ ระดับที่ iซึ่งเรียกว่าการเข้ารหัสทำนายแบบทั่วไป [11] โดยมีการเข้ารหัสทำนายเชิงเส้นเป็นกรณีพิเศษ
แอปพลิเคชัน
การกรองแบบทั่วไปถูกนำไปใช้กับอนุกรมเวลาทางชีวภาพเป็นหลัก โดยเฉพาะอย่างยิ่งข้อมูลการถ่ายภาพด้วยคลื่นแม่เหล็กไฟฟ้าเชิงฟังก์ชันและข้อมูลทางสรีรวิทยาไฟฟ้า โดยทั่วไปแล้วจะอยู่ในบริบทของการสร้างแบบจำลองเชิงสาเหตุแบบไดนามิกเพื่ออนุมานเกี่ยวกับสถาปัตยกรรมพื้นฐานของระบบ (ประสาท) ที่สร้างข้อมูล[ 13 ]นอกจากนี้ยังใช้เพื่อจำลองการอนุมานในแง่ของการเข้ารหัสเชิงทำนายแบบทั่วไป (ลำดับชั้น) ในสมอง[ 14 ]
ดูเพิ่มเติม
- เครือข่ายเบย์เซียนแบบไดนามิก
- ตัวกรองคาลมาน
- การเข้ารหัสทำนายเชิงเส้น
- การควบคุมที่เหมาะสมที่สุด
- ตัวกรองอนุภาค
- การประมาณค่าแบบเบย์เซียนแบบเรียกซ้ำ
- การระบุระบบ
- วิธีการเบย์เซียนแบบแปรผัน
ลิงก์ภายนอก
- ตัวอย่างการใช้งาน ซอฟต์แวร์และการประยุกต์ใช้งานมีให้ใช้งานฟรีสำหรับใช้ในเชิงวิชาการ (ในรูปแบบโค้ด Matlab) ในชุดเครื่องมือ DEM ของ SPM
- เอกสารรวบรวมบทความทางเทคนิคและบทความประยุกต์
สรุปเนื้อหา
ข้อมูลสำคัญจากบทความ
ข้อมูลสำคัญเกี่ยวกับ การกรองทั่วไป
การกรองแบบทั่วไปเป็น แผนการ กรองแบบเบย์เซียน ทั่วไป สำหรับแบบจำลองปริภูมิสถานะที่ไม่เป็นเชิงเส้นโดยอาศัยหลักการแปรผันของการกระทำน้อยที่สุดซึ่งกำหนดในพิกัดการเคลื่อนที่แบบทั่วไปโปรด...
คำนิยาม
คำจำกัดความ : การกรองแบบทั่วไปอาศัยทู เปิล ดังต่อไปนี้ : ( Ω , ยู , X , เอส , พี , q ) {\displaystyle (\Omega ,U,X,S,p,q)}
การกรองทั่วไป
วัตถุประสงค์คือการประมาณความหนาแน่นของโพสทีเรียร์เหนือสถานะที่ซ่อนอยู่และสถานะควบคุม โดยพิจารณาจากสถานะเซนเซอร์และ แบบจำลองการสร้าง และประมาณ หลักฐานของแบบจำลอง (ปริพันธ์เส้นทางของ) เพื่อเปรียบเทียบแบบจำลองต่างๆ...
ฐานแปรผัน
การกรองแบบทั่วไปนั้นอิงตามบทพิสูจน์ย่อยต่อไปนี้: คำตอบที่สอดคล้องกันเองนั้น สอดคล้องกับหลักการแปรผัน ของการกระทำที่อยู่กับที่ โดยที่การกระทำนั้นคือปริพันธ์เส้นทางของพลังงานอิสระแปรผัน μ ~ ˙ = D μ ~ − ∂ μ ~ F ( s , μ ~ ) {\displaystyle {\dot {\tilde {\mu...