อ่าน 3 นาที
การประมาณการเคลื่อนไหว
ใน วิทยาการคอมพิวเตอร์ด้านการมองเห็น และการ ประมวลผลภาพ การประมาณการเคลื่อนไหว คือกระบวนการกำหนด เวกเตอร์การเคลื่อนไหว ที่อธิบายการเปลี่ยนแปลงจากภาพ 2 มิติหนึ่งไปยังอีกภาพหนึ่ง...
การประมาณการเคลื่อนไหว

ในวิทยาการคอมพิวเตอร์ด้านการมองเห็นและการประมวลผลภาพการประมาณการเคลื่อนไหวคือกระบวนการกำหนดเวกเตอร์การเคลื่อนไหวที่อธิบายการเปลี่ยนแปลงจากภาพ 2 มิติหนึ่งไปยังอีกภาพหนึ่ง โดยปกติแล้วจะเป็นการเปลี่ยนแปลงจากเฟรม ที่อยู่ติดกัน ในลำดับวิดีโอ นี่เป็นปัญหาที่ไม่สามารถแก้ไขได้อย่างสมบูรณ์เนื่องจาก1 การเคลื่อนไหวเกิดขึ้นในสามมิติ (3D) แต่ภาพเป็นเพียงการฉายภาพของฉาก 3 มิติลงบนระนาบ 2 มิติ เวกเตอร์การเคลื่อนไหวอาจเกี่ยวข้องกับภาพทั้งหมด ( การประมาณการเคลื่อนไหวโดยรวม ) หรือส่วนเฉพาะ เช่น บล็อกสี่เหลี่ยม แพทช์รูปทรงใดๆ หรือแม้กระทั่งต่อพิกเซลเวกเตอร์การเคลื่อนไหวอาจแสดงด้วยแบบจำลองการแปลหรือแบบจำลองอื่นๆ อีกมากมายที่สามารถประมาณการเคลื่อนไหวของกล้องวิดีโอจริงได้ เช่น การหมุนและการแปลในทั้งสามมิติและการซูม
คำศัพท์ที่เกี่ยวข้อง
บ่อยครั้งที่คำว่าการประมาณการเคลื่อนไหวและคำว่าการไหลของแสงถูกใช้แทนกันได้ นอกจากนี้ยังมีความเกี่ยวข้องในเชิงแนวคิดกับการลงทะเบียนภาพและการจับคู่สเตอริโอด้วย[ 1 ]อันที่จริงแล้วคำศัพท์เหล่านี้ทั้งหมดหมายถึงกระบวนการค้นหาจุดที่สอดคล้องกันระหว่างภาพสองภาพหรือเฟรมวิดีโอ จุดที่สอดคล้องกันในสองมุมมอง (ภาพหรือเฟรม) ของฉากหรือวัตถุจริงนั้น "โดยปกติ" จะเป็นจุดเดียวกันในฉากนั้นหรือบนวัตถุนั้น ก่อนที่เราจะทำการประมาณการเคลื่อนไหว เราต้องกำหนดการวัดการจับคู่ของเรา นั่นคือเมตริกการจับคู่ ซึ่งเป็นการวัดว่าจุดภาพสองจุดมีความคล้ายคลึงกันมากน้อยเพียงใด ไม่มีถูกหรือผิดในที่นี้ การเลือกเมตริกการจับคู่มักจะเกี่ยวข้องกับสิ่งที่ใช้การเคลื่อนไหวที่ประมาณได้ในขั้นสุดท้าย รวมถึงกลยุทธ์การเพิ่มประสิทธิภาพในกระบวนการประมาณด้วย
เวกเตอร์การเคลื่อนที่แต่ละตัวใช้เพื่อแสดงมาโครบล็อกในภาพ โดยอิงตามตำแหน่งของมาโครบล็อกนั้น (หรือมาโครบล็อกที่คล้ายกัน) ในภาพอื่น ซึ่งเรียกว่าภาพอ้างอิง
มาตรฐานH.264/MPEG-4 AVCกำหนดนิยามของเวกเตอร์การเคลื่อนไหวไว้ดังนี้:
เวกเตอร์การเคลื่อนที่: เวกเตอร์สองมิติที่ใช้สำหรับการทำนายระหว่างภาพ ซึ่งให้ค่าชดเชยจากพิกัดในภาพที่ถอดรหัสไปยังพิกัดในภาพอ้างอิง[ 2 ] [ 3 ]
อัลกอริทึม
วิธีการค้นหาเวกเตอร์การเคลื่อนไหวสามารถแบ่งออกเป็นวิธีการแบบพิกเซล ("โดยตรง") และวิธีการแบบคุณลักษณะ ("โดยอ้อม") การถกเถียงที่มีชื่อเสียงส่งผลให้มีเอกสารสองฉบับจากฝ่ายตรงข้ามเพื่อพยายามหาข้อสรุป[ 4 ] [ 5 ]
วิธีการโดยตรง
- อัลกอริทึมการจับคู่บล็อก
- วิธี การหาความสัมพันธ์ของเฟสและโดเมนความถี่
- อัลกอริทึมแบบเรียกซ้ำของพิกเซล
- การไหลของแสง
วิธีการทางอ้อม
วิธีการทางอ้อมใช้คุณลักษณะต่างๆ เช่นการตรวจจับมุมและจับคู่คุณลักษณะที่สอดคล้องกันระหว่างเฟรม โดยปกติจะใช้ฟังก์ชันทางสถิติกับพื้นที่เฉพาะที่หรือพื้นที่โดยรวม จุดประสงค์ของฟังก์ชันทางสถิติคือการกำจัดการจับคู่ที่ไม่สอดคล้องกับการเคลื่อนไหวจริง
ฟังก์ชันทางสถิติที่ถูกนำมาใช้ประสบความสำเร็จได้แก่ RANSAC
หมายเหตุเพิ่มเติมเกี่ยวกับการจัดหมวดหมู่
อาจกล่าวได้ว่าเกือบทุกวิธีจำเป็นต้องมีการกำหนดเกณฑ์การจับคู่บางอย่าง ความแตกต่างอยู่ที่ว่าคุณสรุปผลเหนือบริเวณภาพท้องถิ่นก่อนแล้วจึงเปรียบเทียบผลสรุป (เช่น วิธีการตามคุณลักษณะ) หรือคุณเปรียบเทียบแต่ละพิกเซลก่อน (เช่น การยกกำลังสองของความแตกต่าง) แล้วจึงสรุปผลเหนือบริเวณภาพท้องถิ่น (การเคลื่อนไหวตามบล็อกและการเคลื่อนไหวตามตัวกรอง) เกณฑ์การจับคู่ประเภทใหม่ที่กำลังเกิดขึ้นจะสรุปผลเหนือบริเวณภาพท้องถิ่นก่อนสำหรับตำแหน่งพิกเซลทุกตำแหน่ง (ผ่านการแปลงคุณลักษณะบางอย่าง เช่น การแปลงลาปลาเซียน) เปรียบเทียบพิกเซลที่สรุปแล้วแต่ละพิกเซล และสรุปผลเหนือบริเวณภาพท้องถิ่นอีกครั้ง[ 6 ]เกณฑ์การจับคู่บางอย่างมีความสามารถในการยกเว้นจุดที่ไม่สอดคล้องกันจริง ๆ แม้ว่าจะให้คะแนนการจับคู่ที่ดีก็ตาม ในขณะที่เกณฑ์อื่น ๆ ไม่มีคุณสมบัตินี้ แต่ก็ยังคงเป็นเกณฑ์การจับคู่อยู่ดี
การประมาณการเคลื่อนที่แบบแอฟฟิน
การประมาณการเคลื่อนไหวแบบแอฟฟิน (Affine motion estimation ) เป็นเทคนิคที่ใช้ในคอมพิวเตอร์วิชั่นและการประมวลผลภาพเพื่อประมาณการเคลื่อนไหวระหว่างภาพหรือเฟรมสองภาพ โดยสมมติว่าการเคลื่อนไหวสามารถจำลองได้ด้วยการแปลงแบบแอฟฟิน (การเลื่อน + การหมุน + การซูม) ซึ่งเป็นการแปลงเชิงเส้นตามด้วยการเลื่อน
แอปพลิเคชัน

การเข้ารหัสวิดีโอ
การใช้เวกเตอร์การเคลื่อนไหวกับภาพเพื่อสังเคราะห์การแปลงไปยังภาพถัดไปเรียกว่าการชดเชยการเคลื่อนไหว [ 7 ] วิธีนี้ใช้ได้ง่ายที่สุดกับมาตรฐานการเข้ารหัสวิดีโอ แบบ การแปลงโคไซน์แบบไม่ต่อเนื่อง (DCT) เนื่องจากการเข้ารหัสจะดำเนินการเป็นบล็อก[ 8 ]
การประมาณค่าและการชดเชยการเคลื่อนไหวเป็นส่วนสำคัญของ การบีบอัดวิดีโอเพื่อใช้ประโยชน์จากความซ้ำซ้อนเชิงเวลามาตรฐานการเข้ารหัสวิดีโอเกือบทั้งหมดใช้การประมาณค่าและการชดเชยการเคลื่อนไหวแบบบล็อก เช่น ซีรี่ส์ MPEG รวมถึง HEVCรุ่น ล่าสุด
การสร้างภาพสามมิติ
ในการระบุตำแหน่งและการทำแผนที่พร้อมกันโมเดล 3 มิติของฉากจะถูกสร้างขึ้นใหม่โดยใช้ภาพจากกล้องที่เคลื่อนที่[ 9 ]
ดูเพิ่มเติม
สรุปเนื้อหา
ข้อมูลสำคัญจากบทความ
ข้อมูลสำคัญเกี่ยวกับ การประมาณการเคลื่อนไหว
ใน วิทยาการคอมพิวเตอร์ด้านการมองเห็น และการ ประมวลผลภาพ การประมาณการเคลื่อนไหว คือกระบวนการกำหนด เวกเตอร์การเคลื่อนไหว ที่อธิบายการเปลี่ยนแปลงจากภาพ 2 มิติหนึ่งไปยังอีกภาพหนึ่ง...
คำศัพท์ที่เกี่ยวข้อง
บ่อยครั้งที่คำว่าการประมาณการเคลื่อนไหวและคำว่า การไหลของแสง ถูกใช้แทนกันได้ นอกจากนี้ยังมีความเกี่ยวข้องในเชิงแนวคิดกับ การลงทะเบียนภาพ และ การจับคู่สเตอริโอ ด้วย [ 1 ] อันที่จริงแล้วคำศัพท์เหล่านี้ทั้งหมดหมายถึงกระบวนการ ค้นหาจุดที่สอดคล้องกัน...
อัลกอริทึม
วิธีการค้นหาเวกเตอร์การเคลื่อนไหวสามารถแบ่งออกเป็นวิธีการแบบพิกเซล ("โดยตรง") และวิธีการแบบคุณลักษณะ ("โดยอ้อม") การถกเถียงที่มีชื่อเสียงส่งผลให้มีเอกสารสองฉบับจากฝ่ายตรงข้ามเพื่อพยายามหาข้อสรุป [ 4 ] [ 5 ]
วิธีการโดยตรง
อัลกอริทึมการจับคู่บล็อก วิธี การหาความสัมพันธ์ของเฟส และโดเมนความถี่ อัลกอริทึมแบบเรียกซ้ำของพิกเซล การไหลของแสง