การติดตามวิดีโอคือกระบวนการระบุตำแหน่งของ วัตถุ ที่เคลื่อนที่ (หรือวัตถุหลายชิ้น) ในช่วงเวลาหนึ่งโดยใช้กล้อง มีการใช้งานที่หลากหลาย เช่น การโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์ ความปลอดภัยและการเฝ้าระวัง การสื่อสารและการบีบ อัดวิดีโอ ความเป็นจริงเสริมการควบคุมการจราจร การถ่ายภาพทางการแพทย์^{[ 1 ]}และ การ ตัดต่อวิดีโอ^{[ 2 ] [ 3 ]}การติดตามวิดีโออาจเป็นกระบวนการที่ใช้เวลานานเนื่องจากปริมาณข้อมูลที่มีอยู่ในวิดีโอ ยิ่งไปกว่านั้น ความซับซ้อนยังเพิ่มขึ้นอีกเนื่องจากอาจจำเป็นต้องใช้ เทคนิค การจดจำวัตถุสำหรับการติดตาม ซึ่งเป็นปัญหาที่ท้าทายอย่างยิ่ง

เป้าหมายของการติดตามวิดีโอคือการเชื่อมโยงวัตถุเป้าหมายในเฟรมวิดีโอที่ต่อเนื่องกัน การเชื่อมโยงอาจทำได้ยากเป็นพิเศษเมื่อวัตถุเคลื่อนที่เร็วเมื่อเทียบกับอัตราเฟรมอีกสถานการณ์หนึ่งที่เพิ่มความซับซ้อนของปัญหาคือเมื่อวัตถุที่ติดตามเปลี่ยนทิศทางไปตามเวลา ในสถานการณ์เหล่านี้ ระบบติดตามวิดีโอมักใช้แบบจำลองการเคลื่อนไหวซึ่งอธิบายว่าภาพของเป้าหมายอาจเปลี่ยนแปลงอย่างไรสำหรับการเคลื่อนไหวที่เป็นไปได้ต่างๆ ของวัตถุ

ตัวอย่างของแบบจำลองการเคลื่อนที่อย่างง่าย ได้แก่:

• เมื่อติดตามวัตถุระนาบ โมเดลการเคลื่อนที่คือการแปลง 2 มิติ ( การแปลงเชิงเส้นหรือโฮโมกราฟี ) ของภาพของวัตถุ (เช่น เฟรมเริ่มต้น)
• เมื่อเป้าหมายเป็นวัตถุ 3 มิติที่แข็งตัว โมเดลการเคลื่อนไหวจะกำหนดลักษณะของวัตถุนั้นโดยขึ้นอยู่กับตำแหน่งและการวางแนวใน 3 มิติ
• สำหรับการบีบอัดวิดีโอเฟรมหลักจะถูกแบ่งออกเป็นมาโครบล็อกโมเดลการเคลื่อนไหวคือการแบ่งเฟรมหลักออกเป็นส่วนย่อย โดยแต่ละมาโครบล็อกจะถูกเลื่อนไปตามเวกเตอร์การเคลื่อนไหวที่กำหนดโดยพารามิเตอร์การเคลื่อนไหว
• ภาพของวัตถุที่สามารถเปลี่ยนรูปได้สามารถถูกคลุมด้วยตาข่าย โดยการเคลื่อนที่ของวัตถุจะถูกกำหนดโดยตำแหน่งของจุดต่างๆ ในตาข่าย

ในการติดตามวัตถุในวิดีโอ อัลกอริทึมจะวิเคราะห์เฟรมวิดีโอ ต่อเนื่อง และแสดงผลการเคลื่อนไหวของเป้าหมายระหว่างเฟรม มีอัลกอริทึมหลากหลายประเภท แต่ละประเภทมีจุดแข็งและจุดอ่อน การพิจารณาวัตถุประสงค์การใช้งานเป็นสิ่งสำคัญเมื่อเลือกใช้อัลกอริทึม ระบบติดตามภาพประกอบด้วยส่วนประกอบหลักสองส่วน ได้แก่ การแสดงผลและการระบุตำแหน่งของเป้าหมาย รวมถึงการกรองและการเชื่อมโยงข้อมูล

การแสดงและการระบุตำแหน่งเป้าหมายส่วนใหญ่เป็นกระบวนการจากล่างขึ้นบน วิธีการเหล่านี้มีเครื่องมือหลากหลายสำหรับการระบุวัตถุที่เคลื่อนที่ การระบุตำแหน่งและการติดตามวัตถุเป้าหมายได้สำเร็จนั้นขึ้นอยู่กับอัลกอริทึม ตัวอย่างเช่น การใช้การติดตามแบบบล็อบมีประโยชน์สำหรับการระบุการเคลื่อนไหวของมนุษย์ เนื่องจากรูปร่างของบุคคลเปลี่ยนแปลงแบบไดนามิก^{[ 6 ]} โดยทั่วไปแล้วความซับซ้อนในการคำนวณสำหรับอัลกอริทึมเหล่านี้อยู่ในระดับต่ำ ต่อไปนี้เป็นอัลก อริทึมการแสดงและการระบุตำแหน่งเป้าหมายทั่วไปบางส่วน:

• การติดตามแบบใช้เคอร์เนล ( การติดตาม แบบ mean-shift ^{[ 7 ]} ): ขั้นตอนการระบุตำแหน่งแบบวนซ้ำโดยอาศัยการเพิ่มค่าการวัดความคล้ายคลึง ให้สูงสุด ( สัมประสิทธิ์ Bhattacharyya )
• การติดตามเส้นขอบ : การตรวจจับขอบเขตของวัตถุ (เช่น เส้นขอบแบบแอคทีฟ หรืออัลกอริธึมการควบแน่น ) วิธีการติดตามเส้นขอบจะค่อยๆ พัฒนาเส้นขอบเริ่มต้นที่กำหนดจากเฟรมก่อนหน้าไปยังตำแหน่งใหม่ในเฟรมปัจจุบัน วิธีการติดตามเส้นขอบนี้จะพัฒนาเส้นขอบโดยตรงโดยการลดพลังงานของเส้นขอบโดยใช้การไล่ระดับความชัน

การกรองและการเชื่อมโยงข้อมูลส่วนใหญ่เป็นกระบวนการจากบนลงล่าง ซึ่งเกี่ยวข้องกับการรวมข้อมูลก่อนหน้าเกี่ยวกับฉากหรือวัตถุ การจัดการกับพลวัตของวัตถุ และการประเมินสมมติฐานต่างๆ วิธีการเหล่านี้ช่วยให้สามารถติดตามวัตถุที่ซับซ้อนพร้อมกับปฏิสัมพันธ์ของวัตถุที่ซับซ้อนยิ่งขึ้น เช่น การติดตามวัตถุที่เคลื่อนที่อยู่หลังสิ่งกีดขวาง^{[ 8 ]}นอกจากนี้ ความซับซ้อนจะเพิ่มขึ้นหากตัวติดตามวิดีโอ (เรียกอีกอย่างว่าตัวติดตามทีวีหรือตัวติดตามเป้าหมาย) ไม่ได้ติดตั้งบนฐานที่แข็งแรง (บนฝั่ง) แต่บนเรือที่กำลังเคลื่อนที่ (นอกชายฝั่ง) ซึ่งโดยทั่วไปจะใช้ระบบวัดความเฉื่อยเพื่อปรับเสถียรภาพตัวติดตามวิดีโอไว้ล่วงหน้าเพื่อลดพลวัตและแบนด์วิดท์ที่จำเป็นของระบบกล้อง^{[ 9 ]} ความซับซ้อนในการคำนวณสำหรับอัลกอริทึมเหล่านี้มักจะสูงกว่ามาก ต่อไปนี้เป็นอัลกอริทึมการกรองทั่วไปบางส่วน:

• ตัวกรอง Kalman : ตัวกรอง Bayesian แบบวนซ้ำที่เหมาะสมที่สุด สำหรับฟังก์ชันเชิงเส้นที่อยู่ภายใต้สัญญาณรบกวนแบบ Gaussianเป็นอัลกอริทึมที่ใช้ชุดการวัดที่สังเกตในช่วงเวลาหนึ่ง ซึ่งมีสัญญาณรบกวน (การเปลี่ยนแปลงแบบสุ่ม) และความไม่แม่นยำอื่นๆ และสร้างค่าประมาณของตัวแปรที่ไม่ทราบค่าซึ่งมีแนวโน้มที่จะแม่นยำกว่าค่าประมาณที่ได้จากการวัดเพียงครั้งเดียว^{[ 10 ]}
• ตัวกรองอนุภาค : มีประโยชน์สำหรับการสุ่มตัวอย่างการกระจายสถานะพื้นฐานของกระบวนการที่ไม่เป็นเชิงเส้นและไม่เป็นแบบเกาส์เซียน^{[ 11 ] [ 12 ] [ 13 ]}

• การแข่งขันกำลังดำเนินไป
• การจับภาพการเคลื่อนไหว
• การประมาณการเคลื่อนไหว
• การไหลของแสง
• สวิสแทร็ก
• การติดตามอนุภาคเดี่ยว
• อัลกอริทึมเทคโนโม-เฟอร์นันเดซ

• – ตัวอย่างทางประวัติศาสตร์ที่น่าสนใจ (ปี 1980)ของ กล้อง Cromemco Cyclopsที่ใช้ติดตามลูกบอลที่เคลื่อนที่ผ่านเขาวงกต