การจับภาพการเคลื่อนไหว

การจับภาพการเคลื่อนไหว (บางครั้งเรียกว่าmocapหรือmo-capย่อๆ) คือกระบวนการบันทึกการเคลื่อนไหวของวัตถุหรือบุคคลที่มีความละเอียดสูงลงในระบบคอมพิวเตอร์ ใช้ในด้านการทหารความบันเทิงกีฬาการแพทย์ และการตรวจสอบความถูกต้องของคอมพิวเตอร์วิชั่น[ 3 ]และหุ่นยนต์[ 4 ]
ในภาพยนตร์ รายการโทรทัศน์ และวิดีโอเกม การจับภาพเคลื่อนไหวหมายถึงการบันทึกการกระทำของนักแสดงที่เป็นมนุษย์และใช้ข้อมูลนั้นเพื่อสร้างภาพเคลื่อนไหวของ โมเดล ตัวละครดิจิทัลในแอนิเมชั่นคอมพิวเตอร์ 2 มิติหรือ 3 มิติ[ 5 ] [ 6 ] [ 7 ]เมื่อรวมถึงใบหน้าและนิ้วมือ หรือจับภาพการแสดงออกหรือเสียงที่ละเอียดอ่อน มักจะเรียกว่าการจับการแสดง [ 8 ] ในหลายสาขา การจับภาพเคลื่อนไหวบางครั้งเรียกว่าการติดตามการเคลื่อนไหวแต่ในการสร้างภาพยนตร์และเกม การติดตามการเคลื่อนไหวมักจะหมายถึงการจับคู่การเคลื่อนไหวมากกว่า
ในการบันทึกการเคลื่อนไหว การเคลื่อนไหวของนักแสดงหนึ่งคนหรือมากกว่านั้นจะถูกสุ่มตัวอย่างหลายครั้งต่อวินาที ในขณะที่เทคนิคในยุคแรกใช้ภาพจากกล้องหลายตัวเพื่อคำนวณตำแหน่ง 3 มิติ [ 9 ]จุดประสงค์ของการบันทึกการเคลื่อนไหวมักจะเป็นการบันทึกเฉพาะการเคลื่อนไหวของนักแสดง ไม่ใช่ลักษณะที่ปรากฏข้อมูลแอนิเมชัน นี้ จะถูกแมปไปยังโมเดล 3 มิติ เพื่อให้โมเดลทำการกระทำเช่นเดียวกับนักแสดง กระบวนการนี้อาจแตกต่างจากเทคนิคโรโตสโคปปิ้งแบบ เก่า
การเคลื่อนไหวของกล้องยังสามารถจับภาพการเคลื่อนไหวได้ โดยกล้องเสมือนในฉากจะแพน เอียง หรือเคลื่อนที่ไปรอบๆ เวทีตามที่ผู้ควบคุมกล้องควบคุมขณะที่นักแสดงกำลังแสดง ในขณะเดียวกัน ระบบจับภาพการเคลื่อนไหวสามารถจับภาพทั้งกล้องและอุปกรณ์ประกอบฉาก รวมถึงการแสดงของนักแสดงได้ด้วย これにより ตัวละคร ภาพ และฉากที่สร้างขึ้นด้วยคอมพิวเตอร์จึงมีมุมมองเดียวกันกับภาพวิดีโอจากกล้อง คอมพิวเตอร์จะประมวลผลข้อมูลและแสดงการเคลื่อนไหวของนักแสดง โดยให้ตำแหน่งกล้องที่ต้องการในแง่ของวัตถุในฉาก การดึงข้อมูลการเคลื่อนไหวของกล้องจากฟุตเทจที่บันทึกไว้ในภายหลังเรียกว่าการจับคู่การเคลื่อนไหวหรือ การ ติดตามกล้อง
นักแสดงเสมือนจริงคนแรกที่สร้างขึ้นโดยใช้เทคโนโลยีจับการเคลื่อนไหว (motion-capture) ถูกสร้างขึ้นในปี 1993 โดย Didier Pourcel และทีมงานของเขาที่ Gribouille โดยเกี่ยวข้องกับการ "โคลน" ร่างกายและใบหน้าของนักแสดงตลกชาวฝรั่งเศส Richard Bohringer แล้วนำมาเคลื่อนไหวด้วยเครื่องมือจับการเคลื่อนไหวที่ยังอยู่ในช่วงเริ่มต้นของการพัฒนา
ข้อดี
เทคโนโลยีจับการเคลื่อนไหว (Motion capture) มีข้อดีหลายประการเหนือกว่าการสร้างแอนิเมชั่นด้วยคอมพิวเตอร์ แบบดั้งเดิม ของโมเดล 3 มิติ:
- สามารถรับผลลัพธ์ที่มีความหน่วงต่ำและใกล้เคียงกับเวลาจริงได้ ในแอปพลิเคชันด้านความบันเทิง สิ่งนี้สามารถลดต้นทุนของการสร้างแอนิเมชั่น แบบใช้คีย์เฟรม ได้[ 10 ] เทคนิค Hand Overเป็นตัวอย่างหนึ่งของเรื่องนี้
- ปริมาณงานไม่แปรผันตามความซับซ้อนหรือความยาวของการแสดงมากเท่ากับการใช้เทคนิคแบบดั้งเดิม วิธีนี้ช่วยให้สามารถทดสอบได้หลายครั้งด้วยสไตล์หรือวิธีการนำเสนอที่แตกต่างกัน ส่งผลให้ได้บุคลิกที่โดดเด่นซึ่งขึ้นอยู่กับความสามารถของนักแสดงเท่านั้น
- การเคลื่อนไหวที่ซับซ้อนและการโต้ตอบทางกายภาพที่สมจริง เช่นการเคลื่อนไหวรองน้ำหนัก และการแลกเปลี่ยนแรง สามารถสร้างขึ้นใหม่ได้อย่างง่ายดายในลักษณะที่ถูกต้องตามหลักฟิสิกส์[ 11 ]
- ปริมาณข้อมูลแอนิเมชันที่สามารถผลิตได้ภายในเวลาที่กำหนดมีขนาดใหญ่มากเมื่อเทียบกับเทคนิคแอนิเมชันแบบดั้งเดิม ซึ่งส่งผลให้ประหยัดต้นทุนและสามารถทำตามกำหนดเวลาการผลิตได้[ 12 ]
- มีศักยภาพที่ซอฟต์แวร์ฟรีและโซลูชันจากบุคคลที่สามจะช่วยลดต้นทุนได้
ข้อเสีย
- จำเป็นต้องใช้ฮาร์ดแวร์เฉพาะและโปรแกรมซอฟต์แวร์พิเศษเพื่อรวบรวมและประมวลผลข้อมูล
- ค่าใช้จ่ายด้านซอฟต์แวร์ อุปกรณ์ และบุคลากรที่จำเป็น อาจสูงเกินไปสำหรับงานผลิตขนาดเล็ก
- ระบบบันทึกภาพอาจมีข้อกำหนดเฉพาะสำหรับพื้นที่ที่ใช้งาน ขึ้นอยู่กับมุมมองของกล้องหรือการบิดเบือนจากสนามแม่เหล็ก
- เมื่อเกิดปัญหาขึ้น การถ่ายฉากนั้นใหม่จะง่ายกว่าการพยายามแก้ไขข้อมูล มีเพียงไม่กี่ระบบเท่านั้นที่อนุญาตให้ดูข้อมูลแบบเรียลไทม์เพื่อตัดสินใจว่าจำเป็นต้องถ่ายซ้ำหรือไม่
- ผลลัพธ์เบื้องต้นมีข้อจำกัดอยู่เพียงแค่สิ่งที่สามารถดำเนินการได้ภายในปริมาตรการบันทึกโดยไม่ต้องแก้ไขข้อมูลเพิ่มเติม
- การเคลื่อนไหวที่ไม่เป็นไปตามกฎของฟิสิกส์นั้นไม่สามารถบันทึกได้
- เทคนิคการสร้างแอนิเมชั่นแบบดั้งเดิม เช่น การเน้นย้ำการคาดการณ์และการต่อเนื่อง การเคลื่อนไหวรอง หรือการปรับเปลี่ยนรูปร่างของตัวละคร เช่น เทคนิคการสร้างแอนิเมชั่น แบบบีบและยืดจะต้องเพิ่มเข้ามาในภายหลัง
- หากแบบจำลองคอมพิวเตอร์มีสัดส่วนที่แตกต่างจากตัวแบบที่บันทึกไว้ อาจเกิดความผิดเพี้ยนขึ้นได้ ตัวอย่างเช่น หากตัวการ์ตูนมีมือขนาดใหญ่เกินจริง มือเหล่านั้นอาจไปทับซ้อนกับลำตัวของตัวละครหากผู้แสดงไม่ระมัดระวังในการเคลื่อนไหวร่างกาย
แอปพลิเคชัน
เทคโนโลยีจับการเคลื่อนไหวมีแอปพลิเคชันมากมาย ที่พบได้บ่อยที่สุดคือในวิดีโอเกม ภาพยนตร์ และการบันทึกการเคลื่อนไหว อย่างไรก็ตาม ยังมีการประยุกต์ใช้เทคโนโลยีนี้ในงานวิจัยด้านการพัฒนาหุ่นยนต์ที่มหาวิทยาลัย Purdue อีกด้วย
วิดีโอเกม
วิดีโอเกมมักใช้การจับภาพเคลื่อนไหวเพื่อสร้างแอนิเมชั่นให้กับนักกีฬานักศิลปะการต่อสู้และตัวละครอื่นๆ ในเกม[ 13 ] [ 14 ]ย้อนกลับไปในปี 1988 รูปแบบแรกของการจับภาพเคลื่อนไหวถูกนำมาใช้เพื่อสร้างแอนิเมชั่นให้กับตัวละครผู้เล่น2 มิติ ใน วิดีโอเกม VixenของMartech (แสดงโดยนางแบบCorinne Russell ) [ 15 ]และเกมต่อสู้ แบบอาร์เคด 2 มิติ Last Apostle Puppet ShowของMagical Company (เพื่อสร้างแอนิเมชั่นให้กับสไปรท์ ดิจิทัล ) [ 16 ]ต่อมาการจับภาพเคลื่อนไหวถูกนำมาใช้เพื่อสร้างแอนิเมชั่นให้กับ โมเดลตัวละคร 3 มิติในเกมอาร์เคดVirtua Fighter (1993) ของ Sega Model [ 17 ] [ 18 ]และVirtua Fighter 2 (1994) [ 19 ]ในช่วงกลางปี 1995 ผู้พัฒนา/ผู้จัดจำหน่ายAcclaim Entertainmentได้สร้างสตูดิโอจับภาพเคลื่อนไหวภายในบริษัทขึ้นในสำนักงานใหญ่ของตน[ 14 ] เกมอาร์เคด Soul EdgeของNamco ในปี 1995 ใช้เครื่องหมายระบบออปติคอลแบบพาสซีฟสำหรับการจับภาพการเคลื่อนไหว[ 20 ]การจับภาพการเคลื่อนไหวยังใช้นักกีฬาในเกมแอนิเมชั่น เช่นCrash BandicootของNaughty Dog , Spyro the DragonของInsomniac GamesและDinosaur PlanetของRare
หุ่นยนต์
การระบุตำแหน่งภายในอาคารเป็นอีกหนึ่งการประยุกต์ใช้ระบบจับการเคลื่อนไหวด้วยแสง นักวิจัยด้านหุ่นยนต์มักใช้ระบบจับการเคลื่อนไหวเมื่อพัฒนาและประเมินอัลกอริธึมและฮาร์ดแวร์ด้านการควบคุม การประมาณค่า และการรับรู้ ในพื้นที่กลางแจ้ง สามารถบรรลุความแม่นยำระดับเซนติเมตรได้โดยใช้ระบบนำทางด้วยดาวเทียมทั่วโลก ( GNSS ) ร่วมกับระบบจลนศาสตร์แบบเรียลไทม์ ( RTK ) อย่างไรก็ตาม ความแม่นยำจะลดลงอย่างมากเมื่อไม่มีเส้นทางการมองเห็นไปยังดาวเทียม เช่น ในสภาพแวดล้อมภายในอาคาร ผู้จำหน่ายระบบจับการเคลื่อนไหวด้วยแสงเชิงพาณิชย์ส่วนใหญ่จัดหาไดรเวอร์โอเพนซอร์สที่เข้าถึงได้ง่ายซึ่งผสานรวมกับเฟรมเวิร์ก Robotic Operating System ( ROS ) ที่ได้รับความนิยม ทำให้ผู้วิจัยและนักพัฒนาสามารถทดสอบหุ่นยนต์ของตนได้อย่างมีประสิทธิภาพในระหว่างการพัฒนา
ในสาขาการวิจัยหุ่นยนต์บิน ระบบจับการเคลื่อนไหวถูกนำมาใช้กันอย่างแพร่หลายสำหรับการกำหนดตำแหน่งเช่นกัน ข้อจำกัดด้านกฎระเบียบเกี่ยวกับการใช้พื้นที่ทางอากาศทำให้การทดลองกลางแจ้งด้วยระบบอากาศยานไร้คนขับ ( UAS ) มีความเป็นไปได้น้อยลง การทดสอบในร่มสามารถหลีกเลี่ยงข้อจำกัดดังกล่าวได้ ห้องปฏิบัติการและสถาบันหลายแห่งทั่วโลกได้สร้างพื้นที่จับการเคลื่อนไหวในร่มเพื่อจุดประสงค์นี้
มหาวิทยาลัย Purdue เป็นที่ตั้งของระบบจับการเคลื่อนไหวในร่มที่ใหญ่ที่สุดในโลก ภายในศูนย์วิจัยและทดสอบ UAS ของ Purdue (PURT) PURT ทุ่มเทให้กับการวิจัย UAS และให้ปริมาตรการติดตาม 600,000 ลูกบาศก์ฟุต โดยใช้กล้องจับการเคลื่อนไหว 60 ตัว[ 21 ]ระบบจับการเคลื่อนไหวแบบออปติคอลสามารถติดตามเป้าหมายในปริมาตรด้วยความแม่นยำระดับมิลลิเมตร ซึ่งให้ตำแหน่งที่แท้จริงของเป้าหมายอย่างมีประสิทธิภาพ — ซึ่งเป็น "ข้อมูลพื้นฐาน" ในการวิจัยและพัฒนา จากนั้นผลลัพธ์ที่ได้จากเซ็นเซอร์และอัลกอริทึมอื่นๆ สามารถนำมาเปรียบเทียบกับข้อมูลพื้นฐานเพื่อประเมินประสิทธิภาพได้
ภาพยนตร์
ภาพยนตร์ใช้เทคโนโลยีจับการเคลื่อนไหวเพื่อสร้างเอฟเฟ็กต์ CGI ในบางกรณีแทนที่แอนิเมชั่นแบบดั้งเดิม และใช้สร้าง ตัวละคร CGI ทั้งหมด เช่นกอลลัม , มัมมี่ , คิงคอง , เดวี่ โจนส์จากไพเรทส์ออฟเดอะแคริบเบียน , ชาวนาวีจากภาพยนตร์เรื่องอวตารและคลูจากทรอน: เลกาซี ยักษ์ก็อบลิน, โทรลล์หินทั้งสาม ตัว , ออร์คและก็อบลินจำนวนมากในภาพยนตร์ปี 2012 เรื่องเดอะฮอบบิท: อันอันเอ็กซ์เพคเต็ดเจอร์นและสม็อก ล้วนสร้างขึ้นโดยใช้เทคโนโลยีจับการเคลื่อนไหว
ในภาพยนตร์เรื่อง Total Recall ปี 1990 ฉากที่อาร์โนลด์ ชวาร์เซเน็กเกอร์และนักแสดงคนอื่นๆ เดินผ่านเครื่องเอ็กซ์เรย์นั้นถ่ายทำโดยใช้เทคโนโลยีโมชั่นแคปเจอร์[ 22 ]
ภาพยนตร์เรื่องBatman Forever (1995) ใช้เทคโนโลยีโมชั่นแคปเจอร์สำหรับเอฟเฟกต์ภาพบางอย่างวอร์เนอร์ บราเธอร์สได้รับเทคโนโลยีโมชั่นแคปเจอร์จาก บริษัท เกมอาร์เคด Acclaim Entertainment เพื่อใช้ในการผลิตภาพยนตร์เรื่องนี้[ 23 ]เกมวิดีโอชื่อเดียวกันของ Acclaim ในปี 1995 ก็ใช้เทคโนโลยีโมชั่นแคปเจอร์เดียวกันนี้ในการสร้างภาพเคลื่อนไหวของกราฟิกสไปรต์ แบบดิจิทัลเช่นกัน [ 24 ]
ภาพยนตร์เรื่องStar Wars: Episode I – The Phantom Menace ในปี 1999 เป็นภาพยนตร์เรื่องยาวเรื่องแรกที่มีตัวละครหลัก ( จาร์ จาร์ บิงค์สรับบทโดยอาห์เหม็ด เบสต์ ) ที่สร้างขึ้นโดยใช้เทคโนโลยีโมชั่นแคปเจอร์ ส่วนภาพยนตร์อินเดีย-อเมริกันเรื่อง Sinbad: Beyond the Veil of Mists ในปี 2000 เป็นภาพยนตร์เรื่องยาวเรื่องแรกที่สร้างขึ้นโดยใช้เทคโนโลยีโมชั่นแคปเจอร์เป็นหลัก แม้ว่าจะมีนักแอนิเมเตอร์ตัวละครหลายคนร่วมงานในภาพยนตร์เรื่องนี้ด้วย ซึ่งภาพยนตร์เรื่องนี้เข้าฉายในวงจำกัดมาก และ ภาพยนตร์เรื่อง Final Fantasy: The Spirits Within ในปี 2001 เป็นภาพยนตร์เรื่องแรกที่เข้าฉายในวงกว้างซึ่งสร้างโดยใช้เทคโนโลยีโมชั่นแคปเจอร์ แม้ว่ารายได้จากบ็อกซ์ออฟฟิศจะไม่ดีนัก แต่ผู้สนับสนุนเทคโนโลยีโมชั่นแคปเจอร์ก็ให้ความสนใจ
ภาพยนตร์ เรื่อง The Lord of the Rings: The Two Towersเป็นภาพยนตร์เรื่องแรกที่ใช้ระบบจับภาพเคลื่อนไหวแบบเรียลไทม์ วิธีนี้ถ่ายทอดการเคลื่อนไหวของนักแสดง Andy Serkisเข้าสู่ผิวหนังของ Gollum/Smeagol ที่สร้างด้วยคอมพิวเตอร์ในขณะที่กำลังแสดง [ 25 ]
Storymind Entertainment ซึ่งเป็นสตูดิโออิสระของยูเครนได้สร้างวิดีโอเกมยิงมุมมองบุคคลที่สามแนวนีโอ-นัวร์ ชื่อ My Eyes On Youโดยใช้การจับภาพเคลื่อนไหวเพื่อสร้างแอนิเมชั่นตัวละครหลัก Jordan Adalien รวมถึงตัวละครที่ไม่สามารถเล่นได้[ 26 ]
จากภาพยนตร์แอนิเม ชั่น ที่ได้รับการเสนอชื่อเข้าชิง รางวัลออสการ์สาขาภาพยนตร์แอนิเมชั่นยอดเยี่ยมประจำปี 2006 จำนวน 3 เรื่อง มีสองเรื่อง ( Monster HouseและHappy Feet ที่ได้รับรางวัล ) ที่ใช้เทคโนโลยีโมชั่นแคปเจอร์ ส่วนภาพยนตร์ แอนิเมชั่นเรื่อง Carsของดิสนีย์และ พิกซาร์นั้น มีเพียง เรื่องเดียวที่ไม่ใช้เทคโนโลยีนี้ ในฉากเครดิตท้ายเรื่องของ ภาพยนตร์ Ratatouilleของพิกซาร์มีตราประทับระบุว่าภาพยนตร์เรื่องนี้ "แอนิเมชั่นแท้ 100% – ไม่ใช้เทคโนโลยีโมชั่นแคปเจอร์!"
นับตั้งแต่ปี 2001 การจับภาพเคลื่อนไหวถูกนำมาใช้อย่างกว้างขวางเพื่อจำลองหรือประมาณรูปลักษณ์ของการแสดงละครแบบไลฟ์แอ็กชั่น โดยใช้โมเดลตัวละครดิจิทัล ที่เกือบจะ เหมือนจริง ภาพยนตร์ เรื่อง The Polar Expressใช้การจับภาพเคลื่อนไหวเพื่อให้ทอม แฮงค์สแสดงเป็นตัวละครดิจิทัลที่แตกต่างกันหลายตัว (ซึ่งเขายังให้เสียงพากย์ด้วย) ภาพยนตร์ดัดแปลงจากมหากาพย์Beowulf ในปี 2007 ใช้ตัวละครดิจิทัลที่มีรูปลักษณ์ซึ่งอิงจากนักแสดงที่ให้การเคลื่อนไหวและเสียงพากย์บางส่วน ภาพยนตร์เรื่องAvatar ที่ได้รับความนิยมอย่างสูงของเจมส์ คาเมรอน ใช้เทคนิคนี้ในการสร้างชาวนาวีที่อาศัยอยู่ในแพนโดรา[ 27 ]บริษัท Walt Disneyได้ผลิต ภาพยนตร์เรื่อง A Christmas Carolของโรเบิร์ต เซเมคิสโดยใช้เทคนิคนี้ ในปี 2007 ดิสนีย์ได้ซื้อกิจการ ImageMovers Digital ของเซเมคิส (ซึ่งผลิตภาพยนตร์จับภาพเคลื่อนไหว) แต่ปิดตัวลงในปี 2011 หลังจากภาพยนตร์เรื่องMars Needs Momsล้ม เหลวในด้านรายได้จาก บ็อกซ์ออฟฟิศ
ซีรีส์โทรทัศน์ที่สร้างขึ้นโดยใช้แอนิเมชั่นโมชั่นแคปเจอร์ทั้งหมด ได้แก่Laflaqueในแคนาดา, SprookjesboomและCafe de Wereldในเนเธอร์แลนด์ และHeadcasesในสหราชอาณาจักร
การจับภาพการเคลื่อนไหว
ผู้ให้บริการ เทคโนโลยีเสมือนจริง (VR)และเทคโนโลยีความจริงเสริม (AR ) เช่นuSensและGestigonช่วยให้ผู้ใช้สามารถโต้ตอบกับเนื้อหาดิจิทัลได้แบบเรียลไทม์โดยการจับภาพการเคลื่อนไหวของมือ ซึ่งมีประโยชน์สำหรับการจำลองการฝึกอบรม การทดสอบการรับรู้ทางสายตา หรือการเดินชมเสมือนจริงในสภาพแวดล้อม 3 มิติ เทคโนโลยีการจับภาพการเคลื่อนไหวถูกนำมาใช้บ่อยครั้งใน ระบบ หุ่นเชิดดิจิทัลเพื่อควบคุมตัวละครที่สร้างขึ้นด้วยคอมพิวเตอร์แบบเรียลไทม์
การวิเคราะห์การเดินเป็นหนึ่งในแอปพลิเคชันของการจับภาพการเคลื่อนไหวในทางการแพทย์เทคนิคเหล่านี้ช่วยให้แพทย์สามารถประเมินการเคลื่อนไหวของมนุษย์ในหลายปัจจัยทางชีวกลศาสตร์ โดยมักจะส่งข้อมูลนี้แบบเรียลไทม์ไปยังซอฟต์แวร์วิเคราะห์
การใช้งานนวัตกรรมอย่างหนึ่งคือการตรวจจับท่าทาง ซึ่งสามารถเสริมศักยภาพให้กับผู้ป่วยในระหว่างการพักฟื้นหลังการผ่าตัดหรือการฟื้นฟูสมรรถภาพหลังการบาดเจ็บ แนวทางนี้ช่วยให้สามารถตรวจสอบอย่างต่อเนื่อง ให้คำแนะนำแบบเรียลไทม์ และจัดทำโปรแกรมเฉพาะบุคคลเพื่อเพิ่มผลลัพธ์ของผู้ป่วย[ 28 ]
คลินิกกายภาพบำบัดบางแห่งใช้การจับภาพการเคลื่อนไหวเพื่อวัดความก้าวหน้าของผู้ป่วยอย่างเป็นกลาง[ 29 ]
ระหว่างการถ่ายทำภาพยนตร์เรื่องAvatar ของเจมส์ คาเมรอน ฉากทั้งหมดที่เกี่ยวข้องกับการจับภาพการเคลื่อนไหวถูกกำกับแบบเรียลไทม์โดยใช้ ซอฟต์แวร์ Autodesk MotionBuilderเพื่อสร้างภาพบนหน้าจอ ซึ่งช่วยให้ผู้กำกับและนักแสดงเห็นว่าพวกเขาจะมีลักษณะอย่างไรในภาพยนตร์ ทำให้การกำกับภาพยนตร์ง่ายขึ้นและผู้ชมจะได้เห็นภาพที่ชัดเจนขึ้น วิธีนี้ทำให้ได้มุมมองและองศาที่ไม่สามารถทำได้จากการสร้างภาพเคลื่อนไหวล่วงหน้า คาเมรอนภูมิใจกับผลลัพธ์มากจนเชิญสตีเวน สปีลเบิร์กและจอร์จ ลูคัสมาชมระบบการทำงานในกองถ่าย
ในภาพยนตร์เรื่องThe Avengers ของมาร์เวล มาร์ค รัฟฟาโล ใช้เทคโนโลยีโมชั่นแคปเจอร์ในการรับบทเป็นฮัลค์แทนที่จะใช้เพียงแค่ภาพกราฟิกคอมพิวเตอร์ (CGI) เหมือนในภาพยนตร์เรื่องก่อนๆ ทำให้รัฟฟาโลเป็นนักแสดงคนแรกที่รับบทเป็นบรูซ แบนเนอร์ทั้งในร่างมนุษย์และร่างฮัลค์
ซอฟต์แวร์ FaceRigใช้เทคโนโลยีการจดจำใบหน้าจาก ULSee.Inc เพื่อแมปการแสดงออกทางใบหน้าของผู้เล่น และเทคโนโลยีการติดตามร่างกายจาก Perception Neuron เพื่อแมปการเคลื่อนไหวของร่างกายลงบนการเคลื่อนไหวของตัวละคร 2 มิติหรือ 3 มิติบนหน้าจอ[ 30 ] [ 31 ]
ระหว่างงานGame Developers Conference 2016 ที่ซานฟรานซิสโกEpic Gamesได้สาธิตการจับภาพการเคลื่อนไหวแบบเต็มตัวแบบสดๆ ใน Unreal Engine ฉากทั้งหมดจากเกมHellblade ที่กำลังจะวาง จำหน่ายเกี่ยวกับนักรบหญิงชื่อ Senua ได้รับการเรนเดอร์แบบเรียลไทม์ การกล่าวปาฐกถาหลัก[ 32 ]เป็นความร่วมมือระหว่างUnreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinemaและXsens
ในปี 2020 ยูซูรุ ฮานิวแชมป์โอลิมปิกสองสมัยในกีฬาสเก็ต ลีลา สำเร็จการศึกษาจากมหาวิทยาลัยวาเซดะในวิทยานิพนธ์ของเขา เขาได้วิเคราะห์การกระโดดของเขาโดยใช้ข้อมูลจากเซ็นเซอร์ 31 ตัวที่ติดอยู่บนร่างกายของเขา เขาได้ประเมินการใช้เทคโนโลยีเพื่อปรับปรุงระบบการให้คะแนนและเพื่อช่วยให้นักสเก็ตพัฒนาเทคนิคการกระโดดของพวกเขา[ 33 ] [ 34 ]ในเดือนมีนาคม 2021 บทสรุปของวิทยานิพนธ์ได้รับการตีพิมพ์ในวารสารวิชาการ[ 35 ]
วิธีการและระบบ

การติดตามการเคลื่อนไหวหรือการจับภาพการเคลื่อนไหวเริ่มต้นจาก การเป็นเครื่องมือวิเคราะห์ภาพถ่ายในงานวิจัยด้านชีวกลศาสตร์ในช่วงทศวรรษ 1970 และ 1980 และขยายไปสู่การศึกษา การฝึกอบรม กีฬา และล่าสุดคือแอนิเมชั่นคอมพิวเตอร์สำหรับโทรทัศน์ภาพยนตร์และวิดีโอเกมเมื่อเทคโนโลยีพัฒนาขึ้น ตั้งแต่ศตวรรษที่ 20 ผู้แสดงต้องสวมเครื่องหมายไว้ใกล้ข้อต่อแต่ละข้อเพื่อระบุการเคลื่อนไหวโดยใช้ตำแหน่งหรือมุมระหว่างเครื่องหมาย เครื่องหมายที่ใช้ได้แก่ เครื่องหมายเสียง เครื่องหมายเฉื่อย เครื่องหมายLEDเครื่องหมายแม่เหล็ก หรือเครื่องหมายสะท้อนแสง หรือการผสมผสานของเครื่องหมายเหล่านี้ โดยควรมีอัตราการติดตามอย่างน้อยสองเท่าของอัตราความถี่ของการเคลื่อนไหวที่ต้องการ ความละเอียดของระบบมีความสำคัญทั้งในด้านความละเอียดเชิงพื้นที่และความละเอียดเชิงเวลา เนื่องจากภาพเบลอจากการเคลื่อนไหวทำให้เกิดปัญหาเกือบเหมือนกับความละเอียดต่ำ ตั้งแต่ต้นศตวรรษที่ 21 และเนื่องจากการเติบโตอย่างรวดเร็วของเทคโนโลยี จึงได้มีการพัฒนาระบบใหม่ๆ ระบบที่ทันสมัยส่วนใหญ่สามารถแยกเงาของผู้แสดงออกจากพื้นหลังได้ จากนั้นจึงคำนวณมุมข้อต่อทั้งหมดโดยการปรับแบบจำลองทางคณิตศาสตร์ให้เข้ากับเงา สำหรับการเคลื่อนไหวที่คุณไม่สามารถมองเห็นการเปลี่ยนแปลงของรูปร่างได้ มีระบบไฮบริดที่สามารถทำได้ทั้งสองอย่าง (เครื่องหมายและรูปร่าง) แต่ใช้เครื่องหมายน้อยลงในด้านหุ่นยนต์ ระบบจับการเคลื่อนไหวบางระบบใช้การระบุตำแหน่งและการทำแผนที่พร้อมกัน[ 36 ]
ระบบออปติคอล
ระบบออปติคอลใช้ข้อมูลที่ได้จากเซ็นเซอร์ภาพเพื่อคำนวณตำแหน่งสามมิติของวัตถุโดยใช้กล้องสองตัวขึ้นไปที่ปรับเทียบเพื่อให้ได้ภาพฉายที่ซ้อนทับกัน การรับข้อมูลแบบดั้งเดิมจะใช้วิธีการติดเครื่องหมายพิเศษไว้กับตัวนักแสดง อย่างไรก็ตาม ระบบรุ่นใหม่สามารถสร้างข้อมูลที่แม่นยำได้โดยการติดตามคุณลักษณะพื้นผิวที่ระบุแบบไดนามิกสำหรับวัตถุแต่ละชิ้น การติดตามนักแสดงจำนวนมากหรือการขยายพื้นที่จับภาพทำได้โดยการเพิ่มกล้อง ระบบเหล่านี้สร้างข้อมูลที่มีองศาอิสระสามองศาสำหรับแต่ละเครื่องหมาย และข้อมูลการหมุนจะต้องอนุมานจากการวางแนวสัมพัทธ์ของเครื่องหมายสามตัวขึ้นไป ตัวอย่างเช่น เครื่องหมายที่ไหล่ ข้อศอก และข้อมือจะให้มุมของข้อศอก ระบบไฮบริดรุ่นใหม่กำลังรวมเซ็นเซอร์เฉื่อยเข้ากับเซ็นเซอร์ออปติคอลเพื่อลดการบดบัง เพิ่มจำนวนผู้ใช้ และปรับปรุงความสามารถในการติดตามโดยไม่ต้องทำความสะอาดข้อมูลด้วยตนเอง[ 37 ]
เครื่องหมายแบบพาสซีฟ


ระบบ ออปติคอลแบบพาสซีฟใช้เครื่องหมายที่เคลือบด้วย วัสดุ สะท้อนแสงเพื่อสะท้อนแสงที่เกิดขึ้นใกล้เลนส์กล้อง สามารถปรับค่าเกณฑ์ของกล้องได้เพื่อให้ตรวจจับเฉพาะเครื่องหมายสะท้อนแสงที่สว่างเท่านั้น โดยไม่สนใจผิวหนังและผ้า
จุดศูนย์กลางของเครื่องหมายจะถูกประมาณค่าเป็นตำแหน่งภายในภาพสองมิติที่บันทึกไว้ ค่าระดับสีเทาของแต่ละพิกเซลสามารถนำมาใช้เพื่อให้ได้ความแม่นยำระดับต่ำกว่าพิกเซล โดยการหาจุดศูนย์กลางของฟังก์ชันเกาส์เซียน
วัตถุที่มีเครื่องหมายติดอยู่ ณ ตำแหน่งที่ทราบแล้วจะถูกใช้ในการสอบเทียบกล้องและหาตำแหน่งของกล้องเหล่านั้น และจะมีการวัดการบิดเบี้ยวของเลนส์ของกล้องแต่ละตัว หากกล้องที่สอบเทียบแล้วสองตัวมองเห็นเครื่องหมายเดียวกัน ก็จะสามารถหาตำแหน่งสามมิติได้ โดยทั่วไปแล้ว ระบบจะประกอบด้วยกล้องประมาณ 2 ถึง 48 ตัว ระบบที่มีกล้องมากกว่าสามร้อยตัวก็มีอยู่เพื่อพยายามลดการสลับเครื่องหมาย กล้องเพิ่มเติมจำเป็นสำหรับการครอบคลุมพื้นที่โดยรอบวัตถุเป้าหมายและสำหรับการถ่ายภาพหลายวัตถุพร้อมกัน
ผู้จำหน่ายมีซอฟต์แวร์จำกัดเพื่อลดปัญหาการสลับเครื่องหมาย เนื่องจากเครื่องหมายแบบพาสซีฟทั้งหมดมีลักษณะเหมือนกัน ต่างจากระบบเครื่องหมายแบบแอคทีฟและระบบแม่เหล็ก ระบบแบบพาสซีฟไม่จำเป็นต้องให้ผู้ใช้สวมสายไฟหรืออุปกรณ์อิเล็กทรอนิกส์[ 38 ]แต่จะใช้ลูกบอลยางหลายร้อยลูกที่ติดด้วยเทปสะท้อนแสง ซึ่งต้องเปลี่ยนเป็นระยะ เครื่องหมายมักจะติดอยู่กับผิวหนังโดยตรง (เช่นในด้านชีวกลศาสตร์) หรือติดด้วยตีนตุ๊กแกกับนักแสดงที่สวมชุดสแปนเด็กซ์/ไลคร่าแบบเต็มตัวที่ออกแบบมาโดยเฉพาะสำหรับการจับภาพการเคลื่อนไหวระบบประเภทนี้สามารถจับภาพเครื่องหมายจำนวนมากได้ที่อัตราเฟรมโดยทั่วไปประมาณ 120 ถึง 160 fps แม้ว่าการลดความละเอียดและการติดตามพื้นที่ที่สนใจที่เล็กลงจะทำให้สามารถติดตามได้สูงถึง 10,000 fps
เครื่องหมายที่ใช้งานอยู่

ระบบออปติคอลแบบแอคทีฟใช้การหาตำแหน่งโดยการส่องแสง LED ทีละดวงอย่างรวดเร็ว หรือส่องแสง LED หลายดวงพร้อมกันโดยใช้ซอฟต์แวร์เพื่อระบุตำแหน่งสัมพัทธ์ คล้ายกับการนำทางโดยใช้ดวงดาว แทนที่จะสะท้อนแสงที่สร้างขึ้นจากภายนอก ตัวมาร์กเกอร์เองจะใช้พลังงานในการเปล่งแสง เนื่องจากกฎกำลังสองผกผันให้พลังงานหนึ่งในสี่ที่ระยะทางสองเท่า จึงสามารถเพิ่มระยะทางและปริมาตรในการจับภาพได้ นอกจากนี้ยังช่วยให้มีอัตราส่วนสัญญาณต่อสัญญาณรบกวนสูง ส่งผลให้การสั่นของมาร์กเกอร์ต่ำมาก และได้ความละเอียดในการวัดสูง (มักจะต่ำถึง 0.1 มม. ภายในปริมาตรที่สอบเทียบแล้ว)
ซีรีส์โทรทัศน์เรื่อง Stargate SG1ผลิตตอนต่างๆ โดยใช้ระบบออปติคอลแบบแอคทีฟสำหรับเทคนิคพิเศษ ทำให้ตัวละครสามารถเดินไปรอบๆ อุปกรณ์ประกอบฉากได้ ซึ่งหากใช้ระบบออปติคอลแบบอื่นๆ ที่ไม่ใช่แบบแอคทีฟ การจับภาพการเคลื่อนไหวจะทำได้ยาก
ILM ใช้แอคทีฟมาร์กเกอร์ในภาพยนตร์เรื่อง Van Helsingเพื่อให้สามารถบันทึกภาพเจ้าสาวบินได้ของแดร็กคิวลาในฉากขนาดใหญ่มาก คล้ายกับการใช้แอคทีฟมาร์กเกอร์ของ Weta ใน ภาพยนตร์เรื่อง Rise of the Planet of the Apesพลังงานสามารถจ่ายให้กับมาร์กเกอร์แต่ละตัวได้ตามลำดับ โดยระบบบันทึกภาพจะให้รหัสเฉพาะแก่แต่ละมาร์กเกอร์สำหรับเฟรมภาพที่กำหนด แต่จะมีผลกระทบต่ออัตราเฟรมที่ได้ ความสามารถในการระบุมาร์กเกอร์แต่ละตัวในลักษณะนี้มีประโยชน์ในการใช้งานแบบเรียลไทม์ วิธีการอื่นในการระบุมาร์กเกอร์คือการทำโดยใช้อัลกอริทึม ซึ่งต้องมีการประมวลผลข้อมูลเพิ่มเติม
นอกจากนี้ ยังสามารถระบุตำแหน่งได้โดยใช้เครื่องหมาย LED สีต่างๆ ในระบบเหล่านี้ แต่ละสีจะถูกกำหนดให้กับจุดเฉพาะบนร่างกาย
หนึ่งในระบบทำเครื่องหมายแบบแอคทีฟรุ่นแรกๆ ในช่วงทศวรรษ 1980 คือระบบจับการเคลื่อนไหวแบบผสมผสานระหว่างแบบพาสซีฟและแอคทีฟ โดยใช้กระจกหมุนและเครื่องหมายสะท้อนแสงที่ทำจากกระจกสี และใช้ตัวตรวจจับแบบแถวเชิงเส้นที่มีหน้ากากปิดบัง
ตัวบ่งชี้แอคทีฟที่ปรับเปลี่ยนตามเวลา
ระบบแอคทีฟมาร์กเกอร์สามารถปรับปรุงให้ดียิ่งขึ้นได้ด้วยการกระพริบมาร์กเกอร์ทีละตัว หรือติดตามมาร์กเกอร์หลายตัวในช่วงเวลาหนึ่ง และปรับแอมพลิจูดหรือความกว้างของพัลส์เพื่อระบุตัวตนของมาร์กเกอร์ ระบบที่มีความละเอียดเชิงพื้นที่ 12 ล้านพิกเซล แสดงการเคลื่อนไหวที่ละเอียดอ่อนกว่าระบบออปติคอล 4 ล้านพิกเซล เนื่องจากมีความละเอียดทั้งเชิงพื้นที่และเชิงเวลาสูงกว่า ผู้กำกับสามารถเห็นการแสดงของนักแสดงแบบเรียลไทม์ และดูผลลัพธ์บนตัวละคร CG ที่ขับเคลื่อนด้วยการจับการเคลื่อนไหว ตัวตนของมาร์กเกอร์ที่ไม่ซ้ำกันช่วยลดเวลาในการทำงานลง โดยการกำจัดขั้นตอนการสลับมาร์กเกอร์ และให้ข้อมูลที่สะอาดกว่าเทคโนโลยีอื่นๆ มาก ไฟ LED ที่มีการประมวลผลในตัวและการซิงโครไนซ์ด้วยคลื่นวิทยุช่วยให้สามารถจับการเคลื่อนไหวได้กลางแจ้งในแสงแดดโดยตรง ในขณะที่บันทึกภาพที่ 120 ถึง 960 เฟรมต่อวินาที เนื่องจากชัตเตอร์อิเล็กทรอนิกส์ความเร็วสูง การประมวลผลด้วยคอมพิวเตอร์ของตัวตนที่ปรับแล้วช่วยลดการแก้ไขด้วยมือหรือผลลัพธ์ที่กรองแล้ว ทำให้ต้นทุนการดำเนินงานต่ำลง ความแม่นยำและความละเอียดที่สูงขึ้นนี้ต้องการการประมวลผลมากกว่าเทคโนโลยีแบบพาสซีฟ แต่การประมวลผลเพิ่มเติมจะทำที่กล้องเพื่อปรับปรุงความละเอียดผ่านการประมวลผลแบบซับพิกเซลหรือเซนทรอยด์ ทำให้ได้ทั้งความละเอียดสูงและความเร็วสูง โดยทั่วไปแล้ว ระบบจับภาพเคลื่อนไหวเหล่านี้มีราคาประมาณ 20,000 ดอลลาร์สหรัฐ สำหรับระบบที่มีกล้อง 8 ตัว ความละเอียดเชิงพื้นที่ 12 ล้านพิกเซล และอัตราการรีเฟรช 120 เฮิร์ตซ์ สำหรับนักแสดง 1 คน

เครื่องหมายกึ่งพาสซีฟที่มองไม่เห็น
เราสามารถพลิกกลับแนวทางดั้งเดิมที่ใช้กล้องความเร็วสูงได้ ระบบอย่างเช่นPrakashใช้โปรเจ็กเตอร์ความเร็วสูงแบบหลาย LED ราคาไม่แพง โปรเจ็กเตอร์อินฟราเรดแบบหลาย LED ที่สร้างขึ้นเป็นพิเศษจะเข้ารหัสพื้นที่ด้วยแสง แทนที่จะใช้เครื่องหมายสะท้อนแสงหรือไดโอดเปล่งแสง (LED) ระบบนี้ใช้แท็กเครื่องหมายไวแสงเพื่อถอดรหัสสัญญาณแสง โดยการติดแท็กที่มีเซ็นเซอร์แสงไว้ที่จุดต่างๆ ในฉาก แท็กเหล่านี้สามารถคำนวณได้ไม่เพียงแต่ตำแหน่งของแต่ละจุดเท่านั้น แต่ยังรวมถึงทิศทาง แสงตกกระทบ และการสะท้อนแสงด้วย
แท็กติดตามเหล่านี้ทำงานได้ในสภาพแสงธรรมชาติ และสามารถฝังลงในเสื้อผ้าหรือวัตถุอื่นๆ ได้อย่างแนบเนียน ระบบรองรับแท็กได้ไม่จำกัดจำนวนในฉาก โดยแต่ละแท็กจะมีรหัสเฉพาะเพื่อขจัดปัญหาการค้นหาเครื่องหมายซ้ำ เนื่องจากระบบนี้ไม่จำเป็นต้องใช้กล้องความเร็วสูงและสตรีมภาพความเร็วสูง จึงต้องการแบนด์วิดท์ข้อมูลที่ต่ำกว่ามาก แท็กยังให้ข้อมูลแสงตกกระทบ ซึ่งสามารถนำมาใช้เพื่อปรับแสงในฉากให้เข้ากับองค์ประกอบสังเคราะห์ได้ เทคนิคนี้ดูเหมือนจะเหมาะสำหรับการจับภาพการเคลื่อนไหวในกองถ่าย หรือการถ่ายทอดสดฉากเสมือนจริงแบบเรียลไทม์ แต่ยังไม่ได้รับการพิสูจน์อย่างเป็นรูปธรรม
ระบบจับการเคลื่อนไหวใต้น้ำ
เทคโนโลยีการจับภาพการเคลื่อนไหวมีให้ใช้งานสำหรับนักวิจัยและนักวิทยาศาสตร์มานานหลายทศวรรษแล้ว ซึ่งได้ให้ข้อมูลเชิงลึกใหม่ๆ ในหลายสาขา
กล้องใต้น้ำ
ส่วนประกอบสำคัญของระบบคือกล้องใต้น้ำ ซึ่งมีตัวเรือนกันน้ำ ตัวเรือนมีพื้นผิวที่ทนต่อการกัดกร่อนและคลอรีน ทำให้เหมาะสำหรับการใช้งานในอ่างน้ำและสระว่ายน้ำ กล้องมีสองประเภท กล้องความเร็วสูงระดับอุตสาหกรรมสามารถใช้เป็นกล้องอินฟราเรดได้เช่นกัน กล้องอินฟราเรดใต้น้ำมาพร้อมกับไฟแฟลชสีฟ้าแทนแสงอินฟราเรดทั่วไป เพื่อลดการลดทอนของแสงใต้น้ำให้น้อยที่สุด และกล้องความเร็วสูงมาพร้อมกับไฟ LED หรือมีตัวเลือกในการใช้การประมวลผลภาพ

ปริมาตรการวัด
โดยทั่วไป กล้องใต้น้ำสามารถวัดได้ไกล 15-20 เมตร ขึ้นอยู่กับคุณภาพน้ำ กล้อง และชนิดของเครื่องหมายที่ใช้ แน่นอนว่าระยะการวัดที่ดีที่สุดจะได้เมื่อน้ำใส และเช่นเคย ระยะการวัดก็ขึ้นอยู่กับจำนวนกล้องด้วย มีเครื่องหมายใต้น้ำหลากหลายชนิดให้เลือกใช้สำหรับสถานการณ์ต่างๆ
ปรับแต่ง
สระว่ายน้ำแต่ละแบบต้องการอุปกรณ์ยึดและติดตั้งที่แตกต่างกัน ดังนั้น ระบบจับภาพเคลื่อนไหวใต้น้ำทั้งหมดจึงได้รับการออกแบบเฉพาะให้เหมาะสมกับการติดตั้งในสระว่ายน้ำแต่ละแห่ง สำหรับกล้องที่ติดตั้งอยู่ตรงกลางสระ จะมีขาตั้งกล้องที่ออกแบบมาเป็นพิเศษโดยใช้ตัวดูดสุญญากาศให้มาด้วย
ไม่มีเครื่องหมาย
เทคนิคและงานวิจัยใหม่ๆ ในด้านคอมพิวเตอร์วิชั่นกำลังนำไปสู่การพัฒนาอย่างรวดเร็วของวิธีการจับภาพการเคลื่อนไหวแบบไร้เครื่องหมาย ระบบไร้เครื่องหมาย เช่น ระบบที่พัฒนาขึ้นที่มหาวิทยาลัยสแตนฟอร์ดมหาวิทยาลัยแมริแลนด์MITและสถาบันแม็กซ์พลังค์ไม่จำเป็นต้องให้ผู้ถูกกระทำสวมใส่อุปกรณ์พิเศษสำหรับการติดตาม อัลกอริทึมคอมพิวเตอร์พิเศษถูกออกแบบมาเพื่อให้ระบบสามารถวิเคราะห์กระแสข้อมูลแสงหลายกระแสและระบุรูปร่างของมนุษย์ โดยแยกย่อยออกเป็นส่วนประกอบต่างๆ เพื่อการติดตามESC Entertainmentซึ่งเป็นบริษัทในเครือของWarner Brothers Picturesที่สร้างขึ้นมาโดยเฉพาะเพื่อรองรับการถ่ายทำภาพยนตร์เสมือนจริงใช้เทคนิคที่เรียกว่า Universal Capture ซึ่งใช้การตั้งค่ากล้อง 7 ตัวและการติดตามการไหลของแสงของพิกเซล ทั้งหมด ในระนาบ 2 มิติของกล้องทั้งหมด เพื่อจับภาพการเคลื่อนไหว ท่าทางและการแสดงออกทางสีหน้าซึ่งนำไปสู่ผลลัพธ์ที่สมจริงราวกับภาพถ่าย
ระบบดั้งเดิม
โดยทั่วไป การติดตามการเคลื่อนไหวด้วยแสงแบบไม่ใช้เครื่องหมายจะใช้เพื่อติดตามวัตถุต่างๆ รวมถึงเครื่องบิน ยานปล่อยจรวด ขีปนาวุธ และดาวเทียม การใช้งานการติดตามการเคลื่อนไหวด้วยแสงดังกล่าวจำนวนมากเกิดขึ้นกลางแจ้ง ซึ่งต้องใช้เลนส์และการกำหนดค่ากล้องที่แตกต่างกัน ภาพความละเอียดสูงของเป้าหมายที่กำลังติดตามจึงสามารถให้ข้อมูลได้มากกว่าแค่ข้อมูลการเคลื่อนไหว ภาพที่ได้จากระบบติดตามระยะไกลของ NASA ในการปล่อยยานอวกาศชาเลนเจอร์ที่ประสบอุบัติเหตุร้ายแรงได้ให้หลักฐานสำคัญเกี่ยวกับสาเหตุของอุบัติเหตุ ระบบติดตามด้วยแสงยังใช้เพื่อระบุยานอวกาศและเศษซากอวกาศที่รู้จัก แม้ว่าจะมีข้อเสียเปรียบเมื่อเทียบกับเรดาร์ตรงที่วัตถุต้องสะท้อนหรือปล่อยแสงเพียงพอ[ 39 ]
โดยทั่วไป ระบบติดตามด้วยแสงจะประกอบด้วยระบบย่อยสามส่วน ได้แก่ ระบบสร้างภาพด้วยแสง แท่นติดตามเชิงกล และคอมพิวเตอร์ติดตาม
ระบบสร้างภาพด้วยแสงมีหน้าที่แปลงแสงจากบริเวณเป้าหมายให้เป็นภาพดิจิทัลที่คอมพิวเตอร์ติดตามสามารถประมวลผลได้ ขึ้นอยู่กับการออกแบบของระบบติดตามด้วยแสง ระบบสร้างภาพด้วยแสงอาจแตกต่างกันไป ตั้งแต่แบบง่ายๆ เหมือนกล้องดิจิทัลมาตรฐาน ไปจนถึงแบบเฉพาะทางอย่างกล้องโทรทรรศน์ดาราศาสตร์บนยอดเขา ข้อกำหนดของระบบสร้างภาพด้วยแสงจะเป็นตัวกำหนดขีดจำกัดสูงสุดของระยะการทำงานที่มีประสิทธิภาพของระบบติดตาม
แท่นติดตามเชิงกลยึดระบบภาพด้วยแสงไว้ และมีหน้าที่ควบคุมระบบภาพด้วยแสงให้ชี้ไปยังเป้าหมายที่กำลังติดตามอยู่เสมอ พลวัตของแท่นติดตามเชิงกลที่ทำงานร่วมกับระบบภาพด้วยแสงจะเป็นตัวกำหนดความสามารถของระบบติดตามในการรักษาการล็อกเป้าหมายที่เปลี่ยนแปลงความเร็วอย่างรวดเร็ว
คอมพิวเตอร์ติดตามมีหน้าที่ในการจับภาพจากระบบถ่ายภาพด้วยแสง วิเคราะห์ภาพเพื่อแยกตำแหน่งเป้าหมาย และควบคุมแท่นติดตามเชิงกลให้ติดตามเป้าหมาย มีความท้าทายหลายประการ ประการแรก คอมพิวเตอร์ติดตามต้องสามารถจับภาพได้ในอัตราเฟรมที่ค่อนข้างสูง ซึ่งเป็นข้อกำหนดเกี่ยวกับแบนด์วิดท์ของฮาร์ดแวร์จับภาพ ประการที่สอง ซอฟต์แวร์ประมวลผลภาพต้องสามารถแยกภาพเป้าหมายออกจากพื้นหลังและคำนวณตำแหน่งได้ มีอัลกอริธึมการประมวลผลภาพในตำราหลายตัวที่ออกแบบมาสำหรับงานนี้ ปัญหานี้สามารถลดความซับซ้อนลงได้หากระบบติดตามสามารถคาดหวังลักษณะเฉพาะบางอย่างที่เหมือนกันในเป้าหมายทั้งหมดที่จะติดตาม ปัญหาต่อไปคือการควบคุมแท่นติดตามให้ติดตามเป้าหมาย นี่เป็นปัญหาการออกแบบระบบควบคุมทั่วไปมากกว่าความท้าทาย ซึ่งเกี่ยวข้องกับการสร้างแบบจำลองพลวัตของระบบและการออกแบบตัวควบคุมเพื่อควบคุมมัน อย่างไรก็ตาม นี่จะกลายเป็นความท้าทายหากแท่นติดตามที่ระบบต้องทำงานด้วยไม่ได้ออกแบบมาสำหรับเวลาจริง
ซอฟต์แวร์ที่ใช้ในการทำงานของระบบเหล่านี้ได้รับการปรับแต่งให้เหมาะสมกับส่วนประกอบฮาร์ดแวร์ที่เกี่ยวข้อง ตัวอย่างหนึ่งของซอฟต์แวร์ดังกล่าวคือ OpticTracker ซึ่งควบคุมกล้องโทรทรรศน์แบบคอมพิวเตอร์เพื่อติดตามวัตถุที่เคลื่อนที่ในระยะไกล เช่น เครื่องบินและดาวเทียม อีกทางเลือกหนึ่งคือซอฟต์แวร์ SimiShape ซึ่งสามารถใช้งานแบบไฮบริดร่วมกับเครื่องหมายได้เช่นกัน
กล้อง RGB-D
กล้อง RGB-D เช่นKinectสามารถบันทึกทั้งภาพสีและภาพความลึกได้ โดยการรวมภาพทั้งสองเข้าด้วยกัน จะสามารถบันทึกภาพสามมิติแบบสี ( voxel)ซึ่งช่วยให้สามารถบันทึกการเคลื่อนไหวของมนุษย์และพื้นผิวของมนุษย์ในแบบสามมิติได้แบบเรียลไทม์
เนื่องจากการใช้กล้องมุมมองเดียว การเคลื่อนไหวที่บันทึกได้จึงมักมีสัญญาณรบกวน เทคนิคการเรียนรู้ของเครื่องได้รับการเสนอเพื่อสร้างการเคลื่อนไหวที่มีสัญญาณรบกวนดังกล่าวขึ้นใหม่โดยอัตโนมัติให้มีคุณภาพสูงขึ้น โดยใช้วิธีการต่างๆ เช่นการเรียนรู้แบบขี้เกียจ[ 40 ]และแบบจำลองเกาส์เซียน[ 41 ]วิธีการดังกล่าวสร้างการเคลื่อนไหวที่แม่นยำเพียงพอสำหรับการใช้งานที่สำคัญ เช่น การประเมินตามหลักการยศาสตร์[ 42 ]
ระบบที่ไม่ใช้แสง
ระบบเฉื่อย
เทคโนโลยี การจับภาพการเคลื่อนไหวแบบเฉื่อย[ 43 ]นั้นใช้เซ็นเซอร์เฉื่อยขนาดเล็ก โมเดลทางชีวกลศาสตร์ และอัลกอริ ธึมการรวม เซ็นเซอร์[ 44 ]ข้อมูลการเคลื่อนไหวของเซ็นเซอร์เฉื่อย ( ระบบนำทางแบบเฉื่อย ) มักจะถูกส่งแบบไร้สายไปยังคอมพิวเตอร์ ซึ่งจะทำการบันทึกหรือดูการเคลื่อนไหว ระบบเฉื่อยส่วนใหญ่ใช้หน่วยวัดความเฉื่อย (IMU) ที่ประกอบด้วยไจโรสโคป แมกนีโตมิเตอร์ และแอคเซลเลอโรมิเตอร์ เพื่อวัดอัตราการหมุน การหมุนเหล่านี้จะถูกแปลงเป็นโครงกระดูกในซอฟต์แวร์ เช่นเดียวกับเครื่องหมายออปติคอล ยิ่งมีเซ็นเซอร์ IMU มากเท่าไหร่ ข้อมูลก็จะยิ่งเป็นธรรมชาติมากขึ้นเท่านั้น ไม่จำเป็นต้องใช้กล้อง ตัวส่งสัญญาณ หรือเครื่องหมายภายนอกสำหรับการเคลื่อนไหวสัมพัทธ์ แม้ว่าจะจำเป็นต้องใช้เพื่อให้ได้ตำแหน่งสัมบูรณ์ของผู้ใช้หากต้องการ ระบบจับภาพการเคลื่อนไหวแบบเฉื่อยจะจับภาพการเคลื่อนไหวของร่างกายมนุษย์ที่มีอิสระหกองศาได้แบบเรียลไทม์ และสามารถให้ข้อมูลทิศทางที่จำกัดได้หากรวมเซ็นเซอร์แบริ่งแม่เหล็กไว้ด้วย แม้ว่าจะมีความละเอียดต่ำกว่ามากและไวต่อสัญญาณรบกวนทางแม่เหล็กไฟฟ้า ข้อดีของการใช้ระบบเฉื่อย ได้แก่ การจับภาพในสภาพแวดล้อมที่หลากหลาย รวมถึงพื้นที่แคบๆ ไม่ต้องแก้ปัญหา พกพาได้ และพื้นที่จับภาพขนาดใหญ่ ข้อเสีย ได้แก่ ความแม่นยำในการระบุตำแหน่งที่ต่ำกว่า และการเบี่ยงเบนของตำแหน่งซึ่งอาจสะสมมากขึ้นเมื่อเวลาผ่านไป ระบบเหล่านี้คล้ายกับตัวควบคุม Wiiแต่มีความไวมากกว่า มีความละเอียดและอัตราการอัปเดตที่สูงกว่า สามารถวัดทิศทางไปยังพื้นได้อย่างแม่นยำภายในหนึ่งองศา ความนิยมของระบบเฉื่อยกำลังเพิ่มขึ้นในหมู่นักพัฒนาเกม[ 10 ]ส่วนใหญ่เป็นเพราะการตั้งค่าที่รวดเร็วและง่ายดาย ส่งผลให้กระบวนการทำงานรวดเร็ว ปัจจุบันมีชุดสูทหลากหลายรุ่นจากผู้ผลิตหลายราย และราคาเริ่มต้นตั้งแต่ 1,000 ถึง 80,000 ดอลลาร์สหรัฐ
การเคลื่อนที่เชิงกล
ระบบจับการเคลื่อนไหวเชิงกลจะติดตามมุมข้อต่อของร่างกายโดยตรง และมักถูกเรียกว่าระบบจับการเคลื่อนไหวแบบโครงกระดูกภายนอก เนื่องจากวิธีการติดเซ็นเซอร์เข้ากับร่างกาย ผู้แสดงจะติดโครงสร้างคล้ายโครงกระดูกเข้ากับร่างกาย และเมื่อพวกเขาเคลื่อนไหว ชิ้นส่วนเชิงกลที่เชื่อมต่อกันก็จะเคลื่อนไหวตามไปด้วย ทำให้วัดการเคลื่อนไหวสัมพัทธ์ของผู้แสดงได้ ระบบจับการเคลื่อนไหวเชิงกลเป็นระบบแบบเรียลไทม์ ต้นทุนค่อนข้างต่ำ ปราศจากการบดบัง และเป็นแบบไร้สาย (ไม่ต้องต่อสาย) ที่มีปริมาณการจับภาพไม่จำกัด โดยทั่วไปแล้ว จะเป็นโครงสร้างแข็งที่ทำจากแท่งโลหะหรือพลาสติกตรงที่มีข้อต่อเชื่อมต่อกันด้วยโพเทนชิโอมิเตอร์ที่เชื่อมต่อกับข้อต่อของร่างกาย ชุดเหล่านี้มักมีราคาอยู่ในช่วง 25,000 ถึง 75,000 ดอลลาร์สหรัฐฯ บวกกับระบบกำหนดตำแหน่งสัมบูรณ์ภายนอก ชุดบางชุดให้การตอบสนองแรงหรือการสัมผัส แบบ จำกัด
ระบบแม่เหล็ก
ระบบแม่เหล็กคำนวณตำแหน่งและทิศทางโดยใช้ฟลักซ์แม่เหล็กสัมพัทธ์ของขดลวดตั้งฉากสามขดบนทั้งตัวส่งและตัวรับแต่ละตัว[ 45 ]ความเข้มสัมพัทธ์ของแรงดันไฟฟ้าหรือกระแสไฟฟ้าของขดลวดทั้งสามทำให้ระบบเหล่านี้สามารถคำนวณทั้งระยะทางและทิศทางโดยการทำแผนที่ปริมาตรการติดตามอย่างละเอียด เอาต์พุตของเซ็นเซอร์มีหกองศาอิสระ (6DOF) ซึ่งให้ผลลัพธ์ที่เป็นประโยชน์โดยใช้จำนวนเครื่องหมายเพียงสองในสามของจำนวนเครื่องหมายที่จำเป็นในระบบออปติคอล คือ หนึ่งตัวที่แขนส่วนบนและหนึ่งตัวที่แขนส่วนล่างสำหรับตำแหน่งและมุมของข้อศอกเครื่องหมายเหล่านี้มีความอ่อนไหวต่อการรบกวนทางแม่เหล็กและไฟฟ้าจากวัตถุโลหะในสภาพแวดล้อม เช่น เหล็กเส้น (เหล็กเสริมในคอนกรีต) หรือสายไฟ ซึ่งส่งผลต่อสนามแม่เหล็ก และแหล่งกำเนิดไฟฟ้า เช่น จอภาพ ไฟ สายเคเบิล และคอมพิวเตอร์
การตอบสนองของเซ็นเซอร์ไม่เป็นเชิงเส้น โดยเฉพาะอย่างยิ่งบริเวณขอบของพื้นที่จับภาพ การเดินสายจากเซ็นเซอร์มีแนวโน้มที่จะขัดขวางการเคลื่อนไหวที่มีประสิทธิภาพสูงสุด[ 45 ]ด้วยระบบแม่เหล็ก สามารถตรวจสอบผลลัพธ์ของเซสชันการจับภาพการเคลื่อนไหวแบบเรียลไทม์ได้[ 45 ]ปริมาตรการจับภาพสำหรับระบบแม่เหล็กมีขนาดเล็กกว่าระบบออปติคอลอย่างมาก ในระบบแม่เหล็ก มีความแตกต่างระหว่างระบบกระแสสลับ (AC) และ ระบบ กระแสตรง (DC): ระบบ DC ใช้พัลส์สี่เหลี่ยม ระบบ AC ใช้คลื่นไซน์
เซ็นเซอร์วัดการยืดตัว
เซ็นเซอร์แบบยืดหยุ่นเป็นตัวเก็บประจุแบบแผ่นขนานที่มีความยืดหยุ่น ซึ่งวัดการยืด การงอ การเฉือน หรือแรงกด และโดยทั่วไปผลิตจากซิลิโคน เมื่อเซ็นเซอร์ยืดหรือบีบ ค่าความจุจะเปลี่ยนแปลง ข้อมูลนี้สามารถส่งผ่านบลูทูธหรือป้อนข้อมูลโดยตรง และใช้ในการตรวจจับการเปลี่ยนแปลงเล็กน้อยในการเคลื่อนไหวของร่างกาย เซ็นเซอร์แบบยืดหยุ่นไม่ได้รับผลกระทบจากการรบกวนทางแม่เหล็กและปราศจากสิ่งกีดขวาง คุณสมบัติที่ยืดหยุ่นได้ของเซ็นเซอร์ยังหมายความว่าเซ็นเซอร์จะไม่เกิดการคลาดเคลื่อนของตำแหน่ง ซึ่งเป็นเรื่องปกติในระบบเฉื่อย ในทางกลับกัน เซ็นเซอร์แบบยืดหยุ่นนั้นมีอัตราส่วนสัญญาณต่อสัญญาณรบกวนค่อนข้าง ต่ำ เนื่องจากคุณสมบัติของวัสดุพื้นฐานและวัสดุตัวนำ จึงจำเป็นต้องมีการกรองหรือการเรียนรู้ของเครื่องจักรเพื่อให้สามารถใช้งานได้สำหรับการจับภาพการเคลื่อนไหว โซลูชันเหล่านี้ส่งผลให้มีความหน่วง สูงกว่า เมื่อเทียบกับเซ็นเซอร์ทางเลือกอื่นๆ
เทคนิคที่เกี่ยวข้อง
การจับภาพการเคลื่อนไหวของใบหน้า
ผู้ผลิตฮาร์ดแวร์จับการเคลื่อนไหวแบบดั้งเดิมส่วนใหญ่จัดหาอุปกรณ์จับใบหน้าความละเอียดต่ำมาให้ โดยใช้เครื่องหมายตั้งแต่ 32 ถึง 300 จุด ไม่ว่าจะเป็นระบบเครื่องหมายแบบแอคทีฟหรือแบบพาสซีฟ โซลูชันเหล่านี้ล้วนมีข้อจำกัดในเรื่องเวลาที่ใช้ในการติดเครื่องหมาย ปรับเทียบตำแหน่ง และประมวลผลข้อมูล ในที่สุดแล้ว เทคโนโลยีก็จำกัดความละเอียดและคุณภาพของผลลัพธ์ดิบด้วยเช่นกัน
การจับภาพการเคลื่อนไหวใบหน้าที่มีความแม่นยำสูง หรือที่เรียกว่าการจับภาพการแสดง (performance capture ) คือเทคโนโลยีที่มีความแม่นยำสูงระดับถัดไป และถูกนำมาใช้เพื่อบันทึกการเคลื่อนไหวที่ซับซ้อนมากขึ้นบนใบหน้าของมนุษย์ เพื่อจับภาพอารมณ์ในระดับที่สูงขึ้น ปัจจุบัน การจับภาพใบหน้าแบ่งออกเป็นหลายกลุ่ม ได้แก่ ข้อมูลการจับภาพการเคลื่อนไหวแบบดั้งเดิม โซลูชันที่ใช้การผสมผสานรูปร่าง (blend-shape) การจับภาพโครงสร้างทางกายภาพที่แท้จริงของใบหน้าของนักแสดง และระบบที่เป็นกรรมสิทธิ์เฉพาะ
เทคนิคหลักสองอย่างคือ ระบบแบบอยู่กับที่ที่มีกล้องหลายตัวจับภาพการแสดงออกทางสีหน้าจากหลายมุม และใช้ซอฟต์แวร์ เช่น โปรแกรมแก้ปัญหาตาข่ายสเตอริโอจากOpenCVเพื่อสร้างตาข่ายพื้นผิว 3 มิติ หรือใช้ชุดไฟเพื่อคำนวณเวกเตอร์ตั้งฉากของพื้นผิวจากความแปรปรวนของความสว่างเมื่อแหล่งกำเนิดแสง ตำแหน่งกล้อง หรือทั้งสองอย่างเปลี่ยนแปลง เทคนิคเหล่านี้มักมีข้อจำกัดในด้านความละเอียดของรายละเอียดโดยความละเอียดของกล้อง ขนาดของวัตถุที่ปรากฏ และจำนวนกล้อง หากใบหน้าของผู้ใช้เป็น 50 เปอร์เซ็นต์ของพื้นที่ทำงานของกล้อง และกล้องมีความละเอียดระดับเมกะพิกเซล ก็สามารถตรวจจับการเคลื่อนไหวของใบหน้าในระดับต่ำกว่ามิลลิเมตรได้โดยการเปรียบเทียบเฟรม งานวิจัยล่าสุดมุ่งเน้นไปที่การเพิ่มอัตราเฟรมและการใช้การไหลของแสง (optical flow) เพื่อให้สามารถกำหนดเป้าหมายการเคลื่อนไหวไปยังใบหน้าที่สร้างขึ้นด้วยคอมพิวเตอร์อื่นๆ แทนที่จะสร้างตาข่าย 3 มิติของนักแสดงและการแสดงออกทางสีหน้าเพียงอย่างเดียว
การกำหนดตำแหน่งด้วยคลื่นความถี่วิทยุ
ระบบกำหนดตำแหน่งด้วยคลื่นความถี่วิทยุกำลังมีความเป็นไปได้มากขึ้นเนื่องจากอุปกรณ์คลื่นความถี่วิทยุที่มีความถี่สูงขึ้นช่วยให้มีความแม่นยำมากกว่าเทคโนโลยีแบบเก่า เช่นเรดาร์ความเร็วของแสงอยู่ที่ 30 เซนติเมตรต่อนาโนวินาที (หนึ่งในพันล้านของวินาที) ดังนั้นสัญญาณคลื่นความถี่วิทยุ 10 กิกะเฮิร์ตซ์ (พันล้านรอบต่อวินาที) จึงให้ความแม่นยำประมาณ 3 เซนติเมตร การวัดแอมพลิจูดที่ความยาวคลื่นหนึ่งในสี่ส่วน จะช่วยปรับปรุงความละเอียดให้เหลือประมาณ 8 มิลลิเมตร เพื่อให้ได้ความละเอียดเท่ากับระบบออปติคอล จำเป็นต้องใช้ความถี่ 50 กิกะเฮิร์ตซ์ขึ้นไป ซึ่งขึ้นอยู่กับแนวสายตาและถูกปิดกั้นได้ง่ายเช่นเดียวกับระบบออปติคอล ปัญหาเพิ่มเติมอาจเกิดจากสัญญาณสะท้อนหลายเส้นทางและการแผ่รังสีซ้ำ แต่เทคโนโลยีเหล่านี้จะเหมาะสำหรับการติดตามปริมาตรขนาดใหญ่ด้วยความแม่นยำที่เหมาะสม เนื่องจากความละเอียดที่ต้องการในระยะ 100 เมตรนั้นไม่น่าจะสูงมากนัก นักวิทยาศาสตร์หลายคนเชื่อว่าคลื่นความถี่วิทยุจะไม่สามารถให้ความแม่นยำที่จำเป็นสำหรับการจับภาพการเคลื่อนไหวได้
นักวิจัยที่สถาบันเทคโนโลยีแมสซาชูเซตส์กล่าวในปี 2015 ว่าพวกเขาได้สร้างระบบที่ติดตามการเคลื่อนไหวโดยใช้สัญญาณความถี่วิทยุ[ 46 ] [ 47 ]
ระบบที่ไม่ใช่แบบดั้งเดิม
มีการพัฒนาแนวทางทางเลือกขึ้น โดยให้ผู้แสดงมีพื้นที่เดินไม่จำกัดโดยใช้ทรงกลมหมุนได้ คล้ายกับลูกบอลสำหรับหนูแฮมสเตอร์ซึ่งมีเซ็นเซอร์ภายในบันทึกการเคลื่อนไหวเชิงมุม ทำให้ไม่จำเป็นต้องใช้กล้องภายนอกและอุปกรณ์อื่นๆ แม้ว่าเทคโนโลยีนี้อาจนำไปสู่ต้นทุนที่ต่ำลงมากสำหรับการจับภาพการเคลื่อนไหว แต่ทรงกลมพื้นฐานนั้นสามารถบันทึกได้เพียงทิศทางเดียวอย่างต่อเนื่องเท่านั้น หากต้องการบันทึกการเคลื่อนไหวที่มากกว่านั้น จำเป็นต้องใช้เซ็นเซอร์เพิ่มเติมที่สวมใส่บนตัวผู้แสดง
อีกทางเลือกหนึ่งคือการใช้แพลตฟอร์มการเคลื่อนไหว 6DOF (องศาอิสระ) ที่มีลู่วิ่งแบบรอบทิศทางในตัว พร้อมระบบจับภาพการเคลื่อนไหวด้วยแสงความละเอียดสูง เพื่อให้ได้ผลลัพธ์เดียวกัน บุคคลที่ถูกจับภาพสามารถเดินในพื้นที่ได้ไม่จำกัด และเคลื่อนที่ไปบนพื้นผิวที่ไม่เรียบต่างๆ ได้ การใช้งานรวมถึงการฟื้นฟูทางการแพทย์เพื่อฝึกการทรงตัว การวิจัยทางชีวกลศาสตร์ และความเป็นจริงเสมือน
การประมาณท่าทาง 3 มิติ
ในการประมาณท่าทาง 3 มิติท่าทางของนักแสดงสามารถสร้างขึ้นใหม่ได้จากภาพหรือแผนที่ความลึก[ 48 ]
ดูเพิ่มเติม
- ฐานข้อมูลแอนิเมชั่น
- การติดตามนิ้วมือ
- การจดจำท่าทาง
- จลนศาสตร์ผกผัน (วิธีการสร้างเอฟเฟ็กต์ CGI ให้สมจริงอีกแบบ)
- คิเนคท์ (สร้างโดยบริษัท ไมโครซอฟต์)
- รายชื่อรูปแบบไฟล์การเคลื่อนไหวและท่าทาง
- โมชั่นแกรม
- การแสดงแบบโมชั่นแคปเจอร์
- ภาพประวัติการเคลื่อนไหว
- การติดตามวิดีโอ
- การติดตามตำแหน่ง VR
ลิงก์ภายนอก
- ความน่าหลงใหลในการจับภาพการเคลื่อนไหว เก็บถาวรเมื่อ 2016-03-04 ที่Wayback Machineบทนำเกี่ยวกับประวัติศาสตร์ของเทคโนโลยีการจับภาพการเคลื่อนไหว