กลับไปหน้าบทความ

อ่าน 16 นาที

การจับภาพการเคลื่อนไหว

เปลี่ยนทางจากคำที่เกี่ยวข้อง/เปลี่ยนเส้นทางไปยังส่วนต่างๆ

การจับภาพการเคลื่อนไหว (บางครั้งเรียกว่าmocapหรือmo-capย่อๆ) คือกระบวนการบันทึกการเคลื่อนไหวของวัตถุหรือบุคคลที่มีความละเอียดสูงลงในระบบคอมพิวเตอร์...

การจับภาพการเคลื่อนไหว

( เรียนรู้วิธีและเวลาในการลบข้อความนี้ )
การจับภาพการเคลื่อนไหวของ มือขวาของนักเปียโนสองคน ขณะเล่นเพลงเดียวกัน (สโลว์โมชั่น ไม่มีเสียง) [ 1 ]
บันทึกลำดับการเดินซ้ำสองครั้งโดยใช้การจับภาพการเคลื่อนไหว[ 2 ]

การจับภาพการเคลื่อนไหว (บางครั้งเรียกว่าmocapหรือmo-capย่อๆ) คือกระบวนการบันทึกการเคลื่อนไหวของวัตถุหรือบุคคลที่มีความละเอียดสูงลงในระบบคอมพิวเตอร์ ใช้ในด้านการทหารความบันเทิงกีฬาการแพทย์ และสำหรับการตรวจสอบความถูกต้องของคอมพิวเตอร์วิชั่น[ 3 ]และหุ่นยนต์[ 4 ]

ในภาพยนตร์ รายการโทรทัศน์ และวิดีโอเกม การจับภาพเคลื่อนไหวหมายถึงการบันทึกการกระทำของนักแสดงที่เป็นมนุษย์และใช้ข้อมูลนั้นเพื่อสร้างภาพเคลื่อนไหวของ โมเดล ตัวละครดิจิทัลในแอนิเมชั่นคอมพิวเตอร์ 2 มิติหรือ 3 มิติ[ 5 ] [ 6 ] [ 7 ]เมื่อรวมถึงใบหน้าและนิ้วมือ หรือจับภาพการแสดงออกหรือเสียงที่ละเอียดอ่อน มักจะเรียกว่าการจับการแสดง [ 8 ] ในหลายสาขา การจับภาพเคลื่อนไหวบางครั้งเรียกว่าการติดตามการเคลื่อนไหวแต่ในการสร้างภาพยนตร์และเกม การติดตามการเคลื่อนไหวมักจะหมายถึงการจับคู่การเคลื่อนไหวมากกว่า

ในการบันทึกการเคลื่อนไหว การเคลื่อนไหวของนักแสดงหนึ่งคนหรือมากกว่านั้นจะถูกสุ่มตัวอย่างหลายครั้งต่อวินาที ในขณะที่เทคนิคในยุคแรกใช้ภาพจากกล้องหลายตัวเพื่อคำนวณตำแหน่ง 3 มิติ [ 9 ]จุดประสงค์ของการบันทึกการเคลื่อนไหวมักจะเป็นการบันทึกเฉพาะการเคลื่อนไหวของนักแสดง ไม่ใช่ลักษณะที่ปรากฏข้อมูลแอนิเมชัน นี้ จะถูกแมปไปยังโมเดล 3 มิติ เพื่อให้โมเดลทำการกระทำเช่นเดียวกับนักแสดง กระบวนการนี้อาจแตกต่างจากเทคนิคโรโตสโคปปิ้งแบบ เก่า

การเคลื่อนไหวของกล้องยังสามารถจับภาพการเคลื่อนไหวได้ โดยกล้องเสมือนในฉากจะแพน เอียง หรือเคลื่อนที่ไปรอบๆ เวทีตามที่ผู้ควบคุมกล้องควบคุมขณะที่นักแสดงกำลังแสดง ในขณะเดียวกัน ระบบจับภาพการเคลื่อนไหวสามารถจับภาพทั้งกล้องและอุปกรณ์ประกอบฉาก รวมถึงการแสดงของนักแสดงได้ด้วย これにより ตัวละคร ภาพ และฉากที่สร้างขึ้นด้วยคอมพิวเตอร์จึงมีมุมมองเดียวกันกับภาพวิดีโอจากกล้อง คอมพิวเตอร์จะประมวลผลข้อมูลและแสดงการเคลื่อนไหวของนักแสดง โดยให้ตำแหน่งกล้องที่ต้องการในแง่ของวัตถุในฉาก การดึงข้อมูลการเคลื่อนไหวของกล้องจากฟุตเทจที่บันทึกไว้ในภายหลังเรียกว่าการจับคู่การเคลื่อนไหวหรือ การ ติดตามกล้อง

นักแสดงเสมือนจริงคนแรกที่สร้างขึ้นโดยใช้เทคโนโลยีจับการเคลื่อนไหว (motion-capture) ถูกสร้างขึ้นในปี 1993 โดย Didier Pourcel และทีมงานของเขาที่ Gribouille โดยเกี่ยวข้องกับการ "โคลน" ร่างกายและใบหน้าของนักแสดงตลกชาวฝรั่งเศส Richard Bohringer แล้วนำมาเคลื่อนไหวด้วยเครื่องมือจับการเคลื่อนไหวที่ยังอยู่ในช่วงเริ่มต้นของการพัฒนา

ข้อดี

เทคโนโลยีจับการเคลื่อนไหว (Motion capture) มีข้อดีหลายประการเหนือกว่าการสร้างแอนิเมชั่นด้วยคอมพิวเตอร์ แบบดั้งเดิม ของโมเดล 3 มิติ:

  • สามารถรับผลลัพธ์ที่มีความหน่วงต่ำและใกล้เคียงกับเวลาจริงได้ ในแอปพลิเคชันด้านความบันเทิง สิ่งนี้สามารถลดต้นทุนของการสร้างแอนิเมชั่น แบบใช้คีย์เฟรม ได้[ 10 ] เทคนิค Hand Overเป็นตัวอย่างหนึ่งของเรื่องนี้
  • ปริมาณงานไม่แปรผันตามความซับซ้อนหรือความยาวของการแสดงมากเท่ากับการใช้เทคนิคแบบดั้งเดิม วิธีนี้ช่วยให้สามารถทดสอบได้หลายครั้งด้วยสไตล์หรือวิธีการนำเสนอที่แตกต่างกัน ส่งผลให้ได้บุคลิกที่โดดเด่นซึ่งขึ้นอยู่กับความสามารถของนักแสดงเท่านั้น
  • การเคลื่อนไหวที่ซับซ้อนและปฏิสัมพันธ์ทางกายภาพที่สมจริง เช่นการเคลื่อนไหวรองน้ำหนัก และการแลกเปลี่ยนแรง สามารถสร้างขึ้นใหม่ได้อย่างง่ายดายในลักษณะที่ถูกต้องตามหลักฟิสิกส์[ 11 ]
  • ปริมาณข้อมูลแอนิเมชันที่สามารถผลิตได้ภายในเวลาที่กำหนดมีขนาดใหญ่มากเมื่อเทียบกับเทคนิคแอนิเมชันแบบดั้งเดิม ซึ่งส่งผลให้ประหยัดต้นทุนและสามารถทำตามกำหนดเวลาการผลิตได้[ 12 ]
  • มีศักยภาพที่ซอฟต์แวร์ฟรีและโซลูชันจากบุคคลที่สามจะช่วยลดต้นทุนได้

ข้อเสีย

  • จำเป็นต้องใช้ฮาร์ดแวร์เฉพาะและโปรแกรมซอฟต์แวร์พิเศษเพื่อรวบรวมและประมวลผลข้อมูล
  • ค่าใช้จ่ายด้านซอฟต์แวร์ อุปกรณ์ และบุคลากรที่จำเป็น อาจสูงเกินไปสำหรับงานผลิตขนาดเล็ก
  • The capture system may have specific requirements for the space in which it is operated, depending on camera field of view or magnetic distortion.
  • When problems occur, it is easier to shoot the scene again rather than trying to manipulate the data. Only a few systems allow real-time viewing of the data to decide if the take needs to be redone.
  • The initial results are limited to what can be performed within the capture volume without extra editing of the data.
  • Movement that does not follow the laws of physics cannot be captured.
  • Traditional animation techniques, such as added emphasis on anticipation and follow through, secondary motion or manipulating the shape of the character, as with squash and stretch animation techniques, must be added later.
  • If the computer model has different proportions from the capture subject, artifacts may occur. For example, if a cartoon character has large, oversized hands, these may intersect the character's body if the human performer is not careful with their physical motion.

Applications

There are many applications of motion capture. The most common are for video games, movies, and movement capture, however there is a research application for this technology being used at Purdue University in robotics development.

Video games

วิดีโอเกมมักใช้การจับภาพเคลื่อนไหวเพื่อสร้างแอนิเมชั่นให้กับนักกีฬานักศิลปะการต่อสู้และตัวละครอื่นๆ ในเกม[ 13 ] [ 14 ]ย้อนกลับไปในปี 1988 รูปแบบแรกของการจับภาพเคลื่อนไหวถูกนำมาใช้เพื่อสร้างแอนิเมชั่นให้กับตัวละครผู้เล่น2 มิติ ใน วิดีโอเกม VixenของMartech (แสดงโดยนางแบบCorinne Russell ) [ 15 ]และเกมต่อสู้ แบบอาร์เคด 2 มิติ Last Apostle Puppet ShowของMagical Company (เพื่อสร้างแอนิเมชั่นให้กับสไปรท์ ดิจิทัล ) [ 16 ]ต่อมาการจับภาพเคลื่อนไหวถูกนำมาใช้เพื่อสร้างแอนิเมชั่นให้กับ โมเดลตัวละคร 3 มิติในเกมอาร์เคดVirtua Fighter (1993) ของ Sega Model [ 17 ] [ 18 ]และVirtua Fighter 2 (1994) [ 19 ]ในช่วงกลางปี ​​1995 ผู้พัฒนา/ผู้จัดจำหน่ายAcclaim Entertainmentได้สร้างสตูดิโอจับภาพเคลื่อนไหวภายในบริษัทขึ้นในสำนักงานใหญ่ของตน[ 14 ] เกมอาร์เคด Soul EdgeของNamco ในปี 1995 ใช้เครื่องหมายระบบออปติคอลแบบพาสซีฟสำหรับการจับภาพการเคลื่อนไหว[ 20 ]การจับภาพการเคลื่อนไหวยังใช้นักกีฬาในเกมแอนิเมชั่น เช่นCrash BandicootของNaughty Dog , Spyro the DragonของInsomniac GamesและDinosaur PlanetของRare

หุ่นยนต์

การระบุตำแหน่งภายในอาคารเป็นอีกหนึ่งการประยุกต์ใช้ระบบจับการเคลื่อนไหวด้วยแสง นักวิจัยด้านหุ่นยนต์มักใช้ระบบจับการเคลื่อนไหวเมื่อพัฒนาและประเมินอัลกอริธึมและฮาร์ดแวร์ด้านการควบคุม การประมาณค่า และการรับรู้ ในพื้นที่กลางแจ้ง สามารถบรรลุความแม่นยำระดับเซนติเมตรได้โดยใช้ระบบนำทางด้วยดาวเทียมทั่วโลก ( GNSS ) ร่วมกับระบบจลนศาสตร์แบบเรียลไทม์ ( RTK ) อย่างไรก็ตาม ความแม่นยำจะลดลงอย่างมากเมื่อไม่มีเส้นทางการมองเห็นไปยังดาวเทียม เช่น ในสภาพแวดล้อมภายในอาคาร ผู้จำหน่ายระบบจับการเคลื่อนไหวด้วยแสงเชิงพาณิชย์ส่วนใหญ่จัดหาไดรเวอร์โอเพนซอร์สที่เข้าถึงได้ง่ายซึ่งผสานรวมกับเฟรมเวิร์ก Robotic Operating System ( ROS ) ที่ได้รับความนิยม ทำให้ผู้วิจัยและนักพัฒนาสามารถทดสอบหุ่นยนต์ของตนได้อย่างมีประสิทธิภาพในระหว่างการพัฒนา

In the field of aerial robotics research, motion capture systems are widely used for positioning as well. Regulations on airspace usage limit how feasible outdoor experiments can be conducted with Unmanned Aerial Systems (UAS). Indoor tests can circumvent such restrictions. Many labs and institutions around the world have built indoor motion capture volumes for this purpose.

Purdue University houses the world's largest indoor motion capture system, inside the Purdue UAS Research and Test (PURT) facility. PURT is dedicated to UAS research, and provides tracking volume of 600,000 cubic feet using 60 motion capture cameras.[21] The optical motion capture system is able to track targets in its volume with millimeter accuracy, effectively providing the true position of targets — the "ground truth" baseline in research and development. Results derived from other sensors and algorithms can then be compared to the ground truth data to evaluate their performance.

Movies

Movies use motion capture for CGI effects, in some cases replacing traditional cel animation, and for completely CGI creatures, such as Gollum, The Mummy, King Kong, Davy Jones from Pirates of the Caribbean, the Na'vi from the film Avatar, and Clu from Tron: Legacy. The Great Goblin, the three Stone-trolls, many of the orcs and goblins in the 2012 film The Hobbit: An Unexpected Journey, and Smaug were created using motion capture.

In the 1990 movie Total Recall, the sequence where Arnold Schwarzenegger and other actors walk through an X-ray machine was shot using motion capture.[22]

The film Batman Forever (1995) used some motion capture for certain visual effects. Warner Bros. had acquired motion capture technology from arcade video game company Acclaim Entertainment for use in the film's production.[23] Acclaim's 1995 video game of the same name also used the same motion capture technology to animate the digitized sprite graphics.[24]

ภาพยนตร์เรื่องStar Wars: Episode I – The Phantom Menace ในปี 1999 เป็นภาพยนตร์เรื่องยาวเรื่องแรกที่มีตัวละครหลัก ( จาร์ จาร์ บิงค์สรับบทโดยอาห์เหม็ด เบสต์ ) ที่สร้างขึ้นโดยใช้เทคโนโลยีโมชั่นแคปเจอร์ ส่วนภาพยนตร์อินเดีย-อเมริกันเรื่อง Sinbad: Beyond the Veil of Mists ในปี 2000 เป็นภาพยนตร์เรื่องยาวเรื่องแรกที่สร้างขึ้นโดยใช้เทคโนโลยีโมชั่นแคปเจอร์เป็นหลัก แม้ว่าจะมีนักแอนิเมเตอร์ตัวละครหลายคนร่วมงานในภาพยนตร์เรื่องนี้ด้วย ซึ่งภาพยนตร์เรื่องนี้เข้าฉายในวงจำกัดมาก และ ภาพยนตร์เรื่อง Final Fantasy: The Spirits Within ในปี 2001 เป็นภาพยนตร์เรื่องแรกที่เข้าฉายในวงกว้างซึ่งสร้างโดยใช้เทคโนโลยีโมชั่นแคปเจอร์ แม้ว่ารายได้จากบ็อกซ์ออฟฟิศจะไม่ดีนัก แต่ผู้สนับสนุนเทคโนโลยีโมชั่นแคปเจอร์ก็ให้ความสนใจ

ภาพยนตร์ เรื่อง The Lord of the Rings: The Two Towersเป็นภาพยนตร์เรื่องแรกที่ใช้ระบบจับภาพเคลื่อนไหวแบบเรียลไทม์ วิธีนี้ถ่ายทอดการเคลื่อนไหวของนักแสดง Andy Serkisเข้าสู่ผิวหนังของ Gollum/Smeagol ที่สร้างด้วยคอมพิวเตอร์ในขณะที่กำลังแสดง [ 25 ]

Storymind Entertainment ซึ่งเป็นสตูดิโออิสระของยูเครนได้สร้างวิดีโอเกมยิงมุมมองบุคคลที่สามแนวนีโอ-นัวร์ ชื่อ My Eyes On Youโดยใช้การจับภาพเคลื่อนไหวเพื่อสร้างแอนิเมชั่นตัวละครหลัก Jordan Adalien รวมถึงตัวละครที่ไม่สามารถเล่นได้[ 26 ]

จากภาพยนตร์แอนิเม ชั่น ที่ได้รับการเสนอชื่อเข้าชิง รางวัลออสการ์สาขาภาพยนตร์แอนิเมชั่นยอดเยี่ยมประจำปี 2006 จำนวน 3 เรื่อง มีสองเรื่อง ( Monster HouseและHappy Feet ที่ได้รับรางวัล ) ที่ใช้เทคโนโลยีโมชั่นแคปเจอร์ ส่วนภาพยนตร์ แอนิเมชั่นเรื่อง Carsของดิสนีย์และ พิกซาร์นั้น มีเพียง เรื่องเดียวที่ไม่ใช้เทคโนโลยีนี้ ในฉากเครดิตท้ายเรื่องของ ภาพยนตร์ Ratatouilleของพิกซาร์มีตราประทับระบุว่าภาพยนตร์เรื่องนี้ "แอนิเมชั่นแท้ 100% – ไม่ใช้เทคโนโลยีโมชั่นแคปเจอร์!" 

นับตั้งแต่ปี 2001 การจับภาพเคลื่อนไหวถูกนำมาใช้อย่างกว้างขวางเพื่อจำลองหรือประมาณรูปลักษณ์ของการแสดงละครแบบไลฟ์แอ็กชั่น โดยใช้โมเดลตัวละครดิจิทัล ที่เกือบจะ เหมือนจริง ภาพยนตร์ เรื่อง The Polar Expressใช้การจับภาพเคลื่อนไหวเพื่อให้ทอม แฮงค์สแสดงเป็นตัวละครดิจิทัลที่แตกต่างกันหลายตัว (ซึ่งเขายังให้เสียงพากย์ด้วย) ภาพยนตร์ดัดแปลงจากมหากาพย์Beowulf ในปี 2007 ใช้ตัวละครดิจิทัลที่มีรูปลักษณ์ซึ่งอิงจากนักแสดงที่ให้การเคลื่อนไหวและเสียงพากย์บางส่วน ภาพยนตร์เรื่องAvatar ที่ได้รับความนิยมอย่างสูงของเจมส์ คาเมรอน ใช้เทคนิคนี้ในการสร้างชาวนาวีที่อาศัยอยู่ในแพนโดรา[ 27 ]บริษัท Walt Disneyได้ผลิต ภาพยนตร์เรื่อง A Christmas Carolของโรเบิร์ต เซเมคิสโดยใช้เทคนิคนี้ ในปี 2007 ดิสนีย์ได้ซื้อกิจการ ImageMovers Digital ของเซเมคิส (ซึ่งผลิตภาพยนตร์จับภาพเคลื่อนไหว) แต่ปิดตัวลงในปี 2011 หลังจากภาพยนตร์เรื่องMars Needs Momsล้ม เหลวในด้านรายได้จาก บ็อกซ์ออฟฟิศ

ซีรีส์โทรทัศน์ที่สร้างขึ้นโดยใช้แอนิเมชั่นโมชั่นแคปเจอร์ทั้งหมด ได้แก่Laflaqueในแคนาดา, SprookjesboomและCafe de Wereldในเนเธอร์แลนด์ และHeadcasesในสหราชอาณาจักร

การจับภาพการเคลื่อนไหว

ผู้ให้บริการ เทคโนโลยีเสมือนจริง (VR)และเทคโนโลยีความจริงเสริม (AR ) เช่นuSensและGestigonช่วยให้ผู้ใช้สามารถโต้ตอบกับเนื้อหาดิจิทัลได้แบบเรียลไทม์โดยการจับภาพการเคลื่อนไหวของมือ ซึ่งมีประโยชน์สำหรับการจำลองการฝึกอบรม การทดสอบการรับรู้ทางสายตา หรือการเดินชมเสมือนจริงในสภาพแวดล้อม 3 มิติ เทคโนโลยีการจับภาพการเคลื่อนไหวถูกนำมาใช้บ่อยครั้งใน ระบบ หุ่นเชิดดิจิทัลเพื่อควบคุมตัวละครที่สร้างขึ้นด้วยคอมพิวเตอร์แบบเรียลไทม์

การวิเคราะห์การเดินเป็นหนึ่งในแอปพลิเคชันของการจับภาพการเคลื่อนไหวในทางการแพทย์เทคนิคเหล่านี้ช่วยให้แพทย์สามารถประเมินการเคลื่อนไหวของมนุษย์ในหลายปัจจัยทางชีวกลศาสตร์ โดยมักจะส่งข้อมูลนี้แบบเรียลไทม์ไปยังซอฟต์แวร์วิเคราะห์

การใช้งานนวัตกรรมอย่างหนึ่งคือการตรวจจับท่าทาง ซึ่งสามารถเสริมศักยภาพให้กับผู้ป่วยในระหว่างการพักฟื้นหลังการผ่าตัดหรือการฟื้นฟูสมรรถภาพหลังการบาดเจ็บ แนวทางนี้ช่วยให้สามารถตรวจสอบอย่างต่อเนื่อง ให้คำแนะนำแบบเรียลไทม์ และจัดทำโปรแกรมเฉพาะบุคคลเพื่อเพิ่มผลลัพธ์ของผู้ป่วย[ 28 ]

คลินิกกายภาพบำบัดบางแห่งใช้การจับภาพการเคลื่อนไหวเพื่อวัดความก้าวหน้าของผู้ป่วยอย่างเป็นกลาง[ 29 ]

ระหว่างการถ่ายทำภาพยนตร์เรื่องAvatar ของเจมส์ คาเมรอน ฉากทั้งหมดที่เกี่ยวข้องกับการจับภาพการเคลื่อนไหวถูกกำกับแบบเรียลไทม์โดยใช้ ซอฟต์แวร์ Autodesk MotionBuilderเพื่อสร้างภาพบนหน้าจอ ซึ่งช่วยให้ผู้กำกับและนักแสดงเห็นว่าพวกเขาจะมีลักษณะอย่างไรในภาพยนตร์ ทำให้การกำกับภาพยนตร์ง่ายขึ้นและผู้ชมจะได้เห็นภาพที่ชัดเจนขึ้น วิธีนี้ทำให้ได้มุมมองและองศาที่ไม่สามารถทำได้จากการสร้างภาพเคลื่อนไหวล่วงหน้า คาเมรอนภูมิใจกับผลลัพธ์มากจนเชิญสตีเวน สปีลเบิร์กและจอร์จ ลูคัสมาชมระบบการทำงานในกองถ่าย

ในภาพยนตร์เรื่องThe Avengers ของมาร์เวล มาร์ค รัฟฟาโล ใช้เทคโนโลยีโมชั่นแคปเจอร์ในการรับบทเป็นฮัลค์แทนที่จะใช้เพียงแค่ภาพกราฟิกคอมพิวเตอร์ (CGI) เหมือนในภาพยนตร์เรื่องก่อนๆ ทำให้รัฟฟาโลเป็นนักแสดงคนแรกที่รับบทเป็นบรูซ แบนเนอร์ทั้งในร่างมนุษย์และร่างฮัลค์

ซอฟต์แวร์ FaceRigใช้เทคโนโลยีการจดจำใบหน้าจาก ULSee.Inc เพื่อแมปการแสดงออกทางใบหน้าของผู้เล่น และเทคโนโลยีการติดตามร่างกายจาก Perception Neuron เพื่อแมปการเคลื่อนไหวของร่างกายลงบนการเคลื่อนไหวของตัวละคร 2 มิติหรือ 3 มิติบนหน้าจอ[ 30 ] [ 31 ]

ระหว่างงานGame Developers Conference 2016 ที่ซานฟรานซิสโกEpic Gamesได้สาธิตการจับภาพการเคลื่อนไหวแบบเต็มตัวแบบสดๆ ใน Unreal Engine ฉากทั้งหมดจากเกมHellblade ที่กำลังจะวาง จำหน่ายเกี่ยวกับนักรบหญิงชื่อ Senua ได้รับการเรนเดอร์แบบเรียลไทม์ การกล่าวปาฐกถาหลัก[ 32 ]เป็นความร่วมมือระหว่างUnreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinemaและXsens

ในปี 2020 ยูซูรุ ฮานิวแชมป์โอลิมปิกสองสมัยในกีฬาสเก็ต ลีลา สำเร็จการศึกษาจากมหาวิทยาลัยวาเซดะในวิทยานิพนธ์ของเขา เขาได้วิเคราะห์การกระโดดของเขาโดยใช้ข้อมูลจากเซ็นเซอร์ 31 ตัวที่ติดอยู่บนร่างกายของเขา เขาได้ประเมินการใช้เทคโนโลยีเพื่อปรับปรุงระบบการให้คะแนนและเพื่อช่วยให้นักสเก็ตพัฒนาเทคนิคการกระโดดของพวกเขา[ 33 ] [ 34 ]ในเดือนมีนาคม 2021 บทสรุปของวิทยานิพนธ์ได้รับการตีพิมพ์ในวารสารวิชาการ[ 35 ]

วิธีการและระบบ

เครื่องหมายสะท้อนแสงที่ติดบนผิวหนังเพื่อระบุจุดสำคัญของร่างกายและการเคลื่อนไหวสามมิติของส่วนต่างๆ ของร่างกาย
การติดตามเงา

การติดตามการเคลื่อนไหวหรือการจับภาพการเคลื่อนไหวเริ่มต้นจาก การเป็นเครื่องมือวิเคราะห์ภาพถ่ายในงานวิจัยด้านชีวกลศาสตร์ในช่วงทศวรรษ 1970 และ 1980 และขยายไปสู่การศึกษา การฝึกอบรม กีฬา และล่าสุดคือแอนิเมชั่นคอมพิวเตอร์สำหรับโทรทัศน์ภาพยนตร์และวิดีโอเกมเมื่อเทคโนโลยีพัฒนาขึ้น ตั้งแต่ศตวรรษที่ 20 ผู้แสดงต้องสวมเครื่องหมายไว้ใกล้ข้อต่อแต่ละข้อเพื่อระบุการเคลื่อนไหวโดยใช้ตำแหน่งหรือมุมระหว่างเครื่องหมาย เครื่องหมายที่ใช้ได้แก่ เครื่องหมายเสียง เครื่องหมายเฉื่อย เครื่องหมายLEDเครื่องหมายแม่เหล็ก หรือเครื่องหมายสะท้อนแสง หรือการผสมผสานของเครื่องหมายเหล่านี้ โดยควรมีอัตราการติดตามอย่างน้อยสองเท่าของอัตราความถี่ของการเคลื่อนไหวที่ต้องการ ความละเอียดของระบบมีความสำคัญทั้งในด้านความละเอียดเชิงพื้นที่และความละเอียดเชิงเวลา เนื่องจากภาพเบลอจากการเคลื่อนไหวทำให้เกิดปัญหาเกือบเหมือนกับความละเอียดต่ำ ตั้งแต่ต้นศตวรรษที่ 21 และเนื่องจากการเติบโตอย่างรวดเร็วของเทคโนโลยี จึงได้มีการพัฒนาระบบใหม่ๆ ระบบที่ทันสมัยส่วนใหญ่สามารถแยกเงาของผู้แสดงออกจากพื้นหลังได้ จากนั้นจึงคำนวณมุมข้อต่อทั้งหมดโดยการปรับแบบจำลองทางคณิตศาสตร์ให้เข้ากับเงา สำหรับการเคลื่อนไหวที่คุณไม่สามารถมองเห็นการเปลี่ยนแปลงของรูปร่างได้ มีระบบไฮบริดที่สามารถทำได้ทั้งสองอย่าง (เครื่องหมายและรูปร่าง) แต่ใช้เครื่องหมายน้อยลงในด้านหุ่นยนต์ ระบบจับการเคลื่อนไหวบางระบบใช้การระบุตำแหน่งและการทำแผนที่พร้อมกัน[ 36 ]

ระบบออปติคอล

ระบบออปติคอลใช้ข้อมูลที่ได้จากเซ็นเซอร์ภาพเพื่อคำนวณตำแหน่งสามมิติของวัตถุโดยใช้กล้องสองตัวขึ้นไปที่ปรับเทียบเพื่อให้ได้ภาพฉายที่ซ้อนทับกัน การรับข้อมูลแบบดั้งเดิมจะใช้วิธีการติดเครื่องหมายพิเศษไว้กับตัวนักแสดง อย่างไรก็ตาม ระบบรุ่นใหม่สามารถสร้างข้อมูลที่แม่นยำได้โดยการติดตามคุณลักษณะพื้นผิวที่ระบุแบบไดนามิกสำหรับวัตถุแต่ละชิ้น การติดตามนักแสดงจำนวนมากหรือการขยายพื้นที่จับภาพทำได้โดยการเพิ่มกล้อง ระบบเหล่านี้สร้างข้อมูลที่มีองศาอิสระสามองศาสำหรับแต่ละเครื่องหมาย และข้อมูลการหมุนจะต้องอนุมานจากการวางแนวสัมพัทธ์ของเครื่องหมายสามตัวขึ้นไป ตัวอย่างเช่น เครื่องหมายที่ไหล่ ข้อศอก และข้อมือจะให้มุมของข้อศอก ระบบไฮบริดรุ่นใหม่กำลังรวมเซ็นเซอร์เฉื่อยเข้ากับเซ็นเซอร์ออปติคอลเพื่อลดการบดบัง เพิ่มจำนวนผู้ใช้ และปรับปรุงความสามารถในการติดตามโดยไม่ต้องทำความสะอาดข้อมูลด้วยตนเอง[ 37 ]

เครื่องหมายแบบพาสซีฟ

นักเต้นสวมชุดที่ใช้ในระบบจับการเคลื่อนไหวด้วยแสง
การติดเครื่องหมาย ณ จุดเฉพาะบนใบหน้าของนักแสดงระหว่างการจับภาพการเคลื่อนไหวด้วยแสงของใบหน้า

ระบบ ออปติคอลแบบพาสซีฟใช้เครื่องหมายที่เคลือบด้วย วัสดุ สะท้อนแสงเพื่อสะท้อนแสงที่เกิดขึ้นใกล้เลนส์กล้อง สามารถปรับค่าเกณฑ์ของกล้องได้เพื่อให้ตรวจจับเฉพาะเครื่องหมายสะท้อนแสงที่สว่างเท่านั้น โดยไม่สนใจผิวหนังและผ้า

จุดศูนย์กลางของเครื่องหมายจะถูกประมาณค่าเป็นตำแหน่งภายในภาพสองมิติที่บันทึกไว้ ค่าระดับสีเทาของแต่ละพิกเซลสามารถนำมาใช้เพื่อให้ได้ความแม่นยำระดับต่ำกว่าพิกเซล โดยการหาจุดศูนย์กลางของฟังก์ชันเกาส์เซียน

วัตถุที่มีเครื่องหมายติดอยู่ ณ ตำแหน่งที่ทราบแล้วจะถูกใช้ในการสอบเทียบกล้องและหาตำแหน่งของกล้องเหล่านั้น และจะมีการวัดการบิดเบี้ยวของเลนส์ของกล้องแต่ละตัว หากกล้องที่สอบเทียบแล้วสองตัวมองเห็นเครื่องหมายเดียวกัน ก็จะสามารถหาตำแหน่งสามมิติได้ โดยทั่วไปแล้ว ระบบจะประกอบด้วยกล้องประมาณ 2 ถึง 48 ตัว ระบบที่มีกล้องมากกว่าสามร้อยตัวก็มีอยู่เพื่อพยายามลดการสลับเครื่องหมาย กล้องเพิ่มเติมจำเป็นสำหรับการครอบคลุมพื้นที่โดยรอบวัตถุเป้าหมายและสำหรับการถ่ายภาพหลายวัตถุพร้อมกัน

ผู้จำหน่ายมีซอฟต์แวร์จำกัดเพื่อลดปัญหาการสลับเครื่องหมาย เนื่องจากเครื่องหมายแบบพาสซีฟทั้งหมดมีลักษณะเหมือนกัน ต่างจากระบบเครื่องหมายแบบแอคทีฟและระบบแม่เหล็ก ระบบแบบพาสซีฟไม่จำเป็นต้องให้ผู้ใช้สวมสายไฟหรืออุปกรณ์อิเล็กทรอนิกส์[ 38 ]แต่จะใช้ลูกบอลยางหลายร้อยลูกที่ติดด้วยเทปสะท้อนแสง ซึ่งต้องเปลี่ยนเป็นระยะ เครื่องหมายมักจะติดอยู่กับผิวหนังโดยตรง (เช่นในด้านชีวกลศาสตร์) หรือติดด้วยตีนตุ๊กแกกับนักแสดงที่สวมชุดสแปนเด็กซ์/ไลคร่าแบบเต็มตัวที่ออกแบบมาโดยเฉพาะสำหรับการจับภาพการเคลื่อนไหวระบบประเภทนี้สามารถจับภาพเครื่องหมายจำนวนมากได้ที่อัตราเฟรมโดยทั่วไปประมาณ 120 ถึง 160 fps แม้ว่าการลดความละเอียดและการติดตามพื้นที่ที่สนใจที่เล็กลงจะทำให้สามารถติดตามได้สูงถึง 10,000 fps

เครื่องหมายที่ใช้งานอยู่

การจับภาพการเคลื่อนไหวของร่างกาย

ระบบออปติคอลแบบแอคทีฟใช้การหาตำแหน่งโดยการส่องแสง LED ทีละดวงอย่างรวดเร็ว หรือส่องแสง LED หลายดวงพร้อมกันโดยใช้ซอฟต์แวร์เพื่อระบุตำแหน่งสัมพัทธ์ คล้ายกับการนำทางโดยใช้ดวงดาว แทนที่จะสะท้อนแสงที่สร้างขึ้นจากภายนอก ตัวมาร์กเกอร์เองจะใช้พลังงานในการเปล่งแสง เนื่องจากกฎกำลังสองผกผันให้พลังงานหนึ่งในสี่ที่ระยะทางสองเท่า จึงสามารถเพิ่มระยะทางและปริมาตรในการจับภาพได้ นอกจากนี้ยังช่วยให้มีอัตราส่วนสัญญาณต่อสัญญาณรบกวนสูง ส่งผลให้การสั่นของมาร์กเกอร์ต่ำมาก และได้ความละเอียดในการวัดสูง (มักต่ำถึง 0.1  มม. ภายในปริมาตรที่สอบเทียบแล้ว)

ซีรีส์โทรทัศน์เรื่อง Stargate SG1ผลิตตอนต่างๆ โดยใช้ระบบออปติคอลแบบแอคทีฟสำหรับเทคนิคพิเศษ ทำให้ตัวละครสามารถเดินไปรอบๆ อุปกรณ์ประกอบฉากได้ ซึ่งหากใช้ระบบออปติคอลแบบอื่นๆ ที่ไม่ใช่แบบแอคทีฟ การจับภาพการเคลื่อนไหวจะทำได้ยาก

ILM ใช้แอคทีฟมาร์กเกอร์ในภาพยนตร์เรื่อง Van Helsingเพื่อให้สามารถบันทึกภาพเจ้าสาวบินได้ของแดร็กคิวลาในฉากขนาดใหญ่มาก คล้ายกับการใช้แอคทีฟมาร์กเกอร์ของ Weta ใน ภาพยนตร์เรื่อง Rise of the Planet of the Apesพลังงานสามารถจ่ายให้กับมาร์กเกอร์แต่ละตัวได้ตามลำดับ โดยระบบบันทึกภาพจะให้รหัสเฉพาะแก่แต่ละมาร์กเกอร์สำหรับเฟรมภาพที่กำหนด แต่จะมีผลกระทบต่ออัตราเฟรมที่ได้ ความสามารถในการระบุมาร์กเกอร์แต่ละตัวในลักษณะนี้มีประโยชน์ในการใช้งานแบบเรียลไทม์ วิธีการอื่นในการระบุมาร์กเกอร์คือการทำโดยใช้อัลกอริทึม ซึ่งต้องมีการประมวลผลข้อมูลเพิ่มเติม

นอกจากนี้ ยังสามารถระบุตำแหน่งได้โดยใช้เครื่องหมาย LED สีต่างๆ ในระบบเหล่านี้ แต่ละสีจะถูกกำหนดให้กับจุดเฉพาะบนร่างกาย

หนึ่งในระบบทำเครื่องหมายแบบแอคทีฟรุ่นแรกๆ ในช่วงทศวรรษ 1980 คือระบบจับการเคลื่อนไหวแบบผสมผสานระหว่างแบบพาสซีฟและแอคทีฟ โดยใช้กระจกหมุนและเครื่องหมายสะท้อนแสงที่ทำจากกระจกสี และใช้ตัวตรวจจับแบบแถวเชิงเส้นที่มีหน้ากากปิดบัง

ตัวบ่งชี้แอคทีฟที่ปรับเปลี่ยนตามเวลา

ระบบระบุตำแหน่งแบบแอคทีฟที่มีความละเอียดสูงและเฉพาะเจาะจง 3,600 × 3,600 พิกเซล ที่ความถี่ 960 เฮิรตซ์ ให้ตำแหน่งแบบเรียลไทม์ในระดับต่ำกว่ามิลลิเมตร

ระบบแอคทีฟมาร์กเกอร์สามารถปรับปรุงให้ดียิ่งขึ้นได้ด้วยการกระพริบมาร์กเกอร์ทีละตัว หรือติดตามมาร์กเกอร์หลายตัวในช่วงเวลาหนึ่ง และปรับแอมพลิจูดหรือความกว้างของพัลส์เพื่อระบุตัวตนของมาร์กเกอร์ ระบบที่มีความละเอียดเชิงพื้นที่ 12 ล้านพิกเซล แสดงการเคลื่อนไหวที่ละเอียดอ่อนกว่าระบบออปติคอล 4 ล้านพิกเซล เนื่องจากมีความละเอียดทั้งเชิงพื้นที่และเชิงเวลาสูงกว่า ผู้กำกับสามารถเห็นการแสดงของนักแสดงแบบเรียลไทม์ และดูผลลัพธ์บนตัวละคร CG ที่ขับเคลื่อนด้วยการจับการเคลื่อนไหว ตัวตนของมาร์กเกอร์ที่ไม่ซ้ำกันช่วยลดเวลาในการทำงานลง โดยการกำจัดขั้นตอนการสลับมาร์กเกอร์ และให้ข้อมูลที่สะอาดกว่าเทคโนโลยีอื่นๆ มาก ไฟ LED ที่มีการประมวลผลในตัวและการซิงโครไนซ์ด้วยคลื่นวิทยุช่วยให้สามารถจับการเคลื่อนไหวได้กลางแจ้งในแสงแดดโดยตรง ในขณะที่บันทึกภาพที่ 120 ถึง 960 เฟรมต่อวินาที เนื่องจากชัตเตอร์อิเล็กทรอนิกส์ความเร็วสูง การประมวลผลด้วยคอมพิวเตอร์ของตัวตนที่ปรับแล้วช่วยลดการแก้ไขด้วยมือหรือผลลัพธ์ที่กรองแล้ว ทำให้ต้นทุนการดำเนินงานต่ำลง ความแม่นยำและความละเอียดที่สูงขึ้นนี้ต้องการการประมวลผลมากกว่าเทคโนโลยีแบบพาสซีฟ แต่การประมวลผลเพิ่มเติมจะทำที่กล้องเพื่อปรับปรุงความละเอียดผ่านการประมวลผลแบบซับพิกเซลหรือเซนทรอยด์ ทำให้ได้ทั้งความละเอียดสูงและความเร็วสูง โดยทั่วไปแล้ว ระบบจับภาพเคลื่อนไหวเหล่านี้มีราคาประมาณ 20,000 ดอลลาร์สหรัฐ สำหรับระบบที่มีกล้อง 8 ตัว ความละเอียดเชิงพื้นที่ 12 ล้านพิกเซล และอัตราการรีเฟรช 120 เฮิร์ตซ์ สำหรับนักแสดง 1 คน

เซ็นเซอร์ อินฟราเรดสามารถคำนวณตำแหน่งของตัวเองได้เมื่อได้รับแสงจากแหล่งกำเนิดแสง LED หลายดวงแบบเคลื่อนที่ เช่น ในรถยนต์ที่กำลังเคลื่อนที่ ด้วยระบบระบุตัวตนต่อเครื่องหมาย (Id per marker) แท็กเซ็นเซอร์เหล่านี้สามารถสวมใส่ไว้ใต้เสื้อผ้าและติดตามได้ที่ความถี่ 500 เฮิรตซ์ในเวลากลางวันแสกๆ

เครื่องหมายกึ่งพาสซีฟที่มองไม่เห็น

เราสามารถพลิกกลับแนวทางดั้งเดิมที่ใช้กล้องความเร็วสูงได้ ระบบอย่างเช่นPrakashใช้โปรเจ็กเตอร์ความเร็วสูงแบบหลาย LED ราคาไม่แพง โปรเจ็กเตอร์อินฟราเรดแบบหลาย LED ที่สร้างขึ้นเป็นพิเศษจะเข้ารหัสพื้นที่ด้วยแสง แทนที่จะใช้เครื่องหมายสะท้อนแสงหรือไดโอดเปล่งแสง (LED) ระบบนี้ใช้แท็กเครื่องหมายไวแสงเพื่อถอดรหัสสัญญาณแสง โดยการติดแท็กที่มีเซ็นเซอร์แสงไว้ที่จุดต่างๆ ในฉาก แท็กเหล่านี้สามารถคำนวณได้ไม่เพียงแต่ตำแหน่งของแต่ละจุดเท่านั้น แต่ยังรวมถึงทิศทาง แสงตกกระทบ และการสะท้อนแสงด้วย

แท็กติดตามเหล่านี้ทำงานได้ในสภาพแสงธรรมชาติ และสามารถฝังลงในเสื้อผ้าหรือวัตถุอื่นๆ ได้อย่างแนบเนียน ระบบรองรับแท็กได้ไม่จำกัดจำนวนในฉาก โดยแต่ละแท็กจะมีรหัสเฉพาะเพื่อขจัดปัญหาการค้นหาเครื่องหมายซ้ำ เนื่องจากระบบนี้ไม่จำเป็นต้องใช้กล้องความเร็วสูงและสตรีมภาพความเร็วสูง จึงต้องการแบนด์วิดท์ข้อมูลที่ต่ำกว่ามาก แท็กยังให้ข้อมูลแสงตกกระทบ ซึ่งสามารถนำมาใช้เพื่อปรับแสงในฉากให้เข้ากับองค์ประกอบสังเคราะห์ได้ เทคนิคนี้ดูเหมือนจะเหมาะสำหรับการจับภาพการเคลื่อนไหวในกองถ่าย หรือการถ่ายทอดสดฉากเสมือนจริงแบบเรียลไทม์ แต่ยังไม่ได้รับการพิสูจน์อย่างเป็นรูปธรรม

ระบบจับการเคลื่อนไหวใต้น้ำ

เทคโนโลยีการจับภาพการเคลื่อนไหวมีให้ใช้งานสำหรับนักวิจัยและนักวิทยาศาสตร์มานานหลายทศวรรษแล้ว ซึ่งได้ให้ข้อมูลเชิงลึกใหม่ๆ ในหลายสาขา

กล้องใต้น้ำ

ส่วนประกอบสำคัญของระบบคือกล้องใต้น้ำ ซึ่งมีตัวเรือนกันน้ำ ตัวเรือนมีพื้นผิวที่ทนต่อการกัดกร่อนและคลอรีน ทำให้เหมาะสำหรับการใช้งานในอ่างน้ำและสระว่ายน้ำ กล้องมีสองประเภท กล้องความเร็วสูงระดับอุตสาหกรรมสามารถใช้เป็นกล้องอินฟราเรดได้เช่นกัน กล้องอินฟราเรดใต้น้ำมาพร้อมกับไฟแฟลชสีฟ้าแทนแสงอินฟราเรดทั่วไป เพื่อลดการลดทอนของแสงใต้น้ำให้น้อยที่สุด และกล้องความเร็วสูงมาพร้อมกับไฟ LED หรือมีตัวเลือกในการใช้การประมวลผลภาพ

กล้องจับการเคลื่อนไหวใต้น้ำ
การติดตามการเคลื่อนไหวในการว่ายน้ำโดยใช้การประมวลผลภาพ
ปริมาตรการวัด

โดยทั่วไป กล้องใต้น้ำสามารถวัดได้ไกล 15-20 เมตร ขึ้นอยู่กับคุณภาพน้ำ กล้อง และชนิดของเครื่องหมายที่ใช้ แน่นอนว่าระยะการวัดที่ดีที่สุดจะได้เมื่อน้ำใส และเช่นเคย ระยะการวัดก็ขึ้นอยู่กับจำนวนกล้องด้วย มีเครื่องหมายใต้น้ำหลากหลายชนิดให้เลือกใช้สำหรับสถานการณ์ต่างๆ

ปรับแต่ง

สระว่ายน้ำแต่ละแบบต้องการอุปกรณ์ยึดและติดตั้งที่แตกต่างกัน ดังนั้น ระบบจับภาพเคลื่อนไหวใต้น้ำทั้งหมดจึงได้รับการออกแบบเฉพาะให้เหมาะสมกับการติดตั้งในสระว่ายน้ำแต่ละแห่ง สำหรับกล้องที่ติดตั้งอยู่ตรงกลางสระ จะมีขาตั้งกล้องที่ออกแบบมาเป็นพิเศษโดยใช้ตัวดูดสุญญากาศให้มาด้วย

ไม่มีเครื่องหมาย

เทคนิคและงานวิจัยใหม่ๆ ในด้านคอมพิวเตอร์วิชั่นกำลังนำไปสู่การพัฒนาอย่างรวดเร็วของวิธีการจับภาพการเคลื่อนไหวแบบไร้เครื่องหมาย ระบบไร้เครื่องหมาย เช่น ระบบที่พัฒนาขึ้นที่มหาวิทยาลัยสแตนฟอร์ดมหาวิทยาลัยแมริแลนด์MITและสถาบันแม็กซ์พลังค์ไม่จำเป็นต้องให้ผู้ถูกกระทำสวมใส่อุปกรณ์พิเศษสำหรับการติดตาม อัลกอริทึมคอมพิวเตอร์พิเศษถูกออกแบบมาเพื่อให้ระบบสามารถวิเคราะห์กระแสข้อมูลแสงหลายกระแสและระบุรูปร่างของมนุษย์ โดยแยกย่อยออกเป็นส่วนประกอบต่างๆ เพื่อการติดตามESC Entertainmentซึ่งเป็นบริษัทในเครือของWarner Brothers Picturesที่สร้างขึ้นมาโดยเฉพาะเพื่อรองรับการถ่ายทำภาพยนตร์เสมือนจริงใช้เทคนิคที่เรียกว่า Universal Capture ซึ่งใช้การตั้งค่ากล้อง 7 ตัวและการติดตามการไหลของแสงของพิกเซล ทั้งหมด ในระนาบ 2 มิติของกล้องทั้งหมด เพื่อจับภาพการเคลื่อนไหว ท่าทางและการแสดงออกทางสีหน้าซึ่งนำไปสู่ผลลัพธ์ที่สมจริงราวกับภาพถ่าย

ระบบดั้งเดิม

โดยทั่วไป การติดตามการเคลื่อนไหวด้วยแสงแบบไม่ใช้เครื่องหมายจะใช้เพื่อติดตามวัตถุต่างๆ รวมถึงเครื่องบิน ยานปล่อยจรวด ขีปนาวุธ และดาวเทียม การใช้งานการติดตามการเคลื่อนไหวด้วยแสงดังกล่าวจำนวนมากเกิดขึ้นกลางแจ้ง ซึ่งต้องใช้เลนส์และการกำหนดค่ากล้องที่แตกต่างกัน ภาพความละเอียดสูงของเป้าหมายที่กำลังติดตามจึงสามารถให้ข้อมูลได้มากกว่าแค่ข้อมูลการเคลื่อนไหว ภาพที่ได้จากระบบติดตามระยะไกลของ NASA ในการปล่อยยานอวกาศชาเลนเจอร์ที่ประสบอุบัติเหตุร้ายแรงได้ให้หลักฐานสำคัญเกี่ยวกับสาเหตุของอุบัติเหตุ ระบบติดตามด้วยแสงยังใช้เพื่อระบุยานอวกาศและเศษซากอวกาศที่รู้จัก แม้ว่าจะมีข้อเสียเปรียบเมื่อเทียบกับเรดาร์ตรงที่วัตถุต้องสะท้อนหรือปล่อยแสงเพียงพอ[ 39 ]

โดยทั่วไป ระบบติดตามด้วยแสงจะประกอบด้วยระบบย่อยสามส่วน ได้แก่ ระบบสร้างภาพด้วยแสง แท่นติดตามเชิงกล และคอมพิวเตอร์ติดตาม

ระบบสร้างภาพด้วยแสงมีหน้าที่แปลงแสงจากบริเวณเป้าหมายให้เป็นภาพดิจิทัลที่คอมพิวเตอร์ติดตามสามารถประมวลผลได้ ขึ้นอยู่กับการออกแบบของระบบติดตามด้วยแสง ระบบสร้างภาพด้วยแสงอาจแตกต่างกันไป ตั้งแต่แบบง่ายๆ เหมือนกล้องดิจิทัลมาตรฐาน ไปจนถึงแบบเฉพาะทางอย่างกล้องโทรทรรศน์ดาราศาสตร์บนยอดเขา ข้อกำหนดของระบบสร้างภาพด้วยแสงจะเป็นตัวกำหนดขีดจำกัดสูงสุดของระยะการทำงานที่มีประสิทธิภาพของระบบติดตาม

แท่นติดตามเชิงกลยึดระบบภาพด้วยแสงไว้ และมีหน้าที่ควบคุมระบบภาพด้วยแสงให้ชี้ไปยังเป้าหมายที่กำลังติดตามอยู่เสมอ พลวัตของแท่นติดตามเชิงกลที่ทำงานร่วมกับระบบภาพด้วยแสงจะเป็นตัวกำหนดความสามารถของระบบติดตามในการรักษาการล็อกเป้าหมายที่เปลี่ยนแปลงความเร็วอย่างรวดเร็ว

คอมพิวเตอร์ติดตามมีหน้าที่ในการจับภาพจากระบบถ่ายภาพด้วยแสง วิเคราะห์ภาพเพื่อแยกตำแหน่งเป้าหมาย และควบคุมแท่นติดตามเชิงกลให้ติดตามเป้าหมาย มีความท้าทายหลายประการ ประการแรก คอมพิวเตอร์ติดตามต้องสามารถจับภาพได้ในอัตราเฟรมที่ค่อนข้างสูง ซึ่งเป็นข้อกำหนดเกี่ยวกับแบนด์วิดท์ของฮาร์ดแวร์จับภาพ ประการที่สอง ซอฟต์แวร์ประมวลผลภาพต้องสามารถแยกภาพเป้าหมายออกจากพื้นหลังและคำนวณตำแหน่งได้ มีอัลกอริธึมการประมวลผลภาพในตำราหลายตัวที่ออกแบบมาสำหรับงานนี้ ปัญหานี้สามารถลดความซับซ้อนลงได้หากระบบติดตามสามารถคาดหวังลักษณะเฉพาะบางอย่างที่เหมือนกันในเป้าหมายทั้งหมดที่จะติดตาม ปัญหาต่อไปคือการควบคุมแท่นติดตามให้ติดตามเป้าหมาย นี่เป็นปัญหาการออกแบบระบบควบคุมทั่วไปมากกว่าความท้าทาย ซึ่งเกี่ยวข้องกับการสร้างแบบจำลองพลวัตของระบบและการออกแบบตัวควบคุมเพื่อควบคุมมัน อย่างไรก็ตาม นี่จะกลายเป็นความท้าทายหากแท่นติดตามที่ระบบต้องทำงานด้วยไม่ได้ออกแบบมาสำหรับเวลาจริง

ซอฟต์แวร์ที่ใช้ในการทำงานของระบบเหล่านี้ได้รับการปรับแต่งให้เหมาะสมกับส่วนประกอบฮาร์ดแวร์ที่เกี่ยวข้อง ตัวอย่างหนึ่งของซอฟต์แวร์ดังกล่าวคือ OpticTracker ซึ่งควบคุมกล้องโทรทรรศน์แบบคอมพิวเตอร์เพื่อติดตามวัตถุที่เคลื่อนที่ในระยะไกล เช่น เครื่องบินและดาวเทียม อีกทางเลือกหนึ่งคือซอฟต์แวร์ SimiShape ซึ่งสามารถใช้งานแบบไฮบริดร่วมกับเครื่องหมายได้เช่นกัน

กล้อง RGB-D

กล้อง RGB-D เช่นKinectสามารถบันทึกทั้งภาพสีและภาพความลึกได้ โดยการรวมภาพทั้งสองเข้าด้วยกัน จะสามารถบันทึกภาพสามมิติแบบสี ( voxel)ซึ่งช่วยให้สามารถบันทึกการเคลื่อนไหวของมนุษย์และพื้นผิวของมนุษย์ในแบบสามมิติได้แบบเรียลไทม์

เนื่องจากการใช้กล้องมุมมองเดียว การเคลื่อนไหวที่บันทึกได้จึงมักมีสัญญาณรบกวน เทคนิคการเรียนรู้ของเครื่องได้รับการเสนอเพื่อสร้างการเคลื่อนไหวที่มีสัญญาณรบกวนดังกล่าวขึ้นใหม่โดยอัตโนมัติให้มีคุณภาพสูงขึ้น โดยใช้วิธีการต่างๆ เช่นการเรียนรู้แบบขี้เกียจ[ 40 ]และแบบจำลองเกาส์เซียน[ 41 ]วิธีการดังกล่าวสร้างการเคลื่อนไหวที่แม่นยำเพียงพอสำหรับการใช้งานที่สำคัญ เช่น การประเมินตามหลักการยศาสตร์[ 42 ]

ระบบที่ไม่ใช้แสง

ระบบเฉื่อย

เทคโนโลยี การจับภาพการเคลื่อนไหวแบบเฉื่อย[ 43 ]นั้นใช้เซ็นเซอร์เฉื่อยขนาดเล็ก โมเดลทางชีวกลศาสตร์ และอัลกอริ ธึมการรวม เซ็นเซอร์[ 44 ]ข้อมูลการเคลื่อนไหวของเซ็นเซอร์เฉื่อย ( ระบบนำทางแบบเฉื่อย ) มักจะถูกส่งแบบไร้สายไปยังคอมพิวเตอร์ ซึ่งจะทำการบันทึกหรือดูการเคลื่อนไหว ระบบเฉื่อยส่วนใหญ่ใช้หน่วยวัดความเฉื่อย (IMU) ที่ประกอบด้วยไจโรสโคป แมกนีโตมิเตอร์ และแอคเซลเลอโรมิเตอร์ เพื่อวัดอัตราการหมุน การหมุนเหล่านี้จะถูกแปลงเป็นโครงกระดูกในซอฟต์แวร์ เช่นเดียวกับเครื่องหมายออปติคอล ยิ่งมีเซ็นเซอร์ IMU มากเท่าไหร่ ข้อมูลก็จะยิ่งเป็นธรรมชาติมากขึ้นเท่านั้น ไม่จำเป็นต้องใช้กล้อง ตัวส่งสัญญาณ หรือเครื่องหมายภายนอกสำหรับการเคลื่อนไหวสัมพัทธ์ แม้ว่าจะจำเป็นต้องใช้เพื่อให้ได้ตำแหน่งสัมบูรณ์ของผู้ใช้หากต้องการ ระบบจับภาพการเคลื่อนไหวแบบเฉื่อยจะจับภาพการเคลื่อนไหวของร่างกายมนุษย์ที่มีอิสระหกองศาได้แบบเรียลไทม์ และสามารถให้ข้อมูลทิศทางที่จำกัดได้หากรวมเซ็นเซอร์แบริ่งแม่เหล็กไว้ด้วย แม้ว่าจะมีความละเอียดต่ำกว่ามากและไวต่อสัญญาณรบกวนทางแม่เหล็กไฟฟ้า ข้อดีของการใช้ระบบเฉื่อย ได้แก่ การจับภาพในสภาพแวดล้อมที่หลากหลาย รวมถึงพื้นที่แคบๆ ไม่ต้องแก้ปัญหา พกพาได้ และพื้นที่จับภาพขนาดใหญ่ ข้อเสีย ได้แก่ ความแม่นยำในการระบุตำแหน่งที่ต่ำกว่า และการเบี่ยงเบนของตำแหน่งซึ่งอาจสะสมมากขึ้นเมื่อเวลาผ่านไป ระบบเหล่านี้คล้ายกับตัวควบคุม Wiiแต่มีความไวมากกว่า มีความละเอียดและอัตราการอัปเดตที่สูงกว่า สามารถวัดทิศทางไปยังพื้นได้อย่างแม่นยำภายในหนึ่งองศา ความนิยมของระบบเฉื่อยกำลังเพิ่มขึ้นในหมู่นักพัฒนาเกม[ 10 ]ส่วนใหญ่เป็นเพราะการตั้งค่าที่รวดเร็วและง่ายดาย ส่งผลให้กระบวนการทำงานรวดเร็ว ปัจจุบันมีชุดสูทหลากหลายรุ่นจากผู้ผลิตหลายราย และราคาเริ่มต้นตั้งแต่ 1,000 ถึง 80,000 ดอลลาร์สหรัฐ

การเคลื่อนที่เชิงกล

ระบบจับการเคลื่อนไหวเชิงกลจะติดตามมุมข้อต่อของร่างกายโดยตรง และมักถูกเรียกว่าระบบจับการเคลื่อนไหวแบบโครงกระดูกภายนอก เนื่องจากวิธีการติดเซ็นเซอร์เข้ากับร่างกาย ผู้แสดงจะติดโครงสร้างคล้ายโครงกระดูกเข้ากับร่างกาย และเมื่อพวกเขาเคลื่อนไหว ชิ้นส่วนเชิงกลที่เชื่อมต่อกันก็จะเคลื่อนไหวตามไปด้วย ทำให้วัดการเคลื่อนไหวสัมพัทธ์ของผู้แสดงได้ ระบบจับการเคลื่อนไหวเชิงกลเป็นระบบแบบเรียลไทม์ ต้นทุนค่อนข้างต่ำ ปราศจากการบดบัง และเป็นแบบไร้สาย (ไม่ต้องต่อสาย) ที่มีปริมาณการจับภาพไม่จำกัด โดยทั่วไปแล้ว จะเป็นโครงสร้างแข็งที่ทำจากแท่งโลหะหรือพลาสติกตรงที่มีข้อต่อเชื่อมต่อกันด้วยโพเทนชิโอมิเตอร์ที่เชื่อมต่อกับข้อต่อของร่างกาย ชุดเหล่านี้มักมีราคาอยู่ในช่วง 25,000 ถึง 75,000 ดอลลาร์สหรัฐฯ บวกกับระบบกำหนดตำแหน่งสัมบูรณ์ภายนอก ชุดบางชุดให้การตอบสนองแรงหรือการสัมผัส แบบ จำกัด

ระบบแม่เหล็ก

ระบบแม่เหล็กคำนวณตำแหน่งและทิศทางโดยใช้ฟลักซ์แม่เหล็กสัมพัทธ์ของขดลวดตั้งฉากสามขดบนทั้งตัวส่งและตัวรับแต่ละตัว[ 45 ]ความเข้มสัมพัทธ์ของแรงดันไฟฟ้าหรือกระแสไฟฟ้าของขดลวดทั้งสามทำให้ระบบเหล่านี้สามารถคำนวณทั้งระยะทางและทิศทางโดยการทำแผนที่ปริมาตรการติดตามอย่างละเอียด เอาต์พุตของเซ็นเซอร์มีหกองศาอิสระ (6DOF) ซึ่งให้ผลลัพธ์ที่เป็นประโยชน์โดยใช้จำนวนเครื่องหมายเพียงสองในสามของจำนวนเครื่องหมายที่จำเป็นในระบบออปติคอล คือ หนึ่งตัวที่แขนส่วนบนและหนึ่งตัวที่แขนส่วนล่างสำหรับตำแหน่งและมุมของข้อศอกเครื่องหมายเหล่านี้มีความอ่อนไหวต่อการรบกวนทางแม่เหล็กและไฟฟ้าจากวัตถุโลหะในสภาพแวดล้อม เช่น เหล็กเส้น (เหล็กเสริมในคอนกรีต) หรือสายไฟ ซึ่งส่งผลต่อสนามแม่เหล็ก และแหล่งกำเนิดไฟฟ้า เช่น จอภาพ ไฟ สายเคเบิล และคอมพิวเตอร์

การตอบสนองของเซ็นเซอร์ไม่เป็นเชิงเส้น โดยเฉพาะอย่างยิ่งบริเวณขอบของพื้นที่จับภาพ การเดินสายจากเซ็นเซอร์มีแนวโน้มที่จะขัดขวางการเคลื่อนไหวที่มีประสิทธิภาพสูงสุด[ 45 ]ด้วยระบบแม่เหล็ก สามารถตรวจสอบผลลัพธ์ของเซสชันการจับภาพการเคลื่อนไหวแบบเรียลไทม์ได้[ 45 ]ปริมาตรการจับภาพสำหรับระบบแม่เหล็กมีขนาดเล็กกว่าระบบออปติคอลอย่างมาก ในระบบแม่เหล็ก มีความแตกต่างระหว่างระบบกระแสสลับ (AC) และ ระบบ กระแสตรง (DC): ระบบ DC ใช้พัลส์สี่เหลี่ยม ระบบ AC ใช้คลื่นไซน์

เซ็นเซอร์วัดการยืดตัว

เซ็นเซอร์แบบยืดหยุ่นเป็นตัวเก็บประจุแบบแผ่นขนานที่มีความยืดหยุ่น ซึ่งวัดการยืด การงอ การเฉือน หรือแรงกด และโดยทั่วไปผลิตจากซิลิโคน เมื่อเซ็นเซอร์ยืดหรือบีบ ค่าความจุจะเปลี่ยนแปลง ข้อมูลนี้สามารถส่งผ่านบลูทูธหรือป้อนข้อมูลโดยตรง และใช้ในการตรวจจับการเปลี่ยนแปลงเล็กน้อยในการเคลื่อนไหวของร่างกาย เซ็นเซอร์แบบยืดหยุ่นไม่ได้รับผลกระทบจากการรบกวนทางแม่เหล็กและปราศจากสิ่งกีดขวาง คุณสมบัติที่ยืดหยุ่นได้ของเซ็นเซอร์ยังหมายความว่าเซ็นเซอร์จะไม่เกิดการคลาดเคลื่อนของตำแหน่ง ซึ่งเป็นเรื่องปกติในระบบเฉื่อย ในทางกลับกัน เซ็นเซอร์แบบยืดหยุ่นนั้นมีอัตราส่วนสัญญาณต่อสัญญาณรบกวนค่อนข้าง ต่ำ เนื่องจากคุณสมบัติของวัสดุพื้นฐานและวัสดุตัวนำ จึงจำเป็นต้องมีการกรองหรือการเรียนรู้ของเครื่องจักรเพื่อให้สามารถใช้งานได้สำหรับการจับภาพการเคลื่อนไหว โซลูชันเหล่านี้ส่งผลให้มีความหน่วง สูงกว่า เมื่อเทียบกับเซ็นเซอร์ทางเลือกอื่นๆ

การจับภาพการเคลื่อนไหวของใบหน้า

ผู้ผลิตฮาร์ดแวร์จับการเคลื่อนไหวแบบดั้งเดิมส่วนใหญ่จัดหาอุปกรณ์จับใบหน้าความละเอียดต่ำมาให้ โดยใช้เครื่องหมายตั้งแต่ 32 ถึง 300 จุด ไม่ว่าจะเป็นระบบเครื่องหมายแบบแอคทีฟหรือแบบพาสซีฟ โซลูชันเหล่านี้ล้วนมีข้อจำกัดในเรื่องเวลาที่ใช้ในการติดเครื่องหมาย ปรับเทียบตำแหน่ง และประมวลผลข้อมูล ในที่สุดแล้ว เทคโนโลยีก็จำกัดความละเอียดและคุณภาพของผลลัพธ์ดิบด้วยเช่นกัน

การจับภาพการเคลื่อนไหวใบหน้าที่มีความแม่นยำสูง หรือที่เรียกว่าการจับภาพการแสดง (performance capture ) คือเทคโนโลยีที่มีความแม่นยำสูงระดับถัดไป และถูกนำมาใช้เพื่อบันทึกการเคลื่อนไหวที่ซับซ้อนมากขึ้นบนใบหน้าของมนุษย์ เพื่อจับภาพอารมณ์ในระดับที่สูงขึ้น ปัจจุบัน การจับภาพใบหน้าแบ่งออกเป็นหลายกลุ่ม ได้แก่ ข้อมูลการจับภาพการเคลื่อนไหวแบบดั้งเดิม โซลูชันที่ใช้การผสมผสานรูปร่าง (blend-shape) การจับภาพโครงสร้างทางกายภาพที่แท้จริงของใบหน้าของนักแสดง และระบบที่เป็นกรรมสิทธิ์เฉพาะ

เทคนิคหลักสองอย่างคือ ระบบแบบอยู่กับที่ที่มีกล้องหลายตัวจับภาพการแสดงออกทางสีหน้าจากหลายมุม และใช้ซอฟต์แวร์ เช่น โปรแกรมแก้ปัญหาตาข่ายสเตอริโอจากOpenCVเพื่อสร้างตาข่ายพื้นผิว 3 มิติ หรือใช้ชุดไฟเพื่อคำนวณเวกเตอร์ตั้งฉากของพื้นผิวจากความแปรปรวนของความสว่างเมื่อแหล่งกำเนิดแสง ตำแหน่งกล้อง หรือทั้งสองอย่างเปลี่ยนแปลง เทคนิคเหล่านี้มักมีข้อจำกัดในด้านความละเอียดของรายละเอียดโดยความละเอียดของกล้อง ขนาดของวัตถุที่ปรากฏ และจำนวนกล้อง หากใบหน้าของผู้ใช้เป็น 50 เปอร์เซ็นต์ของพื้นที่ทำงานของกล้อง และกล้องมีความละเอียดระดับเมกะพิกเซล ก็สามารถตรวจจับการเคลื่อนไหวของใบหน้าในระดับต่ำกว่ามิลลิเมตรได้โดยการเปรียบเทียบเฟรม งานวิจัยล่าสุดมุ่งเน้นไปที่การเพิ่มอัตราเฟรมและการใช้การไหลของแสง (optical flow) เพื่อให้สามารถกำหนดเป้าหมายการเคลื่อนไหวไปยังใบหน้าที่สร้างขึ้นด้วยคอมพิวเตอร์อื่นๆ แทนที่จะสร้างตาข่าย 3 มิติของนักแสดงและการแสดงออกทางสีหน้าเพียงอย่างเดียว

การกำหนดตำแหน่งด้วยคลื่นความถี่วิทยุ

ระบบกำหนดตำแหน่งด้วยคลื่นความถี่วิทยุกำลังมีความเป็นไปได้มากขึ้นเนื่องจากอุปกรณ์คลื่นความถี่วิทยุที่มีความถี่สูงขึ้นช่วยให้มีความแม่นยำมากกว่าเทคโนโลยีแบบเก่า เช่นเรดาร์ความเร็วของแสงอยู่ที่ 30 เซนติเมตรต่อนาโนวินาที (หนึ่งในพันล้านของวินาที) ดังนั้นสัญญาณคลื่นความถี่วิทยุ 10 กิกะเฮิร์ตซ์ (พันล้านรอบต่อวินาที) จึงให้ความแม่นยำประมาณ 3 เซนติเมตร การวัดแอมพลิจูดที่ความยาวคลื่นหนึ่งในสี่ส่วน จะช่วยปรับปรุงความละเอียดให้เหลือประมาณ 8 มิลลิเมตร เพื่อให้ได้ความละเอียดเท่ากับระบบออปติคอล จำเป็นต้องใช้ความถี่ 50 กิกะเฮิร์ตซ์ขึ้นไป ซึ่งขึ้นอยู่กับแนวสายตาและถูกปิดกั้นได้ง่ายเช่นเดียวกับระบบออปติคอล ปัญหาเพิ่มเติมอาจเกิดจากสัญญาณสะท้อนหลายเส้นทางและการแผ่รังสีซ้ำ แต่เทคโนโลยีเหล่านี้จะเหมาะสำหรับการติดตามปริมาตรขนาดใหญ่ด้วยความแม่นยำที่เหมาะสม เนื่องจากความละเอียดที่ต้องการในระยะ 100 เมตรนั้นไม่น่าจะสูงมากนัก นักวิทยาศาสตร์หลายคนเชื่อว่าคลื่นความถี่วิทยุจะไม่สามารถให้ความแม่นยำที่จำเป็นสำหรับการจับภาพการเคลื่อนไหวได้ 

นักวิจัยที่สถาบันเทคโนโลยีแมสซาชูเซตส์กล่าวในปี 2015 ว่าพวกเขาได้สร้างระบบที่ติดตามการเคลื่อนไหวโดยใช้สัญญาณความถี่วิทยุ[ 46 ] [ 47 ]

ระบบที่ไม่ใช่แบบดั้งเดิม

มีการพัฒนาแนวทางทางเลือกขึ้น โดยให้ผู้แสดงมีพื้นที่เดินไม่จำกัดโดยใช้ทรงกลมหมุนได้ คล้ายกับลูกบอลสำหรับหนูแฮมสเตอร์ซึ่งมีเซ็นเซอร์ภายในบันทึกการเคลื่อนไหวเชิงมุม ทำให้ไม่จำเป็นต้องใช้กล้องภายนอกและอุปกรณ์อื่นๆ แม้ว่าเทคโนโลยีนี้อาจนำไปสู่ต้นทุนที่ต่ำลงมากสำหรับการจับภาพการเคลื่อนไหว แต่ทรงกลมพื้นฐานนั้นสามารถบันทึกได้เพียงทิศทางเดียวอย่างต่อเนื่องเท่านั้น หากต้องการบันทึกการเคลื่อนไหวที่มากกว่านั้น จำเป็นต้องใช้เซ็นเซอร์เพิ่มเติมที่สวมใส่บนตัวผู้แสดง

อีกทางเลือกหนึ่งคือการใช้แพลตฟอร์มการเคลื่อนไหว 6DOF (องศาอิสระ) ที่มีลู่วิ่งแบบรอบทิศทางในตัว พร้อมระบบจับภาพการเคลื่อนไหวด้วยแสงความละเอียดสูง เพื่อให้ได้ผลลัพธ์เดียวกัน บุคคลที่ถูกจับภาพสามารถเดินในพื้นที่ได้ไม่จำกัด และเคลื่อนที่บนพื้นผิวที่ไม่เรียบต่างๆ ได้ การใช้งานรวมถึงการฟื้นฟูทางการแพทย์เพื่อฝึกการทรงตัว การวิจัยทางชีวกลศาสตร์ และความเป็นจริงเสมือน

การประมาณท่าทาง 3 มิติ

ในการประมาณท่าทาง 3 มิติท่าทางของนักแสดงสามารถสร้างขึ้นใหม่ได้จากภาพหรือแผนที่ความลึก[ 48 ]

ดูเพิ่มเติม

  • ความน่าหลงใหลในการจับภาพการเคลื่อนไหว เก็บถาวรเมื่อ 2016-03-04 ที่Wayback Machineบทนำเกี่ยวกับประวัติศาสตร์ของเทคโนโลยีการจับภาพการเคลื่อนไหว
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Motion_capture&oldid=1357437145#Applications "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การจับภาพการเคลื่อนไหว

การจับภาพการเคลื่อนไหว (บางครั้งเรียกว่าmocapหรือmo-capย่อๆ) คือกระบวนการบันทึกการเคลื่อนไหวของวัตถุหรือบุคคลที่มีความละเอียดสูงลงในระบบคอมพิวเตอร์...

ข้อดี

เทคโนโลยีจับการเคลื่อนไหว (Motion capture) มีข้อดีหลายประการเหนือกว่า การสร้างแอนิเมชั่นด้วยคอมพิวเตอร์ แบบดั้งเดิม ของโมเดล 3 มิติ:

ข้อเสีย

จำเป็นต้องใช้ฮาร์ดแวร์เฉพาะและโปรแกรมซอฟต์แวร์พิเศษเพื่อรวบรวมและประมวลผลข้อมูล ค่าใช้จ่ายด้านซอฟต์แวร์ อุปกรณ์ และบุคลากรที่จำเป็น อาจสูงเกินไปสำหรับงานผลิตขนาดเล็ก The capture system may have specific requirements for the space in which it is operated,...

Applications

There are many applications of motion capture. The most common are for video games, movies, and movement capture, however there is a research application for this technology being used at Purdue University in robotics development.