การสร้างแบบจำลอง 3 มิติจากวิดีโอภาพถ่ายและวิธีการวัดโลกอื่นๆ เป็นหัวข้อสำคัญในคอมพิวเตอร์กราฟิก มาโดยตลอด เป้าหมายสูงสุดคือการจำลองความเป็นจริงในรายละเอียดที่แม่นยำ ในขณะเดียวกันก็มอบพลังให้นักสร้างสรรค์สร้างโลกบนพื้นฐานนี้ให้ตรงกับวิสัยทัศน์ของพวกเขา โดยทั่วไปแล้ว ศิลปินจะสร้างโลกเหล่านี้โดยใช้เทคนิคการสร้างแบบจำลองและการเรนเดอร์ที่พัฒนามาหลายทศวรรษนับตั้งแต่กำเนิดคอมพิวเตอร์กราฟิกเอฟเฟกต์ภาพในภาพยนตร์และวิดีโอเกมได้ปูทางไปสู่ความก้าวหน้าในด้านโฟโตแกรมเมตรีอุปกรณ์สแกน และระบบประมวลผลเบื้องหลังเพื่อจัดการข้อมูลที่ได้รับจากวิธีการใหม่ๆ ที่มีประสิทธิภาพสูงเหล่านี้ โดยทั่วไปแล้ว ความก้าวหน้าเหล่านี้เกิดขึ้นจากการสร้างภาพที่ล้ำหน้ามากขึ้นสำหรับความบันเทิงและสื่อ แต่ไม่ใช่เป้าหมายหลักของสาขานี้เอง

การสแกน LIDARเป็นวิธีการสำรวจที่ใช้จุดเลเซอร์ที่หนาแน่นในการสแกนวัตถุคงที่ให้กลายเป็นกลุ่มจุด (point cloud) วิธีนี้ต้องใช้เครื่องสแกน จริง และสร้างข้อมูลจำนวนมหาศาล ในปี 2007 วงดนตรี Radiohead ได้ใช้เทคโนโลยีนี้อย่างกว้างขวางในการสร้างมิวสิกวิดีโอเพลง "House of Cards" โดยบันทึกภาพกลุ่มจุดของใบหน้าของนักร้องและสภาพแวดล้อมบางส่วน ซึ่งนับเป็นการใช้งานเทคโนโลยีนี้ในการบันทึกภาพสามมิติครั้งแรกๆ ผู้กำกับJames Frostร่วมมือกับศิลปินสื่อAaron Koblinในการบันทึกกลุ่มจุดสามมิติที่ใช้ในมิวสิกวิดีโอนี้ และถึงแม้ผลลัพธ์สุดท้ายของงานนี้จะเป็นเพียงภาพแบนๆ แต่การบันทึกและแนวคิดของผู้สร้างนั้นล้ำหน้ากว่ายุคสมัยกลุ่มจุดซึ่งเป็นตัวอย่างที่แตกต่างกันของพื้นที่สามมิติที่มีตำแหน่งและสี สร้างภาพแทนโลกแห่งความเป็นจริงที่มีความแม่นยำสูงด้วยข้อมูลจำนวนมหาศาล อย่างไรก็ตาม การดูข้อมูลนี้แบบเรียลไทม์ยังไม่สามารถทำได้ในขณะนั้น

ในปี 2010 ไมโครซอฟต์ได้นำKinectออกสู่ตลาด ซึ่งเป็นผลิตภัณฑ์สำหรับผู้บริโภคที่ใช้แสงที่มีโครงสร้างในช่วงคลื่นอินฟราเรดเพื่อสร้างแบบจำลอง 3 มิติจากกล้อง แม้ว่าจุดประสงค์หลักคือเพื่ออำนวยความสะดวกและสร้างนวัตกรรมในการป้อนข้อมูลและการเล่นเกม แต่ก็ถูกนำไปปรับใช้เป็นอุปกรณ์จับภาพทั่วไปสำหรับข้อมูล 3 มิติในชุมชนการจับภาพแบบสามมิติอย่างรวดเร็ว โดยการฉายรูปแบบที่ทราบลงบนพื้นที่และจับภาพการบิดเบือนโดยวัตถุในฉาก จากนั้นจึงนำผลลัพธ์ที่ได้ไปประมวลผลเป็นเอาต์พุตต่างๆ ศิลปินและผู้ที่ชื่นชอบงานอดิเรกเริ่มสร้างเครื่องมือและโครงการต่างๆ โดยใช้ Kinect ซึ่งเป็นอุปกรณ์ราคาไม่แพง ทำให้เกิดความสนใจในการจับภาพแบบสามมิติในฐานะสื่อสร้างสรรค์เพิ่มมากขึ้น

นักวิจัยของ Microsoft ได้สร้างเวทีการจับภาพทั้งหมดโดยใช้กล้องหลายตัว อุปกรณ์ Kinect และอัลกอริทึมที่สร้างการจับภาพแบบสามมิติเต็มรูปแบบจากข้อมูลแสงและความลึกที่รวมกัน ปัจจุบันนี่คือMicrosoft Mixed Reality Capture Studioซึ่งใช้เป็นส่วนหนึ่งของแผนกวิจัยและในประสบการณ์เชิงพาณิชย์บางอย่าง เช่น ประสบการณ์ VR ของ Blade Runner 2049ปัจจุบันมีสตูดิโอที่ใช้งานอยู่สามแห่ง ได้แก่ เรดมอนด์ รัฐวอชิงตัน ซานฟรานซิสโก รัฐแคลิฟอร์เนีย และลอนดอน ประเทศอังกฤษ แม้ว่านี่จะเป็นการตั้งค่าที่น่าสนใจมากสำหรับตลาดระดับไฮเอนด์ แต่ราคาที่ไม่แพงของอุปกรณ์ Kinect เพียงตัวเดียวทำให้ศิลปินเชิงทดลองและผู้กำกับอิสระจำนวนมากขึ้นเข้ามามีบทบาทในด้านการจับภาพแบบสามมิติ^{[ 3 ]}ผลลัพธ์สองประการจากกิจกรรมนี้คือDepthkitและEF EVE™ EF EVE™ รองรับเซ็นเซอร์ Azure Kinect จำนวนไม่จำกัดบนพีซีเครื่องเดียว ทำให้สามารถจับภาพแบบสามมิติเต็มรูปแบบพร้อมการตั้งค่าที่ง่าย นอกจากนี้ยังมีการปรับเทียบเซ็นเซอร์อัตโนมัติและฟังก์ชัน VFX ด้วย Depthkit เป็นชุดซอฟต์แวร์ที่ช่วยให้สามารถบันทึกข้อมูลเรขาคณิตด้วยเซ็นเซอร์แสงโครงสร้างหนึ่งตัว รวมถึง Azure Kinect ^{[ 4 ]}ตลอดจนรายละเอียดสีคุณภาพสูงจากกล้องพยานที่เชื่อมต่ออยู่

โฟโตแกรมเมตรี (Photogrammetry)คือกระบวนการวัดข้อมูลโดยใช้ภาพถ่ายเป็นข้อมูลอ้างอิง แม้ว่าจะเป็นเทคนิคที่มีมานานพอๆ กับการถ่ายภาพ แต่ความก้าวหน้าในการวิจัยด้านการจับภาพสามมิติในช่วงหลายปีที่ผ่านมา ทำให้สามารถจับภาพรูปทรงเรขาคณิตและรายละเอียดพื้นผิวได้มากขึ้นจากภาพอินพุตจำนวนมาก ผลลัพธ์ที่ได้มักจะถูกแบ่งออกเป็นสองส่วน คือ รูปทรงเรขาคณิตแบบคงที่ และการจับภาพแบบเต็มรูปแบบ สำหรับรูปทรงเรขาคณิตแบบคงที่ ชุดภาพที่ถ่ายด้วยภาพดิจิทัลที่ซ้อนทับกันจำนวนมากจะถูกจัดเรียงเข้าด้วยกันโดยใช้คุณลักษณะที่คล้ายคลึงกันในภาพ และใช้เป็นฐานสำหรับการสร้างสามเหลี่ยมและการประมาณความลึก ข้อมูลนี้จะถูกตีความว่าเป็นรูปทรงเรขาคณิต สามมิติ ทำให้ได้แบบจำลองของชุดภาพที่เกือบสมบูรณ์แบบ อย่างไรก็ตาม การจับภาพแบบเต็มรูปแบบจะใช้กล้องวิดีโอหลายตัวในการจับภาพแบบเรียลไทม์ กล้องที่ซิงโครไนซ์กันเหล่านั้นจะถูกนำมาใช้ทีละเฟรมเพื่อสร้างชุดจุดหรือรูปทรงเรขาคณิตที่สามารถเล่นซ้ำได้ด้วยความเร็ว ทำให้ได้การจับภาพสามมิติแบบเต็มรูปแบบที่สามารถนำไปประกอบเข้ากับสภาพแวดล้อมใดๆ ก็ได้ ในปี 2551 4DViews ^{[ 5 ]}ได้ติดตั้งระบบจับภาพวิดีโอสามมิติระบบแรกที่สตูดิโอ DigiCast ในโตเกียว (JP) ต่อมาในปี 2558 8iได้มีส่วนร่วมในด้านนี้ และเมื่อเร็ว ๆ นี้ Intel, Microsoft ^{[ 6 ]}และ Samsung ^{[ 7 ]}ได้เข้าร่วมโดยการสร้างเวทีจับภาพของตนเองสำหรับการจับภาพการแสดงและโฟโตแกรมเมตรี

เมื่อวิดีโอสามมิติพัฒนาไปสู่แนวทางที่ใช้งานได้จริงในเชิงพาณิชย์สำหรับการบันทึกสภาพแวดล้อมและการแสดง การที่สามารถเคลื่อนที่ไปมาในผลลัพธ์ด้วยองศาอิสระหกองศาและภาพสามมิติที่แท้จริง ทำให้เกิดความจำเป็นต้องมีอุปกรณ์แสดงผลแบบใหม่ ด้วยการเติบโตของ VR สำหรับผู้บริโภคในปี 2016 ผ่านอุปกรณ์ต่างๆ เช่นOculus RiftและHTC Viveทำให้สิ่งนี้เป็นไปได้ในทันที การรับชมแบบสามมิติและความสามารถในการหมุนและเคลื่อนศีรษะ รวมถึงการเคลื่อนที่ในพื้นที่แคบๆ ช่วยให้ดื่มด่ำกับสภาพแวดล้อมได้มากกว่าที่เคยเป็นไปได้ในอดีต ลักษณะการถ่ายภาพของการบันทึกภาพ ผสานกับการดื่มด่ำและการโต้ตอบที่เกิดขึ้น ทำให้เป็นก้าวสำคัญที่ใกล้เข้ามาสู่เป้าหมายสูงสุดของความเป็นจริงเสมือนอย่างแท้จริง ด้วยการเพิ่มขึ้นของเนื้อหาวิดีโอ 360° ความต้องการ การบันทึกภาพ 6-DOFจึงเพิ่มสูงขึ้น และ VR โดยเฉพาะอย่างยิ่ง เป็นตัวขับเคลื่อนการใช้งานเทคโนโลยีนี้ ค่อยๆ ผสานภาพยนตร์ เกม และศิลปะเข้ากับสาขาการวิจัยการบันทึกภาพสามมิติ ปัจจุบัน วิดีโอสามมิติถูกนำมาใช้ในการนำเสนอคอนเสิร์ตเสมือนจริงผ่านแอปพลิเคชัน Scenez บนอุปกรณ์ Meta Quest และ Apple Vision Pro

ภาพสนามแสง (Light fields)อธิบายถึงแสงที่เข้ามาจากทุกทิศทาง ณ จุดสุ่มตัวอย่างที่กำหนด จากนั้นจึงนำข้อมูลนี้ไปใช้ในการประมวลผลภายหลังเพื่อสร้างเอฟเฟกต์ต่างๆ เช่นความลึกของภาพ (depth of field)รวมถึงช่วยให้ผู้ใช้สามารถขยับศีรษะได้เล็กน้อย ตั้งแต่ปี 2006 Lytroได้สร้างกล้องสำหรับผู้บริโภคเพื่อบันทึกภาพสนามแสง สามารถบันทึกภาพสนามแสงได้ทั้งจากภายในกล้องไปยังภายนอก หรือจากภายนอกไปยังภายในจากการเรนเดอร์รูปทรงเรขาคณิต 3 มิติ ซึ่งแสดงถึงข้อมูลจำนวนมหาศาลที่พร้อมสำหรับการปรับแต่ง ปัจจุบันอัตราการส่งข้อมูลยังคงเป็นปัญหาใหญ่ และเทคนิคนี้มีศักยภาพสูงในอนาคต เนื่องจากเป็นการสุ่มตัวอย่างแสงและแสดงผลลัพธ์ในหลากหลายวิธี

ผลพลอยได้อีกอย่างหนึ่งของเทคนิคนี้คือแผนที่ความลึกของฉากที่มีความแม่นยำพอสมควร หมายความว่าแต่ละพิกเซลจะมีข้อมูลเกี่ยวกับระยะห่างจากกล้องเฟซบุ๊กกำลังใช้แนวคิดนี้ใน ตระกูลกล้อง Surround360เพื่อบันทึกวิดีโอ 360° ซึ่งจะถูกนำมาต่อกันโดยใช้แผนที่ระยะทาง การดึงข้อมูลดิบนี้ออกมานั้นเป็นไปได้และช่วยให้สามารถบันทึกภาพความละเอียดสูงของทุกฉากได้ อย่างไรก็ตาม อัตราการส่งข้อมูลรวมกับความแม่นยำของแผนที่ความลึกยังคงเป็นอุปสรรคสำคัญ แต่จะได้รับการแก้ไขในไม่ช้าด้วยเทคนิคการประมาณความลึกขั้นสูง การบีบอัดข้อมูล รวมถึงสนามแสงแบบพาราเมตริก

วิธีการนี้สร้าง โครงข่ายสามเหลี่ยม 3 มิติแบบดั้งเดิมที่คล้ายกับรูปทรงเรขาคณิตที่ใช้ในเกมคอมพิวเตอร์และเอฟเฟกต์ภาพ ปริมาณข้อมูลมักจะน้อยกว่า แต่การแปลงข้อมูลจากโลกแห่งความเป็นจริงให้เป็นข้อมูลความละเอียดต่ำจะจำกัดความละเอียดและความคมชัดของภาพ โดยทั่วไปแล้วจะต้องมีการแลกเปลี่ยนระหว่างความหนาแน่นของโครงข่ายและประสิทธิภาพของประสบการณ์การใช้งานขั้นสุดท้าย

โดยทั่วไปแล้ว การถ่ายภาพสามมิติ (Photogrammetry) จะถูกใช้เป็นพื้นฐานสำหรับการสร้างแบบจำลองสามมิติแบบคงที่ (Static Mesh) จากนั้นจึงเสริมด้วยการจับภาพการเคลื่อนไหวของนักแสดงโดยใช้เทคโนโลยีพื้นฐานเดียวกันคือ การ ถ่ายภาพสามมิติด้วย วิดีโอ (Videogrammetry ) จำเป็นต้องมีการปรับแต่งอย่างเข้มข้นเพื่อสร้างชุดสามเหลี่ยมสุดท้าย เพื่อขยายขอบเขตไปไกลกว่าโลกทางกายภาพ สามารถใช้เทคนิคคอมพิวเตอร์กราฟิก (CG) เพื่อเพิ่มประสิทธิภาพของข้อมูลที่จับภาพได้ โดยใช้ศิลปินในการสร้างเพิ่มเติมลงบนและภายในแบบจำลองสามมิติแบบคงที่ตามความจำเป็น การเล่นภาพมักจะจัดการโดยเอนจิ้นแบบเรียลไทม์และมีลักษณะคล้ายกับกระบวนการสร้างเกมแบบดั้งเดิมในการใช้งาน ทำให้สามารถเปลี่ยนแปลงแสงแบบโต้ตอบได้ และมีวิธีการสร้างสรรค์และจัดเก็บข้อมูลในการผสมผสานแบบจำลองสามมิติแบบคงที่และแบบเคลื่อนไหวเข้าด้วยกัน

เมื่อไม่นานมานี้ ความสนใจได้หันไปที่ การจับภาพปริมาตร แบบจุด (point-based volumetric capture) ข้อมูลที่ได้จะถูกแสดงเป็นจุดหรืออนุภาคในพื้นที่ 3 มิติ โดยมีคุณสมบัติ เช่น สีและขนาดของจุดติดไปด้วย ซึ่งช่วยให้มีความหนาแน่นของข้อมูลมากขึ้นและเนื้อหาที่มีความละเอียดสูงขึ้น อัตราข้อมูลที่ต้องการมีขนาดใหญ่ และฮาร์ดแวร์กราฟิกในปัจจุบันยังไม่ได้รับการปรับให้เหมาะสมสำหรับการเรนเดอร์แบบนี้ เนื่องจากได้รับการปรับให้เหมาะสมกับไปป์ไลน์การเรนเดอร์แบบเมช (mesh-based render pipeline) มากกว่า

ข้อได้เปรียบหลักของจุดคือศักยภาพในการเพิ่มความละเอียดเชิงพื้นที่ จุดสามารถกระจายบนตาข่ายสามเหลี่ยมที่มีแสงที่คำนวณไว้ล่วงหน้า หรือใช้โดยตรงจากเครื่องสแกน LIDAR ^{[ 8 ]}ประสิทธิภาพของนักแสดงจะถูกบันทึกในลักษณะเดียวกับวิธีการแบบตาข่าย แต่สามารถใช้เวลาและพลังการคำนวณมากขึ้นในระหว่างการผลิตเพื่อปรับปรุงข้อมูลให้ดียิ่งขึ้น ในระหว่างการเล่น สามารถใช้ 'ระดับรายละเอียด' เพื่อจัดการภาระการคำนวณบนอุปกรณ์เล่น โดยการเพิ่มหรือลดจำนวนโพลีกอน^{[ 9 ]}การเปลี่ยนแปลงแสงแบบโต้ตอบทำได้ยากขึ้น เนื่องจากข้อมูลส่วนใหญ่ถูกเตรียมไว้ล่วงหน้า ซึ่งหมายความว่าในขณะที่ข้อมูลแสงที่จัดเก็บไว้กับจุดนั้นมีความแม่นยำและมีความเที่ยงตรงสูง แต่ก็ขาดความสามารถในการเปลี่ยนแปลงได้ง่ายในสถานการณ์ใดๆ ข้อดีอีกประการหนึ่งของการบันทึกจุดคือ กราฟิกคอมพิวเตอร์สามารถเรนเดอร์ได้ด้วยคุณภาพสูงมากและจัดเก็บเป็นจุดได้เช่นกัน ซึ่งเปิดโอกาสให้เกิดการผสมผสานที่ลงตัวระหว่างองค์ประกอบจริงและจินตนาการ

หลังจากบันทึกและสร้างข้อมูลแล้ว ขั้นตอนการตัดต่อและประกอบภาพจะดำเนินการภายในระบบประมวลผลแบบเรียลไทม์ โดยเชื่อมโยงการกระทำที่บันทึกไว้เพื่อบอกเล่าเรื่องราวที่ต้องการ ผลลัพธ์สุดท้ายสามารถดูได้ทั้งในรูปแบบการแสดงผลแบบปกติของข้อมูลที่บันทึกไว้ หรือแบบโต้ตอบได้ในแว่นVR

ในขณะที่เป้าหมายหนึ่งของการใช้แนวทางแบบจุดในการจับภาพสามมิติ คือการส่งข้อมูลจุดจากคลาวด์ไปยังผู้ใช้ที่บ้าน ทำให้สามารถสร้างและเผยแพร่โลกเสมือนจริงที่สมจริงได้ตามต้องการ เป้าหมายที่สองที่ได้รับการพิจารณามากขึ้นในปัจจุบันคือการส่งข้อมูลแบบเรียลไทม์ของเหตุการณ์สด ซึ่งต้องใช้แบนด์วิดท์สูงมาก เนื่องจากข้อมูลพิกเซลประกอบด้วยข้อมูลความลึก (กล่าวคือ กลายเป็นว็อกเซล)

As regarding how every medium creates its own visual language, rules and creative approaches, volumetric video is still relatively undeveloped. This compares to the addition of sound to moving pictures, as new design philosophies had to be created and tested. Currently, in the language of film, the art of directing has had over 100 years to develop, but with six degrees of freedom and an interactive and non-linear world, many traditional approaches face difficulties. The more often experiences are created and analyzed, the more quickly the community can come to a conclusion about this language of experiences.

In order to store and playback the captured data, large sets need to be streamed to the consumer. Currently the most effective way is to build bespoke apps that are delivered. Compression of this data is starting to be available with the Moving Picture Experts Group in search for a more efficient way to stream the data. This needs to be solved before the medium becomes mainstream.