ในการปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์แบบ 3 มิติการติดตามแบบ 3 มิติหรือที่เรียกว่าการติดตามท่าทางหรือการติดตามตำแหน่งคือกระบวนการที่ติดตามตำแหน่งและ/หรือการวางแนวของจอแสดงผลแบบสวมศีรษะ ตัวควบคุม หรืออุปกรณ์ป้อนข้อมูลอื่นๆ ภายในพื้นที่ยูคลิดการติดตามท่าทางมักถูกเรียกว่าการติดตามแบบ 6DOF เนื่องจากมีองศาอิสระหกองศาที่วัตถุมักถูกติดตาม^{[ 1 ]}

ในระบบ GPS สำหรับผู้บริโภคบางระบบ จะมีการเพิ่มข้อมูลการวางแนวเพิ่มเติมโดยใช้แมกนีโตมิเตอร์ซึ่งให้ข้อมูลการวางแนวเพียงบางส่วน แต่ไม่ใช่ข้อมูลการวางแนวที่สมบูรณ์เหมือนกับการติดตามท่าทาง

ในความเป็นจริงเสมือน (VR) การติดตามท่าทางที่ถูกต้องและเที่ยงตรงเป็นสิ่งสำคัญยิ่ง เพื่อไม่ให้ภาพลวงตาของการอยู่ในโลกเสมือนจริงถูกทำลาย มีการพัฒนาวิธีการติดตามตำแหน่งและการวางแนว (pitch, yaw และ roll) ของจอแสดงผลและวัตถุหรืออุปกรณ์ที่เกี่ยวข้องหลายวิธีเพื่อให้บรรลุเป้าหมายนี้ หลายวิธีใช้เซ็นเซอร์ที่บันทึกสัญญาณจากตัวส่งสัญญาณบนหรือใกล้กับวัตถุที่ติดตามซ้ำๆ จากนั้นส่งข้อมูลนั้นไปยังคอมพิวเตอร์เพื่อรักษาค่าประมาณของตำแหน่งทางกายภาพ วิธีการติดตามที่เป็นที่นิยมคือการติดตามแบบ Lighthouseโดยทั่วไป ตำแหน่งทางกายภาพเหล่านี้จะถูกระบุและกำหนดโดยใช้ระบบพิกัดอย่างน้อยหนึ่งระบบจากสามระบบ ได้แก่ ระบบพิกัดคาร์ทีเซียน ระบบพิกัดทรงกลม และระบบพิกัดทรงกระบอก นอกจากนี้ยังมีการออกแบบอินเทอร์เฟซจำนวนมากเพื่อตรวจสอบและควบคุมการเคลื่อนไหวและการโต้ตอบของผู้ใช้ภายในพื้นที่ 3 มิติเสมือนจริง อินเทอร์เฟซดังกล่าวต้องทำงานร่วมกับระบบติดตามตำแหน่งอย่างใกล้ชิดเพื่อให้ผู้ใช้ได้รับประสบการณ์ที่ราบรื่น^{[ 2 ]}

การติดตามตำแหน่งอีกประเภทหนึ่งที่ใช้บ่อยขึ้นในระบบรุ่นใหม่ๆ คือ การติดตามแบบจากภายในสู่ภายนอก (inside-out tracking) ซึ่งรวมถึงการระบุตำแหน่งและการสร้างแผนที่พร้อมกัน (SLAM) หรือการวัดระยะทางด้วยภาพและแรงเฉื่อย (VIO) ตัวอย่างของอุปกรณ์ที่ใช้การติดตามตำแหน่งแบบจากภายในสู่ภายนอกคือOculus Quest 2

การติดตามด้วยสนามแม่เหล็กอาศัยการวัดความเข้มของสนามแม่เหล็ก ที่ไม่สม่ำเสมอ ด้วยเซ็นเซอร์แม่เหล็กไฟฟ้าสถานีฐานซึ่งมักเรียกว่าตัวส่งสัญญาณหรือตัวสร้างสนามของระบบ จะสร้าง สนามแม่เหล็กไฟฟ้า แบบสลับหรือแบบคงที่ขึ้นอยู่กับสถาปัตยกรรมของระบบ

เพื่อให้ครอบคลุมทุกทิศทางในพื้นที่สามมิติ จึงมีการสร้างสนามแม่เหล็กสามสนามขึ้นมาตามลำดับ สนามแม่เหล็กเหล่านี้สร้างขึ้นโดยขดลวดแม่เหล็กไฟฟ้าสามขดที่ตั้งฉากกัน ขดลวดเหล่านี้ควรบรรจุอยู่ในตัวเรือนขนาดเล็กที่ติดตั้งอยู่บนเป้าหมายที่เคลื่อนที่ซึ่งจำเป็นต้องติดตามตำแหน่ง กระแสไฟฟ้าที่ไหลผ่านขดลวดตามลำดับจะเปลี่ยนขดลวดเหล่านั้นให้กลายเป็นแม่เหล็กไฟฟ้า ซึ่งช่วยให้สามารถกำหนดตำแหน่งและทิศทางของเป้าหมายในอวกาศได้

การติดตามด้วยคลื่นแม่เหล็กไฟฟ้าใช้สำหรับการนำทางผ่าตัดแบบ 3 มิติ^{[ 3 ]}

เนื่องจากการติดตามด้วยแม่เหล็กไม่จำเป็นต้องใช้จอแสดงผลแบบสวมศีรษะ ซึ่งมักใช้ในความเป็นจริงเสมือน จึงมักเป็นระบบติดตามที่ใช้ในจอแสดงผลความเป็นจริงเสมือนแบบเต็มรูปแบบ^{[ 4 ]}อุปกรณ์ทั่วไป เช่น จอแสดงผลแบบสวมศีรษะ อาจรบกวนผู้ใช้ในประสบการณ์ความเป็นจริงเสมือนแบบปิดสนิท ดังนั้นอุปกรณ์ทางเลือก เช่น อุปกรณ์ที่ใช้ในการติดตามด้วยแม่เหล็กจึงเป็นที่นิยม การติดตามด้วยแม่เหล็กได้รับการนำไปใช้โดย Polhemus และในRazer Hydra โดย Sixenseระบบทำงานได้ไม่ดีเมื่ออยู่ใกล้กับวัสดุที่เป็นตัวนำไฟฟ้า เช่น วัตถุและอุปกรณ์ที่เป็นโลหะ ซึ่งอาจส่งผลต่อสนามแม่เหล็กไฟฟ้า การติดตามด้วยแม่เหล็กจะแย่ลงเมื่อผู้ใช้เคลื่อนที่ออกห่างจากตัวส่งสัญญาณฐาน^{[ 4 ]}และพื้นที่ที่ปรับขนาดได้มีจำกัดและไม่สามารถใหญ่กว่า 5 เมตรได้

ข้อดี :

• ใช้อุปกรณ์ที่ไม่รบกวนการใช้งาน ไม่จำเป็นต้องสวมใส่ และไม่ขัดขวางประสบการณ์เสมือนจริง
• เหมาะสำหรับจอแสดงผลเสมือนจริงแบบเต็มรูปแบบ

ข้อเสีย :

• ผู้ใช้จำเป็นต้องอยู่ใกล้กับตัวส่งสัญญาณหลัก
• การติดตามจะแย่ลงเมื่ออยู่ใกล้โลหะหรือวัตถุที่รบกวนสนามแม่เหล็กไฟฟ้า
• มีแนวโน้มที่จะเกิดข้อผิดพลาดและการสั่นไหวจำนวนมากเนื่องจากความต้องการในการปรับเทียบบ่อยครั้ง^{[ 5 ]}

ระบบติดตามด้วยกล้อง หรือที่เรียกว่าระบบติดตามด้วยแสง ใช้กล้องที่ติดตั้งบนหรือรอบๆ ชุดหูฟังเพื่อกำหนดตำแหน่งและทิศทางโดยอาศัยอัลกอริธึมการมองเห็นด้วยคอมพิวเตอร์ระบบติดตาม 3 มิติด้วยกล้องต้องการเส้นแสงโดยตรงที่ปราศจากสิ่งกีดขวาง มิฉะนั้นจะได้รับข้อมูลที่ไม่ถูกต้อง

การติดตามด้วยแสงสามารถทำได้ทั้งแบบมีและไม่มีเครื่องหมาย การติดตามโดยใช้เครื่องหมายเกี่ยวข้องกับการกำหนดเป้าหมายที่มีรูปแบบที่ทราบเพื่อใช้เป็นจุดอ้างอิง และกล้องจะค้นหาเครื่องหมายเหล่านี้อย่างต่อเนื่อง จากนั้นใช้อัลกอริธึมต่างๆ (เช่นอัลกอริธึม POSIT ) เพื่อดึงตำแหน่งของวัตถุ เครื่องหมายอาจมองเห็นได้ เช่นรหัส QR ที่พิมพ์ แต่หลายๆ แบบใช้ แสง อินฟราเรด (IR) ซึ่งกล้องเท่านั้นที่สามารถรับได้ การใช้งานแบบแอคทีฟมีเครื่องหมายที่มีไฟ LED IR ในตัวซึ่งสามารถเปิดและปิดเพื่อซิงค์กับกล้อง ทำให้ง่ายต่อการปิดกั้นแสง IR อื่นๆ ในพื้นที่ติดตาม^{[ 6 ]}การใช้งานแบบพาสซีฟคือตัวสะท้อนแสงซึ่งสะท้อนแสง IR กลับไปยังแหล่งกำเนิดโดยมีการกระเจิงน้อย การติดตามแบบไม่มีเครื่องหมายไม่จำเป็นต้องมีเป้าหมายที่วางไว้ล่วงหน้า แต่ใช้คุณลักษณะตามธรรมชาติของสภาพแวดล้อมโดยรอบเพื่อกำหนดตำแหน่งและการวางแนว^{[ 7 ]}

ในวิธีนี้ กล้องจะถูกวางไว้ในตำแหน่งคงที่ในสภาพแวดล้อมเพื่อติดตามตำแหน่งของเครื่องหมายบนอุปกรณ์ที่ติดตาม เช่น จอแสดงผลแบบสวมศีรษะหรือตัวควบคุม การมีกล้องหลายตัวทำให้สามารถมองเห็นเครื่องหมายเดียวกันได้จากหลายมุม และการทับซ้อนกันนี้ทำให้สามารถอ่านตำแหน่งของอุปกรณ์ได้อย่างแม่นยำ^{[ 6 ]} Oculus Rift CV1ใช้เทคนิคนี้ โดยวางกลุ่มของไฟ LED อินฟราเรดบนชุดหูฟังและตัวควบคุมเพื่อให้กล้องภายนอกในสภาพแวดล้อมสามารถอ่านตำแหน่งได้^{[ 8 ]}วิธีนี้เป็นวิธีที่พัฒนามากที่สุด มีการใช้งานไม่เพียงแต่ใน VR เท่านั้น แต่ยังรวมถึงเทคโนโลยีการจับภาพการเคลื่อนไหวสำหรับภาพยนตร์ด้วย^{[ 9 ]}อย่างไรก็ตาม วิธีแก้ปัญหานี้มีข้อจำกัดด้านพื้นที่ จำเป็นต้องมีเซ็นเซอร์ภายนอกที่อยู่ในสายตาของอุปกรณ์ตลอดเวลา

ข้อดี:

• สามารถปรับปรุงความแม่นยำในการอ่านค่าได้โดยการเพิ่มจำนวนกล้อง
• ความหน่วงต่ำกว่าการติดตามจากภายในสู่ภายนอก^{[ 10 ]}

ข้อเสีย:

• ในกรณีที่มีสิ่งกีดขวาง กล้องจำเป็นต้องมีเส้นทางการมองเห็นโดยตรง มิเช่นนั้นการติดตามจะไม่ทำงาน
• ความจำเป็นในการใช้เซ็นเซอร์ภายนอกหมายถึงพื้นที่เล่นที่จำกัด

ในวิธีนี้ กล้องจะถูกวางไว้บนอุปกรณ์ที่ติดตามและมองออกไปด้านนอกเพื่อกำหนดตำแหน่งในสภาพแวดล้อม ชุดหูฟังที่ใช้เทคโนโลยีนี้มีกล้องหลายตัวหันไปในทิศทางต่างๆ เพื่อให้ได้มุมมองโดยรอบทั้งหมด วิธีนี้สามารถทำงานได้โดยมีหรือไม่มีเครื่องหมาย ระบบ Lighthouse ที่ใช้โดยHTC Viveเป็นตัวอย่างของเครื่องหมายแบบแอคทีฟ โมดูล Lighthouse ภายนอกแต่ละตัวประกอบด้วย LED อินฟราเรด รวมถึงอาร์เรย์เลเซอร์ที่กวาดไปในทิศทางแนวนอนและแนวตั้ง และเซ็นเซอร์บนชุดหูฟังและตัวควบคุมสามารถตรวจจับการกวาดเหล่านี้และใช้จังหวะเวลาเพื่อกำหนดตำแหน่ง^{[ 11 ] [ 12 ]}การติดตามแบบไร้เครื่องหมาย เช่น บนOculus Questไม่จำเป็นต้องติดตั้งอะไรไว้ในสภาพแวดล้อมภายนอก มันใช้กล้องบนชุดหูฟังสำหรับกระบวนการที่เรียกว่าSLAMหรือการระบุตำแหน่งและการสร้างแผนที่พร้อมกัน ซึ่งจะสร้างแผนที่ 3 มิติของสภาพแวดล้อมแบบเรียลไทม์^{[ 7 ]}จากนั้นอัลกอริธึมการเรียนรู้ของเครื่องจะกำหนดตำแหน่งของชุดหูฟังภายในแผนที่ 3 มิตินั้น โดยใช้การตรวจจับคุณลักษณะเพื่อสร้างและวิเคราะห์สภาพแวดล้อมโดยรอบ^{[ 13 ] [ 14 ]}เทคโนโลยีนี้ทำให้ชุดหูฟังระดับไฮเอนด์อย่างMicrosoft HoloLensสามารถใช้งานได้ด้วยตัวเอง และยังเปิดโอกาสให้มีชุดหูฟังแบบพกพาราคาถูกลงโดยไม่จำเป็นต้องเชื่อมต่อกับคอมพิวเตอร์หรือเซ็นเซอร์ภายนอก^{[ 15 ]}

ข้อดี:

• ช่วยให้มีพื้นที่เล่นที่กว้างขึ้น สามารถขยายให้พอดีกับห้องได้
• ปรับตัวเข้ากับสภาพแวดล้อมใหม่ได้

ข้อเสีย:

• จำเป็นต้องมีการประมวลผลบนเรือเพิ่มเติม
• ความหน่วงอาจสูงขึ้น^{[ 10 ]}

การรวมข้อมูลจากเซ็นเซอร์จะรวมข้อมูลจากอัลกอริธึมการติดตามหลายตัวเข้าด้วยกัน และสามารถให้ผลลัพธ์ที่ดีกว่าการใช้เทคโนโลยีเพียงอย่างเดียว รูปแบบหนึ่งของการรวมข้อมูลจากเซ็นเซอร์คือการรวมการติดตามแบบเฉื่อยและการติดตามแบบออปติคอลเข้าด้วยกัน เทคนิคทั้งสองนี้มักใช้ร่วมกัน เนื่องจากเซ็นเซอร์เฉื่อยนั้นเหมาะสมที่สุดสำหรับการติดตามการเคลื่อนไหวที่รวดเร็ว แต่ก็สะสมข้อผิดพลาดได้อย่างรวดเร็ว และเซ็นเซอร์แบบออปติคอลให้การอ้างอิงแบบสัมบูรณ์เพื่อชดเชยจุดอ่อนของเซ็นเซอร์เฉื่อย^{[ 16 ]}นอกจากนี้ การติดตามแบบเฉื่อยยังสามารถชดเชยข้อบกพร่องบางประการของการติดตามแบบออปติคอลได้ ตัวอย่างเช่น การติดตามแบบออปติคอลอาจเป็นวิธีการติดตามหลัก แต่เมื่อเกิดการบดบัง การติดตามแบบเฉื่อยจะประมาณตำแหน่งจนกว่าวัตถุจะปรากฏให้เห็นต่อกล้องออปติคอลอีกครั้ง การติดตามแบบเฉื่อยยังสามารถสร้างข้อมูลตำแหน่งระหว่างข้อมูลตำแหน่งการติดตามแบบออปติคอลได้ เนื่องจากการติดตามแบบเฉื่อยมีอัตราการอัปเดต ที่สูงกว่า การติดตามแบบออปติคอลยังช่วยรับมือกับการเบี่ยงเบนของการติดตามแบบเฉื่อย การรวมการติดตามแบบออปติคอลและแบบเฉื่อยแสดงให้เห็นว่าสามารถลดข้อผิดพลาดในการจัดตำแหน่งที่ไม่ถูกต้องซึ่งมักเกิดขึ้นเมื่อผู้ใช้ขยับศีรษะเร็วเกินไป^{[ 4 ]}ความก้าวหน้าของระบบแม่เหล็กไฟฟ้าขนาดเล็กทำให้การติดตามด้วยแม่เหล็ก/ไฟฟ้าแพร่หลายมากขึ้นเนื่องจากมีขนาดเล็กและต้นทุนต่ำ^{[ 5 ]}

ระบบติดตามไร้สายใช้ชุดจุดยึดที่วางไว้รอบขอบเขตของพื้นที่ติดตาม และแท็กตั้งแต่หนึ่งตัวขึ้นไปที่ถูกติดตาม ระบบนี้มีหลักการทำงานคล้ายกับ GPS แต่ใช้งานได้ทั้งในร่มและกลางแจ้ง บางครั้งเรียกว่า GPS ในร่ม แท็กจะคำนวณตำแหน่งสามมิติโดยใช้จุดยึดที่วางไว้รอบขอบเขต เทคโนโลยีไร้สายที่เรียกว่าUltra Wideband ทำให้การติดตามตำแหน่งมีความแม่นยำต่ำกว่า 100 มม. ด้วยการใช้การรวมข้อมูลจากเซ็นเซอร์และอัลกอริทึมความเร็วสูง ความแม่นยำในการติดตามสามารถเข้าถึงระดับ 5 มม. ด้วยความเร็วในการอัปเดต 200 เฮิรตซ์ หรือ ความหน่วง 5 มิลลิวินาที

ข้อดี :

• ผู้ใช้สัมผัสประสบการณ์การเคลื่อนไหวที่ไม่ถูกจำกัด^{[ 17 ]}
• ช่วยให้เคลื่อนไหวได้กว้างขึ้น
• ให้ตำแหน่งที่แน่นอนแทนที่จะเป็นเพียงตำแหน่งสัมพัทธ์^{[ 18 ]}

ข้อเสีย :

• อัตราการสุ่มตัวอย่างต่ำอาจลดความแม่นยำลงได้
• อัตราความหน่วงต่ำ (นิยาม) เมื่อเทียบกับเซ็นเซอร์อื่นๆ

การติดตามแบบเฉื่อยเป็นวิธีการติดตามการหมุนแบบดั้งเดิม โดยใช้ข้อมูลจากมาตรวัดความเร่งและไจโรสโคปและบางครั้งก็ใช้มาตรวัดสนามแม่เหล็กมาตรวัดความเร่งจะวัดความเร่งเชิงเส้น เนื่องจากอนุพันธ์ของตำแหน่งเทียบกับเวลาคือความเร็ว และอนุพันธ์ของความเร็วคือความเร่ง ดังนั้นในทางทฤษฎีแล้วเอาต์พุตของมาตรวัดความเร่งสามารถอินทิเกรตเพื่อหาความเร็ว จากนั้นอินทิเกรตอีกครั้งเพื่อหาตำแหน่งเทียบกับจุดเริ่มต้น ไจโรสโคปจะวัดความเร็วเชิงมุมความเร็วเชิงมุมสามารถอินทิเกรตได้เช่นกันเพื่อกำหนดตำแหน่งเชิงมุมเทียบกับจุดเริ่มต้น มาตรวัดสนามแม่เหล็กจะวัดสนามแม่เหล็กและโมเมนต์ไดโพลแม่เหล็ก ทิศทางของสนามแม่เหล็กโลกสามารถอินทิเกรตเพื่อให้ได้การอ้างอิงการวางแนวสัมบูรณ์และเพื่อชดเชยการเบี่ยงเบนของไจโรสโคป^{[ 19 ]}ระบบหน่วยวัดความเฉื่อย (IMU)ที่ทันสมัยนั้นใช้เทคโนโลยี MEMSซึ่งช่วยให้สามารถติดตามการวางแนว (roll, pitch, yaw) ในอวกาศด้วยอัตราการอัปเดตสูงและความหน่วงน้อยที่สุด ไจโรสโคปมักใช้สำหรับการติดตามการหมุน แต่จะใช้เทคนิคที่แตกต่างกันสำหรับการติดตามตำแหน่งโดยขึ้นอยู่กับปัจจัยต่างๆ เช่น ต้นทุน ความง่ายในการตั้งค่า และปริมาตรการติดตาม^{[ 16 ]}

การคำนวณตำแหน่ง โดยประมาณ (Dead reckoning)ใช้ในการติดตามข้อมูลตำแหน่ง ซึ่งจะเปลี่ยนแปลงสภาพแวดล้อมเสมือนจริงโดยการอัปเดตการเปลี่ยนแปลงการเคลื่อนไหวของผู้ใช้^{[ 20 ]}อัตราการอัปเดตการคำนวณตำแหน่งโดยประมาณและอัลกอริทึมการทำนายที่ใช้ในระบบเสมือนจริงส่งผลต่อประสบการณ์ของผู้ใช้ แต่ยังไม่มีข้อสรุปเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุด เนื่องจากมีการใช้เทคนิคที่แตกต่างกันมากมาย^{[ 20 ]}การพึ่งพาการติดตามแบบเฉื่อยเพียงอย่างเดียวเพื่อกำหนดตำแหน่งที่แม่นยำนั้นทำได้ยาก เพราะการคำนวณตำแหน่งโดยประมาณทำให้เกิดการคลาดเคลื่อน ดังนั้นการติดตามประเภทนี้จึงไม่ได้ถูกนำมาใช้เพียงอย่างเดียวในระบบเสมือนจริง^{[ 21 ]}พบว่าความล่าช้าระหว่างการเคลื่อนไหวของผู้ใช้และการแสดงผลในระบบเสมือนจริงที่มากกว่า 100 มิลลิวินาที อาจทำให้เกิดอาการคลื่นไส้^{[ 22 ]}

เซ็นเซอร์เฉื่อยไม่เพียงแต่สามารถติดตามการเคลื่อนที่แบบหมุน (roll, pitch, yaw) เท่านั้น แต่ยังรวมถึงการเคลื่อนที่แบบแปลด้วย การเคลื่อนที่ทั้งสองประเภทนี้รวมกันเรียกว่า6 องศาอิสระ แอปพลิเคชันเสมือนจริงจำนวนมากจำเป็นต้องติดตามไม่เพียงแต่การหมุนของศีรษะของผู้ใช้เท่านั้น แต่ยังรวมถึงการเคลื่อนไหวของร่างกายไปพร้อมกับการหมุนด้วย (ซ้าย/ขวา, หน้า/หลัง, ขึ้น/ลง) ^{[ 23 ]}ความสามารถ 6 องศาอิสระไม่จำเป็นสำหรับประสบการณ์เสมือนจริงทั้งหมด แต่มีประโยชน์เมื่อผู้ใช้จำเป็นต้องเคลื่อนย้ายสิ่งอื่นนอกเหนือจากศีรษะ

ข้อดี :

• สามารถติดตามการเคลื่อนไหวที่รวดเร็วได้ดีเมื่อเทียบกับเซ็นเซอร์อื่นๆ และดีเป็นพิเศษเมื่อใช้ร่วมกับเซ็นเซอร์อื่นๆ
• สามารถอัปเดตข้อมูลได้ในอัตราสูง

ข้อเสีย :

• มีโอกาสเกิดข้อผิดพลาดได้ง่าย และข้อผิดพลาดจะสะสมอย่างรวดเร็วเนื่องจากการคำนวณตำแหน่งโดยประมาณ
• ความล่าช้าหรือการคำนวณผิดพลาดใดๆ เมื่อกำหนดตำแหน่งอาจนำไปสู่อาการต่างๆ ในผู้ใช้ เช่น คลื่นไส้หรือปวดหัว^{[ 4 ]}
• อาจไม่สามารถตามทันผู้ใช้ที่เคลื่อนที่เร็วเกินไปได้^{[ 4 ]}
• โดยทั่วไปเซ็นเซอร์เฉื่อยสามารถใช้งานได้เฉพาะในอาคารและห้องปฏิบัติการเท่านั้น ดังนั้นการใช้งานกลางแจ้งจึงมีข้อจำกัด^{[ 5 ]}

ระบบติดตามเสียงใช้เทคนิคในการระบุตำแหน่งของวัตถุหรืออุปกรณ์ที่คล้ายกับที่พบได้ตามธรรมชาติในสัตว์ที่ใช้การสะท้อนเสียงเช่นเดียวกับค้างคาวที่หาตำแหน่งของวัตถุโดยใช้ความแตกต่างของเวลาการสะท้อนกลับของคลื่นเสียงไปยังหูทั้งสองข้าง ระบบติดตามเสียงใน VR อาจใช้ชุดเซ็นเซอร์อัลตราโซนิกอย่างน้อยสามตัวและตัวส่งสัญญาณอัลตราโซนิกอย่างน้อยสามตัวบนอุปกรณ์เพื่อคำนวณตำแหน่งและการวางแนวของวัตถุ (เช่น ตัวควบคุมแบบมือถือ) ^{[ 24 ]}มีสองวิธีในการกำหนดตำแหน่งของวัตถุ: การวัดเวลาการเดินทางของคลื่นเสียงจากตัวส่งไปยังตัวรับหรือความสอดคล้องของเฟสของคลื่นเสียงไซน์โดยการรับการถ่ายโอน

กำหนดให้มีเซ็นเซอร์ (หรือตัวรับสัญญาณ) สามตัวที่ไม่เรียงตัวกันเป็นเส้นตรง โดยมีระยะห่างระหว่างกัน d ₁และ d ₂รวมทั้งเวลาที่คลื่นเสียงอัลตราโซนิก (คลื่นที่มีความถี่มากกว่า 20 kHz) เดินทางจากตัวส่งสัญญาณไปยังตัวรับสัญญาณทั้งสามตัวนั้น ตำแหน่งคาร์ทีเซียนสัมพัทธ์ของตัวส่งสัญญาณสามารถคำนวณได้ดังนี้:

${\displaystyle x_{0}={l_{1}^{2}+d_{1}^{2}-l_{2}^{2} \over 2d_{1}}}$

${\displaystyle y_{0}={l_{1}^{2}+d_{2}^{2}-l_{3}^{2} \มากกว่า 2d_{2}}}$

${\displaystyle z_{0}={\sqrt {l_{1}^{2}-x_{0}^{2}-y_{0}^{2}}}}$

ในที่นี้ l _iแต่ละค่าแทนระยะทางจากตัวส่งสัญญาณไปยังตัวรับสัญญาณทั้งสามตัว โดยคำนวณจากเวลาในการเดินทางของคลื่นอัลตราโซนิกโดยใช้สมการl = ct _usค่าคงที่cคือความเร็วของเสียง ซึ่งเท่ากับ 343.2 เมตร/วินาที ในอากาศแห้งที่อุณหภูมิ 20°C เนื่องจากต้องใช้ตัวรับสัญญาณอย่างน้อยสามตัว การคำนวณเหล่านี้จึงมักเรียกว่าการหาตำแหน่งโดยใช้สามเหลี่ยม (triangulation )

นอกเหนือจากตำแหน่งแล้ว การกำหนดทิศทางของอุปกรณ์ (เช่น ระดับการหมุนในทุกทิศทาง) จำเป็นต้องทราบจุดที่ไม่เรียงกันอย่างน้อยสามจุดบนวัตถุที่ติดตาม ซึ่งกำหนดให้ต้องมีตัวส่งสัญญาณอัลตราโซนิกอย่างน้อยสามตัวต่ออุปกรณ์ที่ติดตาม นอกเหนือจากตัวรับสัญญาณสามตัวที่กล่าวถึงข้างต้น ตัวส่งสัญญาณจะปล่อยคลื่นอัลตราโซนิกตามลำดับไปยังตัวรับสัญญาณทั้งสาม ซึ่งสามารถนำมาใช้เพื่อหาข้อมูลเชิงพื้นที่ของตัวส่งสัญญาณทั้งสามโดยใช้วิธีการที่อธิบายไว้ข้างต้น จากนั้นสามารถหาทิศทางของอุปกรณ์ได้จากตำแหน่งที่ทราบของตัวส่งสัญญาณบนอุปกรณ์และตำแหน่งเชิงพื้นที่ของตัวส่งสัญญาณเหล่านั้นสัมพันธ์กัน^{[ 25 ]}

ตรงกันข้ามกับวิธีการ TOF วิธีการติดตามแบบเฟสสอดคล้อง (PC) ก็ถูกนำมาใช้เพื่อระบุตำแหน่งวัตถุด้วยเสียงเช่นกัน การติดตามแบบ PC เกี่ยวข้องกับการเปรียบเทียบเฟสของคลื่นเสียงปัจจุบันที่ได้รับจากเซ็นเซอร์กับเฟสของสัญญาณอ้างอิงก่อนหน้า เพื่อให้สามารถกำหนดการเปลี่ยนแปลงตำแหน่งสัมพัทธ์ของตัวส่งสัญญาณจากการวัดครั้งล่าสุดได้ วิธีนี้ถูกใช้ในจอแสดงผล 3 มิติแบบสวมศีรษะของ Ivan Sutherland [ ^{26 ] เนื่องจาก}วิธีนี้ทำงานเฉพาะกับการเปลี่ยนแปลงที่สังเกตได้ในค่าตำแหน่งเท่านั้น ไม่ใช่การวัดแบบสัมบูรณ์ ข้อผิดพลาดในการวัดจึงมีแนวโน้มที่จะสะสมมากขึ้นเมื่อมีการสังเกตมากขึ้น ด้วยเหตุนี้ วิธีนี้จึงได้รับความนิยมลดลงในหมู่นักพัฒนาเมื่อเวลาผ่านไป

ข้อดี :

• การวัดพิกัดและมุมอย่างแม่นยำ
• เซ็นเซอร์มีขนาดเล็กและน้ำหนักเบา ทำให้มีความยืดหยุ่นมากขึ้นในการนำไปผสานรวมเข้ากับการออกแบบ
• อุปกรณ์เหล่านี้มีราคาถูกและผลิตได้ง่าย
• ไม่มีการรบกวนทางแม่เหล็กไฟฟ้า

ข้อเสีย :

• ความเร็วของเสียงที่แปรผันตามอุณหภูมิ ความดันบรรยากาศ และความชื้นของสภาพแวดล้อม อาจทำให้เกิดความคลาดเคลื่อนในการคำนวณระยะทางได้
• ระยะทำการมีจำกัด และจำเป็นต้องมีเส้นทางการมองเห็นโดยตรงระหว่างตัวส่งและตัวรับ
• เมื่อเปรียบเทียบกับวิธีการอื่นๆ ความถี่ในการสุ่มตัวอย่างสูงสุดที่เป็นไปได้นั้นค่อนข้างน้อย (ประมาณไม่กี่สิบเฮิร์ตซ์) เนื่องจากความเร็วของเสียงในอากาศค่อนข้างต่ำ ซึ่งอาจทำให้เกิดความล่าช้าในการวัดได้มากถึงหลายสิบมิลลิวินาที เว้นแต่จะใช้การรวมข้อมูลจากเซ็นเซอร์หลายตัวเพื่อเสริมการวัดด้วยคลื่นอัลตราซาวนด์
• การรบกวนทางเสียง (เช่น เสียงอื่นๆ ในสภาพแวดล้อมโดยรอบ) อาจขัดขวางการอ่านได้

โดยสรุป การนำการติดตามเสียงมาใช้จะเหมาะสมที่สุดในกรณีที่สามารถควบคุมสภาพแวดล้อมโดยรอบที่ระบบ VR หรือ AR อยู่ได้อย่างสมบูรณ์ เช่น โปรแกรมจำลองการบิน^{[ 2 ] [ 27 ] [ 28 ]}

การติดตามเชิงกลใช้การเชื่อมโยงทางกายภาพเพื่อกำหนดตำแหน่งของวัตถุ วิธีนี้ใช้ในผลิตภัณฑ์เช่น BOOM จาก Fakespace Labs ^{[ 29 ]}

• การประมาณท่าทาง 3 มิติ
• จอแสดงผลแบบสวมศีรษะ
• ระบบระบุตำแหน่งภายในอาคาร
• การติดตามนิ้วมือ
• ฟรีแทร็ก
• การจับภาพการเคลื่อนไหว
• การระบุตำแหน่งและการสร้างแผนที่พร้อมกัน
• ระบบติดตาม

• Rolland, Jannick P.; Baillot, Yohan; Goon, Alexei A. การสำรวจเทคโนโลยีการติดตามสำหรับสภาพแวดล้อมเสมือนจริง (PDF )
• Vikas Kumar N. การบูรณาการระบบนำทางเฉื่อยและระบบระบุตำแหน่งทั่วโลกโดยใช้การกรอง Kalman (PDF )
• Hol, JD; Schön, TB; Gustafsson, F.; Slycke, PJ การรวมข้อมูลจากเซ็นเซอร์เพื่อความเป็นจริงเสริม (PDF )