อุปกรณ์เสมือนจริงคือการซ้อนทับข้อมูลประสาทสัมผัสที่เพิ่มขึ้นลงบนการรับรู้ของผู้ใช้เกี่ยวกับสภาพแวดล้อมจริง เพื่อปรับปรุงประสิทธิภาพของมนุษย์ในงาน ทั้งที่ดำเนินการโดยตรงและ ที่ควบคุมจากระยะไกล^{[ 1 ]} อุปกรณ์เสมือนจริงได้ รับการพัฒนาในช่วงต้นทศวรรษ 1990 โดย Louis Rosenberg ที่ห้องปฏิบัติการวิจัยกองทัพอากาศสหรัฐฯ (AFRL)และเป็นแพลตฟอร์มบุกเบิกในเทคโนโลยี ความเป็นจริงเสมือนและความเป็นจริงเสริม

Virtual Fixtures ได้รับการพัฒนาครั้งแรกโดย Louis Rosenberg ในปี 1992 ที่ห้องปฏิบัติการ Armstrong ของกองทัพอากาศสหรัฐฯ ส่งผลให้เกิด ระบบ ความเป็นจริงเสริมแบบ ดื่มด่ำระบบแรก ที่เคยสร้างขึ้น^{[ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]}เนื่องจากกราฟิก 3 มิติในต้นทศวรรษ 1990 ช้าเกินไปที่จะนำเสนอความเป็นจริงเสริมที่สมจริงและลงทะเบียนตำแหน่งเชิงพื้นที่ Virtual Fixtures จึงใช้หุ่นยนต์จริงสองตัวที่ควบคุมโดยโครงกระดูกภายนอกส่วนบนที่ผู้ใช้สวมใส่ เพื่อสร้างประสบการณ์ที่ดื่มด่ำให้กับผู้ใช้ จึงมีการใช้การกำหนดค่าทางแสงที่เป็นเอกลักษณ์ซึ่งเกี่ยวข้องกับแว่นขยายแบบสองตาคู่หนึ่งที่จัดเรียงเพื่อให้มุมมองของผู้ใช้ที่มีต่อแขนของหุ่นยนต์ถูกดึงมาข้างหน้าเพื่อให้ปรากฏลงทะเบียนในตำแหน่งที่แน่นอนของแขนจริงของผู้ใช้^{[ 2 ] [ 7 ] [ 5 ]}ผลลัพธ์ที่ได้คือประสบการณ์เสมือนจริงที่ลงทะเบียนตามตำแหน่ง ซึ่งผู้ใช้สามารถขยับแขนของตนเองได้ ในขณะที่เห็นแขนหุ่นยนต์อยู่ในตำแหน่งที่แขนของตนเองควรอยู่ ระบบยังใช้ภาพซ้อนเสมือนจริงที่สร้างด้วยคอมพิวเตอร์ในรูปแบบของสิ่งกีดขวางทางกายภาพ สนาม และตัวนำทางจำลอง ซึ่งออกแบบมาเพื่อช่วยเหลือผู้ใช้ขณะปฏิบัติงานจริง^{[ 8 ] [ 9 ] [ 3 ] [ 10 ] [ 11 ] [ 12 ]}

การทดสอบประสิทธิภาพ ตามกฎของ Fittsได้ดำเนินการกับกลุ่มตัวอย่างมนุษย์ ซึ่งแสดงให้เห็นเป็นครั้งแรกว่า สามารถเพิ่มประสิทธิภาพการทำงานของมนุษย์ในงานที่ต้องใช้ความคล่องแคล่วในโลกแห่งความเป็นจริงได้อย่างมีนัยสำคัญ โดยการมอบภาพซ้อนทับความเป็นจริงเสริมแบบดื่มด่ำให้กับผู้ใช้^{[ 5 ] [ 13 ]}

แนวคิดของอุปกรณ์เสมือนจริงได้รับการแนะนำครั้งแรก^{[ 2 ]}เป็นการซ้อนทับข้อมูลประสาทสัมผัสเสมือนจริงบนพื้นที่ทำงานเพื่อปรับปรุงประสิทธิภาพของมนุษย์ในงานที่ควบคุมโดยตรงและจากระยะไกล การซ้อนทับประสาทสัมผัสเสมือนจริงสามารถนำเสนอเป็นโครงสร้างที่สมจริงทางกายภาพ ซึ่งลงทะเบียนในพื้นที่เพื่อให้ผู้ใช้รับรู้ว่ามีอยู่จริงในสภาพแวดล้อมพื้นที่ทำงานจริง การซ้อนทับประสาทสัมผัสเสมือนจริงยังสามารถเป็นนามธรรมที่มีคุณสมบัติที่ไม่สามารถเกิดขึ้นได้ในโครงสร้างทางกายภาพจริง แนวคิดของการซ้อนทับประสาทสัมผัสเป็นเรื่องยากที่จะมองเห็นและพูดถึง ดังนั้นจึงมีการนำอุปมาของอุปกรณ์เสมือนจริงมาใช้ เพื่อให้เข้าใจว่าอุปกรณ์เสมือนจริงคืออะไร มักใช้การเปรียบเทียบกับอุปกรณ์ทางกายภาพจริง เช่น ไม้บรรทัด งานง่ายๆ เช่น การวาดเส้นตรงบนกระดาษด้วยมือเปล่าเป็นงานที่มนุษย์ส่วนใหญ่ไม่สามารถทำได้ด้วยความแม่นยำและความเร็วสูง อย่างไรก็ตาม การใช้อุปกรณ์ง่ายๆ เช่น ไม้บรรทัด ช่วยให้สามารถทำงานนั้นได้อย่างรวดเร็วและแม่นยำ การใช้ไม้บรรทัดช่วยผู้ใช้โดยการนำทางปากกาไปตามไม้บรรทัด ช่วยลดการสั่นและภาระทางจิตใจของผู้ใช้ ส่งผลให้คุณภาพของผลลัพธ์ดีขึ้น

เมื่อมีการเสนอแนวคิด Virtual Fixture ให้กับกองทัพอากาศสหรัฐฯ ในปี 1991 การผ่าตัดแบบเสริมความเป็นจริงถือเป็นกรณีตัวอย่างหนึ่ง โดยขยายแนวคิดจากไม้บรรทัดเสมือนที่นำทางดินสอจริง ไปสู่อุปกรณ์ทางการแพทย์เสมือนที่นำทางมีดผ่าตัดจริงที่ศัลยแพทย์ควบคุม^{[ 2 ]} วัตถุประสงค์คือการซ้อนทับเนื้อหาเสมือนลงบนการรับรู้โดยตรงของศัลยแพทย์เกี่ยวกับพื้นที่ทำงานจริงด้วยความสมจริงที่เพียงพอที่จะรับรู้ได้ว่าเป็นส่วนเพิ่มเติมที่แท้จริงของสภาพแวดล้อมการผ่าตัด และด้วยเหตุนี้จึงช่วยเพิ่มทักษะ ความคล่องแคล่ว และประสิทธิภาพในการผ่าตัด ประโยชน์ที่เสนอของอุปกรณ์ทางการแพทย์เสมือนเมื่อเทียบกับฮาร์ดแวร์จริงคือ เนื่องจากเป็นส่วนเพิ่มเติมเสมือนในความเป็นจริงโดยรอบ จึงสามารถจมอยู่บางส่วนภายในผู้ป่วยจริงได้ โดยให้คำแนะนำและ/หรือสิ่งกีดขวางภายในเนื้อเยื่อที่ไม่เปิดเผย^{[ 14 ] [ 2 ] [ 15 ]}

คำจำกัดความของอุปกรณ์เสมือน^{[ 2 ] [ 7 ] [ 9 ]}นั้นกว้างกว่าการให้คำแนะนำเกี่ยวกับปลายแขนกลเพียงอย่างเดียว ตัวอย่างเช่น อุปกรณ์เสมือนด้านเสียงถูกใช้เพื่อเพิ่มการรับรู้ของผู้ใช้โดยการให้เบาะแสทางเสียงที่ช่วยผู้ใช้โดยการให้เบาะแสหลายรูปแบบสำหรับการระบุตำแหน่งของปลายแขนกล อย่างไรก็ตาม ในบริบทของระบบการทำงานร่วมกันระหว่างมนุษย์และเครื่องจักร คำว่าอุปกรณ์เสมือนมักใช้เพื่ออ้างถึงอุปกรณ์ช่วยเสมือนที่ขึ้นอยู่กับงานซึ่งถูกวางซ้อนทับบนสภาพแวดล้อมจริงและนำทางการเคลื่อนไหวของผู้ใช้ไปตามทิศทางที่ต้องการในขณะที่ป้องกันการเคลื่อนไหวในทิศทางหรือบริเวณที่ไม่ต้องการของพื้นที่ทำงาน

อุปกรณ์เสมือนอาจเป็นอุปกรณ์เสมือนนำทางหรือ อุปกรณ์เสมือนพื้นที่ต้องห้าม อุปกรณ์เสมือนพื้นที่ต้องห้ามอาจใช้ได้ เช่น ในการควบคุมระยะไกล ที่ผู้ควบคุมต้องขับยานพาหนะในสถานที่ ห่างไกลเพื่อบรรลุวัตถุประสงค์ หากมีหลุมในสถานที่ห่างไกลซึ่งอาจเป็นอันตรายหากยานพาหนะตกลงไป พื้นที่ต้องห้ามสามารถกำหนดได้ที่ตำแหน่งหลุมต่างๆ ซึ่งจะช่วยป้องกันไม่ให้ผู้ควบคุมออกคำสั่งที่ทำให้ยานพาหนะตกลงไปในหลุมดังกล่าว^{[ 16 ] [ 17 ] [ 18 ]}

คำสั่งที่ผิดกฎหมายดังกล่าวอาจถูกส่งออกไปได้ง่ายๆ โดยผู้ปฏิบัติงาน เนื่องจากสาเหตุต่างๆ เช่น ความล่าช้าใน วงจร การควบคุม ระยะไกล การสื่อสารทางไกลที่ไม่ชัดเจนหรือเหตุผลอื่นๆ อีกมากมาย

ตัวอย่างของอุปกรณ์ช่วยนำทางเสมือนจริง อาจเป็นกรณีที่ยานพาหนะต้องเคลื่อนที่ตามเส้นทางที่กำหนดไว้

จากนั้นผู้ปฏิบัติงานจะสามารถควบคุมความคืบหน้าไปตามทิศทางที่ต้องการในขณะที่การเคลื่อนที่ไปตามทิศทางที่ไม่ต้องการจะถูกจำกัด

ด้วยทั้งพื้นที่ต้องห้ามและอุปกรณ์ยึดเสมือนจริงที่ใช้ในการนำทางความแข็งหรือค่าผกผันของความแข็งคือ ความยืดหยุ่น ของอุปกรณ์ยึดสามารถปรับได้ หากความยืดหยุ่นสูง (ความแข็งต่ำ) อุปกรณ์ยึดจะอ่อนในทางกลับกัน เมื่อความยืดหยุ่นเป็นศูนย์ (ความแข็งสูงสุด) อุปกรณ์ยึดจะ แข็ง

ส่วนนี้อธิบายถึงวิธีการสร้างกฎการควบคุมที่ใช้กับฟิกซ์เจอร์เสมือน โดยถือว่าหุ่นยนต์เป็นอุปกรณ์จลศาสตร์ล้วนๆ โดยตำแหน่งและทิศทางของปลายแขน หุ่นยนต์ แสดงอยู่ในกรอบอ้างอิงฐานของหุ่นยนต์สัญญาณควบคุมขาเข้าของหุ่นยนต์นั้นถือว่าเป็นความเร็วของปลายแขนหุ่นยนต์ที่ต้องการในระบบควบคุมระยะไกล มักจะเป็นประโยชน์ที่จะปรับขนาดความเร็วขาเข้าจากผู้ควบคุมก่อนที่จะป้อนไปยังตัวควบคุมหุ่นยนต์ หากอินพุตจากผู้ใช้เป็นรูปแบบอื่น เช่น แรงหรือตำแหน่ง จะต้องแปลงเป็นความเร็วขาเข้าก่อน เช่น โดยการปรับขนาดหรือการหาอนุพันธ์ ${\displaystyle \mathbf {p} =\left[x,y,z\right]}$${\displaystyle \mathbf {r} =\left[r_{\textrm {x}},r_{\textrm {y}},r_{\textrm {z}}\right]}$${\displaystyle F_{\textrm {r}}}$${\displaystyle \mathbf {u} }$${\displaystyle \mathbf {v} ={\dot {\mathbf {x} }}=\left[{\dot {\mathbf {p} }},{\dot {\mathbf {r} }}\right]}$${\displaystyle \mathbf {v} _{\textrm {op}}}$

ดังนั้น สัญญาณควบคุมจะถูกคำนวณจากความเร็วที่ผู้ควบคุมป้อนเข้ามาดังนี้: ${\displaystyle \mathbf {u} }$${\displaystyle \mathbf {v} _{\textrm {op}}}$

${\displaystyle \mathbf {u} =c\cdot \mathbf {v} _{\textrm {op}}}$

หากมีการจับคู่แบบหนึ่งต่อหนึ่งระหว่างผู้ควบคุมและหุ่นยนต์ลูกสมุน ${\displaystyle c=1}$

หาก แทนที่ค่าคง ที่ด้วยเมทริกซ์แนวทแยง จะสามารถปรับความยืดหยุ่นได้อย่างอิสระสำหรับมิติที่แตกต่างกันของตัวอย่างเช่น การตั้งค่าองค์ประกอบสามตัวแรกบนแนวทแยงของให้เป็นและองค์ประกอบอื่นๆ ทั้งหมดเป็นศูนย์ จะส่งผลให้ระบบอนุญาตให้มีการเคลื่อนที่แบบเลื่อนเท่านั้น ไม่ใช่การหมุน นี่จะเป็นตัวอย่างของอุปกรณ์ยึดเสมือนแบบแข็งที่จำกัดการเคลื่อนที่จากไปยัง หากตั้งค่าองค์ประกอบที่เหลือบนแนวทแยงเป็นค่าเล็กๆ แทนที่จะเป็นศูนย์ อุปกรณ์ยึดนั้นจะมีความยืดหยุ่น ทำให้สามารถเคลื่อนที่ในทิศทางการหมุนได้บ้าง ${\displaystyle c}$${\displaystyle \mathbf {C} }$${\displaystyle {\dot {\mathbf {x} }}}$${\displaystyle \mathbf {C} }$${\displaystyle c}$${\displaystyle \mathbf {x} \in \mathbb {R} ^{6}}$${\displaystyle \mathbf {p} \in \mathbb {R} ^{3}}$

เพื่อแสดงข้อจำกัดทั่วไปมากขึ้น ให้สมมติเมทริกซ์ที่เปลี่ยนแปลงตามเวลาซึ่งแสดงถึงทิศทางที่ต้องการ ณ เวลาดังนั้น หากทิศทางที่ต้องการอยู่ตามเส้นโค้งใน ในทำนองเดียวกันจะให้ทิศทางที่ต้องการที่ครอบคลุมพื้นผิว จากตัวดำเนินการฉายภาพสองตัว สามารถกำหนด^{[ 19 ]}ช่วงและเคอร์เนลของปริภูมิคอลัมน์ได้: ${\displaystyle \mathbf {D} (t)\in \mathbb {R} ^{6\times n},~n\in [1..6]}$${\displaystyle t}$${\displaystyle n=1}$${\displaystyle \mathbb {R} ^{6}}$${\displaystyle n=2}$${\displaystyle \mathbf {D} }$

${\displaystyle {\begin{aligned}{\textrm {Span}}(\mathbf {D} )&\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{-1}\mathbf {D} ^{T}\\{\textrm {Kernel}}(\mathbf {D} )&\equiv \langle \mathbf {D} \rangle =\mathbf {I} -\left[\mathbf {D} \right]\end{aligned}}}$

หากไม่มีอันดับคอลัมน์เต็ม จะไม่สามารถคำนวณช่วงได้ ดังนั้นจึงควรคำนวณช่วงโดยใช้ผกผันเทียม^{[ 19 ]}ดังนั้นในทางปฏิบัติ ช่วงจะถูกคำนวณดังนี้: ${\displaystyle \mathbf {D} }$

${\displaystyle {\textrm {Span}}(\mathbf {D} )\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{\dagger }\mathbf {D} ^{T}}$

โดยที่หมายถึงผกผันเทียมของ ${\displaystyle \mathbf {D} ^{\dagger }}$${\displaystyle \mathbf {D} }$

หากความเร็วขาเข้าถูกแบ่งออกเป็นสององค์ประกอบดังนี้:

${\displaystyle \mathbf {v} _{\textrm {D}}\equiv \left[\mathbf {D} \right]\mathbf {v} _{\textrm {op}}{\textrm {~and~}}\mathbf {v} _{\tau }\equiv \mathbf {v} _{\textrm {op}}-\mathbf {v} _{\textrm {D}}=\langle \mathbf {D} \rangle \mathbf {v} _{\textrm {op}}}$

สามารถเขียนกฎการควบคุมใหม่ได้ดังนี้:

${\displaystyle \mathbf {v} =c\cdot \mathbf {v} _{\textrm {op}}=c\left(\mathbf {v} _{\textrm {D}}+\mathbf {v} _{\tau }\right)}$

ถัดไป ให้เพิ่มเงื่อนไขใหม่ที่มีผลเฉพาะกับส่วนประกอบที่ไม่ต้องการของความเร็วขาเข้า และเขียนกฎการควบคุมขั้นสุดท้ายดังนี้:

${\displaystyle \mathbf {v} =c\left(\mathbf {v} _{\textrm {D}}+c_{\tau }\cdot \mathbf {v} _{\tau }\right)=c\left(\left[\mathbf {D} \right]+c_{\tau }\langle \mathbf {D} \rangle \right)\mathbf {v} _{\textrm {op}}}$