การควบคุมด้วยภาพ ( Visual servoing ) หรือที่รู้จักกันในชื่อการควบคุมหุ่นยนต์โดยใช้ภาพ (Visual-based robot control ) และย่อว่าVSเป็นเทคนิคที่ใช้ข้อมูลป้อนกลับที่สกัดจากเซ็นเซอร์ภาพ (ข้อมูลป้อนกลับทางภาพ^{[ 1 ]} ) เพื่อควบคุมการเคลื่อนที่ของหุ่นยนต์เอกสารฉบับแรกๆ ที่กล่าวถึงการควบคุมด้วยภาพมาจากห้องปฏิบัติการนานาชาติ SRI ในปี 1979 ^{[ 2 ]}

มีการกำหนดค่าพื้นฐานสองแบบของปลายแขนหุ่นยนต์ (มือ) และกล้อง: ^{[ 4 ]}

• ระบบควบคุมแบบ Eye-in-Hand หรือระบบควบคุมแบบ Open-loop ที่จุดปลาย ซึ่งกล้องจะติดอยู่กับมือที่กำลังเคลื่อนที่และสังเกตตำแหน่งสัมพัทธ์ของเป้าหมาย
• การควบคุมแบบวงปิดจากตาถึงมือ หรือการควบคุมแบบจุดสิ้นสุด โดยที่กล้องจะอยู่กับที่ในโลกเสมือนจริงและสังเกตเป้าหมายและการเคลื่อนไหวของมือ

เทคนิคการควบคุมเซอร์โวแบบภาพโดยทั่วไปแบ่งออกเป็นประเภทดังต่อไปนี้: ^{[ 5 ] [ 6 ]}

• ระบบภาพ (IBVS)
• ระบบการมองเห็นตาม ตำแหน่ง/ ท่าทาง (PBVS)
• แนวทางแบบผสมผสาน

IBVS ได้รับการเสนอโดย Weiss และ Sanderson ^{[ 7 ]} กฎการควบคุมนั้นขึ้นอยู่กับข้อผิดพลาดระหว่างคุณลักษณะปัจจุบันและคุณลักษณะที่ต้องการบนระนาบภาพ และไม่เกี่ยวข้องกับการประมาณท่าทางของเป้าหมาย คุณลักษณะอาจเป็นพิกัดของคุณลักษณะภาพ เส้น หรือโมเมนต์ของภูมิภาค IBVS มีปัญหา^{[ 8 ]}กับการเคลื่อนไหวที่มีการหมุนขนาดใหญ่มาก ซึ่งเรียกว่าการถอยของกล้อง^{[ 9 ]}

PBVS เป็นเทคนิคที่ใช้โมเดล (โดยใช้กล้องตัวเดียว) เนื่องจากจะทำการประมาณตำแหน่งของวัตถุที่สนใจโดยสัมพันธ์กับกล้อง จากนั้นจึงส่งคำสั่งไปยังตัวควบคุมหุ่นยนต์ ซึ่งจะควบคุมหุ่นยนต์ต่อไป ในกรณีนี้ จะมีการดึงคุณลักษณะของภาพออกมาด้วย แต่ยังใช้เพื่อประมาณข้อมูล 3 มิติ ( ตำแหน่งของวัตถุในระบบพิกัดคาร์ทีเซียน) เพิ่มเติม ดังนั้นจึงเป็นการควบคุมแบบเซอร์โวใน 3 มิติ

วิธีการแบบไฮบริดใช้การผสมผสานระหว่างการควบคุมแบบ 2 มิติและ 3 มิติ มีวิธีการที่แตกต่างกันอยู่หลายแบบในการควบคุมแบบไฮบริด

• เซอร์โว 2-1/2 มิติ^{[ 10 ]}
• การแบ่งส่วนการเคลื่อนไหวตาม
• DOF ที่แบ่งส่วนตาม^{[ 9 ]}

คำอธิบายต่อไปนี้เกี่ยวกับงานวิจัยก่อนหน้านี้แบ่งออกเป็น 3 ส่วน

• การสำรวจวิธีการควบคุมด้วยภาพที่มีอยู่
• คุณลักษณะต่างๆ ที่ใช้และผลกระทบต่อการควบคุมด้วยระบบภาพ (Visual Servoing)
• การวิเคราะห์ข้อผิดพลาดและความเสถียรของระบบควบคุมด้วยภาพ

ระบบเซอร์โวแบบภาพ หรือที่เรียกว่าเซอร์โวอิง มีมาตั้งแต่ช่วงต้นทศวรรษ 1980 ^{[ 11 ]}แม้ว่าคำว่าเซอร์โวแบบภาพจะถูกบัญญัติขึ้นในปี 1987 เท่านั้น^{[ 4 ] [ 5 ] [ 6 ]} โดยพื้นฐานแล้ว เซอร์โวอิงแบบภาพเป็นวิธีการควบคุมหุ่นยนต์โดยใช้เซ็นเซอร์เป็นกล้อง (เซ็นเซอร์ภาพ) เซอร์โวอิงประกอบด้วยเทคนิคหลักสองอย่าง^{[ 6 ]} อย่างแรกคือการใช้ข้อมูลจากภาพเพื่อควบคุมองศาอิสระ (DOF) ของหุ่นยนต์โดยตรง ซึ่งเรียกว่า เซอร์โวอิงแบบภาพโดยใช้ภาพ (IBVS) ในขณะที่อีกอย่างหนึ่งคือการตีความทางเรขาคณิตของข้อมูลที่สกัดจากกล้อง เช่น การประมาณท่าทางของเป้าหมายและพารามิเตอร์ของกล้อง (โดยสมมติว่าทราบแบบจำลองพื้นฐานของเป้าหมาย) นอกจากนี้ยังมีการจำแนกประเภทเซอร์โวอิงอื่นๆ ตามความแตกต่างในแต่ละองค์ประกอบของระบบเซอร์โวอิง^{[ 5 ]} เช่น ตำแหน่งของกล้อง ซึ่งมีสองประเภทคือ การกำหนดค่าแบบตาในมือและแบบมือ-ตา โดยพิจารณาจากวงจรควบคุม มีสองประเภทคือ วงจรเปิดที่จุดปลาย และวงจรปิดที่จุดปลาย โดยพิจารณาจากว่าการควบคุมถูกนำไปใช้กับข้อต่อ (หรือ DOF) โดยตรงหรือเป็นคำสั่งตำแหน่งไปยังตัวควบคุมหุ่นยนต์ มีสองประเภทคือ เซอร์โวโดยตรง และการมองและเคลื่อนที่แบบไดนามิก ในงานแรกๆ^{[ 12 ]} ผู้เขียนได้เสนอแผนการเซอร์โวภาพแบบลำดับชั้นที่ใช้กับเซอร์โวแบบอิงรูปภาพ เทคนิคนี้อาศัยสมมติฐานที่ว่าสามารถดึงชุดคุณลักษณะที่ดีจากวัตถุที่สนใจ (เช่น ขอบ มุม และจุดศูนย์กลาง) และใช้เป็นแบบจำลองบางส่วนร่วมกับแบบจำลองโดยรวมของฉากและหุ่นยนต์ กลยุทธ์การควบคุมนี้ถูกนำไปใช้กับการจำลองแขนหุ่นยนต์สองและสาม DOF

Feddema et al. ^{[ 13 ]} ได้นำเสนอแนวคิดในการสร้างวิถีการทำงานของงานโดยสัมพันธ์กับความเร็วของคุณลักษณะ เพื่อให้แน่ใจว่าเซ็นเซอร์จะไม่ไร้ประสิทธิภาพ (หยุดการป้อนกลับ) สำหรับการเคลื่อนไหวของหุ่นยนต์ใดๆ ผู้เขียนสมมติว่าวัตถุเป็นที่รู้จักล่วงหน้า (เช่น แบบจำลอง CAD) และสามารถดึงคุณลักษณะทั้งหมดจากวัตถุได้ งานของ Espiau et al. ^{[ 14 ]} ได้กล่าวถึงคำถามพื้นฐานบางประการในการควบคุมด้วยภาพ การอภิปรายมุ่งเน้นไปที่การสร้างแบบจำลองของเมทริกซ์ปฏิสัมพันธ์ กล้อง คุณลักษณะภาพ (จุด เส้น ฯลฯ) ใน^{[ 15 ]} ได้มีการเสนอระบบควบคุมแบบปรับตัวได้โดยใช้สถาปัตยกรรมควบคุมแบบมองและเคลื่อนที่ วิธีการนี้ใช้การไหลของแสงร่วมกับ SSD เพื่อให้ได้เมตริกความเชื่อมั่นและตัวควบคุมแบบสุ่มพร้อมการกรอง Kalman สำหรับรูปแบบการควบคุม ระบบจะถือว่า (ในตัวอย่าง) ระนาบของกล้องและระนาบของคุณลักษณะขนานกัน^{[ 16 ]}กล่าวถึงแนวทางการควบคุมความเร็วโดยใช้ความสัมพันธ์ของ Jacobian s˙ = Jv˙ นอกจากนี้ ผู้เขียนยังใช้การกรอง Kalman โดยสมมติว่าตำแหน่งที่สกัดได้ของเป้าหมายมีข้อผิดพลาดโดยธรรมชาติ (ข้อผิดพลาดของเซ็นเซอร์) มีการพัฒนารูปแบบความเร็วของเป้าหมายและใช้เป็นอินพุตแบบฟีดฟอร์เวิร์ดในวงจรควบคุม นอกจากนี้ยังกล่าวถึงความสำคัญของการพิจารณาความคลาดเคลื่อนทางจลนศาสตร์ ผลกระทบทางพลวัต ความสามารถในการทำซ้ำ การแกว่งของเวลาการตั้งตัว และความล่าช้าในการตอบสนอง

Corke ^{[ 17 ]}ตั้งคำถามที่สำคัญมากเกี่ยวกับการควบคุมด้วยภาพและพยายามอธิบายผลกระทบของคำถามเหล่านั้น บทความนี้เน้นที่พลวัตของการควบคุมด้วยภาพเป็นหลัก ผู้เขียนพยายามแก้ไขปัญหาต่างๆ เช่น ความล่าช้าและความเสถียร พร้อมทั้งพูดถึงเส้นทางการป้อนกลับในวงจรควบคุม บทความนี้ยังพยายามหาเหตุผลสนับสนุนการสร้างวิถีการเคลื่อนที่ วิธีการควบคุมแกน และการพัฒนาตัวชี้วัดประสิทธิภาพ

Chaumette ใน^{[ 18 ]}ให้ข้อมูลเชิงลึกที่ดีเกี่ยวกับปัญหาหลักสองประการของ IBVS ประการแรกคือการควบคุมเซอร์โวไปยังจุดต่ำสุดเฉพาะที่ และประการที่สองคือการเข้าถึงภาวะเอกฐานของ Jacobian ผู้เขียนแสดงให้เห็นว่าจุดภาพเพียงอย่างเดียวไม่ทำให้เกิดคุณลักษณะที่ดีเนื่องจากการเกิดภาวะเอกฐาน บทความยังคงดำเนินต่อไปโดยการอภิปรายเกี่ยวกับการตรวจสอบเพิ่มเติมที่เป็นไปได้เพื่อป้องกันภาวะเอกฐาน ได้แก่ ตัวเลขเงื่อนไขของ J_s และ Jˆ+_s เพื่อตรวจสอบพื้นที่ว่างของ ˆ J_s และ J^T_s ประเด็นหลักประการหนึ่งที่ผู้เขียนเน้นคือความสัมพันธ์ระหว่างจุดต่ำสุดเฉพาะที่และการเคลื่อนไหวของคุณลักษณะภาพที่ไม่สามารถเกิดขึ้นได้จริง

ตลอดหลายปีที่ผ่านมา มีการพัฒนาเทคนิคไฮบริดมากมาย^{[ 4 ​​]}ซึ่งเกี่ยวข้องกับการคำนวณตำแหน่งบางส่วน/ทั้งหมดจากเรขาคณิตเอพิโพลาร์โดยใช้มุมมองหลายมุมหรือกล้องหลายตัว ค่าต่างๆ ได้มาจากการประมาณค่าโดยตรงหรือผ่านการเรียนรู้หรือแผนการทางสถิติ ในขณะที่บางเทคนิคใช้แนวทางการสลับที่เปลี่ยนระหว่างแบบอิงรูปภาพและแบบอิงตำแหน่งบนฟังก์ชัน Lyapnov ^{[ 4 ]} เทคนิคไฮบริดยุคแรกๆ ที่ใช้การผสมผสานระหว่างแนวทางแบบอิงรูปภาพและแบบอิงตำแหน่ง (ข้อมูล 2 มิติและ 3 มิติ) สำหรับการควบคุมเซอร์โว จำเป็นต้องมีแบบจำลองของวัตถุแบบเต็มหรือบางส่วนเพื่อดึงข้อมูลตำแหน่ง และใช้เทคนิคต่างๆ เพื่อดึงข้อมูลการเคลื่อนไหวจากรูปภาพ^{[ 19 ]}ใช้แบบจำลองการเคลื่อนไหวแบบแอฟฟินจากการเคลื่อนไหวของรูปภาพ นอกเหนือจากแบบจำลอง CAD รูปทรงหลายเหลี่ยมแบบคร่าวๆ เพื่อดึงตำแหน่งของวัตถุที่สัมพันธ์กับกล้องเพื่อให้สามารถควบคุมเซอร์โวบนวัตถุได้ (ตามแนวทางของ PBVS)

การควบคุมการเคลื่อนที่ด้วยภาพแบบ 2-1/2 มิติที่พัฒนาโดย Malis et al. ^{[ 20 ]}เป็นเทคนิคที่รู้จักกันดีซึ่งแบ่งข้อมูลที่จำเป็นสำหรับการควบคุมการเคลื่อนที่ออกเป็นรูปแบบที่เป็นระเบียบซึ่งแยกการหมุนและการแปลออกจากกัน เอกสารเหล่านี้ถือว่าท่าทางที่ต้องการเป็นที่ทราบล่วงหน้า ข้อมูลการหมุนได้มาจากการประมาณท่าทางบางส่วน โฮโมกราฟี (โดยพื้นฐานแล้วคือข้อมูล 3 มิติ) ซึ่งให้แกนการหมุนและมุม (โดยการคำนวณค่าลักษณะเฉพาะและเวกเตอร์ลักษณะเฉพาะของโฮโมกราฟี) ข้อมูลการแปลได้มาจากภาพโดยตรงโดยการติดตามชุดของจุดคุณลักษณะ เงื่อนไขเดียวคือจุดคุณลักษณะที่กำลังติดตามจะต้องไม่เคยออกจากขอบเขตการมองเห็น และการประมาณความลึกจะต้องถูกกำหนดไว้ล่วงหน้าโดยเทคนิคแบบออฟไลน์ การควบคุมการเคลื่อนที่ด้วยภาพแบบ 2-1/2 มิติได้รับการพิสูจน์แล้วว่ามีความเสถียรมากกว่าเทคนิคก่อนหน้านี้ ข้อสังเกตที่น่าสนใจอีกประการหนึ่งเกี่ยวกับการกำหนดสูตรนี้คือผู้เขียนอ้างว่า Jacobian ของภาพจะไม่มีจุดเอกฐานในระหว่างการเคลื่อนที่ เทคนิคไฮบริดที่พัฒนาโดย Corke และ Hutchinson ^{[ 21 ] [ 22 ]}ซึ่งเรียกกันทั่วไปว่าวิธีการแบ่งส่วน จะแบ่ง Jacobian ของภาพ (หรือรูปภาพ) ออกเป็นการเคลื่อนไหว (ทั้งการหมุนและการแปล) ที่เกี่ยวข้องกับแกน X และ Y และการเคลื่อนไหวที่เกี่ยวข้องกับแกน Z ^{[ 22 ]}อธิบายเทคนิคนี้ โดยแยกคอลัมน์ของ Jacobian ของภาพที่สอดคล้องกับการแปลและการหมุนของแกน Z (กล่าวคือ คอลัมน์ที่สามและหก) วิธีการแบ่งส่วนนี้แสดงให้เห็นว่าสามารถจัดการกับปัญหา Chaumette Conundrum ที่กล่าวถึงใน^{[ 23 ]}เทคนิคนี้ต้องการการประมาณความลึกที่ดีเพื่อให้ทำงานได้อย่างถูกต้อง ^{[ 24 ]}อธิบายวิธีการไฮบริดที่งานเซอร์โวถูกแบ่งออกเป็นสองส่วน คือ งานหลักและงานรอง งานหลักคือการรักษาคุณลักษณะที่น่าสนใจให้อยู่ในขอบเขตการมองเห็น ในขณะที่งานรองคือการทำเครื่องหมายจุดตรึงและใช้เป็นข้อมูลอ้างอิงเพื่อนำกล้องไปยังตำแหน่งที่ต้องการ เทคนิคนี้ต้องการการประมาณความลึกจากขั้นตอนออฟไลน์ เอกสารนี้กล่าวถึงตัวอย่างสองกรณีที่การประมาณความลึกได้มาจากการวัดระยะทางของหุ่นยนต์และโดยการสมมติว่าคุณลักษณะทั้งหมดอยู่บนระนาบ งานรองจะสำเร็จได้โดยใช้แนวคิดของพาราแลกซ์ คุณลักษณะที่ติดตามจะถูกเลือกโดยการเริ่มต้นที่ดำเนินการในเฟรมแรก ซึ่งโดยทั่วไปจะเป็นจุด ^{[ 25 ]}บทความนี้กล่าวถึงสองแง่มุมของการควบคุมการเคลื่อนที่ด้วยภาพ ได้แก่ การสร้างแบบจำลองคุณลักษณะและการติดตามโดยใช้แบบจำลอง สมมติฐานหลักคือแบบจำลอง 3 มิติของวัตถุมีอยู่แล้ว ผู้เขียนเน้นย้ำว่าควรเลือกคุณลักษณะที่เหมาะสมเพื่อให้สามารถแยกองศาอิสระของการเคลื่อนที่ได้ด้วยความสัมพันธ์เชิงเส้น ผู้เขียนยังได้นำการประมาณความเร็วของเป้าหมายมาใช้ในเมทริกซ์ปฏิสัมพันธ์เพื่อปรับปรุงประสิทธิภาพการติดตาม ผลลัพธ์ที่ได้ถูกนำไปเปรียบเทียบกับเทคนิคการควบคุมการเคลื่อนที่ที่เป็นที่รู้จักกันดี แม้ในกรณีที่มีการบดบังเกิดขึ้น

ส่วนนี้กล่าวถึงงานที่ทำในด้านการควบคุมด้วยภาพ เราพยายามติดตามเทคนิคต่างๆ ในการใช้คุณลักษณะ งานส่วนใหญ่ใช้จุดภาพเป็นคุณลักษณะภาพ การกำหนดเมทริกซ์ปฏิสัมพันธ์ใน^{[ 5 ]}ถือว่าใช้จุดในภาพเพื่อแสดงถึงเป้าหมาย มีงานบางส่วนที่เบี่ยงเบนจากการใช้จุดและใช้พื้นที่คุณลักษณะ เส้น โมเมนต์ภาพ และโมเมนต์คงที่^{[ 26 ]} ใน^{[ 27 ]}ผู้เขียนได้กล่าวถึงการติดตามคุณลักษณะภาพโดยใช้แอฟฟิน คุณลักษณะภาพถูกเลือกโดยอิงจากการวัดความคลาดเคลื่อน ซึ่งขึ้นอยู่กับการเปลี่ยนแปลงรูปร่างที่คุณลักษณะได้รับ คุณลักษณะที่ใช้คือแพทช์พื้นผิว จุดสำคัญประการหนึ่งของเอกสารนี้คือการเน้นย้ำถึงความจำเป็นในการพิจารณาคุณลักษณะเพื่อปรับปรุงการควบคุมด้วยภาพ ใน^{[ 28 ]}ผู้เขียนได้พิจารณาการเลือกคุณลักษณะภาพ (คำถามเดียวกันนี้ได้รับการกล่าวถึงใน^{[ 5 ]}ในบริบทของการติดตาม) ผลกระทบของการเลือกคุณลักษณะภาพต่อกฎการควบคุมได้รับการกล่าวถึงโดยพิจารณาเฉพาะแกนความลึกเท่านั้น ผู้เขียนพิจารณาระยะห่างระหว่างจุดคุณลักษณะและพื้นที่ของวัตถุเป็นคุณลักษณะ คุณลักษณะเหล่านี้ใช้ในกฎการควบคุมด้วยรูปแบบที่แตกต่างกันเล็กน้อยเพื่อเน้นผลกระทบต่อประสิทธิภาพ พบว่าประสิทธิภาพที่ดีขึ้นเกิดขึ้นเมื่อข้อผิดพลาดของเซอร์โวเป็นสัดส่วนกับการเปลี่ยนแปลงในแกนความลึก ^{[ 29 ]}นำเสนอการอภิปรายในช่วงแรกเกี่ยวกับการใช้โมเมนต์ ผู้เขียนนำเสนอสูตรใหม่ของเมทริกซ์ปฏิสัมพันธ์โดยใช้ความเร็วของโมเมนต์ในภาพ แม้ว่าจะซับซ้อนก็ตาม แม้ว่าจะใช้โมเมนต์ แต่โมเมนต์เหล่านั้นเป็นการเปลี่ยนแปลงเล็กน้อยในตำแหน่งของจุดเส้นขอบโดยใช้ทฤษฎีบทของกรีน เอกสารยังพยายามกำหนดชุดของคุณลักษณะ (บนระนาบ) สำหรับหุ่นยนต์ 6 DOF ใน^{[ 30 ]}กล่าวถึงการใช้โมเมนต์ภาพเพื่อกำหนดสูตร Jacobian ภาพ สูตรนี้ช่วยให้สามารถแยก DOF ออกจากกันโดยขึ้นอยู่กับประเภทของโมเมนต์ที่เลือก กรณีง่ายๆ ของสูตรนี้คล้ายคลึงกับการควบคุมเซอร์โว 2-1/2 มิติในเชิงแนวคิด^{[ 30 ]}การเปลี่ยนแปลงของโมเมนต์ตามเวลา (m˙ij) ถูกกำหนดโดยใช้การเคลื่อนที่ระหว่างภาพสองภาพและทฤษฎีบทของกรีน ความสัมพันธ์ระหว่าง m˙ij และสกรูความเร็ว (v) กำหนดให้เป็น m˙_ij = L_m_ij v เทคนิคนี้หลีกเลี่ยงการปรับเทียบกล้องโดยสมมติว่าวัตถุเป็นระนาบและใช้การประมาณความลึก เทคนิคนี้ใช้ได้ดีในกรณีระนาบ แต่มีแนวโน้มที่จะซับซ้อนในกรณีทั่วไป แนวคิดพื้นฐานมาจากงานใน [4] มีการใช้โมเมนต์อินวาเรียนต์ใน^{[ 31 ]}แนวคิดหลักคือการค้นหาเวกเตอร์คุณลักษณะที่แยก DOF ทั้งหมดของการเคลื่อนไหว ข้อสังเกตบางประการคือโมเมนต์ศูนย์กลางไม่เปลี่ยนแปลงสำหรับการแปล 2 มิติ รูปแบบพหุนามที่ซับซ้อนได้รับการพัฒนาสำหรับการหมุน 2 มิติ เทคนิคนี้เป็นไปตามการสอนโดยการสาธิต ดังนั้นจึงต้องใช้ค่าความลึกและพื้นที่ของวัตถุที่ต้องการ (โดยสมมติว่าระนาบของกล้องและวัตถุขนานกัน และวัตถุเป็นระนาบ) ส่วนอื่นๆ ของเวกเตอร์คุณลักษณะไม่เปลี่ยนแปลง R3, R4 ผู้เขียนอ้างว่าสามารถจัดการกับการบดบังได้ ^{[ 32 ]}และ^{[ 33 ]}สร้างขึ้นจากงานที่อธิบายไว้ใน^{[ 29 ] [ 31 ] [ 32 ]}ความแตกต่างที่สำคัญคือผู้เขียนใช้เทคนิคที่คล้ายกับ^{[ 16 ]}ซึ่งงานถูกแบ่งออกเป็นสองส่วน (ในกรณีที่คุณลักษณะไม่ขนานกับระนาบกล้อง) การหมุนเสมือนจะดำเนินการเพื่อให้คุณลักษณะขนานกับระนาบกล้อง^{[ 34 ]}รวบรวมงานที่ผู้เขียนทำเกี่ยวกับช่วงเวลาของภาพ

Espiau ใน^{[ 35 ]}แสดงให้เห็นจากการทดลองล้วนๆ ว่าการควบคุมด้วยภาพโดยใช้ภาพ (IBVS) มีความทนทานต่อข้อผิดพลาดในการสอบเทียบ ผู้เขียนใช้กล้องที่ไม่มีการสอบเทียบอย่างชัดเจนพร้อมกับการจับคู่จุดและไม่มีการประมาณท่าทาง บทความนี้พิจารณาถึงผลกระทบของข้อผิดพลาดและความไม่แน่นอนต่อเงื่อนไขในเมทริกซ์ปฏิสัมพันธ์จากแนวทางการทดลอง เป้าหมายที่ใช้คือจุดและถือว่าอยู่ในระนาบ

มีการศึกษาที่คล้ายกันใน^{[ 36 ]}ซึ่งผู้เขียนได้ทำการประเมินเชิงทดลองของระบบเซอร์โวภาพที่ไม่ได้ปรับเทียบจำนวนหนึ่งซึ่งเป็นที่นิยมในช่วงทศวรรษ 1990 ผลลัพธ์หลักคือหลักฐานเชิงทดลองเกี่ยวกับประสิทธิภาพของการควบคุมเซอร์โวภาพเหนือวิธีการควบคุมแบบดั้งเดิม Kyrki et al. ^{[ 37 ]}วิเคราะห์ข้อผิดพลาดของเซอร์โวสำหรับตำแหน่งตามแบบและเซอร์โวภาพ 2-1/2 มิติ เทคนิคนี้เกี่ยวข้องกับการกำหนดข้อผิดพลาดในการดึงตำแหน่งภาพและส่งต่อไปยังการประมาณท่าทางและการควบคุมเซอร์โว จุดจากภาพจะถูกแมปไปยังจุดในโลกก่อนล่วงหน้าเพื่อให้ได้การแมป (ซึ่งโดยพื้นฐานแล้วคือโฮโมกราฟี แม้ว่าจะไม่ได้ระบุไว้อย่างชัดเจนในเอกสาร) การแมปนี้จะถูกแยกย่อยออกเป็นการหมุนและการแปลบริสุทธิ์ การประมาณท่าทางจะดำเนินการโดยใช้เทคนิคมาตรฐานจากคอมพิวเตอร์วิชั่น ข้อผิดพลาดของพิกเซลจะถูกแปลงเป็นท่าทาง สิ่งเหล่านี้จะถูกส่งต่อไปยังตัวควบคุม การสังเกตจากการวิเคราะห์แสดงให้เห็นว่าข้อผิดพลาดในระนาบภาพเป็นสัดส่วนกับความลึก และข้อผิดพลาดในแกนความลึกเป็นสัดส่วนกับกำลังสองของความลึก ข้อผิดพลาดในการวัดในการควบคุมด้วยภาพได้รับการศึกษาอย่างกว้างขวาง ฟังก์ชันข้อผิดพลาดส่วนใหญ่เกี่ยวข้องกับสองด้านของการควบคุมด้วยภาพ ด้านหนึ่งคือข้อผิดพลาดสถานะคงที่ (เมื่อควบคุมแล้ว) และด้านที่สองคือความเสถียรของวงจรควบคุม ข้อผิดพลาดในการควบคุมอื่นๆ ที่น่าสนใจคือข้อผิดพลาดที่เกิดจากการประมาณท่าทางและการสอบเทียบกล้อง ใน^{[ 38 ]}ผู้เขียนได้ขยายงานที่ทำใน^{[ 39 ]}โดยพิจารณาความเสถียรโดยรวมในกรณีที่มีข้อผิดพลาดในการสอบเทียบภายในและภายนอก^{[ 40 ]}นำเสนอแนวทางในการจำกัดข้อผิดพลาดในการติดตามฟังก์ชันงาน ใน^{[ 41 ]}ผู้เขียนใช้เทคนิคการควบคุมด้วยภาพแบบสอนโดยการแสดง โดยที่ท่าทางที่ต้องการเป็นที่ทราบล่วงหน้าและหุ่นยนต์จะเคลื่อนที่จากท่าทางที่กำหนด จุดประสงค์หลักของบทความนี้คือการกำหนดขอบเขตบนของข้อผิดพลาดในการกำหนดตำแหน่งเนื่องจากสัญญาณรบกวนของภาพโดยใช้เทคนิคการเพิ่มประสิทธิภาพแบบนูน ^{[ 42 ]}นำเสนอการอภิปรายเกี่ยวกับการวิเคราะห์ความเสถียรโดยคำนึงถึงความไม่แน่นอนในการประมาณความลึก ผู้เขียนสรุปบทความโดยสังเกตว่าสำหรับรูปทรงเรขาคณิตเป้าหมายที่ไม่ทราบ จำเป็นต้องมีการประมาณความลึกที่แม่นยำยิ่งขึ้นเพื่อจำกัดข้อผิดพลาด เทคนิคการควบคุมด้วยภาพหลายอย่าง^{[ 21 ] [ 22 ] [ 43 ]}สันนิษฐานโดยปริยายว่ามีวัตถุเพียงชิ้นเดียวในภาพ และคุณลักษณะที่เกี่ยวข้องสำหรับการติดตามพร้อมกับพื้นที่ของวัตถุนั้นพร้อมใช้งาน เทคนิคส่วนใหญ่ต้องการการประมาณตำแหน่งบางส่วนหรือการประมาณความลึกที่แม่นยำของตำแหน่งปัจจุบันและตำแหน่งที่ต้องการ

• ชุดเครื่องมือ Matlab สำหรับการควบคุมเซอร์โวด้วยภาพ
• โปรแกรมจำลองการควบคุมเซอร์โวด้วยภาพแบบใช้ภาษา Java เก็บถาวรเมื่อวันที่ 24 กันยายน 2010 ที่Wayback Machine
• ViSP (ViSP ย่อมาจาก "Visual Servoing Platform") เป็นซอฟต์แวร์แบบโมดูลาร์ที่ช่วยให้สามารถพัฒนาแอปพลิเคชันการควบคุมด้วยภาพได้อย่างรวดเร็ว^{[ 44 ]}

• หุ่นยนต์
• หุ่นยนต์
• คอมพิวเตอร์วิชั่น
• วิชั่นเครื่องจักร
• การควบคุมหุ่นยนต์

• SA Hutchinson, GD Hager และ PI Corke. บทช่วยสอนเกี่ยวกับการควบคุมเซอร์โวด้วยภาพ. IEEE Trans. Robot. Automat., 12(5):651—670, ต.ค. 1996.
• F. Chaumette, S. Hutchinson. การควบคุมเซอร์โวด้วยภาพ ตอนที่ 1: แนวทางพื้นฐาน IEEE Robotics and Automation Magazine, 13(4):82-90, ธันวาคม 2549
• F. Chaumette, S. Hutchinson. การควบคุมเซอร์โวด้วยภาพ ตอนที่ 2: แนวทางขั้นสูง IEEE Robotics and Automation Magazine, 14(1):109-118, มีนาคม 2550
• หมายเหตุจากบทเรียน IROS 2004 เกี่ยวกับการควบคุมเซอร์โวด้วยภาพขั้นสูง
• หนังสือคู่มือหุ่นยนต์ของ Springerบทที่ 24: การควบคุมด้วยระบบภาพและการติดตามด้วยระบบภาพ (François Chaumette, Seth Hutchinson)
• มหาวิทยาลัยวิสคอนซิน แมดิสัน ห้องปฏิบัติการหุ่นยนต์และระบบอัจฉริยะเก็บถาวรเมื่อ 2010-12-21 ที่Wayback Machine
• กลุ่มวิจัย INRIA Lagadic
• มหาวิทยาลัยจอห์นส์ ฮอปกินส์ ห้องปฏิบัติการ LIMBS เก็บถาวรเมื่อวันที่ 20 มิถุนายน 2010 ที่Wayback Machine
• มหาวิทยาลัยเซียนา, กลุ่มวิจัยวิสัยทัศน์และหุ่นยนต์ SIRSLab เก็บถาวรเมื่อ 2010-04-26 ที่Wayback Machine
• ห้องปฏิบัติการระบบควบคุมอัจฉริยะ มหาวิทยาลัยโทโฮคุ
• กลุ่มวิจัย INRIA Arobas
• กลุ่ม LASMEA Rosace เก็บถาวรเมื่อ 2009-09-04 ที่Wayback Machine
• UIUC, สถาบันเบ็คแมน