การหาตำแหน่งกล้อง (Camera resectioning)คือกระบวนการประมาณค่าพารามิเตอร์ของแบบจำลองกล้องรูเข็มที่จำลองกล้องที่ใช้ถ่ายภาพหรือวิดีโอที่กำหนด โดยจะระบุว่าลำแสง ใดที่เข้ามา เกี่ยวข้องกับแต่ละพิกเซลในภาพที่ได้ กล่าวโดยพื้นฐานแล้ว กระบวนการนี้จะกำหนดตำแหน่งของกล้องรูเข็ม

โดยปกติ พารามิเตอร์ของกล้องจะถูกแสดงในเมทริกซ์การฉายภาพขนาด 3 × 4 ซึ่งเรียกว่าเมทริกซ์กล้องพารามิเตอร์ภายนอก กำหนด ท่าทางของกล้อง(ตำแหน่งและการวางแนว) ในขณะที่พารามิเตอร์ภายในระบุรูปแบบภาพของกล้อง (ความยาวโฟกัส ขนาดพิกเซล และจุดกำเนิดภาพ)

กระบวนการนี้มักเรียกว่าการปรับเทียบกล้องเชิงเรขาคณิตหรือเรียกสั้น ๆ ว่าการปรับเทียบกล้องแม้ว่าคำนั้นอาจหมายถึงการปรับเทียบกล้องเชิงโฟโตเมตริกหรือจำกัดเฉพาะการประมาณค่าพารามิเตอร์ภายในเท่านั้นการวางแนวภายนอกและการวางแนวภายในหมายถึงการกำหนดเฉพาะพารามิเตอร์ภายนอกและภายในตามลำดับ

การปรับเทียบกล้องแบบดั้งเดิมนั้นจำเป็นต้องมีวัตถุพิเศษในฉาก ซึ่งไม่จำเป็นในการปรับเทียบกล้องอัตโนมัติ การหาตำแหน่งกล้องมักใช้ในแอปพลิเคชันการมองเห็นแบบสเตอริโอโดยใช้เมทริกซ์การฉายภาพของกล้องสองตัวในการคำนวณพิกัดโลกสามมิติของจุดที่กล้องทั้งสองมองเห็น

เมทริกซ์การฉายภาพของกล้องได้มาจากพารามิเตอร์ภายในและภายนอกของกล้อง และมักแสดงด้วยชุดของการแปลง เช่น เมทริกซ์ของพารามิเตอร์ภายในของกล้องเมทริกซ์การหมุน 3 × 3 และเวกเตอร์การแปล เมทริกซ์การฉายภาพของกล้องสามารถใช้เพื่อเชื่อมโยงจุดในพื้นที่ภาพของกล้องกับตำแหน่งในพื้นที่โลก 3 มิติได้

ในบริบทนี้ เราใช้เพื่อแสดงตำแหน่งจุด 2 มิติในพิกเซลและใช้ เพื่อแสดงตำแหน่งจุด 3 มิติในพิกัดโลก ในทั้งสองกรณี จุดเหล่านั้นจะถูกแสดงใน พิกัดเอกพันธุ์ (กล่าวคือ มีส่วนประกอบสุดท้ายเพิ่มเติม ซึ่งโดยทั่วไปแล้วจะเป็น 1) ซึ่งเป็นสัญลักษณ์ที่ใช้กันทั่วไปในหุ่นยนต์และการแปลง วัตถุแข็งเกร็ง${\displaystyle [u\ v\ 1]^{T}}$${\displaystyle [x_{w}\ y_{w}\ z_{w}\ 1]^{T}}$

เมื่ออ้างอิงถึงแบบจำลองกล้องรูเข็มเมทริกซ์กล้อง จะใช้เพื่อแสดงการแมปเชิงโปรเจคทีฟจากพิกัดโลก ไปยัง พิกัด พิกเซล${\displaystyle M}$

${\displaystyle {\begin{bmatrix}wu\\wv\\w\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}}$

โดย ที่และตามธรรมเนียมแล้ว คือพิกัด x และ y ของพิกเซลในกล้องคือเมทริกซ์ภายในดังที่อธิบายไว้ด้านล่าง และคือเมทริกซ์ภายนอกดังที่อธิบายไว้ด้านล่างคือพิกัดของแหล่งกำเนิดแสงที่ตกกระทบเซ็นเซอร์กล้องในพิกัดโลก เทียบกับจุดกำเนิดของโลก โดยการหารผลคูณของเมทริกซ์ด้วยจะสามารถหาค่าทางทฤษฎีของพิกัดพิกเซลได้ ${\displaystyle M=K\,{\begin{bmatrix}R&T\end{bmatrix}}}$${\displaystyle u,v}$${\displaystyle K}$${\displaystyle R\,T}$${\displaystyle x_{w},y_{w},z_{w}}$${\displaystyle w}$

${\displaystyle K={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}$

ประกอบด้วยพารามิเตอร์ภายใน 5 ตัวของรุ่นกล้องเฉพาะ พารามิเตอร์เหล่านี้ครอบคลุมความยาวโฟกัสรูปแบบเซ็นเซอร์ภาพและจุดหลักของกล้องพารามิเตอร์และแสดงถึงความยาวโฟกัสในหน่วยพิกเซล โดยที่และเป็นส่วนกลับของความกว้างและความสูงของพิกเซลบนระนาบการฉายภาพและคือความยาวโฟกัสในหน่วยระยะทาง ^{[ 1 ]} แสดงถึงสัมประสิทธิ์ความเอียงระหว่างแกน x และแกน y และมักจะเป็น 0 และแสดงถึงจุดหลัก ซึ่งในอุดมคติควรอยู่ตรงกลางของภาพ ${\displaystyle K}$${\displaystyle \alpha _{x}=f\cdot m_{x}}$${\displaystyle \alpha _{y}=f\cdot m_{y}}$${\displaystyle m_{x}}$${\displaystyle m_{y}}$${\displaystyle f}$${\displaystyle \gamma }$${\displaystyle u_{0}}$${\displaystyle v_{0}}$

พารามิเตอร์ภายในที่ไม่เป็นเชิงเส้น เช่นการบิดเบี้ยวของเลนส์ก็มีความสำคัญเช่นกัน แม้ว่าจะไม่สามารถรวมอยู่ในแบบจำลองกล้องเชิงเส้นที่อธิบายโดยเมทริกซ์พารามิเตอร์ภายในได้ก็ตาม อัลกอริทึมการปรับเทียบกล้องสมัยใหม่จำนวนมากประมาณค่าพารามิเตอร์ภายในเหล่านี้ในรูปแบบของเทคนิคการเพิ่มประสิทธิภาพที่ไม่เป็นเชิงเส้นด้วยเช่นกัน โดยทำในรูปแบบของการเพิ่มประสิทธิภาพพารามิเตอร์ของกล้องและการบิดเบี้ยวในรูปแบบที่โดยทั่วไปเรียกว่าการปรับแบบรวม (bundle adjustment )

${\displaystyle {}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}}$

${\displaystyle R,T}$พารามิเตอร์ภายนอกเหล่านี้แสดงถึงการแปลงระบบพิกัดจากพิกัดโลก 3 มิติไปเป็นพิกัดกล้อง 3 มิติ หรือกล่าวอีกนัยหนึ่ง พารามิเตอร์ภายนอกกำหนดตำแหน่งของจุดศูนย์กลางกล้องและทิศทางของกล้องในพิกัดโลกคือตำแหน่งของจุดกำเนิดของระบบพิกัดโลกที่แสดงในพิกัดของระบบพิกัดที่อยู่ตรงกลางกล้องมักเข้าใจผิดว่า คือตำแหน่งของกล้อง ตำแหน่งของกล้องที่แสดงในพิกัดโลกคือ(เนื่องจากเป็นเมทริกซ์การหมุน ) สามารถตรวจสอบได้โดยการตรวจสอบว่าจุดถูกแปลงเป็นซึ่งเป็นสิ่งที่คาดหวัง (เนื่องจากตำแหน่งของกล้องในพิกัดของกล้องคือจุดกำเนิด) ${\displaystyle T}$${\displaystyle T}$${\displaystyle C}$${\displaystyle C=-R^{-1}T=-R^{T}T}$${\displaystyle R}$${\displaystyle [-R^{-1}T,1]}$${\displaystyle [0,0,0,1]^{T}}$

การปรับเทียบกล้องมักถูกใช้เป็นขั้นตอนแรกๆ ในงานด้านคอมพิวเตอร์วิชั่น

เมื่อใช้กล้อง ถ่ายภาพ แสงจากสภาพแวดล้อมจะถูกโฟกัสไปที่ระนาบภาพและบันทึกไว้ กระบวนการนี้จะลดมิติของข้อมูลที่กล้องรับเข้ามาจากสามมิติเหลือสองมิติ (แสงจากฉากสามมิติจะถูกเก็บไว้ในภาพสองมิติ) ดังนั้นแต่ละ พิกเซลบนระนาบภาพจึงสอดคล้องกับลำแสงจากฉากดั้งเดิม

มีวิธีการคำนวณพารามิเตอร์ภายในและภายนอกสำหรับชุดกล้องเฉพาะหลายวิธี วิธีที่พบได้บ่อยที่สุด ได้แก่:

1. วิธี การแปลงเชิงเส้นโดยตรง (DLT)
2. วิธีของจาง
3. วิธีการของไช่
4. วิธีของเซลบี (สำหรับกล้องเอ็กซ์เรย์ )

วิธีของ Zhang ^{[ 2 ] [ 3 ]}เป็นวิธีการสอบเทียบกล้องที่ใช้เทคนิคการสอบเทียบแบบดั้งเดิม (จุดสอบเทียบที่ทราบ) และเทคนิคการสอบเทียบด้วยตนเอง (ความสอดคล้องกันระหว่างจุดสอบเทียบเมื่ออยู่ในตำแหน่งที่แตกต่างกัน) ในการดำเนินการสอบเทียบอย่างสมบูรณ์โดยวิธีของ Zhang จำเป็นต้องมีภาพเป้าหมาย/เกจสอบเทียบอย่างน้อยสามภาพที่แตกต่างกัน โดยการเคลื่อนย้ายเกจหรือตัวกล้องเอง หากมีการให้พารามิเตอร์ภายในบางส่วนเป็นข้อมูล (ความตั้งฉากของภาพหรือพิกัดศูนย์กลางทางแสง) จำนวนภาพที่ต้องการสามารถลดลงเหลือสองภาพได้

ในขั้นตอนแรกจะกำหนดค่าประมาณของเมทริกซ์การฉายภาพที่คาดการณ์ไว้ระหว่างเป้าหมายการสอบเทียบและระนาบภาพโดยใช้วิธี DLT [ ^{4 ] ต่อ}มา จะใช้เทคนิคการสอบเทียบด้วยตนเองเพื่อให้ได้ภาพของเมทริกซ์โคนิกสัมบูรณ์^{[ 5 ]} ผลงานหลักของวิธีของ Zhang คือวิธีการที่จะ ดึงเมทริกซ์ภายในที่ถูกจำกัดออกมาได้เมื่อกำหนด ตำแหน่งของเป้าหมายการสอบเทียบแล้ว พร้อมกับอินสแตนซ์ของและพารามิเตอร์การสอบเทียบ ${\displaystyle H}$${\displaystyle n}$${\displaystyle K}$${\displaystyle n}$${\displaystyle R}$${\displaystyle T}$

สมมติว่าเรามีโฮโมกราฟี ที่แมปจุดบน "ระนาบตรวจสอบ" ไปยังจุดบนภาพ ${\displaystyle {\textbf {H}}}$${\displaystyle x_{\pi }}$${\displaystyle \pi }$${\displaystyle x}$

จุดวงกลมเหล่านี้อยู่บนทั้งระนาบการสำรวจของเราและบนภาคตัดกรวยสัมบูรณ์ การอยู่บน ระนาบ การสำรวจหมายความว่าจุดเหล่านี้ยังถูกฉายลงบนภาพของภาคตัดกรวยสัมบูรณ์ (IAC) ด้วย ดังนั้นและจุดวงกลมเหล่านี้ถูกฉายออกมาเป็น ${\displaystyle I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T} }}$${\displaystyle \pi }$${\displaystyle \โอเมก้า _{\infty }}$${\displaystyle \โอเมก้า _{\infty }}$${\displaystyle \omega }$${\displaystyle x_{1}^{T}\omega x_{1}=0}$${\displaystyle x_{2}^{T}\omega x_{2}=0}$

${\displaystyle {\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end{aligned}}}$.

เราสามารถละเว้นการแทนที่นิพจน์ใหม่ของเราด้วยนิพจน์ต่อไปนี้ได้: ${\displaystyle x_{2}}$${\displaystyle x_{1}}$

${\displaystyle {\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0\end{aligned}}}$

อัลกอริทึมของไช่ ซึ่งเป็นวิธีการสำคัญในการปรับเทียบกล้อง ประกอบด้วยขั้นตอนโดยละเอียดหลายขั้นตอนเพื่อกำหนดทิศทางและตำแหน่งของกล้องในพื้นที่ 3 มิติได้อย่างแม่นยำ ขั้นตอนนี้แม้จะซับซ้อนทางเทคนิค แต่โดยทั่วไปสามารถแบ่งออกเป็นสามขั้นตอนหลัก:

กระบวนการเริ่มต้นด้วย ขั้นตอน การสอบเทียบเบื้องต้นซึ่งกล้องจะบันทึกภาพชุดหนึ่ง ภาพเหล่านี้มักมีรูปแบบการสอบเทียบที่ทราบ เช่น กระดานหมากรุก ซึ่งใช้ในการประมาณค่าพารามิเตอร์ภายในของกล้อง เช่น ความยาวโฟกัสและจุดศูนย์กลางทางแสง^{[ 6 ]}ในบางแอปพลิเคชัน จะมีการใช้เป้าหมายกระดานหมากรุกแบบต่างๆ ที่ทนทานต่อการบดบังบางส่วน เป้าหมายดังกล่าว เช่น เป้าหมาย ChArUco ^{[ 7 ]}และ PuzzleBoard ^{[ 8 ]}ช่วยลดความซับซ้อนในการวัดการบิดเบี้ยวที่มุมของเซ็นเซอร์กล้อง

หลังจากทำการปรับเทียบเบื้องต้นแล้ว อัลกอริทึมจะทำการประมาณท่าทางซึ่งเกี่ยวข้องกับการคำนวณตำแหน่งและการวางแนวของกล้องเทียบกับวัตถุที่ทราบในฉาก โดยทั่วไปกระบวนการนี้ต้องระบุจุดเฉพาะในรูปแบบการปรับเทียบและหาเวกเตอร์การหมุนและการแปลของกล้อง

ขั้นตอนสุดท้ายคือการปรับแต่งพารามิเตอร์ในขั้นตอนนี้ อัลกอริทึมจะปรับแต่งค่าสัมประสิทธิ์การบิดเบี้ยวของเลนส์ โดยพิจารณาถึงการบิดเบี้ยวในแนวรัศมีและแนวสัมผัส นอกจากนี้ยังมีการปรับพารามิเตอร์ภายในและภายนอกของกล้องเพิ่มเติมเพื่อเพิ่มความแม่นยำในการสอบเทียบ

แนวทางที่เป็นระบบนี้ทำให้ Algorithm ของ Tsai กลายเป็นเทคนิคสำคัญทั้งในงานวิจัยเชิงวิชาการและการประยุกต์ใช้ในทางปฏิบัติในด้านหุ่นยนต์และการ วัดทางอุตสาหกรรม

วิธีการสอบเทียบกล้องของ Selby ^{[ 9 ]}กล่าวถึงการสอบเทียบอัตโนมัติของระบบกล้องเอ็กซ์เรย์ ระบบกล้องเอ็กซ์เรย์ซึ่งประกอบด้วยหลอดสร้างรังสีเอ็กซ์และตัวตรวจจับสถานะของแข็งสามารถจำลองเป็นระบบกล้องรูเข็มซึ่งประกอบด้วยพารามิเตอร์กล้องภายในและภายนอก 9 ตัว จากนั้นสามารถใช้การลงทะเบียนตามความเข้มโดยอิงจากภาพเอ็กซ์เรย์ใดๆ และแบบจำลองอ้างอิง (เช่น ชุดข้อมูลโทโมกราฟิก) เพื่อกำหนดพารามิเตอร์กล้องสัมพัทธ์โดยไม่จำเป็นต้องใช้ตัวสอบเทียบพิเศษหรือข้อมูลความจริงพื้นฐานใดๆ

• การประมาณท่าทาง 3 มิติ
• ความเป็นจริงเสริม
• ความเสมือนจริงเสริม
• อัลกอริทึมแปดจุด
• ความเป็นจริงผสม
• กล้องรูเข็มรุ่นหนึ่ง
• เปอร์สเปคทีฟแอนด์พอยท์
• สัมประสิทธิ์พหุนามตรรกยะ

• วิธีการปรับเทียบกล้องของจางโดยใช้ซอฟต์แวร์
• การปรับเทียบกล้อง - การบรรยายเกี่ยวกับเทคโนโลยีความเป็นจริงเสริมที่มหาวิทยาลัยเทคนิคแห่งมิวนิก ประเทศเยอรมนี