กลับไปหน้าบทความ

อ่าน 10 นาที

เมทริกซ์สำคัญ

ในด้าน คอมพิวเตอร์วิชั่น เมท ริกซ์ที่สำคัญ คือ เมทริกซ์ ที่เชื่อมโยง จุดที่สอดคล้องกัน ใน ภาพสเตอริโอ โดยสมมติว่ากล้องเป็นไปตาม แบบจำลองกล้องรู เข็ม 3 × 3 {\displaystyle 3\times...

เมทริกซ์สำคัญ

ในด้านคอมพิวเตอร์วิชั่นเมทริกซ์ที่สำคัญคือเมทริกซ์ที่เชื่อมโยงจุดที่สอดคล้องกันในภาพสเตอริโอโดยสมมติว่ากล้องเป็นไปตามแบบจำลองกล้องรูเข็ม

การทำงาน

โดยเฉพาะอย่างยิ่ง ถ้าและเป็นพิกัดภาพปกติที่เป็น เนื้อเดียวกัน ในภาพที่ 1 และ 2 ตามลำดับแล้ว

ถ้าและสอดคล้องกับจุด 3 มิติเดียวกันในฉาก (ไม่ใช่ " ถ้าและเฉพาะเมื่อ " เนื่องจากจุดที่อยู่บนเส้นอีพิโพลาร์เดียวกันในภาพแรกจะถูกแมปไปยังเส้นอีพิโพลาร์เดียวกันในภาพที่สอง)

ความสัมพันธ์ข้างต้นซึ่งกำหนดเมทริกซ์สำคัญนั้นได้รับการตีพิมพ์ในปี 1981 โดยH. Christopher Longuet-Higginsซึ่งเป็นการแนะนำแนวคิดนี้ให้กับชุมชนคอมพิวเตอร์วิชั่น หนังสือของ Richard HartleyและAndrew Zissermanรายงานว่าเมทริกซ์ที่คล้ายกันปรากฏในโฟโตแกรมเมตรีมานานก่อนหน้านั้นแล้ว บทความของ Longuet-Higgins ประกอบด้วยอัลกอริธึมสำหรับการประมาณค่าจากชุดพิกัดภาพปกติที่สอดคล้องกัน รวมถึงอัลกอริธึมสำหรับการกำหนดตำแหน่งและทิศทางสัมพัทธ์ของกล้องทั้งสองตัวเมื่อทราบค่า สุดท้ายนี้ บทความแสดงให้เห็นว่าสามารถกำหนดพิกัด 3 มิติของจุดภาพได้อย่างไรโดยใช้เมทริกซ์สำคัญ

ใช้

เมทริกซ์สำคัญ (Essential Matrix) สามารถมองได้ว่าเป็นเมทริกซ์เบื้องต้นของ เมท ริกซ์พื้นฐาน (Fundamental Matrix) ทั้งสองเมทริกซ์สามารถใช้ในการกำหนดข้อจำกัดระหว่างจุดภาพที่ตรงกันได้ แต่เมทริกซ์สำคัญสามารถใช้ได้เฉพาะกับกล้องที่ได้รับการปรับเทียบแล้วเท่านั้น เนื่องจากต้องทราบพารามิเตอร์ภายในของกล้อง (เมทริกซ์และ) เพื่อให้ได้ค่ามาตรฐาน อย่างไรก็ตาม หากกล้องได้รับการปรับเทียบแล้ว เมทริกซ์สำคัญจะมีประโยชน์ในการกำหนดทั้งตำแหน่งและทิศทางสัมพัทธ์ระหว่างกล้อง และตำแหน่ง 3 มิติของจุดภาพที่สอดคล้องกัน เมทริกซ์สำคัญมีความสัมพันธ์กับเมทริกซ์พื้นฐานด้วย

ที่มาและคำจำกัดความ

การพิสูจน์นี้เป็นไปตามบทความของ Longuet-Higgins

กล้องสองตัวที่ได้รับการปรับให้เป็นมาตรฐานแล้วจะฉายภาพโลกสามมิติลงบนระนาบภาพของแต่ละกล้อง ให้พิกัดสามมิติของจุดPเป็นและเทียบกับระบบพิกัดของกล้องแต่ละตัว เนื่องจากกล้องได้รับการปรับให้เป็นมาตรฐานแล้ว พิกัดภาพที่สอดคล้องกันจึงเป็น

  และ  

การแสดงภาพพิกัดทั้งสองแบบที่เป็นเนื้อเดียวกันจะแสดงได้ดังนี้

  และ  

ซึ่งสามารถเขียนให้กระชับยิ่งขึ้นได้ดังนี้

  และ  

โดยที่และเป็นตัวแทนที่เป็นเนื้อเดียวกันของพิกัดภาพ 2 มิติ และและเป็นพิกัด 3 มิติที่แท้จริง แต่ในระบบพิกัดที่แตกต่างกันสองระบบ

ผลที่ตามมาอีกประการหนึ่งของกล้องที่ได้รับการปรับให้เป็นมาตรฐานคือ ระบบพิกัดของกล้องทั้งสองมีความสัมพันธ์กันโดยผ่านการเลื่อนและการหมุน ซึ่งหมายความว่าพิกัด 3 มิติทั้งสองชุดมีความสัมพันธ์กันดังนี้

โดยที่เป็นเมทริกซ์การหมุน และเป็นเวกเตอร์การแปลแบบสามมิติ

ดังนั้น เมทริกซ์ที่สำคัญจึงถูกกำหนดดังนี้:

โดยที่คือเมทริกซ์ที่แสดงถึงผลคูณไขว้กับหมายเหตุ: ในที่นี้ การแปลงจะเปลี่ยนจุดในมุมมองที่ 2 ไปยังมุมมองที่ 1

สำหรับคำจำกัดความของเราสนใจเฉพาะการวางแนวของพิกัดภาพปกติ[ 1 ] (ดูเพิ่มเติม: ผลคูณสามเท่า ) ดังนั้นเราจึงไม่ต้องการส่วนประกอบการแปลเมื่อแทนที่พิกัดภาพลงในสมการที่สำคัญ เพื่อให้เห็นว่าคำจำกัดความนี้อธิบายข้อจำกัดของพิกัดภาพที่สอดคล้องกัน ให้คูณจากซ้ายและขวาด้วยพิกัด 3 มิติของจุดPในระบบพิกัดสองระบบที่แตกต่างกัน:

  1. แทรกความสัมพันธ์ข้างต้นระหว่างและและนิยามของในรูปของและ
  2. เนื่องจากเป็นเมทริกซ์การหมุน
  3. คุณสมบัติของ เมทริกซ์ ที่แสดงผลคูณไขว้

สุดท้ายนี้ สามารถสันนิษฐานได้ว่าทั้งและมีค่ามากกว่า 0 มิฉะนั้นจะไม่สามารถมองเห็นได้ในกล้องทั้งสองตัว ซึ่งจะได้ผลลัพธ์ดังนี้

ซึ่งเป็นข้อจำกัดที่เมทริกซ์หลักกำหนดขึ้นระหว่างจุดภาพที่สอดคล้องกัน

คุณสมบัติ

ไม่ใช่ว่าเมทริกซ์ทุกเมทริกซ์จะเป็นเมทริกซ์สำคัญสำหรับกล้องสเตอริโอทุกตัวได้ เพื่อให้เข้าใจเรื่องนี้ โปรดสังเกตว่าเมทริกซ์สำคัญนั้นถูกกำหนดให้เป็นผลคูณของเมทริกซ์การหมุน หนึ่งเมทริกซ์ และเมทริกซ์สมมาตรเฉียงหนึ่งเมทริกซ์เมทริกซ์สมมาตรเฉียงจะต้องมีค่าเอกลักษณ์ สองค่า ที่เท่ากันและอีกค่าหนึ่งที่เป็นศูนย์ การคูณด้วยเมทริกซ์การหมุนจะไม่เปลี่ยนแปลงค่าเอกลักษณ์ ซึ่งหมายความว่าเมทริกซ์สำคัญก็จะมีค่าเอกลักษณ์สองค่าที่เท่ากันและอีกค่าหนึ่งที่เป็นศูนย์เช่นกัน คุณสมบัติที่อธิบายไว้ในที่นี้บางครั้งเรียกว่าข้อจำกัดภายในของเมทริกซ์สำคัญ

ถ้าเมทริกซ์สำคัญถูกคูณด้วยสเกลาร์ที่ไม่เป็นศูนย์ ผลลัพธ์ที่ได้จะเป็นเมทริกซ์สำคัญอีกครั้ง ซึ่งกำหนดข้อจำกัดแบบเดียวกันกับที่กำหนดไว้ นั่นหมายความว่าสามารถมองได้ว่าเป็นองค์ประกอบของ ปริภูมิ เชิงฉาย (projective space) กล่าวคือ เมทริกซ์สองเมทริกซ์ดังกล่าวจะถือว่าเทียบเท่ากัน ถ้าเมทริกซ์หนึ่งเป็น ผลคูณของอีกเมทริกซ์หนึ่งกับสเกลาร์ที่ไม่เป็นศูนย์นี่เป็นจุดยืนที่เกี่ยวข้อง ตัวอย่างเช่น ถ้าถูกประมาณจากข้อมูลภาพ อย่างไรก็ตาม ก็เป็นไปได้ที่จะใช้จุดยืนที่กำหนดไว้เป็น

โดยที่และจากนั้นจะมี "การปรับขนาด" ที่กำหนดไว้อย่างชัดเจน ตำแหน่งใดมีความสำคัญมากกว่านั้นขึ้นอยู่กับการใช้งาน

ข้อจำกัดเหล่านี้สามารถแสดงได้ดังนี้

และ

ในที่นี้ สมการสุดท้ายเป็นข้อจำกัดของเมทริกซ์ ซึ่งสามารถมองได้ว่าเป็นข้อจำกัด 9 ข้อ ข้อละหนึ่งข้อสำหรับแต่ละองค์ประกอบของเมทริกซ์ ข้อจำกัดเหล่านี้มักใช้ในการกำหนดเมทริกซ์ที่สำคัญจากคู่จุดที่สอดคล้องกันห้าคู่

เมทริกซ์สำคัญมีระดับความเป็นอิสระห้าหรือหกระดับ ขึ้นอยู่กับว่าจะมองว่าเป็นองค์ประกอบเชิงโปรเจกทีฟหรือไม่ เมทริกซ์การหมุนและเวกเตอร์การแปลมีระดับความเป็นอิสระสามระดับเท่ากัน รวมเป็นหกระดับ อย่างไรก็ตาม หากพิจารณาเมทริกซ์สำคัญเป็นองค์ประกอบเชิงโปรเจกทีฟ จะต้องหักระดับความเป็นอิสระที่เกี่ยวข้องกับการคูณสเกลาร์ออกไปหนึ่งระดับ เหลือระดับความเป็นอิสระห้าระดับโดยรวม

การประมาณการ

เมื่อกำหนดชุดจุดภาพที่สอดคล้องกันแล้ว ก็สามารถประมาณเมทริกซ์สำคัญที่สอดคล้องกับข้อจำกัดเอพิโพลาร์ที่กำหนดไว้สำหรับทุกจุดในชุดนั้นได้ อย่างไรก็ตาม หากจุดภาพมีสัญญาณรบกวน ซึ่งเป็นกรณีทั่วไปในสถานการณ์จริง ก็จะไม่สามารถหาเมทริกซ์สำคัญที่สอดคล้องกับข้อจำกัดทั้งหมดได้อย่างแม่นยำ

ขึ้นอยู่กับวิธีการวัดข้อผิดพลาดที่เกี่ยวข้องกับข้อจำกัดแต่ละข้อ จะสามารถกำหนดหรือประมาณเมทริกซ์สำคัญที่ตอบสนองข้อจำกัดได้อย่างเหมาะสมที่สุดสำหรับชุดจุดภาพที่สอดคล้องกันที่กำหนด วิธีที่ตรงไปตรงมาที่สุดคือการตั้ง ปัญหา การหาค่ากำลังสองน้อยที่สุดโดยรวมซึ่ง โดยทั่วไปเรียกว่าอัลกอริทึมแปดจุด

การดึงค่าการหมุนและการแปล

เมื่อกำหนดเมทริกซ์สำคัญสำหรับกล้องสเตอริโอคู่หนึ่งแล้ว — ตัวอย่างเช่น โดยใช้วิธีการประมาณค่าข้างต้น — ข้อมูลนี้สามารถนำมาใช้ในการกำหนดการหมุนและการเลื่อน(โดยคำนึงถึงการปรับขนาด) ระหว่างระบบพิกัดของกล้องทั้งสองได้ ในการคำนวณเหล่านี้จะถูกมองว่าเป็นองค์ประกอบเชิงฉายภาพมากกว่าที่จะมีการกำหนดมาตราส่วนที่แน่นอน

การหาทางออกหนึ่งทาง

วิธีการต่อไปนี้สำหรับการกำหนดและขึ้นอยู่กับการดำเนินการSVDของดูหนังสือของ Hartley & Zisserman [ 2 ]นอกจากนี้ยังสามารถกำหนดและได้โดยไม่ต้องใช้ SVD เช่น ตามเอกสารของ Longuet-Higgins

ค่าเอกลักษณ์ของให้

โดยที่และเป็นเมทริกซ์เชิงตั้งฉาก และเป็นเมทริกซ์แนวทแยงที่มี

ค่าในแนวทแยงของเมทริก ซ์ คือค่าเอกลักษณ์ซึ่งตามข้อจำกัดภายในของเมทริกซ์หลัก จะต้องประกอบด้วยค่าที่เหมือนกันสองค่าและค่าศูนย์หนึ่งค่า กำหนดให้

  กับ  

และตั้งสมมติฐาน ดังต่อไปนี้

เนื่องจากอาจไม่สามารถตอบสนองข้อจำกัดได้อย่างครบถ้วนเมื่อต้องจัดการกับข้อมูลในโลกแห่งความเป็นจริง (เช่น ภาพจากกล้อง) ทางเลือกอื่นคือ...

  กับ  

อาจช่วยได้

การพิสูจน์

ประการแรก นิพจน์สำหรับและ เหล่านี้ สอดคล้องกับสมการนิยามสำหรับเมทริกซ์สำคัญ

ประการที่สอง จะต้องแสดงให้เห็นว่านี่คือการแสดงเมทริกซ์ของผลคูณไขว้สำหรับบางค่าเนื่องจาก

ในกรณีนี้จะเป็นแบบสมมาตรเฉียง กล่าวคือ. กรณีนี้ก็เช่นเดียวกันสำหรับ ของเราเนื่องจาก

จากคุณสมบัติทั่วไปของการแสดงเมทริกซ์ของผลคูณไขว้จึงสรุปได้ว่าต้องเป็นตัวดำเนินการผลคูณไขว้ของเวกเตอร์เพียงหนึ่งเดียวเท่านั้น

ประการที่สาม จำเป็นต้องแสดงให้เห็นด้วยว่านิพจน์ข้างต้นสำหรับเป็นเมทริกซ์การหมุน มันเป็นผลคูณของเมทริกซ์สามตัวซึ่งทั้งหมดเป็นเมทริกซ์ตั้งฉาก ซึ่งหมายความว่า ก็เป็นเมทริกซ์ตั้งฉากเช่นกัน หรือเพื่อให้เป็นเมทริกซ์การหมุนที่เหมาะสม มันต้องเป็นไปตามเงื่อนไข ด้วยเนื่องจากในกรณีนี้ถูกมองว่าเป็นองค์ประกอบเชิงโปรเจกทีฟ ดังนั้นจึงสามารถทำได้โดยการกลับเครื่องหมายของหากจำเป็น

การค้นหาวิธีแก้ปัญหาทั้งหมด

จนถึงตอนนี้ มีวิธีแก้ปัญหาที่เป็นไปได้วิธีหนึ่งสำหรับและที่ได้รับการกำหนดไว้แล้วอย่างไรก็ตาม นี่ไม่ใช่วิธีแก้ปัญหาที่เป็นไปได้เพียงวิธีเดียว และอาจไม่ใช่วิธีแก้ปัญหาที่ถูกต้องในทางปฏิบัติด้วยซ้ำ ประการแรก เนื่องจากสเกลลิ่งของนั้นไม่นิยาม สเกลลิ่งของจึงไม่นิยามเช่นกัน มันจะต้องอยู่ในปริภูมิว่างของเนื่องจาก

อย่างไรก็ตาม สำหรับการวิเคราะห์คำตอบในภายหลัง การปรับขนาดที่แน่นอนของ นั้นไม่สำคัญเท่ากับ "เครื่องหมาย" ของมัน กล่าวคือ ทิศทางที่มันชี้ไป ให้เป็นเวกเตอร์ที่ถูกทำให้เป็นมาตรฐานในปริภูมิว่างของดังนั้น ทั้งและ จึง เป็นเวกเตอร์การแปลที่ถูกต้องสัมพันธ์กับ นอกจากนี้ ยังสามารถเปลี่ยนเป็น ได้ในการพิสูจน์ของและข้างต้น สำหรับเวกเตอร์การแปล การเปลี่ยนแปลงนี้ทำให้เกิดการเปลี่ยนเครื่องหมายเท่านั้น ซึ่งได้อธิบายไว้แล้วว่าเป็นความเป็นไปได้ ในทางกลับกัน สำหรับการหมุน การเปลี่ยนแปลงนี้จะทำให้เกิดการแปลงที่แตกต่างกัน อย่างน้อยก็ในกรณีทั่วไป

โดยสรุปแล้วมีทิศทางตรงข้ามสองทิศทางที่เป็นไปได้และการหมุนสองแบบที่เข้ากันได้กับเมทริกซ์พื้นฐานนี้ โดยรวมแล้วจะได้โซลูชันสี่ประเภทสำหรับการหมุนและการเลื่อนระหว่างระบบพิกัดกล้องทั้งสอง นอกจากนี้ ยังมีการปรับขนาดที่ไม่ทราบค่าสำหรับทิศทางการเลื่อนที่เลือก อีกด้วย

อย่างไรก็ตาม ปรากฏว่ามีเพียงหนึ่งในสี่ของวิธีแก้ปัญหาเท่านั้นที่สามารถนำไปใช้ได้จริง เมื่อกำหนดพิกัดภาพที่สอดคล้องกันสองคู่ สามในสี่ของวิธีแก้ปัญหาจะสร้างจุด 3 มิติที่อยู่ด้านหลังกล้องอย่างน้อยหนึ่งตัวเสมอ และดังนั้นจึงมองไม่เห็น มีเพียงหนึ่งในสี่ของวิธีแก้ปัญหาเท่านั้นที่จะสร้างจุด 3 มิติที่อยู่ด้านหน้ากล้องทั้งสองตัวอย่างสม่ำเสมอ ดังนั้นนี่จึงต้องเป็นวิธีแก้ปัญหาที่ถูกต้อง อย่างไรก็ตาม มันยังคงมีการปรับขนาดเชิงบวกที่ไม่สามารถระบุได้ซึ่งเกี่ยวข้องกับส่วนประกอบการแปล

การกำหนดค่าและ ข้างต้นนั้น ถือว่าสอดคล้องกับข้อจำกัดภายในของเมทริกซ์สำคัญหากไม่เป็นเช่นนั้น ซึ่งโดยทั่วไปจะเป็นเช่นนั้นหากได้รับการประมาณจากข้อมูลภาพจริง (และมีสัญญาณรบกวน) จะต้องถือว่าสอดคล้องกับข้อจำกัดภายในโดยประมาณ เวกเตอร์จะถูกเลือกเป็นเวกเตอร์เอกพจน์ด้านขวาของ ที่สอดคล้องกับค่าเอกพจน์ที่เล็กที่สุด

จุด 3 มิติจากจุดภาพที่สอดคล้องกัน

มีหลายวิธีในการคำนวณค่าพิกัดภาพที่ได้มาตรฐานและ ค่าที่สอดคล้องกัน หากทราบเมทริกซ์สำคัญและได้กำหนดการแปลงการหมุนและการเลื่อนที่สอดคล้องกันแล้ว

ดูเพิ่มเติม

กล่องเครื่องมือ

  • การประมาณค่าเมทริกซ์ที่จำเป็นในMATLAB (Manolis Lourakis)
  • การสืบสวนเมทริกซ์ที่สำคัญโดย ไอ.ไอ. ฮาร์ทลีย์
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Essential_matrix&oldid=1334447197 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ เมทริกซ์สำคัญ

ในด้าน คอมพิวเตอร์วิชั่น เมท ริกซ์ที่สำคัญ คือ เมทริกซ์ ที่เชื่อมโยง จุดที่สอดคล้องกัน ใน ภาพสเตอริโอ โดยสมมติว่ากล้องเป็นไปตาม แบบจำลองกล้องรู เข็ม 3 × 3 {\displaystyle 3\times...

การทำงาน

โดยเฉพาะอย่างยิ่ง ถ้าและเป็น พิกัดภาพ ปกติที่เป็น เนื้อเดียวกัน ในภาพที่ 1 และ 2 ตามลำดับแล้ว y {\displaystyle \mathbf {y} } y ′ {\displaystyle \mathbf {y} '}

ใช้

เมทริกซ์สำคัญ (Essential Matrix) สามารถมองได้ว่าเป็นเมทริกซ์เบื้องต้นของ เมท ริก ซ์พื้นฐาน (Fundamental Matrix) ทั้งสองเมทริกซ์สามารถใช้ในการกำหนดข้อจำกัดระหว่างจุดภาพที่ตรงกันได้ แต่เมทริกซ์สำคัญสามารถใช้ได้เฉพาะกับกล้องที่ได้รับการปรับเทียบแล้วเท่านั้น...

ที่มาและคำจำกัดความ

การพิสูจน์นี้เป็นไปตามบทความของ Longuet-Higgins