โฟโตเมตริกสเตอริโอเป็นเทคนิคในคอมพิวเตอร์วิชั่นสำหรับการประมาณค่าระนาบพื้นผิวของวัตถุโดยการสังเกตวัตถุนั้นภายใต้สภาพแสงที่แตกต่างกัน ( โฟโตเมตริก ) โดยอาศัยข้อเท็จจริงที่ว่าปริมาณแสงที่สะท้อนจากพื้นผิวขึ้นอยู่กับทิศทางของพื้นผิวที่สัมพันธ์กับแหล่งกำเนิดแสงและผู้สังเกต^{[ 1 ]}โดยการวัดปริมาณแสงที่สะท้อนเข้าสู่กล้อง พื้นที่ของทิศทางพื้นผิวที่เป็นไปได้จะถูกจำกัด เมื่อมีแหล่งกำเนิดแสงเพียงพอจากมุมที่แตกต่างกัน ทิศทางของพื้นผิวอาจถูกจำกัดไว้ที่ทิศทางเดียวหรืออาจถูกจำกัดมากเกินไป

เทคนิคนี้ได้รับการแนะนำครั้งแรกโดย Woodham ในปี 1980 ^{[ 2 ]} กรณีพิเศษที่ข้อมูลเป็นภาพเดียวเรียกว่ารูปร่างจากเงาและได้รับการวิเคราะห์โดย BKP Horn ในปี 1989 ^{[ 3 ]}ตั้งแต่นั้นมา สเตอริโอโฟโตเมตริกได้รับการขยายไปสู่สถานการณ์อื่นๆ อีกมากมาย รวมถึงแหล่งกำเนิดแสงที่ขยายออกไปและพื้นผิวที่ไม่เป็นไปตามกฎของ Lambertianงานวิจัยในปัจจุบันมุ่งเน้นที่จะทำให้วิธีการนี้ใช้งานได้ในกรณีที่มีเงาที่ฉาย แสงสะท้อน และแสงที่ไม่สม่ำเสมอ

^โฟโตเมตริกสเตอริโอถูกนำมาใช้กันอย่างแพร่หลายในสาขาต่างๆ รวมถึงโบราณคดี [ ^{4 ] [ 5 ]}การอนุรักษ์มรดกทางวัฒนธรรม [ ^{6 ]}และ การ ควบคุมคุณภาพ^{[ 7 ]}ปัจจุบันได้มีการบูรณาการเข้ากับ ซอฟต์แวร์ โอเพนซอร์สที่ ใช้กันอย่าง ^{แพร่หลาย}เช่น Meshroom ^{[ 8 ]}

ภายใต้สมมติฐานดั้งเดิมของ Woodham — การสะท้อนแสงแบบ Lambertianแหล่งกำเนิดแสงระยะไกลแบบจุดที่ทราบ และค่าอัลเบโด ที่สม่ำเสมอ — ปัญหาดังกล่าวสามารถแก้ไขได้โดยการกลับสมการเชิงเส้นโดยที่เป็นเวกเตอร์ (ที่ทราบ) ของความเข้มที่สังเกตได้เป็นเวกเตอร์ตั้งฉากกับพื้นผิว (ที่ไม่ทราบ) และเป็นเมทริกซ์ (ที่ทราบ) ของทิศทางแสงที่ทำให้เป็นมาตรฐาน ${\displaystyle I=L\cdot n}$${\displaystyle I}$${\displaystyle m}$${\displaystyle n}$${\displaystyle L}$${\displaystyle 3\times m}$

แบบจำลองนี้สามารถขยายไปยังพื้นผิวที่มีค่าอัลเบโดไม่สม่ำเสมอได้อย่างง่ายดาย ในขณะที่ยังคงรักษาปัญหาให้เป็นเชิงเส้น^{[ 9 ]}เมื่อกำหนดค่าการสะท้อนแสงอัลเบโดเป็นสูตรสำหรับความเข้มของแสงสะท้อนจะกลายเป็น ถ้าเป็นเมทริกซ์สี่เหลี่ยมจัตุรัส (มีแสง 3 ดวงพอดี) และไม่เป็นเมทริกซ์เอกฐาน ก็สามารถกลับเมทริกซ์ได้ ทำให้ได้ เนื่องจากทราบว่าเวกเตอร์ปกติมีความยาว 1 ดังนั้นต้องเป็นความยาวของเวกเตอร์และคือทิศทางปกติของเวกเตอร์นั้น ${\displaystyle k}$$${\displaystyle I=k(L\cdot n).}$$${\displaystyle L}$$${\displaystyle L^{-1}I=kn.}$$${\displaystyle k}$${\displaystyle kn}$${\displaystyle n}$

ถ้าไม่ใช่รูปสี่เหลี่ยมจัตุรัส (มีไฟมากกว่า 3 ดวง) การวางนัยทั่วไปของตัวผกผันสามารถทำได้โดยใช้ตัวผกผันเทียมของ Moore–Penrose [ ^{10 ]}โดยการคูณทั้งสองข้างด้วยซึ่ง จะทำให้เวกเตอร์ปกติและค่าอัลเบโดสามารถหาได้ตามที่อธิบายไว้ข้าง ^ต้น${\displaystyle L}$${\displaystyle L^{T}}$$${\displaystyle L^{T}I=L^{T}k(L\cdot n),}$$$${\displaystyle (L^{T}L)^{-1}L^{T}I=kn,}$$

ปัญหาการสร้างภาพสามมิติด้วยแสงแบบคลาสสิกนั้นเกี่ยวข้องเฉพาะกับพื้นผิวแบบแลมเบอร์เชียนที่มีการสะท้อนแสงแบบกระจายอย่างสมบูรณ์เท่านั้น ซึ่งไม่สมจริงสำหรับวัสดุหลายประเภท โดยเฉพาะโลหะ แก้ว และพลาสติกเรียบ และจะนำไปสู่ความคลาดเคลื่อนในเวกเตอร์ปกติที่ได้

มีการพัฒนาวิธีการมากมายเพื่อลบล้างข้อสันนิษฐานนี้ ในส่วนนี้จะกล่าวถึงวิธีการเหล่านั้นบางส่วน

ในอดีต ในด้านกราฟิกคอมพิวเตอร์โมเดลที่ใช้กันทั่วไปในการเรนเดอร์พื้นผิวเริ่มต้นด้วยพื้นผิวแบบแลมเบอร์เชียน และพัฒนาไปสู่การรวมการสะท้อนแสงแบบ ง่ายๆ ก่อน คอมพิวเตอร์วิชั่นก็ดำเนินไปในทิศทางเดียวกันด้วยการสร้างภาพสามมิติแบบโฟโตเมตริก การสะท้อนแสงแบบสเปคูลาร์เป็นหนึ่งในการเปลี่ยนแปลงแรกๆ จากโมเดลแบบแลมเบอร์เชียน ต่อไปนี้คือตัวอย่างการปรับเปลี่ยนบางส่วนที่ได้รับการพัฒนาขึ้นมา

• เทคนิคหลายอย่างอาศัยการสร้างแบบจำลองฟังก์ชันการสะท้อนแสงของพื้นผิวเป็นหลัก กล่าวคือ ปริมาณแสงที่สะท้อนในแต่ละทิศทาง^{[ 11 ]}ฟังก์ชันการสะท้อนแสงนี้จะต้องสามารถผกผันได้ความเข้มของแสงสะท้อนไปยังกล้องจะถูกวัด และฟังก์ชันการสะท้อนแสงผกผันจะถูกปรับให้เข้ากับความเข้มที่วัดได้ ส่งผลให้ได้คำตอบที่ไม่ซ้ำกันสำหรับเวกเตอร์ปกติ

ตาม แบบ จำลองฟังก์ชันการกระจายการสะท้อนแสงแบบสองทิศทาง (BRDF) พื้นผิวอาจกระจายปริมาณแสงที่ได้รับออกไปในทิศทางใดก็ได้ นี่คือแบบจำลองที่รู้จักกันทั่วไปที่สุดสำหรับ พื้นผิว ทึบแสงมีการพัฒนาเทคนิคบางอย่างเพื่อสร้างแบบจำลอง BRDF ทั่วไป (เกือบทั้งหมด) ในทางปฏิบัติ เทคนิคเหล่านี้ทั้งหมดจำเป็นต้องใช้แหล่งกำเนิดแสงจำนวนมากเพื่อให้ได้ข้อมูลที่เชื่อถือได้ นี่คือวิธีการที่สามารถใช้ในการวัดพื้นผิวที่มี BRDF ทั่วไปได้

• กำหนด BRDF ที่ชัดเจนก่อนการสแกน^{[ 12 ]}ในการทำเช่นนี้ จำเป็นต้องใช้พื้นผิวที่แตกต่างกันซึ่งมี BRDF เดียวกันหรือคล้ายคลึงกันมาก ซึ่งรูปทรงเรขาคณิตจริง (หรืออย่างน้อยเวกเตอร์ปกติสำหรับหลายจุดบนพื้นผิว) เป็นที่ทราบอยู่แล้ว^{[ 13 ]}จากนั้นจึงฉายแสงแต่ละดวงลงบนพื้นผิวที่ทราบ และวัดปริมาณการสะท้อนเข้าสู่กล้อง โดยใช้ข้อมูลนี้ สามารถสร้างตารางค้นหาที่แมปความเข้มของการสะท้อนสำหรับแหล่งกำเนิดแสงแต่ละแหล่งไปยังรายการของเวกเตอร์ปกติที่เป็นไปได้ ซึ่งจะกำหนดข้อจำกัดเกี่ยวกับเวกเตอร์ปกติที่เป็นไปได้ที่พื้นผิวอาจมี และลดปัญหาสเตอริโอโฟโตเมตริกให้เหลือเพียงการประมาณค่าระหว่างการวัด พื้นผิวที่ทราบทั่วไปที่ใช้ในการปรับเทียบตารางค้นหาคือทรงกลมเนื่องจากมีทิศทางพื้นผิวที่หลากหลาย
• การจำกัด BRDF ให้สมมาตร^{[ 14 ]}หาก BRDF สมมาตร ทิศทางของแสงสามารถจำกัดให้อยู่ในรูปกรวยรอบทิศทางไปยังกล้องได้ กรวยนี้จะเป็นอย่างไรนั้นขึ้นอยู่กับ BRDF เอง เวกเตอร์ปกติของพื้นผิว และความเข้มที่วัดได้ เมื่อพิจารณาความเข้มที่วัดได้และทิศทางของแสงที่เพียงพอแล้ว กรวยเหล่านี้สามารถประมาณได้ และด้วยเหตุนี้ เวกเตอร์ปกติของพื้นผิวจึงสามารถประมาณได้เช่นกัน

มีความคืบหน้าบ้างในการสร้างแบบจำลองพื้นผิวทั่วไปมากขึ้น เช่นฟังก์ชันการกระจายแบบสองทิศทางที่แปรผันตามพื้นที่ (SVBRDF) ฟังก์ชันการกระจายการสะท้อนการกระเจิงของพื้นผิวแบบสองทิศทาง (BSSRDF) และการคำนึงถึงการสะท้อนระหว่างกัน [ ^{15 ] [ 16 ] อย่างไรก็ตาม}วิธีการดังกล่าวยังคงมีข้อจำกัดค่อนข้างมากในสเตอริโอโฟโตเมตริก ผลลัพธ์ที่ดีกว่านั้นได้มาจากการใช้แสงที่มีโครงสร้าง^{[ 17 ]}

โฟโตเมตริกสเตอริโอแบบไม่ปรับเทียบเป็นแนวทางในโฟโตเมตริกสเตอริโอที่มุ่งสร้างรูปร่าง 3 มิติของวัตถุขึ้นใหม่จากภาพที่ถ่ายภายใต้สภาพแสงที่ไม่ทราบ^{[ 18 ]}แตกต่างจากวิธีการแบบคลาสสิกซึ่งมักจะสมมติว่ามีการตั้งค่าแสงที่ควบคุมได้หรือเป็นที่รู้จัก แนวทางนี้จะขจัดข้อจำกัดเหล่านี้ ทำให้สามารถปรับให้เข้ากับสภาพแวดล้อมที่หลากหลายและในโลกแห่งความเป็นจริงได้

การเกิดขึ้นของการเรียนรู้เชิงลึกได้ปฏิวัติ PS สากลโดยการแทนที่สมมติฐานที่สร้างขึ้นด้วยมือด้วยแบบจำลองที่ขับเคลื่อนด้วยข้อมูล^{[ 20 ]}แนวทางล่าสุดใช้ประโยชน์จาก สถาปัตยกรรมที่ใช้ Transformerและเครือข่ายตัวเข้ารหัส-ตัวถอดรหัสแบบหลายสเกลเพื่อประมาณค่าปกติของพื้นผิวจากภาพอินพุตโดยตรง ^{[ 21 ]}

การสร้างภาพสามมิติแบบ Photometric Stereo ที่ไม่ได้ปรับเทียบนั้นเป็นปัญหาที่ไม่เหมาะสม โดยเนื้อแท้ เนื่องจากพยายามกู้คืนรูปร่างสามมิติและสภาพแสงพร้อมกันจากภาพเพียงอย่างเดียว ซึ่งนำไปสู่ความกำกวมพื้นฐานในกระบวนการสร้างใหม่ ซึ่งปรากฏเป็นข้อผิดพลาดที่เป็นระบบในเรขาคณิตที่กู้คืนได้ รวมถึงการบิดเบือนโดยรวมในรูปร่างโดยรวมของวัตถุ^{[ 22 ]}และการตีความการวางแนวพื้นผิวผิดพลาด โดยที่ บริเวณ เว้าอาจปรากฏเป็นนูนและในทางกลับกัน^{[ 23 ]}

เพื่อแก้ไขปัญหาความท้าทายของสเตอริโอโฟโตเมตริกที่ไม่ได้รับการปรับเทียบ จึงได้มีการพัฒนาวิธีการแบบผสมผสานที่รวมสเตอริโอหลายมุมมองและสเตอริโอโฟโตเมตริกเข้าด้วยกัน แนวทางเหล่านี้ใช้ประโยชน์จากจุดแข็งของทั้งสองเทคนิค รวมถึงความน่าเชื่อถือทางเรขาคณิตและความละเอียด^{[ 22 ] [ 19 ]}

• โฟโตคลิโนเมตรี
• การวัดแสง
• การมองเห็นแบบสามมิติ
• เครื่องสแกน 3 มิติ