กล้องไทม์ออฟไฟลท์

กล้องไทม์ออฟไฟลต์ ( ToF camera ) หรือที่รู้จักกันในชื่อเซ็นเซอร์ไทม์ออฟไฟลต์ ( ToF sensor ) คือ ระบบ กล้องถ่ายภาพระยะทาง สำหรับวัดระยะห่างระหว่างกล้องกับวัตถุสำหรับแต่ละจุดของภาพโดยอาศัยไทม์ออฟไฟลต์ซึ่งเป็นเวลาเดินทางไปกลับของสัญญาณแสงประดิษฐ์ เช่นเลเซอร์หรือLEDกล้องไทม์ออฟไฟลต์แบบใช้เลเซอร์เป็นส่วนหนึ่งของLIDAR แบบไร้สแกนเนอร์ ซึ่งจะจับภาพทั้งฉากด้วยพัลส์เลเซอร์แต่ละครั้ง ต่างจากระบบ LIDAR แบบสแกนที่จับภาพทีละจุดด้วยลำแสงเลเซอร์[ 1 ] ผลิตภัณฑ์กล้องไทม์ออฟไฟลต์สำหรับการใช้งานพลเรือนเริ่มปรากฏขึ้นประมาณปี 2000 [ 2 ]เนื่องจากกระบวนการผลิตเซมิคอนดักเตอร์ทำให้สามารถผลิตชิ้นส่วนได้เร็วพอสำหรับอุปกรณ์ดังกล่าว ระบบเหล่านี้ครอบคลุมระยะทางตั้งแต่ไม่กี่เซนติเมตรจนถึงหลายกิโลเมตร
ประเภทของอุปกรณ์
มีการพัฒนาเทคโนโลยีที่แตกต่างกันหลายแบบสำหรับกล้องวัดระยะการบิน (Time-of-Flight)
แหล่งกำเนิดแสงแบบปรับความถี่วิทยุพร้อมตัวตรวจจับเฟส
อุปกรณ์ผสมโฟตอนิก (PMD) [ 3 ] Swiss Ranger และ CanestaVision [ 4 ]ทำงานโดยการปรับลำแสงขาออกด้วยคลื่นพาหะ RF จากนั้นวัดการเปลี่ยนแปลงเฟสของคลื่นพาหะนั้นที่ฝั่งตัวรับ วิธีการนี้มีความท้าทายด้านข้อผิดพลาดแบบโมดูลาร์: ระยะที่วัดได้เป็นโมดูลของความยาวคลื่นพาหะ RF Swiss Ranger เป็นอุปกรณ์ขนาดกะทัดรัด ระยะสั้น มีระยะ 5 หรือ 10 เมตร และความละเอียด 176 x 144 พิกเซล ด้วยอัลกอริทึมการคลี่เฟส ระยะความแม่นยำสูงสุดสามารถเพิ่มขึ้นได้ PMD สามารถให้ระยะได้ถึง 60 เมตร การให้แสงสว่างใช้ LED แบบพัลส์แทนเลเซอร์[ 5 ]ระบบกล้อง CW-ToF รุ่นใหม่กว่าจะส่องสว่างฉากด้วยแสง LED ที่ปรับความถี่สูงและวิเคราะห์การเปลี่ยนแปลงเฟสของสัญญาณที่ส่งกลับมาที่แต่ละพิกเซลเพื่อคำนวณความลึก ตัวอย่างเช่น ในแอปพลิเคชันการบังคับใช้กฎจราจร พื้นผิวสะท้อนแสง เช่น ป้ายทะเบียนและแผ่นสะท้อนแสงของยานพาหนะจะสร้างสัญญาณสะท้อนกลับที่แรงซึ่งใช้ในการสร้างภาพความลึกเมื่อเวลาผ่านไป ภาพเหล่านี้ช่วยให้สามารถติดตามตำแหน่งของยานพาหนะในพื้นที่ 3 มิติ และคำนวณความเร็วได้โดยใช้การวิเคราะห์การถดถอยกับข้อมูลตำแหน่ง-เวลา ซึ่งแตกต่างจากเรดาร์แบบดั้งเดิม วิธีนี้จะวัดความเร็วตามทิศทางการเดินทางที่แท้จริงของยานพาหนะ และไม่ขึ้นอยู่กับระยะทางและมุมของยานพาหนะเมื่อเทียบกับกล้อง[ 6 ]ในระบบ ToF แบบคลื่นต่อเนื่องบางระบบ ภาพความลึกที่ถ่ายในช่วงเวลาต่อเนื่องกันจะถูกใช้เพื่อประมาณตำแหน่ง 3 มิติของวัตถุที่เคลื่อนที่ เช่น ยานพาหนะ ระบบจะติดตามจุดสะท้อนแสงหลายจุดในเฟรมต่อเนื่องกัน และสร้างวิถีการเคลื่อนที่ของวัตถุขึ้นใหม่ในพื้นที่ 3 มิติ โดยการใช้การวิเคราะห์การถดถอยกับการเปลี่ยนแปลงตำแหน่งเมื่อเวลาผ่านไป ระบบจะกำหนดความเร็วของวัตถุตามเส้นทางการเดินทางได้อย่างแม่นยำ ซึ่งแตกต่างจากเรดาร์แบบดั้งเดิม วิธีนี้ช่วยลดข้อผิดพลาดที่เกี่ยวข้องกับระยะทางและมุมไปยังเป้าหมาย[ 7 ]บริษัท CanestaVision ผู้พัฒนาCanestaถูกซื้อโดย Microsoft ในปี 2010 Kinect2สำหรับXbox Oneใช้เทคโนโลยี ToF จาก Canesta
เครื่องถ่ายภาพแบบมีเกตช่วงระยะ
อุปกรณ์เหล่านี้มีชัตเตอร์ในตัวในเซ็นเซอร์ภาพที่เปิดและปิดในอัตราเดียวกับพัลส์แสงที่ส่งออกไป เซ็นเซอร์ 3 มิติแบบไทม์ออฟไฟลต์ส่วนใหญ่ใช้หลักการนี้ซึ่งคิดค้นโดยเมดินา[ 8 ]เนื่องจากส่วนหนึ่งของพัลส์ที่กลับมาแต่ละครั้งจะถูกบล็อกโดยชัตเตอร์ตามเวลาที่มาถึง ปริมาณแสงที่ได้รับจึงสัมพันธ์กับระยะทางที่พัลส์เดินทาง ระยะทางสามารถคำนวณได้โดยใช้สมการz = R ( S − S ) / 2( S + S ) + R / 2 สำหรับกล้องในอุดมคติRคือระยะของกล้อง ซึ่งกำหนดโดยการเดินทางไปกลับของพัลส์แสงS คือปริมาณของพัลส์แสงที่ได้รับ และS คือปริมาณของพัลส์แสงที่ถูกบล็อก[ 8 ] [ 9 ]
ZCam จาก 3DV Systems [ 1 ]เป็นระบบแบบจำกัดระยะ Microsoft ซื้อ 3DV ในปี 2552 เซ็นเซอร์ Kinect รุ่นที่สอง ของ Microsoft ได้รับการพัฒนาโดยใช้ความรู้ที่ได้จาก Canesta และ 3DV Systems [ 10 ]
หลักการที่คล้ายกันนี้ถูกนำมาใช้ในกล้อง ToF ที่พัฒนาโดย สถาบัน Fraunhofer Institute of Microelectronic Circuits and Systems และ TriDiCam กล้องเหล่านี้ใช้โฟโตดีเทคเตอร์ที่มีชัตเตอร์อิเล็กทรอนิกส์ความเร็วสูง
ความละเอียดเชิงลึกของกล้อง ToF สามารถปรับปรุงได้ด้วยกล้อง CCD ที่มีการเพิ่มความเข้มแสงแบบเกตติ้งความเร็วสูงพิเศษ กล้องเหล่านี้ให้เวลาเกตติ้งต่ำถึง 200ps และช่วยให้สามารถตั้งค่า ToF ด้วยความละเอียดเชิงลึกระดับต่ำกว่ามิลลิเมตรได้[ 11 ]
เครื่องสร้างภาพแบบเกตระยะยังสามารถใช้ในการสร้างภาพ 2 มิติเพื่อระงับสิ่งใดก็ตามที่อยู่นอกช่วงระยะที่กำหนด เช่น การมองทะลุหมอก เลเซอร์แบบพัลส์จะให้แสงสว่าง และเกตแสงจะอนุญาตให้แสงไปถึงเครื่องสร้างภาพเฉพาะในช่วงเวลาที่ต้องการเท่านั้น[ 12 ]
เครื่องถ่ายภาพแบบ Time-of-Flight โดยตรง
อุปกรณ์เหล่านี้วัดเวลาบินโดยตรงที่จำเป็นสำหรับพัลส์เลเซอร์เดี่ยวที่จะออกจากกล้องและสะท้อนกลับไปยังอาร์เรย์ระนาบโฟกัส หรือที่รู้จักกันในชื่อ "โหมดทริกเกอร์" ภาพ 3 มิติที่ถ่ายโดยใช้วิธีการนี้จะแสดงข้อมูลเชิงพื้นที่และเวลาที่สมบูรณ์ โดยบันทึกฉาก 3 มิติทั้งหมดด้วยพัลส์เลเซอร์เดี่ยว ซึ่งช่วยให้สามารถบันทึกและประมวลผลข้อมูลฉากแบบเรียลไทม์ได้อย่างรวดเร็ว สำหรับการปฏิบัติงานอัตโนมัติที่ไวต่อเวลา วิธีการนี้ได้รับการสาธิตสำหรับการทดสอบในอวกาศแบบอัตโนมัติ[ 13 ]และการปฏิบัติงาน เช่นที่ใช้ในภารกิจเก็บตัวอย่างและนำกลับดาวเคราะห์น้อยเบนนูOSIRIS-REx [ 14 ]และการลงจอดเฮลิคอปเตอร์แบบอัตโนมัติ[ 15 ] [ 16 ]
Advanced Scientific Concepts, Inc. ให้บริการระบบการมองเห็นแบบ Direct TOF เฉพาะงาน (เช่น ทางอากาศ ยานยนต์ อวกาศ) [ 17 ] ซึ่งรู้จักกันในชื่อกล้อง 3D Flash LIDAR แนวทางของพวกเขาใช้อาร์เรย์โฟ โตดีเทค เตอร์ InGaAs Avalanche Photo Diode (APD) หรือ PIN ที่สามารถสร้างภาพพัลส์เลเซอร์ในช่วงความยาวคลื่น 980 นาโนเมตรถึง 1600 นาโนเมตร
ส่วนประกอบ
กล้องวัดระยะด้วยความเร็วแสง (Time-of-Flight camera) ประกอบด้วยส่วนประกอบดังต่อไปนี้:
- หน่วยให้แสงสว่าง:ทำหน้าที่ให้แสงสว่างแก่ฉาก สำหรับแหล่งกำเนิดแสงแบบ RF-modulated ที่ใช้กับ อิมเมจเจอร์ แบบตรวจจับเฟส แสง จะต้องถูกปรับความถี่ด้วยความเร็วสูงถึง 100 MHz ซึ่งใช้ได้เฉพาะLEDหรือเลเซอร์ไดโอด เท่านั้น สำหรับอิมเมจเจอร์แบบ Direct TOF จะใช้พัลส์เดียวต่อเฟรม (เช่น 30 Hz) โดยปกติแล้วการให้แสงสว่างจะใช้แสงอินฟราเรดเพื่อให้แสงสว่างไม่รบกวนสายตา
- ระบบเลนส์:เลนส์ทำหน้าที่รวบรวมแสงสะท้อนและสร้างภาพสภาพแวดล้อมลงบนเซ็นเซอร์รับภาพ (อาร์เรย์ระนาบโฟกัส) ตัวกรองแสงแบบแถบความถี่จะยอมให้เฉพาะแสงที่มีความยาวคลื่นเดียวกันกับหน่วยให้แสงสว่างผ่านไปได้ ซึ่งจะช่วยลดแสงที่ไม่เกี่ยวข้องและลดสัญญาณรบกวน
- เซ็นเซอร์รับภาพ :นี่คือหัวใจสำคัญของกล้อง TOF แต่ละพิกเซลจะวัดเวลาที่แสงใช้ในการเดินทางจากหน่วยให้แสงสว่าง (เลเซอร์หรือ LED) ไปยังวัตถุและกลับมายังอาร์เรย์ระนาบโฟกัส มีวิธีการจับเวลาหลายวิธี โปรดดูประเภทของอุปกรณ์ด้านบน
- วงจรควบคุมอิเล็กทรอนิกส์:ทั้งหน่วยให้แสงสว่างและเซ็นเซอร์รับภาพต้องถูกควบคุมด้วยสัญญาณความเร็วสูงและต้องทำงานประสานกัน สัญญาณเหล่านี้ต้องมีความแม่นยำสูงเพื่อให้ได้ความละเอียดสูง ตัวอย่างเช่น หากสัญญาณระหว่างหน่วยให้แสงสว่างและเซ็นเซอร์เลื่อนไปเพียง 10 พิโควินาทีระยะทางจะเปลี่ยนไป 1.5 มิลลิเมตร เพื่อเปรียบเทียบ: ซีพียู ในปัจจุบัน มีความถี่สูงสุดถึง 3 GHzซึ่งสอดคล้องกับรอบสัญญาณนาฬิกาประมาณ 300 พิโควินาที ความละเอียดที่ได้จึงมีเพียง 45 มิลลิเมตร เท่านั้น
- การคำนวณ/อินเทอร์เฟซ: ระยะทางจะถูกคำนวณโดยตรงในกล้อง เพื่อให้ได้ประสิทธิภาพที่ดี จึงมีการใช้ข้อมูลการปรับเทียบเพิ่มเติมด้วย จากนั้นกล้องจะส่งภาพระยะทางผ่านอินเทอร์เฟซบางอย่าง เช่นUSBหรือEthernet
หลักการ


กล้องไทม์ออฟไฟลต์เวอร์ชันที่ง่ายที่สุดใช้พัลส์แสงหรือพัลส์แสงเดี่ยว แสงสว่างจะถูกเปิดเป็นเวลาสั้นมาก พัลส์แสงที่เกิดขึ้นจะส่องสว่างฉากและสะท้อนโดยวัตถุในขอบเขตการมองเห็น เลนส์กล้องจะรวบรวมแสงสะท้อนและสร้างภาพลงบนเซ็นเซอร์หรืออาร์เรย์ระนาบโฟกัส ขึ้นอยู่กับระยะทาง แสงที่เข้ามาจะเกิดความล่าช้า เนื่องจากแสงมีความเร็วประมาณ c = 300,000,000 เมตรต่อวินาที ความล่าช้านี้จึงสั้นมาก วัตถุที่อยู่ ห่างออกไป 2.5 เมตรจะทำให้แสงล่าช้าไปดังนี้: [ 19 ]
สำหรับอาร์เรย์แบบปรับความกว้างของพัลส์แสง ความกว้างของพัลส์แสงจะเป็นตัวกำหนดระยะสูงสุดที่กล้องสามารถตรวจจับได้ เช่น หากความกว้างของพัลส์อยู่ที่ 50 นาโนวินาที ระยะการตรวจจับจะถูกจำกัดไว้ที่...
ช่วงเวลาสั้นๆ เหล่านี้แสดงให้เห็นว่าหน่วยให้แสงสว่างเป็นส่วนสำคัญของระบบ การสร้างพัลส์สั้นๆ เช่นนี้ได้นั้นต้องใช้ LED หรือเลเซอร์ชนิดพิเศษเท่านั้น
พิกเซลแต่ละ พิกเซล ประกอบด้วยองค์ประกอบไวต่อแสง (เช่นโฟโตไดโอด ) ซึ่งแปลงแสงที่เข้ามาเป็นกระแสไฟฟ้า ในเครื่องถ่ายภาพแบบอนาล็อกที่ใช้การจับเวลา โฟโตไดโอดจะเชื่อมต่อกับสวิตช์ความเร็วสูง ซึ่งจะนำกระแสไฟฟ้าไปยังองค์ประกอบหน่วยความจำหนึ่งในสองตัว (หรือหลายตัว) (เช่นตัวเก็บประจุ ) ที่ทำหน้าที่เป็นองค์ประกอบการรวม ในเครื่องถ่ายภาพแบบดิจิทัลที่ใช้การจับเวลา ตัวนับเวลาซึ่งสามารถทำงานได้ที่ความถี่หลายกิกะเฮิร์ตซ์ จะเชื่อมต่อกับพิกเซลตรวจจับแสงแต่ละพิกเซล และจะหยุดนับเมื่อตรวจจับแสงได้
ในแผนภาพของตัวจับเวลาอนาล็อกแบบอาร์เรย์ที่ปรับความกว้างของแอมพลิจูด พิกเซลใช้สวิตช์สองตัว (G1 และ G2) และองค์ประกอบหน่วยความจำสองตัว (S1 และ S2) สวิตช์เหล่านี้ถูกควบคุมด้วยพัลส์ที่มีความยาวเท่ากับพัลส์แสง โดยที่สัญญาณควบคุมของสวิตช์ G2 จะถูกหน่วงเวลาด้วยความกว้างของพัลส์พอดี ขึ้นอยู่กับการหน่วงเวลา ส่วนหนึ่งของพัลส์แสงจะถูกสุ่มตัวอย่างผ่าน G1 ไปยัง S1 ส่วนที่เหลือจะถูกเก็บไว้ใน S2 ขึ้นอยู่กับระยะทาง อัตราส่วนระหว่าง S1 และ S2 จะเปลี่ยนแปลงดังที่แสดงในภาพวาด[ 4 ] เนื่องจากมีแสงตกกระทบเซ็นเซอร์เพียงเล็กน้อยภายใน 50 ns จึงไม่ได้มีการส่งพัลส์ออกไปเพียงพัลส์เดียว แต่มีพัลส์หลายพันพัลส์ (อัตราการทำซ้ำ tR) และรวบรวม ทำให้เพิ่มอัตราส่วนสัญญาณต่อสัญญาณรบกวน
หลังจากได้รับแสงแล้ว ระบบจะอ่านค่าพิกเซล และขั้นตอนต่อไปจะวัดสัญญาณ S1 และ S2 เนื่องจากความยาวของพัลส์แสงถูกกำหนดไว้แล้ว จึงสามารถคำนวณระยะทางได้โดยใช้สูตร:
ในตัวอย่างนี้ สัญญาณมีค่าดังนี้: S1 = 0.66 และ S2 = 0.33 ดังนั้นระยะทางคือ:
เมื่อมีแสงพื้นหลังอยู่ องค์ประกอบหน่วยความจำจะได้รับสัญญาณเพิ่มเติม ซึ่งจะรบกวนการวัดระยะทาง เพื่อกำจัดส่วนของสัญญาณพื้นหลัง สามารถทำการวัดทั้งหมดซ้ำอีกครั้งโดยปิดไฟส่องสว่าง หากวัตถุอยู่ไกลเกินกว่าช่วงระยะทาง ผลลัพธ์ก็จะผิดพลาดเช่นกัน ในกรณีนี้ การวัดครั้งที่สองโดยใช้สัญญาณควบคุมที่หน่วงเวลาด้วยความกว้างพัลส์เพิ่มเติมจะช่วยลดผลกระทบจากวัตถุเหล่านั้นได้ ระบบอื่นๆ อาจใช้แหล่งกำเนิดแสงแบบไซน์เวฟแทนแหล่งกำเนิดแสงแบบพัลส์
สำหรับเครื่องถ่ายภาพ TOF โดยตรง เช่น 3D Flash LIDAR เลเซอร์จะปล่อยพัลส์สั้นๆ เพียงครั้งเดียวที่มีความยาวคลื่น 5 ถึง 10 นาโนวินาที เหตุการณ์ T-zero (เวลาที่พัลส์ออกจากกล้อง) จะถูกกำหนดโดยการจับภาพพัลส์โดยตรงและส่งสัญญาณเวลาดังกล่าวไปยังอาร์เรย์ระนาบโฟกัส T-zero จะถูกใช้เพื่อเปรียบเทียบเวลาการกลับมาของพัลส์สะท้อนกลับบนพิกเซลต่างๆ ของอาร์เรย์ระนาบโฟกัส โดยการเปรียบเทียบ T-zero และพัลส์สะท้อนกลับที่จับภาพได้ และเปรียบเทียบความแตกต่างของเวลา แต่ละพิกเซลจะให้ค่าการวัดเวลาบินโดยตรงที่แม่นยำ การเดินทางไปกลับของพัลส์เดียวสำหรับระยะทาง 100 เมตร คือ 660 นาโนวินาที ด้วยพัลส์ 10 นาโนวินาที ฉากจะถูกส่องสว่างและระยะทางและความเข้มจะถูกจับภาพได้ในเวลาน้อยกว่า 1 ไมโครวินาที
ข้อดี
ความเรียบง่าย
เมื่อเปรียบเทียบกับ ระบบ การมองเห็นแบบสามมิติหรือระบบการหาตำแหน่งโดยใช้สามเหลี่ยมระบบโดยรวมมีขนาดกะทัดรัดมาก: แหล่งกำเนิดแสงอยู่ติดกับเลนส์ ในขณะที่ระบบอื่นๆ ต้องการระยะห่างขั้นต่ำที่แน่นอน และเมื่อเปรียบเทียบกับระบบสแกนด้วยเลเซอร์ ระบบนี้ไม่จำเป็นต้องมีชิ้นส่วนกลไกที่เคลื่อนที่ได้
อัลกอริทึมระยะทางที่มีประสิทธิภาพ
เป็นกระบวนการโดยตรงในการดึงข้อมูลระยะทางออกจากสัญญาณเอาต์พุตของเซ็นเซอร์ TOF ส่งผลให้งานนี้ใช้พลังการประมวลผลเพียงเล็กน้อย ซึ่งแตกต่างจากการมองเห็นแบบสเตอริโอที่ต้องใช้อัลกอริธึมการหาความสัมพันธ์ที่ซับซ้อน หลังจากดึงข้อมูลระยะทางแล้วการตรวจจับวัตถุเช่น ก็เป็นกระบวนการที่ตรงไปตรงมาเช่นกัน เนื่องจากอัลกอริธึมจะไม่ถูกรบกวนจากรูปแบบบนวัตถุ ความแม่นยำโดยทั่วไปจะอยู่ที่ประมาณ 1% ของระยะทางที่วัดได้[ 20 ]
ความเร็ว
กล้อง Time-of-flight สามารถวัดระยะทางภายในฉากทั้งหมดได้ด้วยการถ่ายภาพเพียงครั้งเดียว เนื่องจากกล้องเหล่านี้สามารถถ่ายภาพได้สูงสุดถึง 160 เฟรมต่อวินาที จึงเหมาะอย่างยิ่งสำหรับการใช้งานแบบเรียลไทม์
ข้อเสีย
แสงพื้นหลัง
เมื่อใช้ CMOS หรือตัวตรวจจับหรือเซ็นเซอร์แบบรวมสัญญาณอื่นๆ ที่ใช้แสงที่มองเห็นได้หรือแสงอินฟราเรดใกล้ (400 นาโนเมตร - 700 นาโนเมตร) แม้ว่าแสงพื้นหลังส่วนใหญ่ที่มาจากแสงประดิษฐ์หรือแสงอาทิตย์จะถูกลดทอนลง แต่พิกเซลยังคงต้องให้ช่วงไดนามิก สูง แสงพื้นหลังยังสร้างอิเล็กตรอนซึ่งต้องถูกจัดเก็บไว้ ตัวอย่างเช่น หน่วยให้แสงสว่างในกล้อง TOF หลายรุ่นในปัจจุบันสามารถให้ระดับแสงสว่างได้ประมาณ 1 วัตต์ดวงอาทิตย์มีกำลังส่องสว่างประมาณ 1050 วัตต์ต่อตารางเมตร และ 50 วัตต์หลังจากผ่านตัวกรองแสงแบบแถบความถี่ดังนั้น หากฉากที่ส่องสว่างมีขนาด 1 ตารางเมตร แสงจากดวงอาทิตย์จะแรงกว่าสัญญาณที่ถูกปรับความถี่ถึง 50 เท่า สำหรับเซนเซอร์ TOF ที่ไม่รวมแสงในช่วงเวลาและใช้ตัวตรวจจับอินฟราเรดใกล้ (InGaAs) เพื่อจับพัลส์เลเซอร์สั้น การมองเห็นดวงอาทิตย์โดยตรงไม่ใช่ปัญหา เนื่องจากภาพไม่ได้ถูกรวมในช่วงเวลา แต่ถูกจับภายในรอบการรับข้อมูลสั้นๆ ซึ่งโดยทั่วไปน้อยกว่า 1 ไมโครวินาที เซนเซอร์ TOF ดังกล่าวถูกนำไปใช้ในงานด้านอวกาศ[ 14 ]และกำลังพิจารณาสำหรับการใช้งานในยานยนต์[ 21 ]
การรบกวน
ในอุปกรณ์ TOF บางประเภท (แต่ไม่ใช่ทุกประเภท) หากมีการใช้งานกล้อง Time-of-Flight หลายตัวพร้อมกัน กล้อง TOF เหล่านั้นอาจรบกวนการวัดของกันและกันได้ มีหลายวิธีในการแก้ไขปัญหานี้:
- การมัลติเพล็กซ์ตามเวลา:ระบบควบคุมจะเริ่มการวัดจากกล้องแต่ละตัวตามลำดับ เพื่อให้มีเพียงหน่วยให้แสงสว่างเพียงหน่วยเดียวที่ทำงานในแต่ละครั้ง
- ความถี่การมอดูเลชั่นที่แตกต่างกัน:หากกล้องแต่ละตัวมอดูเลตแสงด้วยความถี่การมอดูเลชั่นที่แตกต่างกัน แสงจากกล้องเหล่านั้นจะถูกรวบรวมในระบบอื่น ๆ ในรูปแบบของแสงพื้นหลังเท่านั้น แต่จะไม่รบกวนการวัดระยะทาง
สำหรับกล้องประเภท Direct TOF ที่ใช้พัลส์เลเซอร์เดี่ยวในการส่องสว่าง เนื่องจากพัลส์เลเซอร์เดี่ยวนั้นสั้น (เช่น 10 นาโนวินาที) เวลาเดินทางไปกลับ (TOF) จากและไปยังวัตถุในขอบเขตการมองเห็นจึงสั้นตามไปด้วย (เช่น 100 เมตร = เวลาเดินทางไปกลับ 660 นาโนวินาที) สำหรับเครื่องรับภาพที่บันทึกที่ความถี่ 30 เฮิรตซ์ ความน่าจะเป็นของการรบกวนคือเวลาที่ประตูรับภาพของกล้องเปิดอยู่หารด้วยเวลาระหว่างพัลส์เลเซอร์ หรือประมาณ 1 ใน 50,000 (0.66 ไมโครวินาที หารด้วย 33 มิลลิวินาที)
การสะท้อนหลายครั้ง
ตรงกันข้ามกับระบบสแกนด้วยเลเซอร์ที่ส่องสว่างเพียงจุดเดียว กล้องไทม์ออฟไฟลต์จะส่องสว่างทั้งฉาก สำหรับอุปกรณ์ความแตกต่างของเฟส (อาร์เรย์ปรับแอมพลิจูด) เนื่องจากการสะท้อนหลายครั้ง แสงอาจไปถึงวัตถุตามเส้นทางหลายเส้นทาง ดังนั้นระยะทางที่วัดได้อาจมากกว่าระยะทางจริง เครื่องถ่ายภาพ TOF โดยตรงมีความเปราะบางหากแสงสะท้อนจากพื้นผิวสะท้อนแสง มีเอกสารที่ตีพิมพ์เผยแพร่ซึ่งสรุปจุดแข็งและจุดอ่อนของอุปกรณ์และวิธีการ TOF ต่างๆ[ 22 ]
แอปพลิเคชัน

กล้องวัดระยะด้วยความเร็วแสง (Time-of-flight cameras) ถูกนำไปใช้งานหลากหลายประเภท ตัวอย่างเช่น หุ่นยนต์และอินเทอร์เฟซผู้ใช้แบบไร้สัมผัส
ในการบังคับใช้กฎจราจร
ระบบ ToF แบบคลื่นต่อเนื่องใช้ในการตรวจจับพื้นผิวสะท้อนแสง เช่น ป้ายทะเบียนและแผ่นสะท้อนแสงของยานพาหนะ ระบบเหล่านี้จะบันทึกภาพความลึกตามลำดับเพื่อติดตามตำแหน่งของยานพาหนะในพื้นที่ 3 มิติเมื่อเวลาผ่านไป โดยการวิเคราะห์วิถีการเคลื่อนที่ของจุดเหล่านี้ พวกเขาสามารถคำนวณความเร็วของยานพาหนะได้อย่างแม่นยำ โดยไม่ขึ้นอยู่กับระยะทางและมุมระหว่างยานพาหนะกับกล้อง[ 23 ]
การใช้งานในยานยนต์
กล้อง Time-of-flight ใช้ในฟังก์ชันช่วยเหลือและความปลอดภัยสำหรับแอปพลิเคชันยานยนต์ขั้นสูง เช่น ความปลอดภัยของคนเดินเท้าเชิงรุก การตรวจจับก่อนการชน และแอปพลิเคชันภายในอาคาร เช่น การตรวจจับตำแหน่งนอก (OOP) [ 24 ] [ 25 ]
ส่วนต่อประสานระหว่างมนุษย์กับเครื่องจักรและการเล่นเกม
เนื่องจากกล้องไทม์ออฟไฟลต์ให้ภาพระยะทางแบบเรียลไทม์ จึงง่ายต่อการติดตามการเคลื่อนไหวของมนุษย์ ซึ่งช่วยให้เกิดปฏิสัมพันธ์ใหม่ๆ กับอุปกรณ์ของผู้บริโภค เช่น โทรทัศน์ อีกประเด็นหนึ่งคือการใช้กล้องประเภทนี้เพื่อโต้ตอบกับเกมบนเครื่องเล่นเกมคอนโซล[ 26 ] เซ็นเซอร์ Kinectรุ่นที่สองที่มาพร้อมกับ เครื่องเล่นเกม Xbox Oneใช้กล้องไทม์ออฟไฟลต์สำหรับการถ่ายภาพระยะทาง[ 27 ]ทำให้สามารถสร้างอินเทอร์เฟซผู้ใช้ที่เป็นธรรมชาติและแอปพลิเคชันเกมโดยใช้เทคนิคการมองเห็นด้วยคอมพิวเตอร์และการจดจำท่าทางCreativeและIntelยังมีกล้องไทม์ออฟไฟลต์แบบโต้ตอบด้วยท่าทางที่คล้ายกันสำหรับการเล่นเกม คือ Senz3D ซึ่งใช้กล้อง DepthSense 325 ของSoftkinetic [ 28 ] Infineonและ PMD Technologiesได้สร้างกล้องความลึก 3 มิติขนาดเล็กแบบบูรณาการสำหรับการควบคุมท่าทางระยะใกล้ของอุปกรณ์ของผู้บริโภค เช่น พีซีแบบออลอินวันและแล็ปท็อป (กล้อง Picco flexx และ Picco monstar) [ 29 ]
กล้องสมาร์ทโฟน

สมาร์ทโฟนหลายรุ่นมีกล้องไทม์ออฟไฟลต์ กล้องเหล่านี้ส่วนใหญ่ใช้เพื่อปรับปรุงคุณภาพของภาพถ่ายโดยการให้ข้อมูลเกี่ยวกับพื้นหน้าและพื้นหลังแก่ซอฟต์แวร์กล้อง[ 30 ]
โทรศัพท์มือถือเครื่องแรกที่วางจำหน่ายพร้อมเทคโนโลยีดังกล่าวคือLG G3ในช่วงต้นปี 2557 [ 31 ] BlackBerry PassportและLG G Flex 2ก็วางจำหน่ายพร้อมเซ็นเซอร์ ToF เช่นกัน[ 32 ]
การวัดและการมองเห็นด้วยเครื่องจักร

แอปพลิเค ชันอื่นๆ ได้แก่ งานวัด เช่น การวัดระดับความสูงของวัสดุในไซโล ในระบบวิชั่นสำหรับเครื่องจักร ในอุตสาหกรรม กล้องวัดระยะการเคลื่อนที่ของแสง (Time-of-Flight) ช่วยในการจำแนกและระบุตำแหน่งของวัตถุเพื่อใช้โดยหุ่นยนต์ เช่น สิ่งของที่เคลื่อนผ่านสายพานลำเลียง ระบบควบคุมประตูสามารถแยกแยะได้อย่างง่ายดายระหว่างสัตว์และมนุษย์ที่เข้ามาใกล้ประตู
หุ่นยนต์
อีกหนึ่งการใช้งานของกล้องเหล่านี้คือในด้านหุ่นยนต์: หุ่นยนต์เคลื่อนที่สามารถสร้างแผนที่สภาพแวดล้อมรอบตัวได้อย่างรวดเร็ว ทำให้พวกมันสามารถหลีกเลี่ยงสิ่งกีดขวางหรือติดตามบุคคลที่นำทางได้ เนื่องจากการคำนวณระยะทางนั้นง่าย จึงใช้พลังการประมวลผลเพียงเล็กน้อย เนื่องจากกล้องเหล่านี้สามารถใช้ในการวัดระยะทางได้เช่นกัน ทีมที่เข้าร่วมการแข่งขัน FIRST Robotics Competitionจึงมักใช้กล้องเหล่านี้สำหรับภารกิจอัตโนมัติต่างๆ
ลักษณะภูมิประเทศของโลก
กล้อง ToF ถูกใช้เพื่อสร้างแบบจำลองระดับความสูงดิจิทัลของภูมิประเทศพื้นผิวโลก[ 33 ]สำหรับการศึกษาธรณีสัณฐานวิทยา
แบรนด์
แบรนด์ที่ยังคงดำเนินงานอยู่ ( ณ ปี 2011))
- Orbbec - กล้องวัดความลึก RGB iTOF ประสิทธิภาพสูงซีรีส์ Femto ที่ใช้เทคโนโลยี iTOF ของ Microsoft มีแอปพลิเคชันทั่วโลกในด้านโลจิสติกส์ หุ่นยนต์ การดูแลสุขภาพ การค้าปลีก ฟิตเนส และการสร้างและแอนิเมชั่นเนื้อหา 3 มิติ
- ESPROS - ชิปอิมเมจเจอร์ TOF 3 มิติ, กล้อง TOF และโมดูลสำหรับยานยนต์, หุ่นยนต์, อุตสาหกรรม และ IoT
- กล้อง LIDAR 3 มิติแบบแฟลช และระบบวิชั่นจาก Advanced Scientific Concepts, Inc. สำหรับการใช้งานทางอากาศ ยานยนต์ และอวกาศ
- DepthSense - กล้องและโมดูล TOF รวมถึงเซ็นเซอร์ RGB และไมโครโฟนจากSoftKinetic
- IRMA MATRIX - กล้อง TOF ที่ใช้สำหรับการนับจำนวนผู้โดยสารอัตโนมัติในแอปพลิเคชันแบบเคลื่อนที่และแบบอยู่กับที่ ผลิตโดยiris-GmbH
- Kinect - แพลตฟอร์มอินเทอร์เฟซผู้ใช้แบบแฮนด์ฟรีจากMicrosoftสำหรับเครื่องเล่นเกมคอนโซลและพีซี โดยใช้กล้องไทม์ออฟไฟลต์ในอุปกรณ์เซ็นเซอร์รุ่นที่สอง[ 27 ]
- กล้องวัดความลึก Azure Kinect DK - กล้องวัดความลึก Azure Kinect DK ใช้หลักการวัดระยะทางแบบคลื่นต่อเนื่องปรับความกว้างของสัญญาณ (Amplitude Modulated Continuous Wave: AMCW) ร่วมกับหลักการวัดระยะทางแบบเวลาบิน (Time-of-Flight: ToF) Azure Kinect DK
- pmd - แบบจำลองอ้างอิงกล้องและซอฟต์แวร์ (pmd[vision] รวมถึงโมดูล TOF [CamBoard]) และตัวสร้างภาพ TOF (PhotonICs) โดยPMD Technologies
- real.IZ 2+3D - กล้อง TOF ความละเอียดสูง SXGA (1280×1024) ที่พัฒนาโดยบริษัทสตาร์ทอัพ odos imaging ซึ่งผสานการจับภาพแบบดั้งเดิมเข้ากับการวัดระยะ TOF ในเซ็นเซอร์เดียวกัน โดยใช้เทคโนโลยีที่พัฒนาโดยSiemens
- Senz3D - กล้อง TOF โดย Creative และ Intel ที่ใช้กล้อง DepthSense 325 ของ Softkinetic ซึ่งใช้สำหรับเล่นเกม[ 28 ]
- SICK - กล้อง TOF อุตสาหกรรม 3 มิติ (Visionary-T) สำหรับการใช้งานในอุตสาหกรรมและซอฟต์แวร์[ 34 ]
- เซ็นเซอร์ 3D MLI - เครื่องถ่ายภาพ TOF โมดูล กล้อง และซอฟต์แวร์จาก IEE (International Electronics & Engineering) ซึ่งใช้หลักการปรับความเข้มแสง (MLI)
- กล้อง TOF จาก Stanley Electric - กล้อง TOF (Tooth Flight Camera)
- TriDiCam - โมดูลและซอฟต์แวร์ TOF ซึ่งเป็นเครื่องถ่ายภาพ TOF ที่พัฒนาขึ้นครั้งแรกโดย สถาบัน Fraunhofer Institute of Microelectronic Circuits and Systems และปัจจุบันได้รับการพัฒนาต่อโดยบริษัท TriDiCam ที่แยกตัวออกมา
- Hakvision - กล้องสเตอริโอ TOF
- Cube eye - กล้อง ToF และโมดูล ความละเอียด VGA เว็บไซต์ : www.cube-eye.co.kr
- บริษัท Basler AG - การสร้างภาพ 3 มิติสำหรับการใช้งานในอุตสาหกรรม
- LILIN - กล้องวงจรปิด ToF
แบรนด์ที่เลิกกิจการ
- CanestaVision [ 35 ] - โมดูล TOF และซอฟต์แวร์โดยCanesta (บริษัทที่ Microsoft เข้าซื้อกิจการในปี 2010)
- D-IMager - กล้อง TOF จากPanasonic Electric Works
- OptriCam - กล้องและโมดูล TOF จาก Optrima (ซึ่งเปลี่ยนชื่อเป็น DepthSense ก่อนการควบรวมกิจการกับ SoftKinetic ในปี 2011)
- ZCam - ผลิตภัณฑ์กล้อง TOF จาก 3DV Systems ที่ผสานรวมวิดีโอสีเต็มรูปแบบเข้ากับข้อมูลความลึก (ทรัพย์สินถูกขายให้กับ Microsoft ในปี 2009)
- SwissRanger - กลุ่มผลิตภัณฑ์กล้อง TOF สำหรับงานอุตสาหกรรม ซึ่งเดิมทีพัฒนาโดย Centre Suisse d'Electronique et Microtechnique, SA ( CSEM ) และปัจจุบันพัฒนาต่อโดยMesa Imaging (Mesa Imaging ถูก Heptagon เข้าซื้อกิจการในปี 2014)
- Fotonic - กล้อง TOF และซอฟต์แวร์ที่ขับเคลื่อนด้วยชิป CMOS ของ Panasonic (Fotonic ถูกซื้อกิจการโดย Autoliv ในปี 2018)
- S.Cube - กล้อง ToF และโมดูลจากCube eye
- D-IMager โดย Panasonic
- pmd[vision] CamCube โดยPMD Technologies
- SwissRanger 4000 โดย MESA Imaging
- FOTONIC-B70 โดย Fotonic
- เซ็นเซอร์ 3D MLI โดย IEE SA
- ต้นแบบกล้อง ARTTS
- pmd[vision] CamBoard โดยPMD Technologies
ดูเพิ่มเติม
อ่านเพิ่มเติม
- Hansard, Miles; Lee, Seungkyu; Choi, Ouk; Horaud, Radu (2012). "กล้อง Time-of-flight: หลักการ วิธีการ และการประยุกต์ใช้งาน" (PDF) . SpringerBriefs in Computer Science (PDF) . doi : 10.1007/978-1-4471-4658-2 . ISBN 978-1-4471-4657-5S2CID 5494636 หนังสือเล่มนี้อธิบายถึงงานวิจัยล่าสุดหลากหลายด้านเกี่ยวกับการถ่ายภาพ แบบ Time-of-Flight: […] หลักการวัดพื้นฐาน [
…] แหล่งที่มาของข้อผิดพลาดและความกำกวมที่เกี่ยวข้อง […] การปรับเทียบทางเรขาคณิตของกล้อง Time-of-Flight โดยเฉพาะอย่างยิ่งเมื่อใช้ร่วมกับกล้องสีทั่วไป […] และการใช้ข้อมูล Time-of-Flight ร่วมกับเทคนิคการจับคู่ภาพสเตอริโอแบบดั้งเดิม บททั้งห้าบทนี้ร่วมกันอธิบายขั้นตอนการสร้างภาพสามมิติแบบสมบูรณ์ทั้งความลึกและสี
- Horaud, Radu; Hansard, Miles; Evangelidis, Georgios; Ménier, Clément (2016). " ภาพรวมของกล้องวัดความลึกและเครื่องสแกนระยะทางโดยใช้เทคโนโลยี Time-of-Flight " Machine Vision and Applications 27, 1005-1029.