การตรวจจับมุมเป็นวิธีการที่ใช้ใน ระบบ คอมพิวเตอร์วิชั่น เพื่อดึง คุณลักษณะบางอย่างและอนุมานเนื้อหาของภาพ การตรวจจับมุมมักใช้ในการตรวจจับการเคลื่อนไหวการลงทะเบียนภาพการติดตามวิดีโอ การต่อภาพโมเสก การต่อ ภาพพาโนรามาการสร้างแบบจำลอง 3 มิติและการจดจำวัตถุการตรวจจับมุมมีความเกี่ยวเนื่องกับหัวข้อการ ตรวจจับจุดสนใจ

มุมสามารถนิยามได้ว่าเป็นจุดตัดของเส้นขอบสองเส้น นอกจากนี้ มุมยังสามารถนิยามได้ว่าเป็นจุดที่มีทิศทางเส้นขอบที่เด่นชัดและแตกต่างกันสองทิศทางในบริเวณใกล้เคียงของจุดนั้น

จุดที่น่าสนใจคือจุดในภาพที่มีตำแหน่งที่กำหนดไว้อย่างชัดเจนและสามารถตรวจจับได้อย่างแม่นยำ นั่นหมายความว่าจุดที่น่าสนใจอาจเป็นมุม แต่ก็อาจเป็นจุดที่มีความเข้มสูงสุดหรือต่ำสุดเฉพาะที่ จุดปลายเส้น หรือจุดบนเส้นโค้งที่มีความโค้งสูงสุดเฉพาะที่ก็ได้

ในทางปฏิบัติ วิธีการตรวจจับมุมส่วนใหญ่ที่เรียกว่าตรวจจับจุดสนใจโดยทั่วไป และในความเป็นจริง คำว่า "มุม" และ "จุดสนใจ" ถูกใช้สลับกันไปมาในเอกสารต่างๆ^{[ 1 ]}ด้วยเหตุนี้ หากต้องการตรวจจับเฉพาะมุมเท่านั้น จึงจำเป็นต้องทำการวิเคราะห์เฉพาะที่ของจุดสนใจที่ตรวจพบเพื่อพิจารณาว่าจุดใดเป็นมุมจริง ตัวอย่างของการตรวจจับขอบที่สามารถใช้ร่วมกับการประมวลผลภายหลังเพื่อตรวจจับมุม ได้แก่ตัวดำเนินการ Kirschและชุดมาสก์ Frei-Chen ^{[ 2 ]}

ในเอกสารทางวิชาการมีการใช้คำว่า "มุม" "จุดสนใจ" และ "คุณลักษณะ" สลับกันไปมา ทำให้เกิดความสับสน โดยเฉพาะอย่างยิ่ง มีตัวตรวจจับวัตถุ หลายตัว ที่สามารถเรียกได้ว่าเป็น "ตัวดำเนินการจุดสนใจ" แต่บางครั้งก็ถูกเรียกอย่างผิดพลาดว่าเป็น "ตัวตรวจจับมุม" ยิ่งไปกว่านั้น ยังมีแนวคิดเรื่องการตรวจจับสันเพื่อตรวจจับวัตถุที่มีรูปร่างยาวอีก ด้วย

ตัวตรวจจับมุมมักไม่แข็งแกร่งมากนัก และมักต้องมีการเพิ่มระบบสำรองขนาดใหญ่เพื่อป้องกันไม่ให้ข้อผิดพลาดแต่ละอย่างมีอิทธิพลเหนือภารกิจการจดจำ

หนึ่งในเกณฑ์วัดคุณภาพของตัวตรวจจับมุมคือ ความสามารถในการตรวจจับมุมเดียวกันในภาพที่คล้ายคลึงกันหลายภาพ ภายใต้สภาวะแสง การเลื่อน การหมุน และการแปลงอื่นๆ ที่แตกต่างกัน

วิธีการง่ายๆ ในการตรวจจับมุมในภาพคือการใช้ความสัมพันธ์แต่การใช้วิธีนี้สิ้นเปลืองทรัพยากรการคำนวณมากและไม่เหมาะสม วิธีการทางเลือกที่ใช้กันบ่อยคือวิธีการที่เสนอโดย Harris และ Stephens (ด้านล่าง) ซึ่งเป็นการปรับปรุงวิธีการของ Moravec อีกทีหนึ่ง

นี่เป็นหนึ่งในอัลกอริทึมการตรวจจับมุมที่เก่าแก่ที่สุดและกำหนดให้มุมเป็นจุดที่มีความคล้ายคลึงกันในตัวเองต่ำ^{[ 3 ]}อัลกอริทึมจะทดสอบพิกเซลแต่ละพิกเซลในภาพเพื่อดูว่ามีมุมอยู่หรือไม่ โดยพิจารณาว่าแพทช์ที่อยู่ตรงกลางพิกเซลนั้นมีความคล้ายคลึงกับแพทช์ที่อยู่ใกล้เคียงซึ่งทับซ้อนกันมากเพียงใด ความคล้ายคลึงกันจะวัดโดยการหาผลรวมของความแตกต่างกำลังสอง (SSD) ระหว่างพิกเซลที่สอดคล้องกันของสองแพทช์ ตัวเลขที่ต่ำกว่าแสดงถึงความคล้ายคลึงกันที่มากขึ้น

ถ้าพิกเซลอยู่ในบริเวณที่มีความเข้มแสงสม่ำเสมอ พิกเซลบริเวณใกล้เคียงก็จะดูคล้ายกัน ถ้าพิกเซลอยู่บนขอบ พิกเซลบริเวณใกล้เคียงในทิศทางตั้งฉากกับขอบจะดูแตกต่างกันมาก แต่พิกเซลบริเวณใกล้เคียงในทิศทางขนานกับขอบจะเปลี่ยนแปลงเพียงเล็กน้อย ถ้าพิกเซลอยู่บนลักษณะที่มีการเปลี่ยนแปลงในทุกทิศทาง พิกเซลบริเวณใกล้เคียงก็จะไม่ดูคล้ายกันเลย

ความแรงของมุมถูกกำหนดให้เป็นค่า SSD ที่น้อยที่สุดระหว่างแพทช์กับแพทช์ข้างเคียง (แนวนอน แนวตั้ง และแนวทแยงทั้งสอง) เหตุผลก็คือ หากค่านี้สูง ความแปรผันตามการเลื่อนทั้งหมดจะมีค่าเท่ากับหรือมากกว่าค่านี้ ทำให้สามารถจับภาพแพทช์ที่อยู่ใกล้เคียงทั้งหมดให้ดูแตกต่างกันได้

หากคำนวณค่าความแข็งแรงของมุมสำหรับทุกตำแหน่งแล้วพบว่าค่าดังกล่าวมีค่าสูงสุดเฉพาะที่ในตำแหน่งใดตำแหน่งหนึ่ง แสดงว่ามีลักษณะที่น่าสนใจอยู่ในตำแหน่งนั้น

ตามที่ Moravec ชี้ให้เห็น ปัญหาหลักประการหนึ่งของตัวดำเนินการนี้คือมันไม่เป็นไอโซโทรปิก : หากมีขอบที่ไม่ได้อยู่ในทิศทางของเพื่อนบ้าน (แนวนอน แนวตั้ง หรือแนวทแยง) ค่า SSD ที่เล็กที่สุดจะมีขนาดใหญ่ และขอบนั้นจะถูกเลือกเป็นจุดสนใจอย่างไม่ถูกต้อง^{[ 4 ]}

Harris และ Stephens ^{[ 5 ]}ได้ปรับปรุงตัวตรวจจับมุมของ Moravec โดยพิจารณาความแตกต่างของคะแนนมุมเทียบกับทิศทางโดยตรง แทนที่จะใช้แพทช์ที่เลื่อน (คะแนนมุมนี้มักเรียกว่าautocorrelationเนื่องจากมีการใช้คำนี้ในบทความที่อธิบายตัวตรวจจับนี้ อย่างไรก็ตาม คณิตศาสตร์ในบทความแสดงให้เห็นอย่างชัดเจนว่าใช้ผลรวมของความแตกต่างกำลังสอง)

โดยไม่เสียความเป็นทั่วไปเราจะสมมติว่าใช้ภาพขาวดำ 2 มิติ ให้ภาพนี้เป็นพิจารณาการเลือกภาพย่อยบนพื้นที่และเลื่อนภาพย่อยนั้นไปผลรวมถ่วงน้ำหนักของความแตกต่างกำลังสอง (SSD) ระหว่างภาพย่อยทั้งสองนี้ ซึ่งแทนด้วยจะกำหนดโดย สามารถประมาณได้ด้วยการกระจายอนุกรมเทย์เลอร์ให้และเป็นอนุพันธ์ย่อยของโดยที่ ${\displaystyle I}$${\displaystyle (u,v)}$${\displaystyle (x,y)}$${\displaystyle S}$$${\displaystyle S(x,y)=\sum _{u}\sum _{v}w(u,v)[I(u+x,v+y)-I(u,v)]^{2}.}$$${\displaystyle I(u+x,v+y)}$${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle I}$$${\displaystyle I(u+x,v+y)\approx I(u,v)+I_{x}(u,v)x+I_{y}(u,v)y.}$$

ซึ่ง จะได้ค่าประมาณ ที่สามารถเขียนในรูปแบบเมทริกซ์ได้ ดังนี้ โดยที่Aคือ เทน เซอร์ โครงสร้าง$${\displaystyle S(x,y)\approx \sum _{u}\sum _{v}w(u,v)[I_{x}(u,v)x+I_{y}(u,v)y]^{2},}$$$${\displaystyle S(x,y)\approx {\begin{bmatrix}x&y\end{bmatrix}}A{\begin{bmatrix}x\\y\end{bmatrix}},}$$$${\displaystyle A=\sum _{u}\sum _{v}w(u,v){\begin{bmatrix}I_{x}(u,v)^{2}&I_{x}(u,v)I_{y}(u,v)\\I_{x}(u,v)I_{y}(u,v)&I_{y}(u,v)^{2}\end{bmatrix}}={\begin{bmatrix}\langle I_{x}^{2}\rangle &\langle I_{x}I_{y}\rangle \\\langle I_{x}I_{y}\rangle &\langle I_{y}^{2}\rangle \end{bmatrix}}.}$$

กล่าวคือ เราหาค่าความแปรปรวนร่วมของอนุพันธ์ย่อยของความเข้มของภาพเทียบกับแกน x และ y${\displaystyle I}$${\displaystyle x}$${\displaystyle y}$

วงเล็บเหลี่ยมแสดงถึงการหาค่าเฉลี่ย (เช่น การรวมผลลัพธ์) และแสดงถึงประเภทของหน้าต่างที่เลื่อนไปบนภาพ หากใช้ตัวกรองแบบกล่อง การตอบสนองจะเป็น แบบไม่สมมาตรแต่หากใช้ตัวกรองแบบเกาส์เซียน การตอบสนองจะเป็น แบบ สมมาตร${\displaystyle (u,v)}$${\displaystyle w(u,v)}$

จุดมุม (หรือโดยทั่วไปคือจุดที่น่าสนใจ) มีลักษณะเฉพาะคือค่า มีการเปลี่ยนแปลงอย่างมากในทุกทิศทางของเวกเตอร์โดยการวิเคราะห์ค่าไอเกนของลักษณะเฉพาะนี้สามารถแสดงได้ดังนี้: ควรมีค่าไอเกน "ขนาดใหญ่" สองค่าสำหรับจุดที่น่าสนใจ จากขนาดของค่าไอเกน สามารถอนุมานได้ดังต่อไปนี้: ${\displaystyle S}$${\displaystyle {\begin{bmatrix}x&y\end{bmatrix}}}$${\displaystyle A}$${\displaystyle A}$

1. ถ้าเช่นนั้น พิกเซลนี้ไม่มีคุณสมบัติใดที่น่าสนใจ${\displaystyle \lambda _{1}\approx 0}$${\displaystyle \lambda _{2}\approx 0,}$${\displaystyle (x,y)}$
2. ถ้าและมีค่าบวกขนาดใหญ่ ก็จะพบเส้นเชื่อม${\displaystyle \lambda _{1}\approx 0}$${\displaystyle \lambda _{2}}$
3. ถ้าและมีค่าบวกมาก ๆ ก็จะพบมุม${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

แฮร์ริสและสตีเฟนส์ตั้งข้อสังเกตว่า การคำนวณค่าไอเกนอย่างแม่นยำนั้นมีค่าใช้จ่ายในการคำนวณสูง เนื่องจากต้องคำนวณรากที่สองและเสนอให้ใช้ฟังก์ชันแทน โดยที่เป็นพารามิเตอร์ความไวที่ปรับได้ $${\displaystyle M_{c}=\lambda _{1}\lambda _{2}-\kappa (\lambda _{1}+\lambda _{2})^{2}=\det(A)-\kappa \operatorname {tr} ^{2}(A),}$$${\displaystyle \kappa }$

ดังนั้น อัลกอริทึม^{[ 6 ]}ไม่จำเป็นต้องคำนวณการแยกค่าลักษณะเฉพาะของเมทริกซ์ จริง ๆ แต่เพียงพอที่จะประเมินดีเทอร์มิแนนต์และร่องรอยของ เมทริกซ์ เพื่อค้นหาจุดมุม หรือจุดที่น่าสนใจโดยทั่วไป ${\displaystyle A,}$${\displaystyle A}$

ตัวตรวจจับมุม Shi–Tomasi ^{[ 7 ]}คำนวณโดยตรงเนื่องจากภายใต้สมมติฐานบางประการ มุมจะมีความเสถียรมากกว่าสำหรับการติดตาม โปรดทราบว่าวิธีนี้บางครั้งก็เรียกว่าตัวตรวจจับมุม Kanade–Tomasi ด้วย ${\displaystyle \min(\lambda _{1},\lambda _{2})}$

ค่าของจะต้องถูกกำหนดโดยวิธีการทดลอง และในเอกสารทางวิชาการได้รายงานค่าที่เป็นไปได้ในช่วง 0.04–0.15 ${\displaystyle \kappa }$

เราสามารถหลีกเลี่ยงการกำหนดพารามิเตอร์ โดยใช้ การวัดมุมของ Noble ^{[ 8 ]}ซึ่งเทียบเท่ากับค่าเฉลี่ยฮาร์มอนิกของค่าลักษณะเฉพาะ: โดยที่เป็นค่าคงที่บวกขนาดเล็ก ${\displaystyle \kappa }$${\displaystyle M_{c}'}$$${\displaystyle M_{c}'=2{\frac {\det(A)}{\operatorname {tr} (A)+\epsilon }},}$$${\displaystyle \epsilon }$

ถ้าสามารถตีความได้ว่าเป็นเมทริกซ์ความแม่นยำสำหรับตำแหน่งมุมเมทริกซ์ความแปรปรวนร่วมสำหรับตำแหน่งมุมคือนั่นคือ ${\displaystyle A}$${\displaystyle A^{-1}}$$${\displaystyle {\frac {1}{\langle I_{x}^{2}\rangle \langle I_{y}^{2}\rangle -\langle I_{x}I_{y}\rangle ^{2}}}{\begin{bmatrix}\langle I_{y}^{2}\rangle &-\langle I_{x}I_{y}\rangle \\-\langle I_{x}I_{y}\rangle &\langle I_{x}^{2}\rangle \end{bmatrix}}.}$$

ผลรวมของค่าลักษณะเฉพาะของซึ่งในกรณีนี้สามารถตีความได้ว่าเป็นความแปรปรวนทั่วไป (หรือ "ความไม่แน่นอนทั้งหมด") ของตำแหน่งมุมนั้น เกี่ยวข้องกับมาตรวัดมุมของโนเบิลดังนี้ ${\displaystyle A^{-1}}$${\displaystyle M_{c}'}$$${\displaystyle \lambda _{1}(A^{-1})+\lambda _{2}(A^{-1})={\frac {\operatorname {tr} (A)}{\det(A)}}\approx {\frac {2}{M_{c}'}}.}$$

ในบางกรณี อาจต้องการคำนวณตำแหน่งของมุมด้วยความแม่นยำระดับซับพิกเซล เพื่อให้ได้คำตอบโดยประมาณ อัลกอริทึม Förstner ^{[ 9 ]}จะหาจุดที่ใกล้ที่สุดกับเส้นสัมผัสทั้งหมดของมุมในหน้าต่างที่กำหนด และเป็นคำตอบกำลังสองน้อยที่สุด อัลกอริทึมนี้อาศัยข้อเท็จจริงที่ว่าสำหรับมุมในอุดมคติ เส้นสัมผัสจะตัดกันที่จุดเดียว

สมการของเส้นสัมผัสที่พิกเซลมีค่าดังนี้: ${\displaystyle T_{\mathbf {x} '}(\mathbf {x} )}$${\displaystyle \mathbf {x} '}$

${\displaystyle T_{\mathbf {x'} }(\mathbf {x} )=\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )=0}$

เวกเตอร์เกรเดียนต์ของภาพที่ตำแหน่ง ใด${\displaystyle \nabla I(\mathbf {x'} )={\begin{bmatrix}I_{\mathbf {x} }&I_{\mathbf {y} }\end{bmatrix}}^{\top }}$${\displaystyle I}$${\displaystyle \mathbf {x'} }$

จุดที่อยู่ใกล้เส้นสัมผัสทั้งหมดในหน้าต่างมากที่สุดคือ: ${\displaystyle \mathbf {x} _{0}}$${\displaystyle N}$

${\displaystyle \mathbf {x} _{0}={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}T_{\mathbf {x'} }(\mathbf {x} )^{2}d\mathbf {x'} }$

ระยะห่างจากเส้นสัมผัสจะถูกถ่วงน้ำหนักด้วยขนาดของความชัน ดังนั้นจึงให้ความสำคัญกับเส้นสัมผัสที่ผ่านพิกเซลที่มีความชันสูงมากกว่า ${\displaystyle \mathbf {x} _{0}}$${\displaystyle T_{\mathbf {x'} }}$

แก้สมการหาค่า: ${\displaystyle \mathbf {x} _{0}}$

${\displaystyle {\begin{aligned}\mathbf {x} _{0}&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}\left(\nabla I\left(\mathbf {x'} \right)^{\top }\left(\mathbf {x} -\mathbf {x'} \right)\right)^{2}d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}(\mathbf {x} -\mathbf {x'} )^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\left(\mathbf {x} ^{\top }A\mathbf {x} -2\mathbf {x} ^{\top }\mathbf {b} +c\right)\end{aligned}}}$

${\displaystyle A\in \mathbb {R} ^{2\times 2},{\textbf {b}}\in \mathbb {R} ^{2\times 1},c\in \mathbb {R} }$มีนิยามดังนี้:

${\displaystyle {\begin{aligned}A&=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }d\mathbf {x'} \\\mathbf {b} &=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\c&=\int \mathbf {x'} ^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\\end{aligned}}}$

การทำให้สมการนี้มีค่าต่ำสุดสามารถทำได้โดยการหาอนุพันธ์เทียบกับและกำหนดให้เท่ากับ 0: ${\displaystyle x}$

${\displaystyle 2A\mathbf {x} -2\mathbf {b} =0\Rightarrow A\mathbf {x} =\mathbf {b} }$

โปรดทราบว่าคือเทนเซอร์โครงสร้างเพื่อให้สมการมีคำตอบจะต้องผกผันได้ ซึ่งหมายความว่าจะต้องมีอันดับเต็ม (อันดับ 2) ดังนั้น คำตอบคือ ${\displaystyle A\in \mathbb {R} ^{2\times 2}}$${\displaystyle A}$${\displaystyle A}$

${\displaystyle x_{0}=A^{-1}\mathbf {b} }$

จะมีอยู่เฉพาะในบริเวณที่มีมุมจริง ๆ ของหน้าต่างเท่านั้น ${\displaystyle N}$

^{Lindeberg [ 10 ] [ 11 ]}ได้นำเสนอระเบียบวิธีในการเลือกมาตราส่วนอัตโนมัติ สำหรับวิธีการระบุตำแหน่งมุมนี้ โดยการลดค่าตกค้างปกติให้น้อยที่สุด

${\displaystyle {\tilde {d}}_{\min }={\frac {c-b^{T}A^{-1}b}{\operatorname {trace} A}}}$

โดยวิธีการนี้สามารถปรับระดับมาตราส่วนสำหรับการคำนวณความชันของภาพให้เข้ากับระดับสัญญาณรบกวนในข้อมูลภาพได้โดยอัตโนมัติ โดยเลือกใช้ระดับมาตราส่วนที่หยาบกว่าสำหรับข้อมูลภาพที่มีสัญญาณรบกวน และเลือกใช้ระดับมาตราส่วนที่ละเอียดกว่าสำหรับโครงสร้างที่มีลักษณะคล้ายมุมที่ใกล้เคียงกับอุดมคติ

หมายเหตุ:

• ${\displaystyle c}$สามารถมองได้ว่าเป็นค่าตกค้างในการคำนวณหาคำตอบแบบกำลังสองน้อยที่สุด: ถ้าแสดงว่าไม่มีข้อผิดพลาด${\displaystyle c=0}$
• สามารถปรับเปลี่ยนอัลกอริธึมนี้เพื่อคำนวณจุดศูนย์กลางของลักษณะวงกลมได้ โดยเปลี่ยนเส้นสัมผัสเป็นเส้นตั้งฉาก

การคำนวณเมทริกซ์โมเมนต์ที่สอง (บางครั้งเรียกว่าเทนเซอร์โครงสร้าง ) ในตัวดำเนินการแฮร์ริส จำเป็นต้องคำนวณอนุพันธ์ของภาพในโดเมนภาพ รวมถึงการรวมผลรวมแบบไม่เชิงเส้นของอนุพันธ์เหล่านี้ในบริเวณใกล้เคียง เนื่องจากการคำนวณอนุพันธ์มักเกี่ยวข้องกับขั้นตอนการปรับให้เรียบในพื้นที่มาตราส่วน ดังนั้นคำจำกัดความเชิงปฏิบัติการของตัวดำเนินการแฮร์ริสจึงต้องการพารามิเตอร์มาตราส่วนสองตัว ได้แก่ (i) มาตราส่วนท้องถิ่นสำหรับการปรับให้เรียบก่อนการคำนวณอนุพันธ์ของภาพและ (ii) มาตราส่วนการรวมสำหรับการสะสมการดำเนินการแบบไม่เชิงเส้นบนตัวดำเนินการอนุพันธ์ลงในตัวอธิบายภาพแบบบูรณาการ ${\displaystyle A}$${\displaystyle I_{x},I_{y}}$

โดยที่แทนความเข้มของภาพต้นฉบับ และให้แทนการแสดงภาพในปริภูมิมาตราส่วนของที่ได้จากการคอนโวลูชันกับเคอร์เนลแบบเกาส์เซียน ${\displaystyle I}$${\displaystyle L}$${\displaystyle I}$

${\displaystyle g(x,y,t)={\frac {1}{2{\pi }t}}e^{-\left(x^{2}+y^{2}\right)/2t}}$

โดยใช้ พารามิเตอร์มาตรา ส่วนท้องถิ่น: ${\displaystyle t}$

${\displaystyle L(x,y,t)\ =g(x,y,t)*I(x,y)}$

และให้และแทนอนุพันธ์ย่อยของยิ่งไปกว่านั้น แนะนำฟังก์ชันหน้าต่าง เกาส์เซียน ที่มีพารามิเตอร์มาตราส่วนการอินทิเกรตจากนั้นเมทริกซ์โมเมนต์ที่สองแบบหลายมาตราส่วน^{[ 12 ] [ 13 ] [ 14 ]}สามารถกำหนดได้ดังนี้ ${\displaystyle L_{x}=\partial _{x}L}$${\displaystyle L_{y}=\partial _{y}L}$${\displaystyle L}$${\displaystyle g(x,y,s)}$${\displaystyle s}$

${\displaystyle \mu (x,y;t,s)=\int _{\xi =-\infty }^{\infty }\int _{\eta =-\infty }^{\infty }{\begin{bmatrix}L_{x}^{2}(x-\xi ,y-\eta ;t)&L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)\\L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)&L_{y}^{2}(x-\xi ,y-\eta ;t)\end{bmatrix}}g(\xi ,\eta ;s)\,d\xi \,d\eta .}$

จากนั้น เราสามารถคำนวณค่าไอเกนของในลักษณะเดียวกับค่าไอเกนของและกำหนดมาตรวัดมุมแฮร์ริสแบบหลายสเกลได้ดังนี้ ${\displaystyle \mu }$${\displaystyle A}$

${\displaystyle M_{c}(x,y;t,s)=\det(\mu (x,y;t,s))-\kappa \,\operatorname {trace} ^{2}(\mu (x,y;t,s)).}$

เกี่ยวกับการเลือกพารามิเตอร์มาตราส่วนท้องถิ่นและพารามิเตอร์มาตราส่วนการรวมพารามิเตอร์มาตราส่วนเหล่านี้มักจะเชื่อมโยงกันด้วยพารามิเตอร์มาตราส่วนการรวมสัมพัทธ์โดยที่ มักจะเลือก ในช่วง^{[ 12 ] [ 13 ]}ดังนั้น เราสามารถคำนวณการวัดมุม Harris แบบหลายมาตราส่วนที่มาตราส่วนใดก็ได้ในปริภูมิมาตราส่วนเพื่อให้ได้ตัวตรวจจับมุมแบบหลายมาตราส่วน ซึ่งตอบสนองต่อโครงสร้างมุมที่มีขนาดแตกต่างกันในโดเมนภาพ ${\displaystyle t}$${\displaystyle s}$${\displaystyle \gamma }$${\displaystyle s=\gamma ^{2}t}$${\displaystyle \gamma }$${\displaystyle [1,2]}$${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$${\displaystyle t}$

ในทางปฏิบัติ ตัวตรวจจับมุมหลายสเกลนี้มักจะเสริมด้วยขั้นตอนการเลือกสเกลโดยที่ตัวดำเนินการ Laplacian ที่ปรับสเกลให้เป็นมาตรฐาน^{[ 11 ] [ 12 ]}

${\displaystyle \nabla _{\mathrm {norm} }^{2}L(x,y;t)\ =t\nabla ^{2}L(x,y,t)=t(L_{xx}(x,y,t)+L_{yy}(x,y,t))}$

คำนวณที่ทุกระดับในพื้นที่มาตราส่วนและจุดมุมที่ปรับมาตราส่วนด้วยการเลือกมาตราส่วนอัตโนมัติ ("ตัวดำเนินการแฮร์ริส-ลาปลาซ") คำนวณจากจุดที่อยู่พร้อมกัน: ^{[ 15 ]}

• ค่าสูงสุดเชิงพื้นที่ของการวัดมุมหลายระดับ${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$

  ${\displaystyle ({\hat {x}},{\hat {y}};t)=\operatorname {argmaxlocal} _{(x,y)}M_{c}\left(x,y;t,\gamma ^{2}t\right)}$

• ค่าสูงสุดหรือต่ำสุดเฉพาะที่เหนือมาตราส่วนของตัวดำเนินการลาปลาเซียนที่ปรับมาตราส่วนให้เป็นมาตรฐาน^{[ 11 ]} : ${\displaystyle \nabla _{\mathrm {norm} }^{2}(x,y,t)}$

  ${\displaystyle {\hat {t}}=\operatorname {argmaxminlocal} _{t}\nabla _{\mathrm {norm} }^{2}L({\hat {x}},{\hat {y}};t)}$

แนวทางก่อนหน้านี้ในการตรวจจับมุมคือการตรวจจับจุดที่ความโค้งของเส้นโค้งระดับและขนาดของความชันมีค่าสูงพร้อมกัน^{[ 16 ] [ 17 ]} วิธีการที่แตกต่างกันในการตรวจจับจุดดังกล่าวคือการคำนวณความโค้งของเส้นโค้งระดับที่ปรับขนาดใหม่ (ผลคูณของความโค้งของเส้นโค้งระดับและขนาดของความชันที่ยกกำลังสาม)

${\displaystyle {\tilde {\kappa }}(x,y;t)=L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy}}$

และเพื่อตรวจจับค่าสูงสุดบวกและค่าต่ำสุดลบของการแสดงออกเชิงอนุพันธ์นี้ที่ระดับใดระดับหนึ่งในการแสดงพื้นที่มาตราส่วนของภาพต้นฉบับ^{[ 10 ] [ 11 ]} อย่างไรก็ตาม ปัญหาหลักเมื่อคำนวณเอนทิตีความโค้งของเส้นโค้งระดับที่ปรับขนาดใหม่ที่มาตราส่วนเดียวคือ อาจมีความไวต่อสัญญาณรบกวนและการเลือกมาตราส่วน วิธีที่ดีกว่าคือการคำนวณความโค้งของเส้นโค้งระดับที่ปรับขนาดใหม่แบบนอร์มาไล ซ์${\displaystyle t}$${\displaystyle L}$${\displaystyle \gamma }$

${\displaystyle {\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)=t^{2\gamma }(L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy})}$

โดยใช้และเพื่อตรวจจับค่าสุดขีดของมาตราส่วนในปริภูมิที่มีเครื่องหมายของนิพจน์นี้ ซึ่งเป็นจุดและมาตราส่วนที่เป็นค่าสูงสุดบวกและค่าต่ำสุดลบเมื่อเทียบกับทั้งปริภูมิและมาตราส่วน ${\displaystyle \gamma =7/8}$

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}{\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)}$

ร่วมกับขั้นตอนการกำหนดตำแหน่งเสริมเพื่อจัดการกับการเพิ่มขึ้นของข้อผิดพลาดในการกำหนดตำแหน่งในระดับที่หยาบกว่า^{[ 10 ] [ 11 ] [ 12 ]}ด้วยวิธีนี้ ค่าระดับที่ใหญ่กว่าจะเชื่อมโยงกับมุมโค้งมนที่มีขอบเขตเชิงพื้นที่ขนาดใหญ่ ในขณะที่ค่าระดับที่เล็กกว่าจะเชื่อมโยงกับมุมแหลมที่มีขอบเขตเชิงพื้นที่ขนาดเล็ก วิธีการนี้เป็นตัวตรวจจับมุมตัวแรกที่มีการเลือกขนาดอัตโนมัติ (ก่อน "ตัวดำเนินการ Harris-Laplace" ข้างต้น) และถูกใช้สำหรับการติดตามมุมภายใต้การเปลี่ยนแปลงขนาดใหญ่ในโดเมนภาพ^{[ 18 ]}และสำหรับการจับคู่การตอบสนองของมุมกับขอบเพื่อคำนวณคุณลักษณะภาพโครงสร้างสำหรับการจดจำวัตถุตามgeon ^{[ 19 ]}

LoG ^{[ 11 ] [ 12 ] [ 15 ]}เป็นตัวย่อที่หมายถึงLaplacian ของ Gaussian , DoG ^{[ 20 ]}เป็นตัวย่อที่หมายถึงผลต่างของ Gaussian (DoG เป็นการประมาณค่าของ LoG) และ DoH เป็นตัวย่อที่หมายถึงดีเทอร์มิแนนต์ของ Hessian ^{[ 11} ] จุดสนใจที่ไม่ขึ้นกับมาตราส่วนเหล่า ^นี้ทั้งหมดถูกสกัดโดยการตรวจจับค่าสุดขีดของปริภูมิมาตราส่วนของนิพจน์เชิงอนุพันธ์ที่ปรับให้เป็นมาตรฐานตามมาตราส่วน กล่าวคือ จุดในปริภูมิมาตราส่วนที่นิพจน์เชิงอนุพันธ์ที่ปรับให้เป็นมาตรฐานตามมาตราส่วนที่สอดคล้องกันมีค่าสุดขีดเฉพาะที่ทั้งในแง่ของปริภูมิและมาตราส่วน^{[ 11 ]}

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

โดยที่หมายถึงค่าความแตกต่างที่ปรับสเกลให้เป็นมาตรฐานที่เหมาะสม (ซึ่งกำหนดไว้ด้านล่าง) ${\displaystyle D_{norm}L}$

เครื่องตรวจจับเหล่านี้ได้รับการอธิบายอย่างละเอียดมากขึ้นในการตรวจจับบล็อบ ลาปลาเซียนที่ปรับขนาดของคุณลักษณะเกาส์เซียนและความแตกต่างของเกาส์เซียน (Lindeberg 1994, 1998; Lowe 2004) ^{[ 11 ] [ 12 ] [ 20 ]}

${\displaystyle {\begin{aligned}\nabla _{\mathrm {norm} }^{2}L(x,y;t)&=t\,(L_{xx}+L_{yy})\\&\approx {\frac {t\left(L(x,y;t+\Delta t)-L(x,y;t)\right)}{\Delta t}}\end{aligned}}}$

ไม่จำเป็นต้องสร้างคุณลักษณะที่เลือกสูง เนื่องจากตัวดำเนินการเหล่านี้อาจนำไปสู่การตอบสนองใกล้ขอบได้เช่นกัน เพื่อปรับปรุงความสามารถในการตรวจจับมุมของตัวตรวจจับความแตกต่างของเกาส์เซียน ตัวตรวจจับคุณลักษณะที่ใช้ใน ระบบ SIFT ^{[ 20 ]}จึงใช้ขั้นตอนการประมวลผลเพิ่มเติม โดยจะ ตรวจสอบ ค่าลักษณะเฉพาะของเมท ริก ซ์เฮสเซียนของภาพในระดับการตรวจจับในลักษณะเดียวกับในตัวดำเนินการแฮร์ริส หากอัตราส่วนของค่าลักษณะเฉพาะสูงเกินไป แสดงว่าภาพในบริเวณนั้นมีลักษณะคล้ายขอบมากเกินไป ดังนั้นคุณลักษณะจึงถูกปฏิเสธ นอกจากนี้ ยังสามารถกำหนด Laplacian ของ Lindeberg ของตัวตรวจจับคุณลักษณะเกาส์เซียนให้ประกอบด้วยการกำหนดเกณฑ์เสริมบนตัวแปรเชิงอนุพันธ์เสริมเพื่อระงับการตอบสนองใกล้ขอบ^{[ 21 ]}

ตัวกำหนดมาตราส่วนที่ปกติของตัวดำเนินการเฮสเซียน (Lindeberg 1994, 1998) ^{[ 11 ] [ 12 ]}

${\displaystyle \det H_{\mathrm {norm} }L=t^{2}(L_{xx}L_{yy}-L_{xy}^{2})}$

ในทางกลับกัน มีความคัดเลือกสูงต่อคุณลักษณะของภาพที่ระบุตำแหน่งได้ดี และจะตอบสนองเฉพาะเมื่อมีการเปลี่ยนแปลงระดับสีเทาอย่างมีนัยสำคัญในสองทิศทางของภาพ^{[ 11 ] [ 14 ]}และในแง่นี้และแง่อื่นๆ เป็นตัวตรวจจับจุดสนใจที่ดีกว่า Laplacian ของ Gaussian ดีเทอร์มิแนนต์ของ Hessian เป็นนิพจน์เชิงอนุพันธ์ร่วมแปรแบบแอฟฟิน และมีคุณสมบัติการเลือกขนาดที่ดีกว่าภายใต้การแปลงภาพแบบแอฟฟินมากกว่าตัวดำเนินการ Laplacian (Lindeberg 2013, 2015) ^{[ 21 ] [ 22 ]}ในทางทดลอง สิ่งนี้บ่งชี้ว่าดีเทอร์มิแนนต์ของจุดสนใจ Hessian มีคุณสมบัติการทำซ้ำที่ดีกว่าภายใต้การเสียรูปของภาพในท้องถิ่นมากกว่าจุดสนใจ Laplacian ซึ่งส่งผลให้ประสิทธิภาพการจับคู่ตามภาพดีขึ้นในแง่ของคะแนนประสิทธิภาพที่สูงขึ้นและคะแนนความแม่นยำ 1− ที่ต่ำลง ^{[ 21 ]}

คุณสมบัติการเลือกมาตราส่วน คุณสมบัติการแปลงเชิงเส้น และคุณสมบัติเชิงทดลองของตัวตรวจจับจุดสนใจในมาตราส่วนเหล่านี้และตัวตรวจจับอื่นๆ ได้รับการวิเคราะห์โดยละเอียดใน (Lindeberg 2013, 2015) ^{[ 21 ] [ 22 ]}

ได้รับแรงบันดาลใจจากคุณสมบัติที่คล้ายคลึงกันในโครงสร้างของเมทริกซ์เฮสเซียนของฟังก์ชันและเมทริกซ์โมเมนต์ที่สอง (เทนเซอร์โครงสร้าง) ดังที่สามารถแสดงให้เห็นได้ในแง่ของคุณสมบัติการแปลงที่คล้ายคลึงกันภายใต้การเปลี่ยนรูปภาพเชิงเส้น^{[ 13 ] [ 21 ]}${\displaystyle Hf}$${\displaystyle f}$${\displaystyle \mu }$

${\displaystyle (Hf')=A^{-T}\,(Hf)\,A^{-1}}$,

${\displaystyle \mu '=A^{-T}\,\mu \,A^{-1}}$,

Lindeberg (2013, 2015) ^{[ 21 ] [ 22 ]}เสนอให้กำหนดมาตรวัดความแข็งแกร่งของคุณลักษณะสี่แบบจากเมทริกซ์ Hessian ในลักษณะที่เกี่ยวข้องกับตัวดำเนินการ Harris และ Shi-and-Tomasi ที่กำหนดจากเทนเซอร์โครงสร้าง (เมทริกซ์โมเมนต์ที่สอง) โดยเฉพาะอย่างยิ่ง เขาได้กำหนดมาตรวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ไม่มีเครื่องหมายและมีเครื่องหมายดังต่อไปนี้:

• การวัดความแข็งแกร่งของคุณลักษณะเฮสเซียนที่ไม่มีเครื่องหมาย I:

  ${\displaystyle D_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\0&{\mbox{otherwise}}\end{cases}}}$

• การวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ลงนามแล้ว I:

  ${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\t^{2}\,(\det HL+k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL+k\,\operatorname {trace} ^{2}HL<0\\0&{\mbox{otherwise}}\end{cases}}}$

• การวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ไม่มีเครื่องหมาย II:

  ${\displaystyle D_{2,\mathrm {norm} }L=t\,\min(|\lambda _{1}(HL)|,|\lambda _{2}(HL)|)}$

• การวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ลงนามแล้ว II:

  ${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L={\begin{cases}t\,\lambda _{1}(HL)&{\mbox{if}}\,|\lambda _{1}(HL)|<|\lambda _{2}(HL)|\\t\,\lambda _{2}(HL)&{\mbox{if}}\,|\lambda _{2}(HL)|<|\lambda _{1}(HL)|\\t\,(\lambda _{1}(HL)+\lambda _{2}(HL))/2&{\mbox{otherwise}}\end{cases}}}$

โดยที่และ แทนร่องรอยและดีเทอร์มิแนนต์ของเมทริกซ์เฮสเซียนของการแสดงแทนในปริภูมิมาตราส่วนที่มาตราส่วนใดๆในขณะที่ ${\displaystyle \operatorname {trace} HL=L_{xx}+L_{yy}}$${\displaystyle \det HL=L_{xx}L_{yy}-L_{xy}^{2}}$${\displaystyle HL}$${\displaystyle L}$${\displaystyle t}$

${\displaystyle \lambda _{1}(HL)=L_{pp}={\frac {1}{2}}\left(L_{xx}+L_{yy}-{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

${\displaystyle \lambda _{2}(HL)=L_{qq}={\frac {1}{2}}\left(L_{xx}+L_{yy}+{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

แสดงถึงค่าลักษณะเฉพาะของเมทริกซ์เฮสเซียน^{[ 23 ]}

ค่าความแรงของคุณลักษณะเฮสเซียนแบบไม่มีเครื่องหมายจะตอบสนองต่อค่าสุดขั้วเฉพาะที่ด้วยค่าบวก และไม่ไวต่อจุดอานม้า ในขณะที่ค่าความแรงของคุณลักษณะเฮสเซียนแบบมีเครื่องหมายจะตอบสนองต่อจุดอานม้าด้วยค่าลบเพิ่มเติม นอกจากนี้ ค่าความแรงของคุณลักษณะเฮสเซียนแบบไม่มีเครื่องหมายยังไม่ไวต่อขั้วเฉพาะที่ของสัญญาณ ในขณะที่ค่าความแรงของคุณลักษณะเฮสเซียนแบบมีเครื่องหมายจะตอบสนองต่อขั้วเฉพาะที่ของสัญญาณด้วยเครื่องหมายของผลลัพธ์ ${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L}$${\displaystyle D_{2,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$

ใน Lindeberg (2015) ^{[ 21 ]}เอนทิตีที่แตกต่างกันทั้งสี่นี้ถูกรวมเข้าด้วยกันโดยการเลือกขนาดท้องถิ่นโดยอาศัยการตรวจจับค่าสุดขีดของพื้นที่ขนาด

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

หรือการเชื่อมโยงมาตราส่วน นอกจากนี้ มาตรวัดความแข็งแกร่งของคุณลักษณะ Hessian แบบมีเครื่องหมายและไม่มีเครื่องหมายยังถูกรวมเข้ากับการกำหนดเกณฑ์เสริมบน ${\displaystyle D_{2,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$${\displaystyle D_{1,\mathrm {norm} }L>0}$

จากการทดลองจับคู่ภาพภายใต้การแปลงสเกลบนชุดข้อมูลโปสเตอร์ 12 ภาพ โดยใช้การจับคู่หลายมุมมองภายใต้การแปลงสเกลที่มีปัจจัยการปรับขนาดสูงสุดถึง 6 และการเปลี่ยนแปลงทิศทางการมองสูงสุดถึงมุมเอียง 45 องศา โดยใช้ตัวอธิบายภาพเฉพาะที่กำหนดจากการปรับปรุงตัวอธิบายภาพบริสุทธิ์ใน ตัวดำเนินการ SIFTและSURFไปเป็นการวัดภาพในแง่ของตัวดำเนินการอนุพันธ์เกาส์เซียน (Gauss-SIFT และ Gauss-SURF) แทนที่จะใช้ SIFT ดั้งเดิมที่กำหนดจากพีระมิดภาพ หรือ SURF ดั้งเดิมที่กำหนดจากเวฟเล็ต Haar พบว่า การตรวจจับจุดสนใจในพื้นที่สเกลโดยใช้การวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ไม่มีเครื่องหมายให้ประสิทธิภาพที่ดีที่สุด และมีประสิทธิภาพดีกว่าจุดสนใจในพื้นที่สเกลที่ได้จากดีเทอร์มิแนนต์ของ Hessian ทั้งการวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่ไม่มีเครื่องหมายการวัดความแข็งแกร่งของคุณลักษณะ Hessian ที่มีเครื่องหมายและดีเทอร์มิแนนต์ของ Hessian ให้ประสิทธิภาพดีกว่า Laplacian ของGaussian เมื่อรวมกับการเชื่อมโยงมาตราส่วนและการกำหนดเกณฑ์เสริมบน แล้วการวัดความแข็งแกร่งของคุณลักษณะ Hessian แบบมีเครื่องหมายยังช่วยให้ได้ประสิทธิภาพที่ดีกว่า Laplacian ของ Gaussian อีกด้วย ${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle \det H_{\mathrm {norm} }L=t^{2}\left(L_{xx}L_{yy}-L_{xy}^{2}\right)}$${\displaystyle D_{1,\mathrm {norm} }L}$${\displaystyle {\tilde {D}}_{1,norm}L}$${\displaystyle \det H_{norm}L}$${\displaystyle \nabla _{\mathrm {norm} }^{2}L=t\,(L_{xx}+L_{yy})}$${\displaystyle D_{1,\mathrm {norm} }L>0}$${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$${\displaystyle \nabla _{\mathrm {norm} }^{2}L}$

นอกจากนี้ ยังแสดงให้เห็นว่าตัวตรวจจับจุดสนใจเชิงมาตราส่วนแบบดิฟเฟอเรนเชียลทั้งหมดที่กำหนดจากเมทริกซ์เฮสเซียนนั้น ช่วยให้สามารถตรวจจับจุดสนใจได้จำนวนมากขึ้นและประสิทธิภาพการจับคู่ที่ดีขึ้น เมื่อเทียบกับตัวดำเนินการแฮร์ริสและชิ-แอนด์-โทมาซีที่กำหนดจากเทนเซอร์โครงสร้าง (เมทริกซ์โมเมนต์ที่สอง)

การวิเคราะห์เชิงทฤษฎีของคุณสมบัติการเลือกมาตราส่วนของมาตรวัดความแข็งแกร่งของคุณลักษณะเฮสเซียนทั้งสี่นี้และเอนทิตีเชิงอนุพันธ์อื่นๆ สำหรับการตรวจจับจุดสนใจของพื้นที่มาตราส่วน รวมถึงลาปลาเซียนของเกาส์เซียนและดีเทอร์มิแนนต์ของเฮสเซียน ได้รับการนำเสนอใน Lindeberg (2013) ^{[ 22 ]}และการวิเคราะห์คุณสมบัติการแปลงเชิงเส้นตรงของพวกมัน รวมถึงคุณสมบัติเชิงทดลองใน Lindeberg (2015) ^{[ 21 ]}

จุดสนใจที่ได้จากตัวดำเนินการ Harris แบบหลายสเกลพร้อมการเลือกสเกลอัตโนมัติจะไม่เปลี่ยนแปลงเมื่อมีการเลื่อน การหมุน และการปรับขนาดแบบสม่ำเสมอในโดเมนเชิงพื้นที่ อย่างไรก็ตาม ภาพที่ประกอบเป็นอินพุตของระบบคอมพิวเตอร์วิชั่นก็อาจมีการบิดเบือนจากมุมมองได้เช่นกัน เพื่อให้ได้ตัวดำเนินการจุดสนใจที่ทนทานต่อการแปลงมุมมองมากขึ้น แนวทางที่เป็นธรรมชาติคือการออกแบบตัวตรวจจับคุณลักษณะที่ไม่เปลี่ยนแปลงต่อการแปลงเชิงเส้นตรง ในทางปฏิบัติ จุดสนใจที่ไม่เปลี่ยนแปลงต่อการแปลงเชิงเส้นตรงสามารถหาได้โดยการปรับรูปร่างเชิงเส้นตรงโดยที่รูปร่างของเคอร์เนลการปรับให้เรียบจะถูกบิดเบี้ยวซ้ำๆ เพื่อให้ตรงกับโครงสร้างภาพเฉพาะที่รอบจุดสนใจ หรือเทียบเท่ากับการบิดเบี้ยวของส่วนย่อยของภาพเฉพาะที่ซ้ำๆ ในขณะที่รูปร่างของเคอร์เนลการปรับให้เรียบยังคงสมมาตรแบบหมุน (Lindeberg 1993, 2008; Lindeberg and Garding 1997; Mikolajzcyk and Schmid 2004) ^{[ 12 ] [ 13 ] [ 14 ] [ 15 ]}ดังนั้น นอกเหนือจากตัวดำเนินการ Harris แบบหลายสเกลที่ใช้กันทั่วไปแล้ว การปรับรูปร่างแบบแอฟฟินยังสามารถนำไปใช้กับตัวตรวจจับมุมอื่นๆ ดังที่ระบุไว้ในบทความนี้ รวมถึงตัวตรวจจับบล็อบแบบดิฟเฟ อเรนเชียล เช่น ตัวดำเนินการ Laplacian/ความแตกต่างของ Gaussian ตัวกำหนดของ Hessian ^{[ 14 ]}และตัวดำเนินการ Hessian–Laplace

ตัวตรวจจับ Wang และ Brady ^{[ 24 ]}ถือว่าภาพเป็นพื้นผิว และมองหาตำแหน่งที่มีความโค้ง มาก ตามขอบภาพ กล่าวอีกนัยหนึ่งคือ อัลกอริทึมจะมองหาตำแหน่งที่ขอบเปลี่ยนทิศทางอย่างรวดเร็ว คะแนนมุมจะได้รับจาก: ${\displaystyle C}$

${\displaystyle C=\left({\frac {\delta ^{2}I}{\delta \mathbf {t} ^{2}}}\right)^{2}-c|\nabla I|^{2},}$

โดยที่ เวกเตอร์หน่วยที่ตั้งฉากกับเกรเดียนต์นั้นเป็นตัว กำหนดว่าตัวตรวจจับนั้นมีความไวต่อขอบมากน้อยเพียง ใดผู้เขียนยังตั้งข้อสังเกตอีกว่าจำเป็นต้องมีการปรับให้เรียบ (แนะนำให้ใช้ฟังก์ชันเกาส์เซียน) เพื่อลดสัญญาณรบกวน ${\displaystyle {\bf {t}}}$${\displaystyle c}$

การปรับให้เรียบยังทำให้มุมต่างๆ เกิดการคลาดเคลื่อน ดังนั้นผู้เขียนจึงได้สร้างสูตรสำหรับการคลาดเคลื่อนของมุม 90 องศา และนำสูตรนี้มาใช้เป็นปัจจัยแก้ไขสำหรับมุมที่ตรวจพบ

SUSAN ^{[ 25 ]}เป็นตัวย่อที่หมายถึงนิวเคลียสที่ดูดซับส่วนค่าเดียวที่เล็กที่สุดวิธีนี้เป็นหัวข้อของสิทธิบัตรของสหราชอาณาจักรในปี 1994 ซึ่งไม่มีผลบังคับใช้อีกต่อไป^{[ 26 ]}

สำหรับการตรวจจับคุณลักษณะ SUSAN จะวางมาสก์วงกลมทับพิกเซลที่จะทดสอบ (นิวเคลียส) บริเวณของมาสก์คือและพิกเซลในมาสก์นี้จะถูกแทนด้วยนิวเคลียสอยู่ที่ทุกพิกเซลจะถูกเปรียบเทียบกับนิวเคลียสโดยใช้ฟังก์ชันการเปรียบเทียบ: ${\displaystyle M}$${\displaystyle {\vec {m}}\in M}$${\displaystyle {\vec {m}}_{0}}$

${\displaystyle c({\vec {m}})=e^{-\left({\frac {I({\vec {m}})-I({\vec {m}}_{0})}{t}}\right)^{6}}}$

โดยที่เกณฑ์ความแตกต่างของความสว่าง^{[ 27 ]}คือความสว่างของพิกเซล และกำลังของเลขชี้กำลังได้รับการกำหนดโดยประสบการณ์ ฟังก์ชันนี้มีลักษณะเป็นฟังก์ชันหมวกทรงสูงเรียบหรือฟังก์ชันสี่เหลี่ยมผืนผ้าพื้นที่ของ SUSAN กำหนดโดย: ${\displaystyle t}$${\displaystyle I}$

${\displaystyle n(M)=\sum _{{\vec {m}}\in M}c({\vec {m}})}$

ถ้าเป็นฟังก์ชันสี่เหลี่ยมผืนผ้า แล้วคือจำนวนพิกเซลในมาสก์ที่อยู่ภายในระยะจากนิวเคลียส การตอบสนองของตัวดำเนินการ SUSAN กำหนดโดย: ${\displaystyle c}$${\displaystyle n}$${\displaystyle t}$

${\displaystyle R(M)={\begin{cases}g-n(M)&{\mbox{if}}\ n(M)<g\\0&{\mbox{otherwise,}}\end{cases}}}$

โดย ที่เรียกว่า 'เกณฑ์ทางเรขาคณิต' กล่าวอีกนัยหนึ่ง ตัวดำเนินการ SUSAN จะมีคะแนนเป็นบวกก็ต่อเมื่อพื้นที่นั้นเล็กพอเท่านั้น ค่า SUSAN ที่เล็กที่สุดในพื้นที่สามารถหาได้โดยใช้การระงับค่าสูงสุดที่ไม่ใช่ค่าสูงสุด และนี่คือตัวดำเนินการ SUSAN ที่สมบูรณ์ ${\displaystyle g}$

ค่านี้จะกำหนดว่าจุดต่างๆ ต้องมีความคล้ายคลึงกับนิวเคลียสมากน้อยเพียงใดจึงจะถือว่าเป็นส่วนหนึ่งของเซ็กเมนต์ค่าเดียว ค่านี้จะกำหนดขนาดขั้นต่ำของเซ็กเมนต์ค่าเดียว หากมีค่ามากพอ เซ็กเมนต์นี้จะกลายเป็น ตัว ตรวจ จับขอบ${\displaystyle t}$${\displaystyle g}$${\displaystyle g}$

สำหรับการตรวจจับมุม จะมีการใช้ขั้นตอนเพิ่มเติมอีกสองขั้นตอน ขั้นแรก คือ การหา จุดศูนย์กลางของ SUSAN มุมที่ถูกต้องจะมีจุดศูนย์กลางอยู่ห่างจากแกนกลาง ขั้นตอนที่สอง ยืนยันว่าจุดทั้งหมดบนเส้นตรงจากแกนกลางผ่านจุดศูนย์กลางไปยังขอบของหน้ากากจะต้องอยู่ใน SUSAN

ในลักษณะที่คล้ายกับ SUSAN ตัวตรวจจับนี้^{[ 28 ]}ทดสอบโดยตรงว่าแพทช์ใต้พิกเซลมีความคล้ายคลึงกันในตัวเองหรือไม่โดยการตรวจสอบพิกเซลใกล้เคียงคือพิกเซลที่จะพิจารณา และคือจุดบนวงกลมที่มีจุดศูนย์กลางอยู่ที่จุดคือจุดตรงข้ามกับตามแนวเส้นผ่านศูนย์กลาง ${\displaystyle {\vec {c}}}$${\displaystyle {\vec {p}}\in P}$${\displaystyle P}$${\displaystyle {\vec {c}}}$${\displaystyle {\vec {p}}'}$${\displaystyle {\vec {p}}}$

ฟังก์ชันการตอบสนองถูกกำหนดดังนี้:

${\displaystyle r({\vec {c}})=\min _{{\vec {p}}\in P}\left(\left(I({\vec {p}})-I({\vec {c}})\right)^{2}+\left(I({\vec {p}}')-I({\vec {c}})\right)^{2}\right)}$

ค่านี้จะมีขนาดใหญ่เมื่อไม่มีทิศทางใดที่พิกเซลตรงกลางจะคล้ายกับพิกเซลสองพิกเซลที่อยู่ใกล้เคียงตามแนวเส้นผ่านศูนย์กลางเป็นวงกลมแบบแบ่งส่วน ( วงกลมเบรเซนแฮม ) ดังนั้นจึง ใช้ การประมาณค่าในช่วงเส้นผ่านศูนย์กลางระดับกลางเพื่อให้ได้การตอบสนองที่เป็นไอโซโทรปิกมากขึ้น เนื่องจากการคำนวณใดๆ จะให้ค่าขอบเขตบนของ จึงต้องตรวจสอบทิศทางแนวนอนและแนวตั้งก่อนเพื่อดูว่าคุ้มค่าที่จะดำเนินการคำนวณค่าให้สมบูรณ์หรือไม่ ${\displaystyle P}$${\displaystyle \min }$${\displaystyle c}$

AST เป็นตัวย่อที่มาจากaccelerated segment testการทดสอบนี้เป็นเวอร์ชันที่ผ่อนคลายของเกณฑ์มุม SUSAN แทนที่จะประเมินดิสก์วงกลมจะพิจารณา เฉพาะพิกเซลใน วงกลม Bresenhamที่มีรัศมี รอบจุดผู้สมัครเท่านั้น หาก พิกเซลที่อยู่ติดกันทั้งหมดสว่างกว่านิวเคลียสอย่างน้อยหรือมืดกว่านิวเคลียสอย่างน้อยพิกเซลใต้นิวเคลียสจะถือว่าเป็นคุณลักษณะ การทดสอบนี้รายงานว่าสร้างคุณลักษณะที่เสถียรมาก^{[ 29 ]}การเลือกลำดับในการทดสอบพิกเซลเป็นปัญหาที่เรียกว่าปัญหา 20 คำถามการสร้างต้นไม้ตัดสินใจสั้นๆ สำหรับปัญหานี้ส่งผลให้ได้ตัวตรวจจับคุณลักษณะที่มีประสิทธิภาพในการคำนวณมากที่สุด ${\displaystyle r}$${\displaystyle n}$${\displaystyle t}$${\displaystyle t}$

อัลกอริทึมการตรวจจับมุมแรกที่ใช้ AST คือ FAST ( คุณสมบัติจากการทดสอบส่วนเร่งความเร็ว ) ^{[ 29 ]}แม้ว่าโดยหลักการแล้วสามารถใช้ค่าใดก็ได้ แต่ FAST ใช้เพียงค่า 3 (ซึ่งสอดคล้องกับวงกลมที่มีเส้นรอบวง 16 พิกเซล) และการทดสอบแสดงให้เห็นว่าผลลัพธ์ที่ดีที่สุดนั้นได้มาจากการใช้ค่า 9 ค่านี้เป็นค่าต่ำสุดที่ขอบไม่ถูกตรวจพบ ลำดับในการทดสอบพิกเซลจะถูกกำหนดโดยอัลกอริทึม ID3จากชุดภาพฝึกฝน ที่น่าสับสนคือ ชื่อของตัวตรวจจับนั้นค่อนข้างคล้ายกับชื่อของบทความที่อธิบายตัวตรวจจับของ Trajkovic และ Hedley ${\displaystyle r}$${\displaystyle n}$${\displaystyle n}$

Trujillo และ Olague ^{[ 30 ]}ได้นำเสนอวิธีการที่ใช้การเขียนโปรแกรมเชิงพันธุกรรม เพื่อสังเคราะห์ตัวดำเนินการภาพโดยอัตโนมัติซึ่งสามารถตรวจจับจุดที่น่าสนใจได้ ชุดเทอร์มินัลและฟังก์ชันประกอบด้วยการดำเนินการพื้นฐานที่พบได้ทั่วไปในการออกแบบที่มนุษย์สร้างขึ้นที่เสนอไว้ก่อนหน้านี้หลายแบบ ความเหมาะสมจะวัดความเสถียรของตัวดำเนินการแต่ละตัวผ่านอัตราการทำซ้ำ และส่งเสริมการกระจายตัวอย่างสม่ำเสมอของจุดที่ตรวจพบทั่วระนาบภาพ ประสิทธิภาพของตัวดำเนินการที่พัฒนาขึ้นได้รับการยืนยันจากการทดลองโดยใช้ลำดับการฝึกอบรมและการทดสอบของภาพที่แปลงอย่างต่อเนื่อง ดังนั้น อัลกอริทึม GP ที่เสนอจึงถือว่าสามารถแข่งขันกับมนุษย์ได้สำหรับปัญหาการตรวจจับจุดที่น่าสนใจ

ตัวดำเนินการ Harris ได้รับการขยายไปยังปริภูมิเวลาโดย Laptev และ Lindeberg ^{[ 31 ]} ให้แทนเมทริกซ์โมเมนต์ที่สองเชิงปริภูมิเวลาที่กำหนดโดย ${\displaystyle \mu }$

${\displaystyle A=\sum _{u}\sum _{v}\sum _{w}h(u,v,w){\begin{bmatrix}L_{x}(u,v,w)^{2}&L_{x}(u,v,w)L_{y}(u,v,w)&L_{x}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{y}(u,v,w)&L_{y}(u,v,w)^{2}&L_{y}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{t}(u,v,w)&L_{y}(u,v,w)L_{t}(u,v,w)&L_{t}(u,v,w)^{2}\\\end{bmatrix}}={\begin{bmatrix}\langle L_{x}^{2}\rangle &\langle L_{x}L_{y}\rangle &\langle L_{x}L_{t}\rangle \\\langle L_{x}L_{y}\rangle &\langle L_{y}^{2}\rangle &\langle L_{y}L_{t}\rangle \\\langle L_{x}L_{t}\rangle &\langle L_{y}L_{t}\rangle &\langle L_{t}^{2}\rangle \\\end{bmatrix}}}$

จากนั้น สำหรับการเลือกค่าที่เหมาะสมจุดสนใจเชิงพื้นที่และเวลาจะถูกตรวจจับจากค่าสุดขีดเชิงพื้นที่และเวลาของการวัดค่า Harris เชิงพื้นที่และเวลาต่อไปนี้: ${\displaystyle k<1/27}$

${\displaystyle H=\det(\mu )-\kappa \,\operatorname {trace} ^{2}(\mu ).}$

ตัวกำหนดของตัวดำเนินการเฮสเซียนได้รับการขยายไปยังปริภูมิ-เวลาร่วมโดย Willems et al ^{[ 32 ]}และ Lindeberg ^{[ 33 ]}ซึ่งนำไปสู่การแสดงออกเชิงอนุพันธ์ที่ปรับขนาดปกติดังต่อไปนี้:

${\displaystyle \det(H_{(x,y,t),\mathrm {norm} }L)=\,s^{2\gamma _{s}}\tau ^{\gamma _{\tau }}\left(L_{xx}L_{yy}L_{tt}+2L_{xy}L_{xt}L_{yt}-L_{xx}L_{yt}^{2}-L_{yy}L_{xt}^{2}-L_{tt}L_{xy}^{2}\right).}$

ในงานของ Willems et al ^{[ 32 ]}ได้ใช้การแสดงออกที่ง่ายกว่าซึ่งสอดคล้องกับและ ใน Lindeberg ^{[ 33 ]}ได้แสดงให้เห็นว่าและบ่งบอกถึงคุณสมบัติการเลือกมาตราส่วนที่ดีกว่าในแง่ที่ว่าระดับมาตราส่วนที่เลือกซึ่งได้จากกลุ่มเกาส์เซียนเชิงพื้นที่และเวลาที่มีขอบเขตเชิงพื้นที่และขอบเขตเชิงเวลาจะตรงกับขอบเขตเชิงพื้นที่และระยะเวลาของกลุ่มอย่างสมบูรณ์ โดยการเลือกมาตราส่วนดำเนินการโดยการตรวจจับค่าสุดขีดของมาตราส่วนเชิงพื้นที่และเวลาของการแสดงออกเชิงอนุพันธ์ ${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=1}$${\displaystyle \gamma _{s}=5/4}$${\displaystyle \gamma _{\tau }=5/4}$${\displaystyle s=s_{0}}$${\displaystyle \tau =\tau _{0}}$

ตัวดำเนินการลาปลาเซียนได้รับการขยายไปยังข้อมูลวิดีโอเชิงพื้นที่และเวลาโดย Lindeberg ^{[ 33 ]}ซึ่งนำไปสู่ตัวดำเนินการเชิงพื้นที่และเวลาสองตัวต่อไปนี้ ซึ่งประกอบเป็นแบบจำลองของฟิลด์การรับรู้ของเซลล์ประสาทที่ไม่ล่าช้าเทียบกับเซลล์ประสาทที่ล่าช้าในLGNด้วย

${\displaystyle \partial _{t,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }/2}(L_{xxt}+L_{yyt}),}$

${\displaystyle \partial _{tt,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }}(L_{xxtt}+L_{yytt}).}$

สำหรับตัวดำเนินการตัวแรก คุณสมบัติการเลือกมาตราส่วนกำหนดให้ใช้และหากเราต้องการให้ตัวดำเนินการนี้มีค่าสูงสุดในช่วงมาตราส่วนเชิงพื้นที่และเวลา ณ ระดับมาตราส่วนเชิงพื้นที่และเวลาซึ่งสะท้อนถึงขอบเขตเชิงพื้นที่และระยะเวลาของการเกิดกลุ่มก้อนเกาส์เซียน สำหรับตัวดำเนินการตัวที่สอง คุณสมบัติการเลือกมาตราส่วนกำหนดให้ใช้และหากเราต้องการให้ตัวดำเนินการนี้มีค่าสูงสุดในช่วงมาตราส่วนเชิงพื้นที่และเวลา ณ ระดับมาตราส่วนเชิงพื้นที่และเวลาซึ่งสะท้อนถึงขอบเขตเชิงพื้นที่และระยะเวลาของการกะพริบของกลุ่มก้อนเกาส์เซียน ${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=1/2}$${\displaystyle \gamma _{s}=1}$${\displaystyle \gamma _{\tau }=3/4}$

^{Everts et al. [ 34 ]}ได้ทำการศึกษาการขยายสีของตัวตรวจจับจุดสนใจเชิงพื้นที่และเวลา

ส่วนนี้มีลิงก์ภายนอกไปยังตัวอย่างการใช้งานของตัวตรวจจับบางตัวที่กล่าวถึงข้างต้น ตัวอย่างการใช้งานเหล่านี้จัดทำโดยผู้เขียนบทความที่อธิบายถึงตัวตรวจจับนั้นเป็นครั้งแรก ซึ่งอาจมีรายละเอียดที่ไม่ปรากฏหรือไม่ได้ระบุไว้อย่างชัดเจนในบทความที่อธิบายคุณสมบัติเหล่านั้น

• การตรวจจับ DoG (ซึ่งเป็นส่วนหนึ่งของ ระบบ SIFT ) ไฟล์ปฏิบัติการสำหรับWindowsและx86 Linux
• Harris-Laplace เป็นไฟล์ปฏิบัติการ แบบคงที่สำหรับLinuxนอกจากนี้ยังมีตัวตรวจจับ DoG และ LoG และการปรับตัวแบบเชิงเส้นสำหรับตัวตรวจจับทั้งหมดที่รวมอยู่ด้วย
• โปรแกรมตรวจจับ FASTพร้อมซอร์สโค้ดและไฟล์ปฏิบัติการในภาษา C, C++, MATLAB สำหรับระบบปฏิบัติการและสถาปัตยกรรมต่างๆ
• lip-vireo ถูกเก็บถาวรเมื่อวันที่ 11 พฤษภาคม 2017 ที่Wayback Machine [LoG, DoG, Harris-Laplacian, Hessian และ Hessian-Laplacian], [SIFT, flip invariant SIFT, PCA-SIFT, PSIFT, Steerable Filters, SPIN][Linux, Windows และ SunOS] ไฟล์ปฏิบัติการ
• SUSAN โปรแกรมประมวลผลภาพระดับต่ำโค้ดภาษา C
• การใช้งานระบบตรวจจับมุมแฮร์ริสแบบออนไลน์ - IPOL

• การตรวจจับวัตถุ
• การปรับรูปทรงเชิงเส้น
• พื้นที่มาตราส่วน
• การตรวจจับสันเขา
• การตรวจจับจุดที่น่าสนใจ
• การตรวจจับคุณลักษณะ (คอมพิวเตอร์วิชั่น)
• ภาพอนุพันธ์

• ลินเดเบิร์ก, โทนี่ (2001) [1994], "การตรวจจับมุม" , สารานุกรมคณิตศาสตร์ , EMS Press
• Brostow, "การตรวจจับมุม -- ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัย UCL"