ในทางคณิตศาสตร์วิธี การลด แบบสะท้อน (mirror descent ) เป็น อัลกอริธึม การหาค่าเหมาะสมที่สุดแบบวนซ้ำ เพื่อค้นหาค่าต่ำสุดเฉพาะที่ของฟังก์ชันที่หาอนุพันธ์ได้

มันเป็นการขยายขอบเขตของอัลกอริธึมต่างๆ เช่นการลดระดับความชัน (gradient descent ) และน้ำหนักแบบคูณ (multiplicative weights )

แนวคิด Mirror descent ได้รับการเสนอครั้งแรกโดยNemirovskiและ Yudin ในปี 1983 ^{[ 1 ]}

ในการลดระดับความชันโดยใช้ลำดับอัตราการเรียนรู้กับฟังก์ชันที่หาอนุพันธ์ได้นั้น เริ่มต้นด้วยการคาดเดาค่าต่ำสุดเฉพาะที่ของและพิจารณาลำดับดังกล่าว ${\displaystyle (\eta _{n})_{n\geq 0}}$${\displaystyle F}$${\displaystyle \mathbf {x} _{0}}$${\displaystyle F,}$${\displaystyle \mathbf {x} _{0},\mathbf {x} _{1},\mathbf {x} _{2},\ldots }$

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\eta _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.}$

สามารถเรียบเรียงใหม่ได้โดยสังเกตว่า

${\displaystyle \mathbf {x} _{n+1}=\arg \min _{\mathbf {x} }\left(F(\mathbf {x} _{n})+\nabla F(\mathbf {x} _{n})^{T}(\mathbf {x} -\mathbf {x} _{n})+{\frac {1}{2\eta _{n}}}\|\mathbf {x} -\mathbf {x} _{n}\|^{2}\right)}$

กล่าวอีกนัยหนึ่งคือลดค่าประมาณอันดับแรกของat ให้เหลือน้อยที่สุด โดยมีการเพิ่มพจน์ความใกล้เคียงเข้าไปด้วย ${\displaystyle \mathbf {x} _{n+1}}$${\displaystyle F}$${\displaystyle \mathbf {x} _{n}}$${\displaystyle \|\mathbf {x} -\mathbf {x} _{n}\|^{2}}$

ระยะทางยูคลิดกำลังสองนี้เป็นตัวอย่างเฉพาะของระยะทางเบร็กแมนการใช้ระยะทางเบร็กแมนอื่นๆ จะให้ผลลัพธ์เป็นอัลกอริทึมอื่นๆ เช่นเฮดจ์ซึ่งอาจเหมาะสมกว่าสำหรับการเพิ่มประสิทธิภาพบนรูปทรงเรขาคณิตเฉพาะ^{[ 2 ] [ 3 ]}

เราได้รับฟังก์ชันนูนเพื่อหาค่าที่เหมาะสมที่สุดบนเซตแบบนูนและกำหนดค่ามาตรฐานบางอย่างบนเซตนั้น ${\displaystyle f}$${\displaystyle K\subset \mathbb {R} ^{n}}$${\displaystyle \|\cdot \|}$${\displaystyle \mathbb {R} ^{n}}$

นอกจากนี้ เรายังได้รับฟังก์ชันนูนที่หาอนุพันธ์ได้ซึ่งเป็นฟังก์ชันนูนอย่างเข้มข้นเมื่อเทียบกับนอร์มที่กำหนด ฟังก์ชันนี้เรียกว่าฟังก์ชันสร้างระยะทางและเกรเดียนต์ ของฟังก์ชันนี้ เรียกว่าแผนที่ สะท้อน${\displaystyle h\colon \mathbb {R} ^{n}\to \mathbb {R} }$${\displaystyle \alpha }$${\displaystyle \nabla h\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}}$

เริ่มต้นจากจุดเริ่มต้นในแต่ละรอบของการวนซ้ำแบบ Mirror Descent: ${\displaystyle x_{0}\in K}$

• แผนที่ไปยังพื้นที่คู่:${\displaystyle \theta _{t}\leftarrow \nabla h(x_{t})}$
• อัปเดตในพื้นที่คู่โดยใช้ขั้นตอนการไล่ระดับสี:${\displaystyle \theta _{t+1}\leftarrow \theta _{t}-\eta _{t}\nabla f(x_{t})}$
• ย้อนกลับไปยังห้วงอวกาศดั้งเดิม:${\displaystyle x'_{t+1}\leftarrow (\nabla h)^{-1}(\theta _{t+1})}$
• ฉายภาพกลับไปยังบริเวณที่เป็นไปได้: , ซึ่งคือ จุดแตกต่าง ของBregman${\displaystyle K}$${\displaystyle x_{t+1}\leftarrow \mathrm {arg} \min _{x\in K}D_{h}(x||x'_{t+1})}$${\displaystyle D_{h}}$

การไล่ระดับกระจกสัมพันธ์กับการไล่ระดับตามธรรมชาติในเรขาคณิตสารสนเทศและการไล่ระดับแบบรีมันน์^{[ 4 ]}

การลดกระจกเงาใน การตั้งค่า การเพิ่มประสิทธิภาพออนไลน์เรียกว่าการลดกระจกเงาออนไลน์ (OMD) ^{[ 5 ]}

• การลดระดับความชัน
• วิธีการอัปเดตน้ำหนักแบบคูณ
• อัลกอริทึมการป้องกันความเสี่ยง
• ความแตกต่างแบบเบรกแมน