การปรับค่าสเปกตรัม (Spectral regularization) คือเทคนิค การปรับค่าประเภทหนึ่งที่ใช้ในแมชชีนเลิร์นนิงเพื่อควบคุมผลกระทบของสัญญาณรบกวนและป้องกันการโอเวอร์ฟิตติ้งการปรับค่าสเปกตรัมสามารถนำไปใช้ได้ในหลากหลายแอปพลิเคชัน ตั้งแต่การลดความเบลอของภาพไปจนถึงการจำแนกอีเมลลงในโฟลเดอร์สแปมและโฟลเดอร์ที่ไม่ใช่สแปม ตัวอย่างเช่น ในตัวอย่างการจำแนกอีเมล การปรับค่าสเปกตรัมสามารถใช้เพื่อลดผลกระทบของสัญญาณรบกวนและป้องกันการโอเวอร์ฟิตติ้งเมื่อระบบแมชชีนเลิร์นนิงกำลังได้รับการฝึกฝนด้วยชุดอีเมลที่มีป้ายกำกับเพื่อเรียนรู้วิธีแยกแยะอีเมลสแปมและอีเมลที่ไม่ใช่สแปม

อัลกอริทึมการปรับเสถียรภาพเชิงสเปกตรัมอาศัยวิธีการที่เดิมทีได้รับการกำหนดและศึกษาในทฤษฎีของปัญหาผกผันที่ไม่เหมาะสม (ตัวอย่างเช่น ดู^{[ 1 ]} ) โดยมุ่งเน้นไปที่การผกผันของตัวดำเนินการเชิงเส้น (หรือเมทริกซ์) ที่อาจมีเลขเงื่อนไข ที่ไม่ดี หรือตัวผกผันที่ไม่มีขอบเขต ในบริบทนี้ การปรับเสถียรภาพหมายถึงการแทนที่ตัวดำเนินการดั้งเดิมด้วยตัวดำเนินการที่มีขอบเขตที่เรียกว่า "ตัวดำเนินการปรับเสถียรภาพ" ซึ่งมีเลขเงื่อนไขที่ควบคุมโดยพารามิเตอร์การปรับเสถียรภาพ^{[ 2 ]}ตัวอย่างคลาสสิกคือการปรับเสถียรภาพของ Tikhonovเพื่อให้มั่นใจถึงเสถียรภาพ พารามิเตอร์การปรับเสถียรภาพนี้จะถูกปรับแต่งตามระดับของสัญญาณรบกวน^{[ 2 ]}แนวคิดหลักเบื้องหลังการปรับเสถียรภาพเชิงสเปกตรัมคือ ตัวดำเนินการปรับเสถียรภาพแต่ละตัวสามารถอธิบายได้โดยใช้แคลคูลัสเชิงสเปกตรัมเป็นตัวกรองที่เหมาะสมบนค่าลักษณะเฉพาะของตัวดำเนินการที่กำหนดปัญหา และบทบาทของตัวกรองคือการ "ระงับพฤติกรรมการแกว่งที่สอดคล้องกับค่าลักษณะเฉพาะขนาดเล็ก" ^{[ 2 ]}ดังนั้น อัลกอริทึมแต่ละตัวในกลุ่มอัลกอริทึมการปรับค่าสเปกตรัมจึงถูกกำหนดโดยฟังก์ชันตัวกรองที่เหมาะสม (ซึ่งจำเป็นต้องได้รับการอนุมานสำหรับอัลกอริทึมนั้นๆ) อัลกอริทึมการปรับค่าที่ใช้กันทั่วไปสามตัวซึ่งมีการศึกษาการกรองสเปกตรัมเป็นอย่างดี ได้แก่ การปรับค่าแบบ Tikhonov การวนซ้ำแบบ Landweberและการแยกส่วนค่าเอกพจน์แบบตัดทอน (TSVD) สำหรับการเลือกพารามิเตอร์การปรับค่า ตัวอย่างของวิธีการที่เป็นไปได้ในการคำนวณพารามิเตอร์นี้ ได้แก่ หลักการความคลาดเคลื่อนการตรวจสอบความถูกต้องแบบไขว้ ทั่วไป และเกณฑ์เส้นโค้ง L ^{[ 3 ]}

เป็นที่น่าสังเกตว่าแนวคิดเรื่องการกรองสเปกตรัมที่ศึกษาในบริบทของการเรียนรู้ของเครื่องนั้นมีความเชื่อมโยงอย่างใกล้ชิดกับวรรณกรรมเกี่ยวกับการประมาณค่าฟังก์ชัน (ในการประมวลผลสัญญาณ)

ชุดข้อมูลฝึกฝนถูกกำหนดดังนี้${\displaystyle S=\{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$, ที่ไหน${\displaystyle X}$คือ${\displaystyle n\times d}$เมทริกซ์อินพุตและ${\displaystyle Y=(y_{1},\dots ,y_{n})}$คือเวกเตอร์เอาต์พุต ในกรณีที่เหมาะสม ฟังก์ชันเคอร์เนลจะถูกระบุด้วย${\displaystyle k}$และ${\displaystyle n\times n}$เมทริกซ์เคอร์เนลจะถูกกำหนดโดย${\displaystyle K}$ซึ่งมีรายการ${\displaystyle K_{ij}=k(x_{i},x_{j})}$และ${\displaystyle {\mathcal {H}}}$หมายถึงปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำ (RKHS) ที่มีเคอร์เนล${\displaystyle k}$พารามิเตอร์การปรับค่าจะถูกกำหนดโดย${\displaystyle \lambda }$.

(หมายเหตุ: สำหรับ)${\displaystyle g\in G}$และ${\displaystyle f\in F}$, กับ${\displaystyle G}$และ${\displaystyle F}$เนื่องจากเป็นปริภูมิฮิลเบิร์ต จึงกำหนดตัวดำเนินการเชิงเส้นต่อเนื่องให้${\displaystyle L}$สมมติว่า${\displaystyle g=Lf}$ยึดไว้ ในสถานการณ์นี้ ปัญหาโดยตรงคือการหาคำตอบสำหรับ${\displaystyle g}$ที่ให้ไว้${\displaystyle f}$และปัญหาผกผันก็คือการหาคำตอบสำหรับ${\displaystyle f}$ที่ให้ไว้${\displaystyle g}$ถ้าคำตอบมีอยู่จริง คำตอบนั้นต้องมีเอกลักษณ์และเสถียร ปัญหาผกผัน (เช่น ปัญหาการหาคำตอบสำหรับ) ก็จะสามารถแก้ไขได้${\displaystyle f}$) เป็นประโยคที่ตั้งคำถามได้ดี มิฉะนั้นจะเป็นประโยคที่ตั้งคำถามได้ไม่ดี)

ความเชื่อมโยงระหว่างปัญหาการประมาณค่ากำลังสองน้อยที่สุดแบบปรับค่า (RLS) (การตั้งค่าการปรับค่าแบบทิโคนอฟ) และทฤษฎีของปัญหาผกผันที่ไม่เหมาะสม เป็นตัวอย่างหนึ่งของความสัมพันธ์ระหว่างอัลกอริธึมการปรับค่าเชิงสเปกตรัมกับทฤษฎีของปัญหาผกผันที่ไม่เหมาะสม

ตัวประมาณค่า RLS แก้ปัญหา $${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}$$ และ RKHS อนุญาตให้แสดงตัวประมาณค่า RLS นี้ได้ดังนี้${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$ที่ไหน${\displaystyle (K+n\lambda I)c=Y}$กับ${\displaystyle c=(c_{1},\dots ,c_{n})}$[ ^{4 ]}เงื่อนไขการลงโทษใช้สำหรับควบคุมความเรียบและป้องกันการโอเวอร์ฟิตติ้ง เนื่องจากการแก้ปัญหาการลดความเสี่ยงเชิง^{ประจักษ์}${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$สามารถเขียนได้ดังนี้${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$โดยที่${\displaystyle Kc=Y}$การเพิ่มฟังก์ชันการลงโทษจะส่งผลให้เกิดการเปลี่ยนแปลงในระบบที่ต้องแก้ไขดังต่อไปนี้: ^{[ 5 ]}$${\displaystyle \left\{\min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}\rightarrow \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}\right\}\equiv {\biggl \{}Kc=Y\rightarrow \left(K+n\lambda I\right)c=Y{\biggr \}}.}$$

ในบริบทการเรียนรู้นี้ เมทริกซ์เคอร์เนลสามารถแยกส่วนได้ดังนี้${\displaystyle K=Q\Sigma Q^{T}}$, กับ $${\displaystyle \Sigma =\operatorname {diag} (\sigma _{1},\dots ,\sigma _{n}),~\sigma _{1}\geq \sigma _{2}\geq \cdots \geq \sigma _{n}\geq 0}$$ และ${\displaystyle q_{1},\dots ,q_{n}}$คือเวกเตอร์ลักษณะเฉพาะที่สอดคล้องกัน ดังนั้น ในการตั้งค่าการเรียนรู้เบื้องต้น ข้อต่อไปนี้จึงเป็นจริง: $${\displaystyle c=K^{-1}Y=Q\Sigma ^{-1}Q^{T}Y=\sum _{i=1}^{n}{\frac {1}{\sigma _{i}}}\langle q_{i},Y\rangle q_{i}.}$$

ดังนั้น สำหรับค่าไอเกนขนาดเล็ก แม้แต่การรบกวนเล็กน้อยในข้อมูลก็อาจนำไปสู่การเปลี่ยนแปลงอย่างมากในคำตอบได้ ด้วยเหตุนี้ ปัญหาจึงมีสภาพไม่ดี และการแก้ปัญหา RLS นี้จึงเทียบเท่ากับการทำให้ปัญหาการผกผันเมทริกซ์ที่มีสภาพไม่ดีมีเสถียรภาพ ซึ่งเป็นสิ่งที่ศึกษาในทฤษฎีของปัญหาผกผันที่มีเงื่อนไขไม่ดี ในทั้งสองปัญหา ความกังวลหลักคือการจัดการกับปัญหาเสถียรภาพเชิงตัวเลข

แต่ละอัลกอริธึมในกลุ่มอัลกอริธึมการปรับเสถียรภาพเชิงสเปกตรัมจะถูกกำหนดโดยฟังก์ชันตัวกรองที่เหมาะสม ซึ่งในที่นี้จะใช้สัญลักษณ์แทนด้วย${\displaystyle G_{\lambda }(\cdot )}$ถ้าเมทริกซ์เคอร์เนลถูกกำหนดโดย${\displaystyle K}$, แล้ว${\displaystyle \lambda }$ควรควบคุมขนาดของค่าไอเกนที่เล็กกว่าของ${\displaystyle G_{\lambda }(K)}$ในการตั้งค่าการกรอง เป้าหมายคือการค้นหาตัวประมาณค่า${\displaystyle f_{S}^{\lambda }(X):=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$ที่ไหน${\displaystyle c=G_{\lambda }(K)Y}$ในการทำเช่นนั้น จะใช้ฟังก์ชันตัวกรองสเกลาร์${\displaystyle G_{\lambda }(\sigma )}$กำหนดโดยใช้การแยกส่วนค่าลักษณะเฉพาะของเมทริกซ์เคอร์เนล: $${\displaystyle G_{\lambda }(K)=QG_{\lambda }(\Sigma )Q^{T},}$$ ซึ่งให้ผลลัพธ์ $${\displaystyle G_{\lambda }(K)Y~=~\sum _{i=1}^{n}G_{\lambda }(\sigma _{i})\langle q_{i},Y\rangle q_{i}.}$$

โดยทั่วไป ฟังก์ชันตัวกรองที่เหมาะสมควรมีคุณสมบัติดังต่อไปนี้: ^{[ 5 ]}

1. เช่น${\displaystyle \lambda }$ลดลงเหลือศูนย์${\displaystyle G_{\lambda }(\sigma )~\rightarrow ~1/\sigma }$.
2. ขนาดของค่าไอเกน (ที่เล็กกว่า) ของ${\displaystyle G_{\lambda }}$ถูกควบคุมโดย${\displaystyle \lambda }$.

แม้ว่ารายการข้างต้นจะให้ลักษณะโดยคร่าว ๆ ของคุณสมบัติทั่วไปของฟังก์ชันตัวกรองสำหรับอัลกอริธึมการปรับความเรียบของสเปกตรัมทั้งหมด แต่การหาที่มาของฟังก์ชันตัวกรอง (และรูปแบบที่แน่นอนของมัน) จะแตกต่างกันไปขึ้นอยู่กับวิธีการปรับความเรียบเฉพาะที่นำการกรองสเปกตรัมไปใช้

c 0 := 0 สำหรับi = 1, ..., t − 1 c i := c i −1 + η ( Y − Kc i −1 ) end