วิธี การกำลังสองน้อยที่สุดแบบปรับปรุง (Regularized Least Squares : RLS ) เป็นกลุ่มของวิธีการแก้ ปัญหา การหาค่ากำลังสองน้อยที่สุดโดยใช้การปรับปรุง (regularization)เพื่อจำกัดผลลัพธ์ที่ได้ให้ดียิ่งขึ้น

RLS ถูกนำมาใช้ด้วยเหตุผลหลักสองประการ ประการแรกเกิดขึ้นเมื่อจำนวนตัวแปรในระบบเชิงเส้นมีมากกว่าจำนวนข้อมูลสังเกต ในกรณีเช่นนี้ปัญหา การหา ค่ากำลังสองน้อยที่สุดแบบธรรมดา จะ ไม่สามารถ หาคำตอบได้ เนื่องจาก ปัญหาการหาค่าเหมาะสมที่สุดที่เกี่ยวข้องมีคำตอบมากมายนับไม่ถ้วน RLS ช่วยให้สามารถเพิ่มข้อจำกัดเพิ่มเติมที่กำหนดคำตอบได้อย่างเฉพาะเจาะจง

เหตุผลประการที่สองสำหรับการใช้ RLS เกิดขึ้นเมื่อแบบจำลองที่เรียนรู้มานั้นมีประสิทธิภาพในการวางนัยทั่วไป ต่ำ ในกรณีเช่นนี้ สามารถใช้ RLS เพื่อปรับปรุงประสิทธิภาพในการวางนัยทั่วไปของแบบจำลองได้ โดยการจำกัดแบบจำลองในระหว่างการฝึกอบรม ข้อจำกัดนี้อาจบังคับให้คำตอบมีความ "เบาบาง" ในบางลักษณะ หรือสะท้อนถึงความรู้เบื้องต้นอื่นๆ เกี่ยวกับปัญหา เช่น ข้อมูลเกี่ยวกับความสัมพันธ์ระหว่างคุณลักษณะต่างๆ ความเข้าใจ แบบเบย์เซียนในเรื่องนี้สามารถทำได้โดยการแสดงให้เห็นว่าวิธีการ RLS มักเทียบเท่ากับความรู้เบื้องต้นเกี่ยวกับคำตอบของปัญหาการหาค่ากำลังสองน้อยที่สุด

พิจารณาการตั้งค่าการเรียนรู้ที่กำหนดโดยปริภูมิความน่าจะเป็น. ให้แทนเซตฝึกฝนของคู่ข้อมูลอิสระและมีการกระจายเหมือนกัน (iid) ตามการกระจายร่วม. ให้เป็นฟังก์ชันความสูญเสีย กำหนดให้เป็นปริภูมิของฟังก์ชันต่างๆ ที่ความเสี่ยงที่คาดหวัง: นั้นถูกกำหนดไว้อย่างดี เป้าหมายหลักคือการลดความเสี่ยงที่คาดหวัง: เนื่องจากปัญหานี้ไม่สามารถแก้ไขได้อย่างแม่นยำ จึงจำเป็นต้องระบุวิธีการวัดคุณภาพของคำตอบ อัลกอริทึมการเรียนรู้ที่ดีควรให้ตัวประมาณค่าที่มีความเสี่ยงต่ำ ${\displaystyle (X\คูณ Y,\rho (X,Y))}$${\displaystyle Y\in R}$${\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}}$${\displaystyle n}$${\displaystyle \rho }$${\displaystyle V:Y\times R\to [0;\infty )}$${\displaystyle F}$$${\displaystyle \varepsilon (f)=\int V(y,f(x))\,d\rho (x,y)}$$$${\displaystyle \inf _{f\in F}\varepsilon (f)}$$

เนื่องจากโดยทั่วไปแล้วการแจกแจงร่วมมักไม่เป็นที่รู้จัก จึงต้องอาศัยความเสี่ยงเชิงประจักษ์ สำหรับวิธีการกำลังสองน้อยที่สุดแบบปรับปรุง จะมีการนำฟังก์ชันความสูญเสียกำลังสองมาใช้: ${\displaystyle \rho }$$${\displaystyle \varepsilon (f)={\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$$

อย่างไรก็ตาม หากฟังก์ชันมาจากปริภูมิที่ไม่ถูกจำกัดมากนัก เช่น เซตของฟังก์ชันที่สามารถหาปริพันธ์กำลังสองได้บนวิธีการนี้อาจทำให้เกิดการโอเวอร์ฟิตกับข้อมูลฝึกฝน และนำไปสู่การสรุปผลที่ไม่ดี ดังนั้นจึงควรจำกัดหรือลงโทษความซับซ้อนของฟังก์ชันในบางลักษณะใน RLS นั้น ทำได้โดยการเลือกฟังก์ชันจากปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำ (RKHS) และเพิ่มเทอมการปรับค่า (regularization term) ให้กับฟังก์ชันเป้าหมาย ซึ่งเป็นสัดส่วนกับค่ามาตรฐานของฟังก์ชันใน: ${\displaystyle X}$${\displaystyle f}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$$${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$$

RKHS สามารถนิยามได้ด้วย ฟังก์ชันเคอร์เนล สมมาตรบวกแน่นอน ที่มีคุณสมบัติการสร้างซ้ำ: โดยที่. RKHS สำหรับเคอร์เนลประกอบด้วยการเติมเต็มของปริภูมิของฟังก์ชันที่ครอบคลุมโดย: โดยที่ทั้งหมดเป็นจำนวนจริง เคอร์เนลที่ใช้กันทั่วไปบางชนิด ได้แก่ เคอร์เนลเชิงเส้น ซึ่งเหนี่ยวนำปริภูมิของฟังก์ชันเชิงเส้น: เคอร์เนลพหุนาม ซึ่งเหนี่ยวนำปริภูมิของฟังก์ชันพหุนามอันดับ: และเคอร์เนลเกาส์เซียน: ${\displaystyle K(x,z)}$$${\displaystyle \langle K_{x},f\rangle _{\mathcal {H}}=f(x),}$$${\displaystyle K_{x}(z)=K(x,z)}$${\displaystyle K}$${\displaystyle \left\{K_{x}\mid x\in X\right\}}$${\textstyle f(x)=\sum _{i=1}^{n}\alpha _{i}K_{x_{i}}(x),\,f\in {\mathcal {H}}}$${\displaystyle \alpha _{i}}$$${\displaystyle K(x,z)=x^{\mathsf {T}}z,}$$${\displaystyle d}$$${\displaystyle K(x,z)=\left(x^{\mathsf {T}}z+1\right)^{d},}$$$${\displaystyle K(x,z)=e^{-{\left\|x-z\right\|^{2}}/{\sigma ^{2}}}.}$$

โปรดทราบว่าสำหรับฟังก์ชันความสูญเสียใดๆวิธีการนี้จะกำหนดกลุ่มทั่วไปของอัลกอริธึมที่เรียกว่าการปรับค่าแบบทิโคนอฟ (Tikhonov regularization) ตัวอย่างเช่น การใช้ ฟังก์ชัน ความสูญเสียแบบบานพับ (hinge loss)จะนำไปสู่ อัลกอริธึม เครื่องสนับสนุนเวกเตอร์ (support vector machine)และการใช้ฟังก์ชันความสูญเสียที่ไม่ไวต่อค่าเอปไซลอน (epsilon-insensitive loss)จะนำไปสู่อัลกอริธึมการถดถอยเวกเตอร์สนับสนุน (support vector regression ) ${\displaystyle V}$

ทฤษฎีบทตัวแทนรับประกันว่าคำตอบสามารถเขียนได้ดังนี้: สำหรับบางค่า $${\displaystyle f(x)=\sum _{i=1}^{n}c_{i}K(x_{i},x)}$$${\displaystyle c\in \mathbb {R} ^{n}}$

ปัญหาการหาค่าต่ำสุดสามารถแสดงได้ดังนี้: โดยที่ หากใช้สัญลักษณ์อย่างไม่ถูกต้องนักสมาชิกของเมทริกซ์เคอร์เนล(ตรงข้ามกับฟังก์ชันเคอร์เนล) คือ $${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|f\right\|_{H}^{2},}$$${\displaystyle i,j}$${\displaystyle K}$${\displaystyle K(\cdot ,\cdot )}$${\displaystyle K(x_{i},x_{j})}$

สำหรับฟังก์ชันดังกล่าว $${\displaystyle {\begin{aligned}\left\|f\right\|_{H}^{2}&=\langle f,f\rangle _{H}\\[1ex]&=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\[1ex]&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\left\langle K(x_{i},\cdot ),K(x_{j},\cdot )\right\rangle _{H}\\&=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})\\&=c^{\mathsf {T}}Kc,\end{aligned}}}$$

ปัญหาการหาค่าต่ำสุดต่อไปนี้สามารถหาได้: $${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc.}$$

เนื่องจากผลรวมของฟังก์ชันนูนเป็นฟังก์ชันนูน ดังนั้นคำตอบจึงมีเพียงหนึ่งเดียว และสามารถหาค่าต่ำสุดได้โดยการกำหนดเกรเดียนต์เทียบกับเป็น: โดยที่${\displaystyle c}$${\displaystyle 0}$$${\displaystyle -{\frac {1}{n}}K\left(Y-Kc\right)+\lambda Kc=0\Rightarrow K\left(K+\lambda nI\right)c=KY\Rightarrow c=\left(K+\lambda nI\right)^{-1}Y,}$$${\displaystyle c\in \mathbb {R} ^{n}.}$

ความซับซ้อนของการฝึกฝนโดยพื้นฐานแล้วคือต้นทุนในการคำนวณเมทริกซ์เคอร์เนลบวกกับต้นทุนในการแก้ระบบสมการเชิงเส้น ซึ่งโดยประมาณคือการคำนวณเมทริกซ์เคอร์เนลสำหรับเคอร์เนลเชิงเส้นหรือเคอร์เนลเกาส์เซียนคือความซับซ้อนของการทดสอบคือ ${\displaystyle O(n^{3})}$${\displaystyle O(n^{2}D)}$${\displaystyle O(n)}$

ผลการคาดการณ์ ณ จุดทดสอบใหม่คือ: ${\displaystyle x_{*}}$$${\displaystyle f(x_{*})=\sum _{i=1}^{n}c_{i}K(x_{i},x_{*})=K(X,X_{*})^{\mathsf {T}}c}$$

เพื่อความสะดวก เราจะใช้ สัญลักษณ์เวกเตอร์ให้เป็นเมทริกซ์ โดยที่แถวต่างๆ คือเวกเตอร์อินพุต และ เป็นเวกเตอร์ โดยที่สมาชิกแต่ละตัวคือเอาต์พุตที่สอดคล้องกัน ในแง่ของเวกเตอร์ เมทริกซ์เคอร์เนลสามารถเขียนได้เป็น และฟังก์ชันการเรียนรู้สามารถเขียนได้ดังนี้: ${\displaystyle X}$${\displaystyle n\times d}$${\displaystyle Y}$${\displaystyle n\times 1}$${\displaystyle K=XX^{\mathsf {T}}}$$${\displaystyle f(x_{*})=K_{x_{*}}c=x_{*}^{\mathsf {T}}X^{\mathsf {T}}c=x_{*}^{\mathsf {T}}w}$$

ในที่นี้เรากำหนด. ฟังก์ชันเป้าหมายสามารถเขียนใหม่ได้ดังนี้: ${\displaystyle w=X^{\mathsf {T}}c,w\in \mathbb {R} ^{d}}$$${\displaystyle {\begin{aligned}{\frac {1}{n}}\left\|Y-Kc\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}Kc&={\frac {1}{n}}\left\|y-XX^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}XX^{\mathsf {T}}c\\[1ex]&={\frac {1}{n}}\left\|y-Xw\right\|_{\mathbb {R} ^{n}}^{2}+\lambda \left\|w\right\|_{\mathbb {R} ^{d}}^{2}\end{aligned}}}$$

พจน์แรกคือฟังก์ชันเป้าหมายจาก การ ถดถอยกำลังสองน้อยที่สุดแบบธรรมดา (OLS) ซึ่งสอดคล้องกับผลรวมกำลังสองของส่วนเหลือพจน์ที่สองคือพจน์การปรับค่า ซึ่งไม่มีใน OLS และจะลงโทษค่าขนาดใหญ่ เนื่องจากพิจารณาปัญหาที่มีมิติจำกัดและเรียบ จึงสามารถใช้เครื่องมือแคลคูลัสมาตรฐานได้ เพื่อลดฟังก์ชันเป้าหมายให้เหลือน้อยที่สุด จึงคำนวณเกรเดียนต์เทียบกับและกำหนดให้เป็นศูนย์: ${\displaystyle w}$${\displaystyle w}$$${\displaystyle X^{\mathsf {T}}Xw-X^{\mathsf {T}}y+\lambda nw=0}$$$${\displaystyle w=\left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}X^{\mathsf {T}}y}$$

วิธีแก้ปัญหานี้คล้ายคลึงกับวิธีการถดถอยเชิงเส้นมาตรฐาน โดยมีพจน์เพิ่มเติมคือ ถ้าสมมติฐานของการถดถอย OLS เป็นจริง วิธีแก้ปัญหาโดยที่ จะเป็นตัวประมาณค่าที่ไม่เอนเอียง และ คือตัวประมาณค่าเชิงเส้นที่ไม่เอนเอียงที่มีความแปรปรวนต่ำสุด ตามทฤษฎีบทเกาส์-มาร์คอฟ ดังนั้น พจน์จึงนำไปสู่วิธีแก้ปัญหาที่เอนเอียง อย่างไรก็ตาม มันยังมีแนวโน้มที่จะลดความแปรปรวนลงด้วย ซึ่งเห็นได้ง่าย เนื่องจาก เมทริกซ์ ความแปรปรวนร่วมของค่า เป็นสัดส่วนกับ ดังนั้นค่า ที่มากจะนำไปสู่ความแปรปรวนที่ต่ำลง ดังนั้น การปรับค่า จึงสอดคล้องกับการแลกเปลี่ยนระหว่างความเอนเอียงและความแปรปรวน สำหรับปัญหาที่มีการประมาณค่าที่มีความแปรปรวนสูง เช่น กรณีที่มีค่า ค่อนข้างน้อยหรือมีตัวแปรอิสระที่สัมพันธ์กัน ความแม่นยำในการทำนายที่ดีที่สุดอาจได้มาจากการใช้ค่า ที่ไม่เป็นศูนย์และด้วยเหตุนี้จึงนำความเอนเอียงบางอย่างมาใช้เพื่อลดความแปรปรวน นอกจากนี้ ในการเรียนรู้ของเครื่องจักร มัก พบกรณีที่ ซึ่งในกรณีนี้มีอันดับไม่เพียงพอ และจำเป็นต้องมีค่าที่ไม่เป็นศูนย์เพื่อคำนวณ ${\displaystyle \lambda I}$${\displaystyle w=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}y}$${\displaystyle \lambda =0}$${\displaystyle \lambda nI}$${\displaystyle w}$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle w}$${\displaystyle n}$${\displaystyle \lambda }$${\displaystyle n<d}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle \lambda }$${\displaystyle \left(X^{\mathsf {T}}X+\lambda nI\right)^{-1}}$

พารามิเตอร์นี้ควบคุมความสามารถในการหาเมทริกซ์ผกผันมีหลายวิธีที่สามารถใช้ในการแก้ระบบสมการเชิงเส้นข้างต้นได้ โดยการแยกตัวประกอบแบบ Choleskyน่าจะเป็นวิธีที่เหมาะสมที่สุด เนื่องจากเมทริกซ์เป็นเมทริกซ์สมมาตรและเป็นบวกแน่นอนความซับซ้อนของวิธีนี้อยู่ที่การฝึกฝนและการทดสอบ ต้นทุนหลักๆ คือการคำนวณในขณะที่การคำนวณผกผัน (หรือการแก้ระบบสมการเชิงเส้น) นั้นโดยประมาณคือ ${\displaystyle \lambda }$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle X^{\mathsf {T}}X+\lambda nI}$${\displaystyle O(nD^{2})}$${\displaystyle O(D)}$${\displaystyle O(nD^{2})}$${\displaystyle X^{\mathsf {T}}X}$${\displaystyle O(D^{3})}$

ในส่วนนี้จะแสดงวิธีการขยาย RLS ไปยังเคอร์เนลการสร้างซ้ำ K ทุกประเภท แทนที่จะใช้เคอร์เนลเชิงเส้น จะพิจารณาแผนที่ฟีเจอร์สำหรับปริภูมิฮิลเบิร์ตบางอย่างที่เรียกว่าปริภูมิฟีเจอร์ ในกรณีนี้ เคอร์เนลถูกกำหนดดังนี้: เมทริกซ์จะถูกแทนที่ด้วยเมทริกซ์ข้อมูลใหม่โดยที่หรือส่วนประกอบที่ -th ของ นั่นหมายความ ว่าสำหรับชุดข้อมูลฝึกฝนที่กำหนดดังนั้น ฟังก์ชันวัตถุประสงค์สามารถเขียนได้ดังนี้ ${\displaystyle \Phi :X\to F}$${\displaystyle F}$${\displaystyle X}$${\displaystyle \Phi }$${\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})}$${\displaystyle j}$${\displaystyle \varphi (x_{i})}$$${\displaystyle K(x,x')=\langle \Phi (x),\Phi (x')\rangle _{F}.}$$${\displaystyle K=\Phi \Phi ^{\mathsf {T}}}$$${\displaystyle \min _{c\in \mathbb {R} ^{n}}\left\|Y-\Phi \Phi ^{\mathsf {T}}c\right\|_{\mathbb {R} ^{n}}^{2}+\lambda c^{\mathsf {T}}\Phi \Phi ^{\mathsf {T}}c.}$$

วิธีการนี้เรียกว่าเทคนิคเคอร์เนล (kernel trick ) เทคนิคนี้สามารถลดความซับซ้อนของการคำนวณได้อย่างมาก หากเมทริกซ์มีมิติสูง การคำนวณอาจใช้ทรัพยากรมาก หากทราบรูปแบบที่ชัดเจนของฟังก์ชันเคอร์เนล เราเพียงแค่ต้องคำนวณและจัดเก็บเมทริกซ์เคอร์เนลเท่านั้น ${\displaystyle F}$${\displaystyle \varphi (x_{i})}$${\displaystyle n\times n}$${\displaystyle K}$

อันที่จริงแล้วปริภูมิฮิลเบิร์ต ไม่จำเป็นต้องสมสัณฐานกับและอาจมีมิติอนันต์ได้ สิ่งนี้เป็นผลมาจากทฤษฎีบทของเมอร์เซอร์ซึ่งกล่าวว่าฟังก์ชันเคอร์เนลแบบต่อเนื่อง สมมาตร และเป็นบวกแน่นอน สามารถแสดงได้เป็น โดย ที่เป็นฐานเชิงตั้งฉากสำหรับและถ้าแผนที่ฟีเจอร์ถูกกำหนดด้วยส่วนประกอบจะได้ว่าสิ่งนี้แสดงให้เห็นว่าเคอร์เนลใดๆ ก็สามารถเชื่อมโยงกับแผนที่ฟีเจอร์ได้ และโดยทั่วไปแล้ว RLS ประกอบด้วย RLS เชิงเส้นที่ดำเนินการในปริภูมิฟีเจอร์ที่มีมิติสูงกว่า ในขณะที่ทฤษฎีบทของเมอร์เซอร์แสดงให้เห็นว่าแผนที่ฟีเจอร์หนึ่งสามารถเชื่อมโยงกับเคอร์เนลได้อย่างไร แต่ในความเป็นจริงแล้ว แผนที่ฟีเจอร์หลายแผนที่สามารถเชื่อมโยงกับเคอร์เนลการสร้างซ้ำที่กำหนดได้ ตัวอย่างเช่น แผนที่เป็นไปตามคุณสมบัติสำหรับเคอร์เนลการสร้างซ้ำใดๆ ${\displaystyle F}$${\displaystyle \mathbb {R} ^{m}}$$${\displaystyle K(x,z)=\sum _{i=1}^{\infty }\sigma _{i}e_{i}(x)e_{i}(z)}$$${\displaystyle e_{i}(x)}$${\displaystyle \ell ^{2}(X)}$${\displaystyle \sigma _{i}\in \mathbb {R} }$${\displaystyle \varphi (x)}$${\displaystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$${\displaystyle \varphi (x)=K_{x}}$${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$

กำลังสองน้อยที่สุดสามารถมองได้ว่าเป็นการเพิ่มค่าความน่าจะเป็นสูงสุดภายใต้สมมติฐานของค่าตกค้างที่มีการกระจายแบบปกติ เนื่องจากเลขชี้กำลังของการกระจายแบบเกาส์เซียนเป็นกำลังสองในข้อมูล และฟังก์ชันเป้าหมายกำลังสองน้อยที่สุดก็เป็นกำลังสองเช่นกัน ในกรอบนี้ เงื่อนไขการปรับค่าของ RLS สามารถเข้าใจได้ว่าเป็นการเข้ารหัสค่าก่อนหน้าบน[ ^{1 ] ตัวอย่าง}เช่น การปรับค่าแบบ Tikhonov สอดคล้องกับค่าก่อนหน้าที่มีการกระจายแบบปกติบนซึ่งมีจุดศูนย์กลางอยู่ที่ 0 เพื่อดูสิ่งนี้ ก่อนอื่นให้สังเกตว่าฟังก์ชันเป้าหมาย OLS เป็นสัดส่วนกับ ฟังก์ชัน ลอการิทึมความน่าจะเป็นเมื่อแต่ละตัวอย่างมีการกระจายแบบปกติรอบ ๆจากนั้นสังเกตว่าค่าก่อนหน้าแบบปกติบนที่มีจุดศูนย์กลางอยู่ที่ 0 มีลอการิทึมความน่าจะเป็นในรูปแบบโดยที่และเป็นค่าคงที่ที่ขึ้นอยู่กับความแปรปรวนของค่าก่อนหน้าและเป็นอิสระจากดังนั้น การลดค่าลอการิทึมของความน่าจะเป็นคูณด้วยค่าก่อนหน้าให้เหลือน้อยที่สุดจึงเทียบเท่ากับการลดค่าผลรวมของฟังก์ชันการสูญเสีย OLS และเงื่อนไขการปรับค่าการถดถอยแบบสันให้เหลือน้อยที่สุด ${\displaystyle w}$${\displaystyle w}$${\displaystyle y^{i}}$${\displaystyle w^{\mathsf {T}}\cdot x^{i}}$${\displaystyle w}$$${\displaystyle \log P(w)=q-\alpha \sum _{j=1}^{d}w_{j}^{2}}$$${\displaystyle q}$${\displaystyle \alpha }$${\displaystyle w}$

นี่เป็นการตีความที่เข้าใจง่ายยิ่งขึ้นว่าทำไมการปรับค่าแบบ Tikhonovจึงนำไปสู่คำตอบที่ไม่ซ้ำกันสำหรับปัญหาการหาค่ากำลังสองน้อยที่สุด: มีเวกเตอร์จำนวนอนันต์ที่สอดคล้องกับข้อจำกัดที่ได้จากข้อมูล แต่เนื่องจากเราเข้าสู่ปัญหาด้วยความเชื่อเบื้องต้นที่กระจายตัวแบบปกติรอบจุดกำเนิด เราจึงจะเลือกคำตอบโดยคำนึงถึงข้อจำกัดนี้ในที่สุด ${\displaystyle w}$${\displaystyle w}$

วิธีการปรับเสถียรภาพแบบอื่นๆ สอดคล้องกับค่าความน่าจะเป็นล่วงหน้าที่แตกต่างกัน โปรดดูรายการด้านล่างสำหรับรายละเอียดเพิ่มเติม

ต่อไปนี้คือรายการตัวเลือกที่เป็นไปได้ของฟังก์ชันการปรับเสถียรภาพพร้อมด้วยชื่อของแต่ละฟังก์ชัน ค่าความน่าจะเป็นล่วงหน้าที่สอดคล้องกันหากมีค่าความน่าจะเป็นล่วงหน้าแบบง่าย และวิธีการคำนวณหาคำตอบของปัญหาการหาค่าเหมาะสมที่สุดที่เกิดขึ้น ${\displaystyle R(\cdot )}$

รายการวิธีการ RLS บางส่วน

ชื่อ	ฟังก์ชันการปรับให้เรียบ	ก่อนหน้าที่สอดคล้องกัน	วิธีการแก้ปัญหา
การปรับเสถียรภาพแบบทิโคนอฟ	${\displaystyle \left\|w\right\|_{2}^{2}}$	ปกติ	แบบฟอร์มปิด
การถดถอยแบบลาโซ	${\displaystyle \left\|w\right\|_{1}}$	ลาปลาซ	การไล่ระดับความชันแบบใกล้เคียงการถดถอยมุมน้อยที่สุด
${\displaystyle \ell _{0}}$การลงโทษ	${\displaystyle \left\|w\right\|_{0}}$	–	การคัดเลือกแบบไปข้างหน้า (Forward selection) , การกำจัดแบบย้อนกลับ (Backward elimination) , การใช้ค่าความน่าจะเป็นล่วงหน้า (priors) เช่นspike และ slab
ตาข่ายยืดหยุ่น	${\displaystyle \beta \left\|w\right\|_{1}+(1-\beta )\left\|w\right\|_{2}^{2}}$	ส่วนผสมปกติและลาปลาซ	การลดระดับความชันใกล้เคียง
การปรับค่าความแปรผันรวม	${\displaystyle \sum _{j=1}^{d-1}\left|w_{j+1}-w_{j}\right|}$	–	วิธี Split–Bregmanเป็นต้น

หนึ่งในตัวเลือกที่นิยมใช้สำหรับฟังก์ชันปรับโทษคือค่ากำลัง สองของนอร์ม นั่นคือ และสามารถหาคำตอบได้ดังนี้ ชื่อที่ใช้กันทั่วไปสำหรับวิธีนี้คือการปรับค่าแบบทิโคนอฟ (Tikhonov regularization ) และ การถดถอยแบบ สัน (ridge regression ) ซึ่งมีคำตอบในรูปแบบปิดสำหรับ: ชื่อการถดถอยแบบสันนั้นหมายถึงข้อเท็จจริงที่ว่าเทอมนี้เพิ่มค่าบวกตามแนวทแยงมุม "สัน" ของเมทริกซ์ความแปรปรวนร่วม ของ ตัวอย่าง ${\displaystyle R}$${\displaystyle \ell _{2}}$$${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$$$${\displaystyle {\hat {w}}={\text{argmin}}_{w\in \mathbb {R} ^{d}}{\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}\left|w_{j}\right|^{2}}$$${\displaystyle w}$$${\displaystyle {\hat {w}}=\left({\frac {1}{n}}X^{\mathsf {T}}X+\lambda I\right)^{-1}{\frac {1}{n}}X^{\mathsf {T}}Y=\left(X^{\mathsf {T}}X+n\lambda I\right)^{-1}X^{\mathsf {T}}Y}$$${\displaystyle \lambda I}$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$

เมื่อเช่น ในกรณีของการถดถอยกำลังสองน้อยที่สุดแบบธรรมดาเงื่อนไขที่ ทำให้ เมทริกซ์ความแปรปรวนร่วมของตัวอย่างไม่มีอันดับเต็ม และไม่สามารถผกผันเพื่อให้ได้คำตอบที่ไม่ซ้ำกันได้ คือเหตุผลที่อาจมีคำตอบอนันต์สำหรับปัญหา การ ถดถอยกำลังสองน้อยที่สุดแบบธรรมดา เมื่อ อย่างไรก็ตาม เมื่อเช่น เมื่อใช้การถดถอยแบบริดจ์ การเพิ่ม เข้าไปในเมทริกซ์ความแปรปรวนร่วมของตัวอย่างจะทำให้ค่าลักษณะเฉพาะทั้งหมดของเมทริกซ์มีค่ามากกว่า 0 อย่างแน่นอน กล่าวอีกนัยหนึ่งคือ เมทริกซ์จะสามารถผกผันได้ และคำตอบจึงมีเพียงหนึ่งเดียว ${\displaystyle \lambda =0}$${\displaystyle d>n}$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$${\displaystyle d>n}$${\displaystyle \lambda >0}$${\displaystyle \lambda I}$

เมื่อเปรียบเทียบกับ วิธี การกำลังสองน้อยที่สุดแบบธรรมดา การถดถอยแบบริดจ์ไม่ใช่วิธีที่ปราศจากอคติ มันยอมรับอคติเพื่อลดความแปรปรวนและค่าความคลาดเคลื่อนกำลังสองเฉลี่ย

หากเราต้องการหาค่าสำหรับค่าสัมประสิทธิ์การปรับเสถียร(ซึ่งเราใช้สัญลักษณ์) ที่แตกต่างกัน เราอาจใช้การแยกส่วนค่าลักษณะเฉพาะของเมทริกซ์ความแปรปรวน ร่วม โดยที่คอลัมน์ของคือเวกเตอร์ลักษณะเฉพาะของและ คือ ค่าลักษณะเฉพาะ ของเมทริก ซ์นั้น${\displaystyle {\hat {w}}}$${\displaystyle \lambda }$${\displaystyle {\hat {w}}(\lambda )}$$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X=Q{\text{diag}}(\alpha _{1},\ldots ,\alpha _{d})Q^{\mathsf {T}}}$$${\displaystyle Q\in \mathbb {R} ^{d\times d}}$${\displaystyle {\frac {1}{n}}X^{\mathsf {T}}X}$${\displaystyle \alpha _{1},\ldots ,\alpha _{d}}$${\displaystyle d}$

คำตอบจึงกำหนดโดย ที่ $${\displaystyle {\hat {w}}(\lambda )=Q{\text{diag}}^{-1}(\alpha _{1}+\lambda ,\ldots ,\alpha _{d}+\lambda )Z}$$$${\displaystyle Z={\frac {1}{n}}Q^{\mathsf {T}}X^{\mathsf {T}}Y=[Z_{1},\ldots ,Z_{d}]^{\mathsf {T}}.}$$

จากผลลัพธ์ข้างต้น อัลกอริทึมสำหรับการค้นหา ค่าประมาณ ความน่าจะเป็นสูงสุดของอาจกำหนดได้ดังนี้: ^{[ 2 ]}${\displaystyle \lambda }$

$${\displaystyle \lambda \leftarrow {\frac {1}{n}}\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}\left[{\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\|{\hat {w}}(\lambda )\|^{2}}}+\lambda \right].}$$

อัลกอริทึมนี้สำหรับการปรับค่าอัตโนมัติ (ตรงข้ามกับการใช้ฮิวริสติก) จะได้รับเป็น โซลูชัน จุดคงที่ในการประมาณค่าพารามิเตอร์ด้วยความน่าจะเป็นสูงสุด^{[ 2 ]}แม้ว่าจะไม่มีการรับประกันการบรรจบกัน แต่ตัวอย่างแสดงให้เห็นว่าอาจได้รับโซลูชันที่น่าพอใจหลังจากวนซ้ำสองสามครั้ง

การแยกส่วนค่าลักษณะเฉพาะช่วยให้การหาที่มาของอัลกอริทึมง่ายขึ้น และยังช่วยให้การคำนวณง่ายขึ้นด้วย: $${\displaystyle \|{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{(\alpha _{i}+\lambda )^{2}}},}$$$${\displaystyle {\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}=\sum _{i=1}^{d}{\frac {|Z_{i}|^{2}}{\alpha _{i}+\lambda }}.}$$

อัลกอริทึมจุดคงที่ทางเลือกที่เรียกว่าอัลกอริทึม Gull-McKay ^{[ 2 ]} มักมีการลู่เข้าที่เร็วกว่า แต่สามารถใช้ได้เฉพาะในกรณีที่. ดังนั้น แม้ว่าจะสามารถใช้งานได้โดยไม่มีปัญหา แต่ขอแนะนำให้ใช้ความระมัดระวังสำหรับ . $${\displaystyle \lambda \leftarrow {\frac {{\frac {1}{n}}\|Y-X{\hat {w}}(\lambda )\|^{2}}{\left[{\frac {n}{\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}}-1\right]\|{\hat {w}}(\lambda )\|^{2}}}}$$${\displaystyle n>\sum _{i=1}^{d}{\frac {\alpha _{i}}{\alpha _{i}+\lambda }}}$${\displaystyle n>d}$${\displaystyle n<d}$

วิธีการเลือกและการลดขนาดสัมบูรณ์น้อยที่สุด (LASSO) เป็นอีกทางเลือกยอดนิยม ในการถดถอยแบบ LASSOฟังก์ชันปรับโทษของ LASSO คือค่ามาตรฐานนั่นคือ ${\displaystyle R}$${\displaystyle \ell _{1}}$$${\displaystyle R(w)=\sum _{j=1}^{d}\left|w_{j}\right|}$$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \sum _{j=1}^{d}|w_{j}|\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

โปรดทราบว่าฟังก์ชันปรับโทษแบบลาซโซเป็นฟังก์ชันนูน แต่ไม่ใช่ฟังก์ชันนูนอย่างเคร่งครัด แตกต่างจาก การปรับค่าแบบ ทิโคนอฟ (Tikhonov regularization ) วิธีการนี้ไม่มีคำตอบในรูปแบบปิดที่สะดวก แต่โดยทั่วไปแล้วจะหาคำตอบได้โดยใช้การเขียนโปรแกรมเชิงกำลังสอง (quadratic programming)หรือ วิธี การหาค่าเหมาะสมที่สุดแบบนูน ทั่วไป รวมถึงอัลกอริทึมเฉพาะ เช่น อัลก อริทึมการถดถอยมุมน้อยที่สุด (least-angle regression algorithm)

ความแตกต่างที่สำคัญระหว่างการถดถอยแบบ Lasso และการปรับค่าแบบ Tikhonov คือ การถดถอยแบบ Lasso บังคับให้ค่าในเมทริกซ์มีค่าเท่ากับ 0 มากกว่าที่จะเป็นไปได้ในกรณีอื่น ในทางตรงกันข้าม การปรับค่าแบบ Tikhonov บังคับให้ค่าในเมทริกซ์มีค่าน้อย แต่ไม่ได้บังคับให้มีค่าเป็น 0 มากกว่าที่จะเป็นไปได้ในกรณีอื่น ดังนั้น การปรับค่าแบบ LASSO จึงเหมาะสมกว่าการปรับค่าแบบ Tikhonov ในกรณีที่เราคาดว่าจำนวนค่าที่ไม่เป็นศูนย์ในเมทริกซ์จะมีค่าน้อย และการปรับค่าแบบ Tikhonov จะเหมาะสมกว่าเมื่อเราคาดว่าค่าในเมทริกซ์โดยทั่วไปจะมีค่าน้อย แต่ไม่จำเป็นต้องเป็นศูนย์ การเลือกใช้แบบใดขึ้นอยู่กับชุดข้อมูลเฉพาะที่ใช้ ${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$${\displaystyle w}$

นอกจากการเลือกคุณลักษณะที่อธิบายไว้ข้างต้นแล้ว LASSO ยังมีข้อจำกัดบางประการ การถดถอยแบบ Ridge ให้ความแม่นยำที่ดีกว่าในกรณีของตัวแปรที่มีความสัมพันธ์กันสูง^{[ 3 ]}ในอีกกรณีหนึ่งLASSO จะเลือกตัวแปรได้มากที่สุดเพียงตัวแปรเดียว ยิ่งไปกว่านั้น LASSO มีแนวโน้มที่จะเลือกตัวแปรแบบสุ่มจากกลุ่มตัวอย่างที่มีความสัมพันธ์กันสูง ดังนั้นจึงไม่มีผลของการจัดกลุ่ม ${\displaystyle n>d}$${\displaystyle n<d}$${\displaystyle n}$

$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda \left\|w_{j}\right\|_{0}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$ วิธีที่รุนแรงที่สุดในการบังคับใช้ความเบาบางคือการบอกว่าขนาดที่แท้จริงของสัมประสิทธิ์ของไม่สำคัญ สิ่งเดียวที่กำหนดความซับซ้อนของคือจำนวนรายการที่ไม่เป็นศูนย์ ซึ่งสอดคล้องกับการตั้งค่าให้เป็นค่ามาตรฐานของฟังก์ชันการปรับค่านี้ แม้ว่าจะน่าสนใจในแง่ของความเบาบางที่รับประกัน แต่ก็ยากมากที่จะแก้ไข เพราะการทำเช่นนั้นต้องใช้การปรับค่าให้เหมาะสมของฟังก์ชันที่ไม่แม้แต่จะเป็นฟังก์ชันนูน อย่างอ่อน การถดถอยแบบลาโซเป็นการผ่อนคลายการลงโทษที่น้อยที่สุดเท่าที่จะเป็นไปได้ซึ่งให้ปัญหาการปรับค่าให้เหมาะสมที่เป็นฟังก์ชันนูนอย่างอ่อน ${\displaystyle w}$${\displaystyle w}$${\displaystyle R(w)}$${\displaystyle \ell _{0}}$${\displaystyle w}$${\displaystyle \ell _{0}}$

สำหรับจำนวนที่ไม่ติดลบใดๆและวัตถุประสงค์มีรูปแบบดังต่อไปนี้: ${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}+\lambda _{1}\sum _{j=1}^{d}\left|w_{j}\right|+\lambda _{2}\sum _{j=1}^{d}\left|w_{j}\right|^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$$

ให้แล้วคำตอบของปัญหาการหาค่าต่ำสุดจะอธิบายได้ดังนี้: สำหรับบางค่า ${\displaystyle \alpha ={\frac {\lambda _{1}}{\lambda _{1}+\lambda _{2}}}}$$${\displaystyle {\frac {1}{n}}\left\|Y-Xw\right\|_{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}{\text{ s.t. }}(1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$$${\displaystyle t}$

พิจารณาว่าเป็นฟังก์ชันปรับโทษแบบ Elastic Net ${\displaystyle (1-\alpha )\left\|w\right\|_{1}+\alpha \left\|w\right\|_{2}\leq t}$

เมื่อค่าเป็น 0 Elastic Net จะกลายเป็น Ridge Regression ในขณะที่เมื่อค่าเป็น Lasso จะกลายเป็น Lasso ฟังก์ชันปรับโทษของ Elastic Net ไม่มีอนุพันธ์อันดับแรกที่ 0 และเป็นฟังก์ชันนูนอย่างเคร่งครัดซึ่งมีคุณสมบัติทั้งของLasso RegressionและRidge Regression ${\displaystyle \alpha =1}$${\displaystyle \alpha =0}$${\displaystyle \forall \alpha \in (0,1]}$${\displaystyle \forall \alpha >0}$

คุณสมบัติหลักประการหนึ่งของ Elastic Net คือสามารถเลือกกลุ่มของตัวแปรที่มีความสัมพันธ์กันได้ ความแตกต่างระหว่างเวกเตอร์น้ำหนักของตัวอย่างและกำหนดโดย: โดยที่. ^{[ 4 ]}${\displaystyle x_{i}}$${\displaystyle x_{j}}$$${\displaystyle \left|w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2})\right|\leq {\frac {\sum _{i=1}^{n}|y_{i}|}{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}},}$$${\displaystyle \rho _{ij}=x_{i}^{\mathsf {T}}x_{j}}$

ถ้าและมีความสัมพันธ์กันสูง ( ) เวกเตอร์น้ำหนักจะใกล้เคียงกันมาก ในกรณีของตัวอย่างที่มีความสัมพันธ์เชิงลบ ( ) สามารถนำตัวอย่างมาใช้ได้ สรุปได้ว่า สำหรับตัวแปรที่มีความสัมพันธ์กันสูง เวกเตอร์น้ำหนักมักจะเท่ากัน โดยอาจมีเครื่องหมายต่างกันเล็กน้อยในกรณีของตัวแปรที่มีความสัมพันธ์เชิงลบ ${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \rho _{ij}\to 1}$${\displaystyle \rho _{ij}\to -1}$${\displaystyle -x_{j}}$

• กำลังสองน้อยที่สุด
• การทำให้เป็นระเบียบในทางคณิตศาสตร์
• ข้อผิดพลาดในการสรุปผล (Generalization error ) เป็นหนึ่งในเหตุผลที่ต้องใช้การปรับค่าให้เหมาะสม (Regularization)
• การปรับเสถียรภาพแบบทิโคนอฟ
• การถดถอยแบบลาโซ
• การปรับค่าแบบอีลาสติกเน็ต
• การถดถอยมุมน้อยที่สุด

• http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf การปรับค่าและการเลือกตัวแปรผ่าน Elastic Net (การนำเสนอ)
• วิธีการกำลังสองน้อยที่สุดแบบปรับปรุง และเครื่องสนับสนุนเวกเตอร์ (การนำเสนอ)
• วิธีการกำลังสองน้อยที่สุดแบบปรับปรุง (การนำเสนอ)