ในการวิเคราะห์การถดถอย วิธีการ กำลังสองน้อยที่สุด ( least squares) เป็นวิธีการหา แบบจำลองที่เหมาะสมที่สุดโดยการลดผลรวมของ กำลังสอง ของส่วนเหลือ ให้เหลือน้อยที่สุด ซึ่งก็คือความแตกต่างระหว่างค่าที่สังเกตได้และค่าที่ทำนายโดยแบบจำลอง

ปัญหาการหาค่ากำลังสองน้อยที่สุดแบ่งออกเป็นสองประเภท ได้แก่ ปัญหาการหาค่ากำลังสองน้อยที่สุดเชิงเส้นหรือแบบธรรมดาและ ปัญหาการหา ค่ากำลังสองน้อยที่สุดแบบไม่เชิงเส้นขึ้นอยู่กับว่าฟังก์ชันของแบบจำลองเป็นเชิงเส้นในตัวแปรที่ไม่ทราบค่าทั้งหมดหรือไม่ ปัญหาการหาค่ากำลังสองน้อยที่สุดเชิงเส้นเกิดขึ้นในการวิเคราะห์การถดถอย ทางสถิติ และมีสูตรสำเร็จรูปในการแก้ปัญหา ส่วนปัญหาแบบไม่เชิงเส้นมักจะแก้โดยการปรับปรุงแบบวนซ้ำในแต่ละรอบการวนซ้ำ ระบบจะถูกประมาณด้วยระบบเชิงเส้น ดังนั้นการคำนวณหลักจึงคล้ายกันในทั้งสองกรณี

วิธีการกำลังสองน้อยที่สุดแบบพหุนามอธิบายความแปรปรวนในการทำนายตัวแปรตามว่าเป็นฟังก์ชันของตัวแปรอิสระและความเบี่ยงเบนจากเส้นโค้งที่เหมาะสม

เมื่อการสังเกตมาจากตระกูลเอกซ์โพเนนเชียลที่มีเอกลักษณ์เป็นสถิติเพียงพอตามธรรมชาติและเงื่อนไขอ่อนๆ เป็นไปตามที่กำหนด (เช่น สำหรับ การแจกแจง แบบปกติเอกซ์โพเนนเชียลปัวซงและทวินาม ) ค่าประมาณกำลังสองน้อยที่สุดมาตรฐานและ ค่าประมาณ ความน่าจะเป็นสูงสุดจะเหมือนกัน^{[ 1 ]}วิธีการกำลังสองน้อยที่สุดยังสามารถได้มาจาก การ ประมาณค่า โมเมนต์ได้ อีกด้วย

วิธีการนี้เป็นผลลัพธ์ของความก้าวหน้าหลายประการที่เกิดขึ้นในช่วงศตวรรษที่สิบแปด: ^{[ 2 ]}

• การรวมกันของการสังเกตที่แตกต่างกันถือเป็นการประมาณค่าที่ดีที่สุดของค่าที่แท้จริง ข้อผิดพลาดจะลดลงเมื่อมีการรวมเข้าด้วยกันแทนที่จะเพิ่มขึ้น ปรากฏครั้งแรกใน งานของ ไอแซค นิวตันในปี 1671 แม้ว่าจะไม่ได้ตีพิมพ์ และอีกครั้งในปี 1700 ^{[ 3 ] [ 4 ]}อาจกล่าวได้ว่าโรเจอร์ โคเตส เป็นผู้แสดงออกอย่างเป็นทางการเป็นครั้งแรก ในปี 1722
• การรวมการสังเกตที่แตกต่างกันซึ่งดำเนินการภายใต้ เงื่อนไข เดียวกันตรงกันข้ามกับการพยายามสังเกตและบันทึกการสังเกตเพียงครั้งเดียวอย่างแม่นยำ วิธีการนี้เรียกว่าวิธีการหาค่าเฉลี่ย วิธีการนี้ถูกนำมาใช้โดยนิวตันขณะศึกษาปรากฏการณ์วิษุวัตในปี 1700 และยังเขียนสมการปกติชุดแรกที่รู้จักจากวิธีการกำลังสองน้อยที่สุดแบบธรรมดา [ ^{5 ] โท}เบียส เมเยอร์ขณะศึกษาการสั่นไหวของดวงจันทร์ในปี 1750 และปิแอร์-ไซมอน ลาปลาซในงานของเขาในการอธิบายความแตกต่างในการเคลื่อนที่ของดาวพฤหัสบดีและดาวเสาร์ในปี 1788
• เป็นการนำผลการสังเกตต่างๆ ที่ได้จาก สภาวะ ที่แตกต่างกัน มารวมกัน วิธีนี้จึงเป็นที่รู้จักกันในชื่อ วิธีความคลาดเคลื่อนสัมบูรณ์น้อยที่สุด (Least Absolute Deviation Method) โดยเฉพาะอย่างยิ่ง โรเจอร์ โจเซฟ บอสโควิชได้นำวิธีนี้มาใช้ในงานวิจัยเกี่ยวกับรูปร่างของโลกในปี 1757 และปิแอร์-ไซมอน ลาปลาซ ได้ใช้ในปัญหาเดียวกันในปี 1789 และ 1799 ตาม ลำดับ
• การพัฒนาเกณฑ์ที่สามารถประเมินได้เพื่อพิจารณาว่าเมื่อใดจึงจะพบวิธีแก้ปัญหาที่มีข้อผิดพลาดน้อยที่สุด ลาปลาซพยายามกำหนดรูปแบบทางคณิตศาสตร์ของ ความหนาแน่นของ ความน่าจะเป็นสำหรับข้อผิดพลาดและกำหนดวิธีการประมาณค่าที่ลดข้อผิดพลาดในการประมาณค่าให้เหลือน้อยที่สุด เพื่อจุดประสงค์นี้ ลาปลาซใช้การแจกแจงเอกซ์โพเนนเชียลแบบสมมาตรสองด้านที่เราเรียกว่าการแจกแจงลาปลาซเพื่อจำลองการแจกแจงข้อผิดพลาด และใช้ผลรวมของค่าเบี่ยงเบนสัมบูรณ์เป็นข้อผิดพลาดในการประมาณค่า เขารู้สึกว่านี่เป็นสมมติฐานที่ง่ายที่สุดที่เขาสามารถทำได้ และเขาหวังว่าจะได้ค่าเฉลี่ยเลขคณิตเป็นค่าประมาณที่ดีที่สุด แต่ในที่สุด ตัวประมาณค่าของเขากลับเป็นค่ามัธยฐานภายหลัง

การอธิบายวิธีการกำลังสองน้อยที่สุดที่ชัดเจนและกระชับครั้งแรกได้รับการตีพิมพ์โดยLegendreในปี 1805 ^{[ 6 ]} เทคนิคนี้อธิบายว่าเป็นกระบวนการทางพีชคณิตสำหรับการปรับสมการเชิงเส้นให้เข้ากับข้อมูล และ Legendre ได้สาธิตวิธีการใหม่นี้โดยการวิเคราะห์ข้อมูลเดียวกันกับที่ Laplace ใช้สำหรับรูปร่างของโลก ภายในสิบปีหลังจากที่ Legendre ตีพิมพ์ วิธีการกำลังสองน้อยที่สุดได้รับการยอมรับให้เป็นเครื่องมือมาตรฐานในดาราศาสตร์และธรณีวิทยาในฝรั่งเศสอิตาลีและปรัสเซียซึ่งถือเป็นการยอมรับเทคนิคทางวิทยาศาสตร์ที่รวดเร็วอย่างเหลือเชื่อ^{[ 2 ]}

ในปี ค.ศ. 1809 คาร์ล ฟรีดริช เกาส์ได้ตีพิมพ์วิธีการคำนวณวงโคจรของวัตถุท้องฟ้า ในงานนั้นเขาอ้างว่าได้ครอบครองวิธีการกำลังสองน้อยที่สุดมาตั้งแต่ปี ค.ศ. 1795 ^{[ 7 ]}ซึ่งนำไปสู่ข้อพิพาทเรื่องลำดับความสำคัญกับเลอฌองเดร อย่างไรก็ตาม เกาส์ได้ก้าวข้ามเลอฌองเดรไปและประสบความสำเร็จในการเชื่อมโยงวิธีการกำลังสองน้อยที่สุดกับหลักการของความน่าจะเป็นและการแจกแจงปกติเขาสามารถทำให้โปรแกรมของลาปลาซสมบูรณ์ในการระบุรูปแบบทางคณิตศาสตร์ของความหนาแน่นความน่าจะเป็นสำหรับการสังเกตการณ์ ซึ่งขึ้นอยู่กับพารามิเตอร์ที่ไม่ทราบค่าจำนวนจำกัด และกำหนดวิธีการประมาณค่าที่ลดข้อผิดพลาดในการประมาณค่าให้น้อยที่สุด เกาส์แสดงให้เห็นว่าค่าเฉลี่ยเลขคณิตเป็นค่าประมาณที่ดีที่สุดของพารามิเตอร์ตำแหน่งโดยการเปลี่ยนทั้งความหนาแน่นความน่าจะเป็นและวิธีการประมาณค่า จากนั้นเขาก็พลิกปัญหาโดยถามว่าความหนาแน่นควรมีรูปแบบใดและควรใช้วิธีการประมาณค่าใดเพื่อให้ได้ค่าเฉลี่ยเลขคณิตเป็นค่าประมาณของพารามิเตอร์ตำแหน่ง จากการทดลองนี้ เขาได้คิดค้นการแจกแจงแบบปกติขึ้นมา

การสาธิตประสิทธิภาพของวิธีการของเกาส์ใน ยุคแรกๆ เกิดขึ้นเมื่อนำไปใช้ในการทำนายตำแหน่งในอนาคตของดาวเคราะห์น้อยเซเรส ที่เพิ่งค้นพบใหม่ เมื่อวันที่ 1 มกราคม ค.ศ. 1801 นักดาราศาสตร์ชาวอิตาลีจูเซปเป ปิอาซซีค้นพบเซเรสและสามารถติดตามเส้นทางของมันได้เป็นเวลา 40 วันก่อนที่มันจะหายไปในแสงจ้าของดวงอาทิตย์ จากข้อมูลเหล่านี้ นักดาราศาสตร์ต้องการกำหนดตำแหน่งของเซเรสหลังจากที่มันโผล่พ้นหลังดวงอาทิตย์โดยไม่ต้องแก้สมการ การเคลื่อนที่ของดาวเคราะห์ แบบไม่เชิงเส้นที่ซับซ้อนของเคปเลอร์ การทำนายเพียงอย่างเดียวที่ช่วยให้นักดาราศาสตร์ชาวฮังการี ฟรานซ์ ซาเวียร์ ฟอน แซค สามารถระบุตำแหน่งของเซเรส ได้สำเร็จคือการทำนายที่ดำเนินการโดยเกาส์ซึ่งมีอายุเพียง 24 ปี โดยใช้การวิเคราะห์แบบกำลังสองน้อยที่สุด

ในปี ค.ศ. 1810 หลังจากอ่านงานของเกาส์แล้ว ลาปลาซ หลังจากพิสูจน์ทฤษฎีบทลิมิตกลาง แล้ว ได้นำทฤษฎีบท นี้มาใช้เพื่อให้เหตุผลสนับสนุนวิธีการกำลังสองน้อยที่สุดและการแจกแจงแบบปกติสำหรับตัวอย่างขนาดใหญ่ ในปี ค.ศ. 1822 เกาส์สามารถกล่าวได้ว่าวิธีการกำลังสองน้อยที่สุดในการวิเคราะห์การถดถอยนั้นเหมาะสมที่สุดในแง่ที่ว่าในแบบจำลองเชิงเส้นที่ค่าความคลาดเคลื่อนมีค่าเฉลี่ยเป็นศูนย์ ไม่มีความสัมพันธ์กัน มีการแจกแจงแบบปกติ และมีความแปรปรวนเท่ากัน ตัวประมาณค่าสัมประสิทธิ์เชิงเส้นที่ไม่เอนเอียงที่ดีที่สุดคือตัวประมาณค่ากำลังสองน้อยที่สุด ผลลัพธ์ที่ขยายเพิ่มเติมจากนี้เป็นที่รู้จักกันในชื่อทฤษฎีบทเกาส์-มาร์คอฟ

แนวคิดของการวิเคราะห์กำลังสองน้อยที่สุดได้รับการคิดค้นขึ้นโดยอิสระโดยRobert Adrain ชาวอเมริกัน ในปี พ.ศ. 2351 ในอีกสองศตวรรษต่อมา นักวิจัยในทฤษฎีข้อผิดพลาดและสถิติได้ค้นพบวิธีการต่างๆ มากมายในการนำการวิเคราะห์กำลังสองน้อยที่สุดมาใช้^{[ 8 ]}

วัตถุประสงค์คือการปรับพารามิเตอร์ของฟังก์ชันแบบจำลองให้เหมาะสมกับชุดข้อมูลมากที่สุด ชุดข้อมูลอย่างง่ายประกอบด้วยจุดข้อมูลnจุด (คู่ข้อมูล) , i = 1, …, nโดยที่เป็นตัวแปรอิสระและเป็นตัวแปรตามซึ่งค่าได้มาจากการสังเกต ฟังก์ชันแบบจำลองมีรูปแบบโดยที่ พารามิเตอร์ที่ปรับได้ mตัวถูกเก็บไว้ในเวกเตอร์เป้าหมายคือการหาค่าพารามิเตอร์สำหรับแบบจำลองที่ "เหมาะสม" กับข้อมูลมากที่สุด ความเหมาะสมของแบบจำลองกับจุดข้อมูลวัดได้จากค่าส่วนเหลือซึ่งกำหนดให้เป็นความแตกต่างระหว่างค่าที่สังเกตได้ของตัวแปรตามและค่าที่ทำนายโดยแบบจำลอง: ${\displaystyle (x_{i},y_{i})\!}$${\displaystyle x_{i}\!}$${\displaystyle y_{i}\!}$${\displaystyle f(x,{\boldสัญลักษณ์ {\beta }})}$${\displaystyle {\boldสัญลักษณ์ {\beta }}}$$${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$

วิธีกำลังสองน้อยที่สุดจะค้นหาค่าพารามิเตอร์ที่เหมาะสมที่สุดโดยการลดผลรวมของกำลังสองของส่วนเหลือ ให้น้อย ^{ที่สุด} : [ ^{9 ]}${\displaystyle S}$$${\displaystyle S=\sum _{i=1}^{n}r_{i}^{2}.}$$

ในกรณีที่ง่ายที่สุดผลลัพธ์ของวิธีการกำลังสองน้อยที่สุดคือค่าเฉลี่ยเลขคณิตของข้อมูลที่ป้อนเข้าไป ${\displaystyle f(x_{i},{\boldsymbol {\beta }})={\boldsymbol {\beta }}}$

ตัวอย่างของแบบจำลองในสองมิติคือแบบจำลองเส้นตรง โดยกำหนดให้จุดตัดแกน yเป็นและความชันเป็นฟังก์ชันแบบจำลองจะกำหนดโดยดูตัวอย่างการคำนวณอย่างละเอียดของแบบจำลองนี้ได้ในหัวข้อ วิธี การกำลังสองน้อยที่สุดเชิงเส้น${\displaystyle \beta _{0}}$${\displaystyle \beta _{1}}$${\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x}$

จุดข้อมูลหนึ่งจุดอาจประกอบด้วยตัวแปรอิสระมากกว่าหนึ่งตัว ตัวอย่างเช่น เมื่อทำการปรับระนาบให้เข้ากับชุดการวัดความสูง ระนาบนั้นจะเป็นฟังก์ชันของตัวแปรอิสระสองตัว คือxและzในกรณีทั่วไปที่สุด อาจมีตัวแปรอิสระหนึ่งตัวหรือมากกว่า และตัวแปรตามหนึ่งตัวหรือมากกว่า ณ จุดข้อมูลแต่ละจุด

ทางด้านขวาเป็นแผนภาพส่วนเหลือที่แสดงความผันผวนแบบสุ่มเกี่ยวกับ ซึ่งบ่งชี้ว่าแบบจำลองเชิงเส้นมีความเหมาะสมเป็นตัวแปรสุ่มอิสระ^{[ 9 ]}${\displaystyle r_{i}=0}$${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i})}$${\displaystyle U_{i}}$  

หากจุดตกค้างมีรูปร่างบางอย่างและไม่ผันผวนแบบสุ่ม โมเดลเชิงเส้นจะไม่เหมาะสม ตัวอย่างเช่น หากพล็อตตกค้างมีรูปร่างพาราโบลาดังที่เห็นทางด้านขวา โมเดลพาราโบลาจะเหมาะสมกับข้อมูล สามารถคำนวณค่าตกค้างสำหรับโมเดลพาราโบลาได้โดยใช้^{[ 9 ]}${\displaystyle (Y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+U_{i})}$${\displaystyle r_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}-{\hat {\beta }}_{2}x_{i}^{2}}$

สูตรการถดถอยนี้พิจารณาเฉพาะข้อผิดพลาดในการสังเกตในตัวแปรตามเท่านั้น (แต่ การถดถอย กำลังสองน้อยที่สุด แบบทางเลือก สามารถพิจารณาข้อผิดพลาดในทั้งสองตัวแปรได้) มีสองบริบทที่ค่อนข้างแตกต่างกันซึ่งมีนัยสำคัญต่างกัน:

• การถดถอยเพื่อการทำนาย ในที่นี้จะสร้างแบบจำลองเพื่อให้ได้กฎการทำนายสำหรับการนำไปใช้ในสถานการณ์ที่คล้ายคลึงกับข้อมูลที่ใช้ในการสร้างแบบจำลอง ตัวแปรตามที่เกี่ยวข้องกับการใช้งานในอนาคตดังกล่าวจะอยู่ภายใต้ข้อผิดพลาดในการสังเกตประเภทเดียวกันกับข้อมูลที่ใช้ในการสร้างแบบจำลอง ดังนั้นจึงมีความสอดคล้องทางตรรกะที่จะใช้กฎการทำนายแบบกำลังสองน้อยที่สุดสำหรับข้อมูลดังกล่าว
• การถดถอยสำหรับการปรับ "ความสัมพันธ์ที่แท้จริง" ในการวิเคราะห์การถดถอย มาตรฐาน ที่นำไปสู่การปรับโดยใช้กำลังสองน้อยที่สุด มีข้อสมมติโดยปริยายว่าข้อผิดพลาดในตัวแปรอิสระเป็นศูนย์หรือถูกควบคุมอย่างเข้มงวดจนสามารถละเลยได้ เมื่อข้อผิดพลาดในตัวแปรอิสระไม่สามารถละเลยได้สามารถใช้แบบจำลองข้อผิดพลาดในการวัด ได้ วิธีการดังกล่าวสามารถนำไปสู่ การประมาณค่าพารามิเตอร์การทดสอบสมมติฐานและช่วงความเชื่อมั่นที่คำนึงถึงการมีอยู่ของข้อผิดพลาดในการสังเกตในตัวแปรอิสระ^{[ 10 ]}แนวทางอื่นคือการปรับแบบจำลองโดยใช้กำลังสองน้อยที่สุดทั้งหมดซึ่งสามารถมองได้ว่าเป็นการใช้แนวทางเชิงปฏิบัติเพื่อสร้างสมดุลผลกระทบของแหล่งที่มาของข้อผิดพลาดที่แตกต่างกันในการกำหนดฟังก์ชันวัตถุประสงค์เพื่อใช้ในการปรับแบบจำลอง

ค่าต่ำสุดของผลรวมกำลังสองจะพบได้โดยการกำหนดให้เกรเดียนต์เป็นศูนย์ เนื่องจากแบบจำลองมี พารามิเตอร์ mตัว จึงมีสมการเกรเดียนต์ m สมการ และเนื่องจากสมการเกรเดียนต์จึงกลายเป็น $${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,}$$${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$$${\displaystyle -2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.}$$

สมการเกรเดียนต์ใช้ได้กับปัญหาการกำลังสองน้อยที่สุดทั้งหมด แต่ละปัญหาเฉพาะต้องการนิพจน์เฉพาะสำหรับแบบจำลองและอนุพันธ์ย่อย^{[ 11 ]}

แบบจำลองการถดถอยเป็นแบบจำลองเชิงเส้นเมื่อแบบจำลองประกอบด้วยการรวมเชิงเส้นของพารามิเตอร์ กล่าวคือ ฟังก์ชันเป็นฟังก์ชันของ^{[ 11 ]}$${\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),}$$${\displaystyle \phi _{j}}$${\displaystyle x}$

เมื่อกำหนดตัวแปรอิสระและตัวแปรตามลงในเมทริกซ์และตามลำดับ เราสามารถคำนวณกำลังสองน้อยที่สุดได้ด้วยวิธีต่อไปนี้ โปรดทราบว่าคือเซตของข้อมูลทั้งหมด^{[ 11 ] [ 12 ]}${\displaystyle X_{ij}=\phi _{j}(x_{i})}$${\displaystyle X}$${\displaystyle Y,}$${\displaystyle D}$$${\displaystyle L(D,{\boldsymbol {\beta }})=\left\|Y-X{\boldsymbol {\beta }}\right\|^{2}=(Y-X{\boldsymbol {\beta }})^{\mathsf {T}}(Y-X{\boldsymbol {\beta }})}$$$${\displaystyle =Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$

ค่าความชันของฟังก์ชันความสูญเสียคือ: $${\displaystyle {\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$

เมื่อตั้งค่าเกรเดียนต์ของการสูญเสียเป็นศูนย์และแก้หาเราจะได้: ^{[ 12 ] [ 11 ]}${\displaystyle {\boldsymbol {\beta }}}$$${\displaystyle -2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}}$$$${\displaystyle {\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y}$$

ในบางกรณี ปัญหาการหาค่ากำลังสองน้อยที่สุดแบบไม่เชิงเส้นอาจมีคำตอบในรูปแบบปิด – แต่โดยทั่วไปแล้วมักไม่มี ในกรณีที่ไม่มีคำตอบในรูปแบบปิด จะใช้อัลกอริธึมเชิงตัวเลขเพื่อหาค่าของพารามิเตอร์ ที่ทำให้ค่าเป้าหมายต่ำสุด อัลกอริธึมส่วนใหญ่เกี่ยวข้องกับการเลือกค่าเริ่มต้นสำหรับพารามิเตอร์ จากนั้นจะปรับปรุงพารามิเตอร์แบบวนซ้ำ กล่าวคือ ค่าต่างๆ จะได้รับจากการประมาณค่าต่อเนื่อง โดยที่ตัวยกkคือหมายเลขการวนซ้ำ และเวกเตอร์ของการเพิ่มขึ้น เรียกว่าเวกเตอร์การเลื่อน ในอัลกอริธึมที่ใช้กันทั่วไปบางตัว ในแต่ละรอบการวนซ้ำ แบบจำลองอาจถูกทำให้เป็นเชิงเส้นโดยการประมาณค่าด้วย การขยายอนุกรมเทย์เลอร์อันดับแรก เกี่ยวกับ : ${\displaystyle \beta }$$${\displaystyle {\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},}$$${\displaystyle \Delta \beta _{j}}$${\displaystyle {\boldsymbol {\beta }}^{k}}$$${\displaystyle {\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\[1ex]&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}}$$

ค่าJacobian Jเป็นฟังก์ชันของค่าคงที่ ตัวแปรอิสระและพารามิเตอร์ ดังนั้นจึงเปลี่ยนแปลงไปในแต่ละรอบการคำนวณ ค่าความคลาดเคลื่อนจะกำหนดโดย $${\displaystyle r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.}$$

เพื่อลดผลรวมกำลังสองของให้ตั้งค่าสมการเกรเดียนต์เป็นศูนย์และแก้หาค่าซึ่ง เมื่อจัดเรียงใหม่จะได้สมการเชิงเส้นพร้อมกันm สมการ หรือสมการปกติ ดังนี้ : ${\displaystyle r_{i}}$${\displaystyle \Delta \beta _{j}}$$${\displaystyle -2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,}$$$${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).}$$

สมการปกติจะเขียนในรูปแบบเมทริกซ์ดังนี้ $${\displaystyle \left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\Delta \mathbf {y} .}$$

นี่คือสมการพื้นฐานของอัลกอริทึมเกาส์-นิวตัน

• ฟังก์ชันแบบจำลองfใน LLSQ (วิธีกำลังสองน้อยที่สุดเชิงเส้น) คือการรวมกันเชิงเส้นของพารามิเตอร์ในรูปแบบ f(x ) แบบจำลองอาจแสดงถึงเส้นตรง พาราโบลา หรือการรวมกันเชิงเส้นของฟังก์ชันอื่นๆ ใน NLLSQ (วิธีกำลังสองน้อยที่สุดแบบไม่เชิงเส้น) พารามิเตอร์จะปรากฏเป็นฟังก์ชัน เช่น f(x) = f(x) + ...${\displaystyle f=X_{i1}\beta _{1}+X_{i2}\beta _{2}+\cdots }$${\displaystyle \beta ^{2},e^{\beta x}}$${\displaystyle \partial f/\partial \beta _{j}}$
• จำเป็นต้องใช้ค่าเริ่มต้นสำหรับพารามิเตอร์เพื่อหาคำตอบของปัญหา NLLSQ; ส่วน LLSQ ไม่จำเป็นต้องใช้ค่าเริ่มต้นเหล่านั้น
• อัลกอริทึมการแก้ปัญหาสำหรับ NLLSQ มักต้องการให้สามารถคำนวณเมทริกซ์จาโคเบียนได้เช่นเดียวกับ LLSQ นิพจน์เชิงวิเคราะห์สำหรับอนุพันธ์ย่อยอาจซับซ้อน หากไม่สามารถหานิพจน์เชิงวิเคราะห์ได้ จะต้องคำนวณอนุพันธ์ย่อยโดยใช้การประมาณเชิงตัวเลข หรือต้องประมาณค่าเมทริกซ์จาโคเบียน ซึ่งมักทำโดยใช้วิธี ผล ต่างจำกัด
• การไม่บรรจบกัน (ความล้มเหลวของอัลกอริทึมในการค้นหาค่าต่ำสุด) เป็นปรากฏการณ์ที่พบได้ทั่วไปใน NLLSQ
• LLSQ เป็นฟังก์ชันเว้าทั่วโลก ดังนั้นปัญหาการไม่บรรจบกันจึงไม่ใช่ปัญหา
• การแก้ปัญหา NLLSQ โดยทั่วไปเป็นกระบวนการวนซ้ำซึ่งต้องยุติลงเมื่อตรงตามเกณฑ์การลู่เข้า ส่วนการแก้ปัญหา LLSQ สามารถคำนวณได้โดยใช้วิธีโดยตรง แม้ว่าปัญหาที่มีพารามิเตอร์จำนวนมากมักจะแก้ด้วยวิธีการวนซ้ำ เช่น วิธี Gauss–Seidelก็ตาม
• ใน LLSQ คำตอบมีเพียงหนึ่งเดียว แต่ใน NLLSQ ผลรวมของกำลังสองอาจมีค่าต่ำสุดหลายค่า
• ภายใต้เงื่อนไขที่ว่าข้อผิดพลาดไม่มีความสัมพันธ์กับตัวแปรทำนาย LLSQ จะให้ค่าประมาณที่ไม่เอนเอียง แต่แม้ภายใต้เงื่อนไขนั้น ค่าประมาณของ NLLSQ โดยทั่วไปก็ยังมีความเอนเอียงอยู่ดี

ความแตกต่างเหล่านี้จะต้องได้รับการพิจารณาทุกครั้งที่มีการค้นหาวิธีแก้ปัญหากำลังสองน้อยที่สุดแบบไม่เชิงเส้น^{[ 11 ]}

พิจารณาตัวอย่างง่ายๆ จากฟิสิกส์ สปริงควรปฏิบัติตามกฎของฮุคซึ่งระบุว่าการยืดตัวของสปริงyเป็นสัดส่วนกับแรงFที่กระทำต่อมัน ประกอบเป็นแบบจำลอง โดยที่Fเป็นตัวแปรอิสระ ในการประมาณค่า คงที่ ของแรงk เราทำการวัด nครั้งด้วยแรงที่แตกต่างกันเพื่อสร้างชุดข้อมูลโดยที่y คือการยืดตัวของสปริงที่วัดได้^{[ 13 ]}การสังเกตเชิงทดลองแต่ละครั้งจะมีข้อผิดพลาดบางอย่างดังนั้นเราอาจกำหนดแบบจำลองเชิงประจักษ์สำหรับการสังเกตของเรา $${\displaystyle y=f(F,k)=kF}$$${\displaystyle (F_{i},y_{i}),\ i=1,\dots ,n\!}$${\displaystyle \varepsilon }$$${\displaystyle y_{i}=kF_{i}+\varepsilon _{i}.}$$

มีหลายวิธีที่เราอาจใช้ในการประมาณค่าพารามิเตอร์ที่ไม่ทราบค่าkเนื่องจาก สมการ nใน ตัวแปร mในข้อมูลของเราประกอบเป็นระบบที่มีตัวแปรเกินจำนวนที่กำหนดโดยมีตัวแปรที่ไม่ทราบค่า 1 ตัวและ สมการ nตัว เราจึงประมาณค่าkโดยใช้กำลังสองน้อยที่สุด ผลรวมของกำลังสองที่จะต้องทำให้น้อยที่สุดคือ^{[ 11 ]}$${\displaystyle S=\sum _{i=1}^{n}\left(y_{i}-kF_{i}\right)^{2}.}$$

ค่าประมาณกำลังสองน้อยที่สุดของค่าคงที่แรงkกำหนดโดย $${\displaystyle {\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.}$$

เราตั้งสมมติฐานว่าการออกแรงทำให้สปริงยืดออก หลังจากหาค่าคงที่ของแรงโดยใช้วิธีการหาค่าที่เหมาะสมที่สุดแบบกำลังสองน้อยที่สุดแล้ว เราจึงทำนายการยืดตัวของสปริงจากกฎของฮุค

ในการคำนวณกำลังสองน้อยที่สุดด้วยน้ำหนักหน่วย หรือในการถดถอยเชิงเส้น ความแปรปรวนของ พารามิเตอร์ที่ jซึ่งแสดงด้วยมักจะประมาณด้วย โดย ที่ความแปรปรวนของข้อผิดพลาดที่แท้จริงσ²จะถูกแทนที่ด้วยค่าประมาณสถิติไคกำลังสองที่ลดลง^โดยอิงจากค่าต่ำสุดของผลรวมกำลังสองของส่วนเหลือ (ฟังก์ชันเป้าหมาย) Sตัวส่วนn  −  mคือระดับความเป็นอิสระทางสถิติดูระดับความเป็นอิสระที่มีประสิทธิภาพสำหรับการวางนัยทั่วไป^{[ 11 ]} Cคือ เมท ริก ซ์ความแปรปรวนร่วม${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})}$$${\displaystyle \operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},}$$$${\displaystyle {\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}}$$$${\displaystyle C=\left(X^{\mathsf {T}}X\right)^{-1},}$$

หาก ทราบ การแจกแจงความน่าจะเป็นของพารามิเตอร์หรือมีการประมาณค่าแบบเชิงเส้นกำกับ ก็สามารถหา ขอบเขตความเชื่อมั่นได้ ในทำนองเดียวกัน สามารถทำการทดสอบทางสถิติกับค่าตกค้างได้หากทราบหรือสมมติการแจกแจงความน่าจะเป็นของค่าตกค้าง เราสามารถหาการแจกแจงความน่าจะเป็นของผลรวมเชิงเส้นใดๆ ของตัวแปรตามได้หากทราบหรือสมมติการแจกแจงความน่าจะเป็นของข้อผิดพลาดในการทดลอง การอนุมานทำได้ง่ายเมื่อสมมติว่าข้อผิดพลาดมีการแจกแจงแบบปกติ ซึ่งหมายความว่าค่าประมาณพารามิเตอร์และค่าตกค้างจะมีการแจกแจงแบบปกติเช่นกันเมื่อพิจารณาจากค่าของตัวแปรอิสระ^{[ 11 ]}

เพื่อทดสอบผลลัพธ์ทางสถิติ จำเป็นต้องตั้งสมมติฐานเกี่ยวกับลักษณะของความคลาดเคลื่อนในการทดลอง สมมติฐานที่ใช้กันทั่วไปคือ ความคลาดเคลื่อนนั้นเป็นไปตามการแจกแจงแบบปกติทฤษฎีบทขีดจำกัดกลางสนับสนุนแนวคิดที่ว่านี่เป็นการประมาณที่ดีในหลายกรณี

• ทฤษฎีบท เกาส์-มาร์คอฟในแบบจำลองเชิงเส้นที่ข้อผิดพลาดมีค่าเฉลี่ยเป็นศูนย์โดยมีเงื่อนไขตามตัวแปรอิสระไม่มีความสัมพันธ์กันและมีความแปรปรวน เท่ากัน ตัวประมาณเชิงเส้น ที่ไม่เอนเอียงที่ดีที่สุดของผลรวมเชิงเส้นใดๆ ของการสังเกต คือตัวประมาณกำลังสองน้อยที่สุด "ดีที่สุด" หมายความว่าตัวประมาณกำลังสองน้อยที่สุดของพารามิเตอร์มีความแปรปรวนน้อยที่สุด สมมติฐานเรื่องความแปรปรวนเท่ากันนั้นใช้ได้เมื่อข้อผิดพลาดทั้งหมดอยู่ในการแจกแจงเดียวกัน^{[ 14 ]}
• หากค่าความคลาดเคลื่อนเป็นไปตามการแจกแจงแบบปกติ ตัวประมาณค่ากำลังสองน้อยที่สุดก็จะเป็นตัวประมาณค่าความน่าจะเป็นสูงสุดในแบบจำลองเชิงเส้น ด้วยเช่นกัน

อย่างไรก็ตาม สมมติว่าค่าความคลาดเคลื่อนไม่ได้มีการกระจายแบบปกติ ในกรณีนั้นทฤษฎีบทขีดจำกัดกลางมักจะบ่งชี้ว่าค่าประมาณพารามิเตอร์จะมีการกระจายแบบปกติโดยประมาณ ตราบใดที่ขนาดตัวอย่างมีขนาดใหญ่พอสมควร ด้วยเหตุนี้ เมื่อพิจารณาถึงคุณสมบัติที่สำคัญที่ว่าค่าเฉลี่ยของความคลาดเคลื่อนเป็นอิสระจากตัวแปรอิสระ การกระจายของค่าความคลาดเคลื่อนจึงไม่ใช่ประเด็นสำคัญในการวิเคราะห์การถดถอย โดยเฉพาะอย่างยิ่ง โดยทั่วไปแล้วไม่สำคัญว่าค่าความคลาดเคลื่อนจะมีการกระจายแบบปกติหรือไม่

กรณีพิเศษของกำลังสองน้อยที่สุดแบบทั่วไปที่เรียกว่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนักเกิดขึ้นเมื่อรายการนอกแนวทแยงทั้งหมดของ Ω (เมทริกซ์สหสัมพันธ์ของค่าตกค้าง) เป็น ศูนย์ ความแปรปรวนของการสังเกต (ตามแนวทแยงของเมทริกซ์ความแปรปรวนร่วม) อาจยังคงไม่เท่ากัน ( ความแปรปรวนไม่คงที่ ) ในแง่ที่ง่ายกว่าความแปรปรวนไม่คงที่คือเมื่อความแปรปรวนของขึ้นอยู่กับค่าของซึ่งทำให้แผนภาพค่าตกค้างสร้างเอฟเฟกต์ "แผ่กระจายออก" ไปทางค่าที่มากขึ้นหรือน้อยลงดังที่เห็นในแผนภาพค่าตกค้างทางด้านขวา ในทางกลับกันความแปรปรวนคงที่คือการสมมติว่าความแปรปรวนของและความแปรปรวนของเท่ากัน^{[ 9 ]}${\displaystyle Y_{i}}$${\displaystyle x_{i}}$${\displaystyle Y_{i}}$${\displaystyle Y_{i}}$${\displaystyle U_{i}}$  

องค์ประกอบหลักตัวแรกเกี่ยวกับค่าเฉลี่ยของชุดจุดสามารถแสดงได้ด้วยเส้นที่เข้าใกล้จุดข้อมูลมากที่สุด (วัดจากระยะทางกำลังสองของจุดที่ใกล้ที่สุด กล่าวคือ ตั้งฉากกับเส้น) ในทางตรงกันข้าม วิธีการกำลังสองน้อยที่สุดเชิงเส้นพยายามลดระยะทางในทิศทางเดียวเท่านั้น ดังนั้น แม้ว่าทั้งสองวิธีจะใช้ตัวชี้วัดข้อผิดพลาดที่คล้ายกัน แต่วิธีการกำลังสองน้อยที่สุดเชิงเส้นเป็นวิธีที่ให้ความสำคัญกับมิติหนึ่งของข้อมูลมากกว่า ในขณะที่ PCA ให้ความสำคัญกับทุกมิติอย่างเท่าเทียมกัน ${\displaystyle y}$

นักสถิติชื่อดังSara van de Geerใช้ทฤษฎีกระบวนการเชิงประจักษ์และมิติ Vapnik–Chervonenkisเพื่อพิสูจน์ว่าตัวประมาณค่ากำลังสองน้อยที่สุดสามารถตีความได้ว่าเป็นการวัดบนพื้นที่ของฟังก์ชันกำลังสองที่สามารถอินทิเกรตได้^{[ 15 ]}

ในบางบริบท อาจเป็นที่ต้องการมากกว่าหากใช้เวอร์ชัน ที่มีการปรับค่าของวิธีแก้ปัญหาแบบกำลังสองน้อย ที่สุด การปรับค่าแบบ Tikhonov (หรือการถดถอยแบบสัน ) จะเพิ่มข้อจำกัดที่ว่าค่ากำลังสองของนอร์มของเวกเตอร์พารามิเตอร์จะต้องไม่มากกว่าค่าที่กำหนดให้กับสูตรกำลังสองน้อยที่สุด ซึ่งนำไปสู่ปัญหาการลดค่าแบบมีข้อจำกัด ซึ่งเทียบเท่ากับปัญหาการลดค่าแบบไม่มีข้อจำกัด โดยที่ฟังก์ชันเป้าหมายคือผลรวมกำลังสองของส่วนเหลือบวกกับเทอมปรับโทษและเป็นพารามิเตอร์การปรับแต่ง (นี่คือ รูปแบบ Lagrangianของปัญหาการลดค่าแบบมีข้อจำกัด) ^{[ 16 ]}${\displaystyle \left\|\beta \right\|_{2}^{2}}$${\displaystyle \ell _{2}}$${\displaystyle \alpha \left\|\beta \right\|_{2}^{2}}$${\displaystyle \alpha }$

ใน บริบทแบบ เบย์เซียนนี่เทียบเท่ากับการกำหนดค่าเริ่มต้นแบบ กระจายปกติที่มีค่าเฉลี่ยเป็นศูนย์ ให้กับเวกเตอร์พารามิเตอร์

Lasso (least absolute shrinkage and selection operator) เป็น อีกเวอร์ชันหนึ่งของการปรับค่ากำลังสองน้อยที่สุดแบบปกติซึ่งใช้ข้อจำกัดที่ว่าค่าL1 normของเวกเตอร์พารามิเตอร์จะต้องไม่เกินค่าที่กำหนด^{[ 17 ] [ 18 ] [ 19 ]} (สามารถแสดงได้ดังข้างต้นโดยใช้ตัวคูณลากรางจ์ว่านี่เทียบเท่ากับการลดค่าปรับกำลังสองน้อยที่สุดแบบไม่มีข้อจำกัดโดยเพิ่มเข้าไป) ใน บริบทแบบ เบย์เซียน นี่เทียบเท่ากับการวางการแจกแจง แบบลาปลา ซ ก่อนหน้าที่มีค่าเฉลี่ยเป็นศูนย์บนเวกเตอร์พารามิเตอร์^{[ 20 ]}ปัญหาการเพิ่มประสิทธิภาพอาจแก้ไขได้โดยใช้การเขียนโปรแกรมกำลังสองหรือ วิธี การเพิ่มประสิทธิภาพแบบนูน ทั่วไปมากขึ้น รวมถึงอัลกอริทึมเฉพาะ เช่นอัลกอริทึม การถดถอยมุมน้อยที่สุด${\displaystyle \|\beta \|_{1}}$${\displaystyle \alpha \|\beta \|_{1}}$

ความแตกต่างที่สำคัญอย่างหนึ่งระหว่าง Lasso และ ridge regression คือ ใน ridge regression เมื่อค่าปรับเพิ่มขึ้น พารามิเตอร์ทั้งหมดจะลดลงในขณะที่ยังคงไม่เป็นศูนย์ ในขณะที่ใน Lasso การเพิ่มค่าปรับจะทำให้พารามิเตอร์จำนวนมากขึ้นเรื่อยๆ ถูกผลักไปที่ศูนย์ นี่เป็นข้อได้เปรียบของ Lasso เหนือ ridge regression เนื่องจาก1การผลักพารามิเตอร์ไปที่ศูนย์จะตัดฟีเจอร์ออกจากการถดถอย ดังนั้น Lasso จึงเลือกฟีเจอร์ที่เกี่ยวข้องมากกว่าโดยอัตโนมัติและทิ้งฟีเจอร์อื่นๆ ในขณะที่ Ridge regression ไม่เคยทิ้งฟีเจอร์ใดๆ อย่างสมบูรณ์ เทคนิค การเลือกฟีเจอร์ บางอย่าง ได้รับการพัฒนาขึ้นโดยอิงจาก LASSO รวมถึง Bolasso ซึ่งใช้ bootstraps กับตัวอย่าง^{[ 21 ]} และ FeaLect ซึ่งวิเคราะห์สัมประสิทธิ์การถดถอยที่สอดคล้องกับค่าต่างๆ ของเพื่อให้คะแนนฟีเจอร์ทั้งหมด^{[ 22 ]}${\displaystyle \alpha }$

สูตรL ¹ -regularized มีประโยชน์ในบางบริบทเนื่องจากมีแนวโน้มที่จะเลือกโซลูชันที่มีพารามิเตอร์เป็นศูนย์มากขึ้น ซึ่งให้โซลูชันที่ขึ้นอยู่กับตัวแปรน้อยลง^{[ 17 ]}ด้วยเหตุนี้ Lasso และรูปแบบต่างๆ จึงมีความสำคัญต่อสาขาการรับรู้แบบบีบอัด การขยายแนวทางนี้คือการ ทำให้เป็นมาตรฐานแบบ elastic net

• บียอร์ก, Å. (1996) วิธีการเชิงตัวเลขสำหรับปัญหากำลังสองน้อยที่สุด สยามไอเอสบีเอ็น 978-0-89871-360-2.
• คาริยะ ต.; คูราตะ, เอช. (2004). กำลังสองน้อยที่สุดทั่วไป โฮโบเกน: ไวลีย์ไอเอสบีเอ็น 978-0-470-86697-9.
• Luenberger, DG (1997) [ 1969]. "การประมาณค่ากำลังสองน้อยที่สุด"การหาค่าเหมาะสมที่สุดโดยวิธีพื้นที่เวกเตอร์นิวยอร์ก: John Wiley & Sons หน้า  78–102 ISBN 978-0-471-18117-0.
• Rao, CR ; Toutenburg, H. ; และคณะ (2008). แบบจำลองเชิงเส้น: วิธีกำลังสองน้อยที่สุดและทางเลือกอื่นๆ . ชุดสถิติของ Springer (ฉบับที่ 3). เบอร์ลิน: Springer. ISBN 978-3-540-74226-5.
• Strutz, T. (2016). การปรับข้อมูลให้เข้ากับเงื่อนไขและความไม่แน่นอน: บทนำเชิงปฏิบัติเกี่ยวกับวิธีถ่วงน้ำหนักกำลังสองน้อยที่สุดและอื่นๆ (ฉบับที่ 2). Springer Vieweg. ISBN 978-3-658-11455-8.
• ฟาน เดอ มัวร์เทล, โคเอน (เมษายน 2021) "การวิเคราะห์การถดถอยหลายทิศทาง "
• วอลเบิร์ก, เจ. (2005). การวิเคราะห์ข้อมูลโดยใช้วิธี Least Squares: การดึงข้อมูลที่มีประโยชน์ที่สุดจากการทดลอง . เบอร์ลิน: สปริงเกอร์. ISBN 978-3-540-25674-8.

• สื่อที่เกี่ยวข้องกับวิธีการกำลังสองน้อยที่สุดในวิกิมีเดียคอมมอนส์