กำลังสองน้อยที่สุด

ในการวิเคราะห์การถดถอย วิธีการ กำลังสองน้อยที่สุด ( least squares) เป็นวิธีการหา แบบจำลองที่เหมาะสมที่สุดโดยการลดผลรวมของ กำลังสอง ของส่วนเหลือ ให้เหลือน้อยที่สุด ซึ่งก็คือความแตกต่างระหว่างค่าที่สังเกตได้และค่าที่ทำนายโดยแบบจำลอง

ปัญหาการหาค่ากำลังสองน้อยที่สุดแบ่งออกเป็นสองประเภท ได้แก่ ปัญหาการหาค่ากำลังสองน้อยที่สุดเชิงเส้นหรือแบบธรรมดาและ ปัญหาการหา ค่ากำลังสองน้อยที่สุดแบบไม่เชิงเส้นขึ้นอยู่กับว่าฟังก์ชันของแบบจำลองเป็นเชิงเส้นในตัวแปรที่ไม่ทราบค่าทั้งหมดหรือไม่ ปัญหาการหาค่ากำลังสองน้อยที่สุดเชิงเส้นเกิดขึ้นในการวิเคราะห์การถดถอย ทางสถิติ และมีสูตรสำเร็จรูปในการแก้ปัญหา ส่วนปัญหาแบบไม่เชิงเส้นมักจะแก้โดยการปรับปรุงแบบวนซ้ำในแต่ละรอบการวนซ้ำ ระบบจะถูกประมาณด้วยระบบเชิงเส้น ดังนั้นการคำนวณหลักจึงคล้ายกันในทั้งสองกรณี

วิธีการกำลังสองน้อยที่สุดแบบพหุนามอธิบายความแปรปรวนในการทำนายตัวแปรตามว่าเป็นฟังก์ชันของตัวแปรอิสระและความเบี่ยงเบนจากเส้นโค้งที่เหมาะสม

เมื่อการสังเกตมาจากตระกูลเอกซ์โพเนนเชียลที่มีเอกลักษณ์เป็นสถิติเพียงพอตามธรรมชาติและเงื่อนไขอ่อนๆ เป็นไปตามที่กำหนด (เช่น สำหรับ การแจกแจง แบบปกติเอกซ์โพเนนเชียลปัวซงและทวินาม ) ค่าประมาณกำลังสองน้อยที่สุดมาตรฐานและ ค่าประมาณ ความน่าจะเป็นสูงสุดจะเหมือนกัน^{[ 1 ]}วิธีการกำลังสองน้อยที่สุดยังสามารถได้มาจาก การ ประมาณค่าโมเมนต์ได้ อีกด้วย

ประวัติศาสตร์

วิธีการนี้เป็นผลลัพธ์ของความก้าวหน้าหลายประการที่เกิดขึ้นในช่วงศตวรรษที่สิบแปด: ^{[ 2 ]}

การรวมกันของการสังเกตที่แตกต่างกันถือเป็นการประมาณค่าที่ดีที่สุดของค่าที่แท้จริง ข้อผิดพลาดจะลดลงเมื่อมีการรวมเข้าด้วยกันแทนที่จะเพิ่มขึ้น ปรากฏครั้งแรกใน งานของ ไอแซค นิวตันในปี 1671 แม้ว่าจะไม่ได้ตีพิมพ์ และอีกครั้งในปี 1700 ^{[ 3 ]}^{[ 4 ]}อาจกล่าวได้ว่าโรเจอร์ โคเตส เป็นผู้แสดงออกอย่างเป็นทางการเป็นครั้งแรก ในปี 1722
การรวมการสังเกตที่แตกต่างกันซึ่งดำเนินการภายใต้ เงื่อนไข เดียวกันตรงกันข้ามกับการพยายามสังเกตและบันทึกการสังเกตเพียงครั้งเดียวอย่างแม่นยำ วิธีการนี้เรียกว่าวิธีการหาค่าเฉลี่ย วิธีการนี้ถูกนำมาใช้โดยนิวตันขณะศึกษาปรากฏการณ์วิษุวัตในปี 1700 และยังเขียนสมการปกติชุดแรกที่รู้จักจากวิธีการกำลังสองน้อยที่สุดแบบธรรมดา [ ^{5 ] โท}เบียส เมเยอร์ขณะศึกษาการสั่นไหวของดวงจันทร์ในปี 1750 และปิแอร์-ไซมอน ลาปลาซในงานของเขาในการอธิบายความแตกต่างในการเคลื่อนที่ของดาวพฤหัสบดีและดาวเสาร์ในปี 1788
เป็นการนำผลการสังเกตต่างๆ ที่ได้จาก สภาวะ ที่แตกต่างกัน มารวมกัน วิธีนี้จึงเป็นที่รู้จักกันในชื่อ วิธีความคลาดเคลื่อนสัมบูรณ์น้อยที่สุด (Least Absolute Deviation Method) โดยเฉพาะอย่างยิ่ง โรเจอร์ โจเซฟ บอสโควิชได้นำวิธีนี้มาใช้ในงานวิจัยเกี่ยวกับรูปร่างของโลกในปี 1757 และปิแอร์-ไซมอน ลาปลาซ ได้ใช้ในปัญหาเดียวกันในปี 1789 และ 1799 ตาม ลำดับ
การพัฒนาเกณฑ์ที่สามารถประเมินได้เพื่อพิจารณาว่าเมื่อใดจึงจะพบวิธีแก้ปัญหาที่มีข้อผิดพลาดน้อยที่สุด ลาปลาซพยายามกำหนดรูปแบบทางคณิตศาสตร์ของ ความหนาแน่นของ ความน่าจะเป็นสำหรับข้อผิดพลาดและกำหนดวิธีการประมาณค่าที่ลดข้อผิดพลาดในการประมาณค่าให้เหลือน้อยที่สุด เพื่อจุดประสงค์นี้ ลาปลาซใช้การแจกแจงเอกซ์โพเนนเชียลแบบสมมาตรสองด้านที่เราเรียกว่าการแจกแจงลาปลาซเพื่อจำลองการแจกแจงข้อผิดพลาด และใช้ผลรวมของค่าเบี่ยงเบนสัมบูรณ์เป็นข้อผิดพลาดในการประมาณค่า เขารู้สึกว่านี่เป็นสมมติฐานที่ง่ายที่สุดที่เขาสามารถทำได้ และเขาหวังว่าจะได้ค่าเฉลี่ยเลขคณิตเป็นค่าประมาณที่ดีที่สุด แต่ในที่สุด ตัวประมาณค่าของเขากลับเป็นค่ามัธยฐานภายหลัง

วิธีการ

การอธิบายวิธีการกำลังสองน้อยที่สุดที่ชัดเจนและกระชับครั้งแรกได้รับการตีพิมพ์โดยLegendreในปี 1805 ^{[ 6 ]} เทคนิคนี้อธิบายว่าเป็นกระบวนการทางพีชคณิตสำหรับการปรับสมการเชิงเส้นให้เข้ากับข้อมูล และ Legendre ได้สาธิตวิธีการใหม่นี้โดยการวิเคราะห์ข้อมูลเดียวกันกับที่ Laplace ใช้สำหรับรูปร่างของโลก ภายในสิบปีหลังจากที่ Legendre ตีพิมพ์ วิธีการกำลังสองน้อยที่สุดได้รับการยอมรับให้เป็นเครื่องมือมาตรฐานในดาราศาสตร์และธรณีวิทยาในฝรั่งเศสอิตาลีและปรัสเซียซึ่งถือเป็นการยอมรับเทคนิคทางวิทยาศาสตร์ที่รวดเร็วอย่างเหลือเชื่อ^[²^]

ในปี ค.ศ. 1809 คาร์ล ฟรีดริช เกาส์ได้ตีพิมพ์วิธีการคำนวณวงโคจรของวัตถุท้องฟ้า ในงานนั้นเขาอ้างว่าได้ครอบครองวิธีการกำลังสองน้อยที่สุดมาตั้งแต่ปี ค.ศ. 1795 ^{[ 7 ]}ซึ่งนำไปสู่ข้อพิพาทเรื่องลำดับความสำคัญกับเลอฌองเดร อย่างไรก็ตาม เกาส์ได้ก้าวข้ามเลอฌองเดรไปและประสบความสำเร็จในการเชื่อมโยงวิธีการกำลังสองน้อยที่สุดกับหลักการของความน่าจะเป็นและการแจกแจงปกติเขาสามารถทำให้โปรแกรมของลาปลาซสมบูรณ์ในการระบุรูปแบบทางคณิตศาสตร์ของความหนาแน่นความน่าจะเป็นสำหรับการสังเกตการณ์ ซึ่งขึ้นอยู่กับพารามิเตอร์ที่ไม่ทราบค่าจำนวนจำกัด และกำหนดวิธีการประมาณค่าที่ลดข้อผิดพลาดในการประมาณค่าให้น้อยที่สุด เกาส์แสดงให้เห็นว่าค่าเฉลี่ยเลขคณิตเป็นค่าประมาณที่ดีที่สุดของพารามิเตอร์ตำแหน่งโดยการเปลี่ยนทั้งความหนาแน่นความน่าจะเป็นและวิธีการประมาณค่า จากนั้นเขาก็พลิกปัญหาโดยถามว่าความหนาแน่นควรมีรูปแบบใดและควรใช้วิธีการประมาณค่าใดเพื่อให้ได้ค่าเฉลี่ยเลขคณิตเป็นค่าประมาณของพารามิเตอร์ตำแหน่ง จากการทดลองนี้ เขาได้คิดค้นการแจกแจงแบบปกติขึ้นมา

การสาธิตประสิทธิภาพของวิธีการของเกาส์ใน ยุคแรกๆ เกิดขึ้นเมื่อนำไปใช้ในการทำนายตำแหน่งในอนาคตของดาวเคราะห์น้อยเซเรส ที่เพิ่งค้นพบใหม่ เมื่อวันที่ 1 มกราคม ค.ศ. 1801 นักดาราศาสตร์ชาวอิตาลีจูเซปเป ปิอาซซีค้นพบเซเรสและสามารถติดตามเส้นทางของมันได้เป็นเวลา 40 วันก่อนที่มันจะหายไปในแสงจ้าของดวงอาทิตย์ จากข้อมูลเหล่านี้ นักดาราศาสตร์ต้องการกำหนดตำแหน่งของเซเรสหลังจากที่มันโผล่พ้นหลังดวงอาทิตย์โดยไม่ต้องแก้สมการ การเคลื่อนที่ของดาวเคราะห์ แบบไม่เชิงเส้นที่ซับซ้อนของเคปเลอร์ การทำนายเพียงอย่างเดียวที่ช่วยให้นักดาราศาสตร์ชาวฮังการี ฟรานซ์ ซาเวียร์ ฟอน แซค สามารถระบุตำแหน่งของเซเรส ได้สำเร็จคือการทำนายที่ดำเนินการโดยเกาส์ซึ่งมีอายุเพียง 24 ปี โดยใช้การวิเคราะห์แบบกำลังสองน้อยที่สุด

ในปี ค.ศ. 1810 หลังจากอ่านงานของเกาส์แล้ว ลาปลาซ หลังจากพิสูจน์ทฤษฎีบทลิมิตกลาง แล้ว ได้นำทฤษฎีบท นี้มาใช้เพื่อให้เหตุผลสนับสนุนวิธีการกำลังสองน้อยที่สุดและการแจกแจงแบบปกติสำหรับตัวอย่างขนาดใหญ่ ในปี ค.ศ. 1822 เกาส์สามารถกล่าวได้ว่าวิธีการกำลังสองน้อยที่สุดในการวิเคราะห์การถดถอยนั้นเหมาะสมที่สุดในแง่ที่ว่าในแบบจำลองเชิงเส้นที่ค่าความคลาดเคลื่อนมีค่าเฉลี่ยเป็นศูนย์ ไม่มีความสัมพันธ์กัน มีการแจกแจงแบบปกติ และมีความแปรปรวนเท่ากัน ตัวประมาณค่าสัมประสิทธิ์เชิงเส้นที่ไม่เอนเอียงที่ดีที่สุดคือตัวประมาณค่ากำลังสองน้อยที่สุด ผลลัพธ์ที่ขยายเพิ่มเติมจากนี้เป็นที่รู้จักกันในชื่อทฤษฎีบทเกาส์-มาร์คอฟ

แนวคิดของการวิเคราะห์กำลังสองน้อยที่สุดได้รับการคิดค้นขึ้นโดยอิสระโดยRobert Adrain ชาวอเมริกัน ในปี พ.ศ. 2351 ในอีกสองศตวรรษต่อมา นักวิจัยในทฤษฎีข้อผิดพลาดและสถิติได้ค้นพบวิธีการต่างๆ มากมายในการนำการวิเคราะห์กำลังสองน้อยที่สุดมาใช้^{[ 8 ]}

คำชี้แจงปัญหา

วัตถุประสงค์คือการปรับพารามิเตอร์ของฟังก์ชันแบบจำลองให้เหมาะสมกับชุดข้อมูลมากที่สุด ชุดข้อมูลอย่างง่ายประกอบด้วยจุดข้อมูลnจุด (คู่ข้อมูล) $(x_{i},y_{i})\!$ โดยที่i = 1, …, n $x_{i}\!$ เป็นตัวแปรอิสระและ $y_{i}\!$ เป็นตัวแปรตามซึ่งค่าของมันได้มาจากการสังเกต ฟังก์ชันแบบจำลองมีรูปแบบดังนี้ $f(x,{\boldสัญลักษณ์ {\beta }})$ โดยที่ พารามิเตอร์ที่ปรับได้ mตัวถูกเก็บไว้ในเวกเตอร์ ${\boldสัญลักษณ์ {\beta }}$ เป้าหมายคือการค้นหาค่าพารามิเตอร์สำหรับแบบจำลองที่ "เหมาะสม" กับข้อมูลมากที่สุด ความเหมาะสมของแบบจำลองกับจุดข้อมูลวัดได้จากค่าส่วนเหลือซึ่งนิยามว่าคือความแตกต่างระหว่างค่าที่สังเกตได้ของตัวแปรตามและค่าที่ทำนายโดยแบบจำลอง: $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$

{\displaystyle y} — เดอะ $y$ ค่าและค่าความคลาดเคลื่อนจะถูกพล็อตเทียบกับค่าที่สอดคล้องกัน $x$ ค่าต่างๆ ความผันผวนแบบสุ่มเกี่ยวกับ $r=0$ แสดงให้เห็นว่าแบบจำลองเชิงเส้นมีความเหมาะสม

วิธีการกำลังสองน้อยที่สุดจะค้นหาค่าพารามิเตอร์ที่เหมาะสมที่สุดโดยการลดผลรวมของกำลังสองของค่าความคลาดเคลื่อนให้เหลือน้อย ที่สุด $S$ : ^{[ 9 ]} $S=\sum _{i=1}^{n}r_{i}^{2}.$

ในกรณีที่ง่ายที่สุด $f(x_{i},{\boldsymbol {\beta }})={\boldsymbol {\beta }}$ และผลลัพธ์ของวิธีการกำลังสองน้อยที่สุดคือค่าเฉลี่ยเลขคณิตของข้อมูลที่ป้อนเข้าไป

ตัวอย่างของแบบจำลองในสองมิติคือเส้นตรง โดยกำหนดให้จุดตัดแกน yคือ $\beta _{0}$ และความลาดชันเป็น $\beta _{1}$ ฟังก์ชันแบบจำลองกำหนดโดย $f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x$ โปรดดูวิธีการกำลังสองน้อยที่สุดเชิงเส้นสำหรับตัวอย่างการคำนวณอย่างละเอียดของแบบจำลองนี้

จุดข้อมูลหนึ่งจุดอาจประกอบด้วยตัวแปรอิสระมากกว่าหนึ่งตัว ตัวอย่างเช่น เมื่อทำการปรับระนาบให้เข้ากับชุดการวัดความสูง ระนาบนั้นจะเป็นฟังก์ชันของตัวแปรอิสระสองตัว คือxและzในกรณีทั่วไปที่สุด อาจมีตัวแปรอิสระหนึ่งตัวหรือมากกว่า และตัวแปรตามหนึ่งตัวหรือมากกว่า ณ จุดข้อมูลแต่ละจุด

ทางด้านขวาเป็นแผนภาพแสดงค่าความคลาดเคลื่อนที่เหลืออยู่ ซึ่งแสดงให้เห็นถึงความผันผวนแบบสุ่มเกี่ยวกับ $r_{i}=0$ ซึ่งบ่งชี้ว่าแบบจำลองเชิงเส้น $(Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i})$ เหมาะสมแล้ว $U_{i}$ เป็นตัวแปรสุ่มอิสระ^{[ 9 ]}

หากจุดส่วนเหลือมีรูปร่างบางอย่างและไม่ได้ผันผวนแบบสุ่ม โมเดลเชิงเส้นจะไม่เหมาะสม ตัวอย่างเช่น หากกราฟแสดงส่วนเหลือมีรูปร่างคล้ายพาราโบลา ดังที่เห็นทางด้านขวา โมเดลพาราโบลาจะไม่เหมาะสม $(Y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+U_{i})$ จะเหมาะสมกับข้อมูล สามารถคำนวณค่าความคลาดเคลื่อนสำหรับแบบจำลองพาราโบลาได้โดยใช้ $r_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}-{\hat {\beta }}_{2}x_{i}^{2}$ [ ⁹^]

ข้อจำกัด

สูตรการถดถอยนี้พิจารณาเฉพาะข้อผิดพลาดในการสังเกตในตัวแปรตามเท่านั้น (แต่ การถดถอย กำลังสองน้อยที่สุด แบบทางเลือก สามารถพิจารณาข้อผิดพลาดในทั้งสองตัวแปรได้) มีสองบริบทที่ค่อนข้างแตกต่างกันซึ่งมีนัยสำคัญต่างกัน:

การถดถอยเพื่อการทำนาย ในที่นี้จะสร้างแบบจำลองเพื่อให้ได้กฎการทำนายสำหรับการนำไปใช้ในสถานการณ์ที่คล้ายคลึงกับข้อมูลที่ใช้ในการสร้างแบบจำลอง ตัวแปรตามที่เกี่ยวข้องกับการใช้งานในอนาคตดังกล่าวจะอยู่ภายใต้ข้อผิดพลาดในการสังเกตประเภทเดียวกันกับข้อมูลที่ใช้ในการสร้างแบบจำลอง ดังนั้นจึงมีความสอดคล้องทางตรรกะที่จะใช้กฎการทำนายแบบกำลังสองน้อยที่สุดสำหรับข้อมูลดังกล่าว
การถดถอยสำหรับการปรับ "ความสัมพันธ์ที่แท้จริง" ในการวิเคราะห์การถดถอย มาตรฐาน ที่นำไปสู่การปรับโดยใช้กำลังสองน้อยที่สุด มีข้อสมมติโดยปริยายว่าข้อผิดพลาดในตัวแปรอิสระเป็นศูนย์หรือถูกควบคุมอย่างเข้มงวดจนสามารถละเลยได้ เมื่อข้อผิดพลาดในตัวแปรอิสระไม่สามารถละเลยได้สามารถใช้แบบจำลองข้อผิดพลาดในการวัด ได้ วิธีการดังกล่าวสามารถนำไปสู่ การประมาณค่าพารามิเตอร์การทดสอบสมมติฐานและช่วงความเชื่อมั่นที่คำนึงถึงการมีอยู่ของข้อผิดพลาดในการสังเกตในตัวแปรอิสระ^{[ 10 ]}แนวทางอื่นคือการปรับแบบจำลองโดยใช้กำลังสองน้อยที่สุดทั้งหมดซึ่งสามารถมองได้ว่าเป็นการใช้แนวทางเชิงปฏิบัติเพื่อสร้างสมดุลของผลกระทบของแหล่งที่มาของข้อผิดพลาดต่างๆ ในการกำหนดฟังก์ชันวัตถุประสงค์เพื่อใช้ในการปรับแบบจำลอง

การแก้ปัญหาด้วยวิธีกำลังสองน้อยที่สุด

ค่าต่ำสุดของผลรวมกำลังสองจะพบได้โดยการกำหนดให้เกรเดียนต์เป็นศูนย์ เนื่องจากแบบจำลองมี พารามิเตอร์ m ตัวจึงมี สมการเกรเดียนต์ mสมการ: ${\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m,$ และตั้งแต่ $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})$ สมการความชันจึงกลายเป็น $-2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m.$

สมการเกรเดียนต์ใช้ได้กับปัญหาการกำลังสองน้อยที่สุดทั้งหมด แต่ละปัญหาเฉพาะต้องการนิพจน์เฉพาะสำหรับแบบจำลองและอนุพันธ์ย่อย^{[ 11 ]}

กำลังสองน้อยที่สุดเชิงเส้น

แบบจำลองการถดถอยเป็นแบบจำลองเชิงเส้นเมื่อแบบจำลองประกอบด้วยการรวมกันเชิงเส้นของพารามิเตอร์ กล่าวคือ $f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x),$ โดยที่ฟังก์ชัน $\phi _{j}$ เป็นฟังก์ชันของ $x$ [ ¹¹^]

ให้เช่า $X_{ij}=\phi _{j}(x_{i})$ และนำตัวแปรอิสระและตัวแปรตามมาใส่ในเมทริกซ์ $X$ และ $Y,$ ตามลำดับ เราสามารถคำนวณค่ากำลังสองน้อยที่สุดได้ด้วยวิธีต่อไปนี้ โปรดทราบว่า $D$ คือเซตของข้อมูลทั้งหมด^{[ 11 ]}^{[ 12 ]} $L(D,{\boldsymbol {\beta }})=\left\|YX{\boldsymbol {\beta }}\right\|^{2}=(YX{\boldsymbol {\beta }})^{\mathsf {T}}(YX{\boldsymbol {\beta }})$ $=Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}$

ค่าความชันของฟังก์ชันความสูญเสียคือ: ${\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\mathsf {T}}Y-2Y^{\mathsf {T}}X{\boldsymbol {\beta }}+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}}}=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}$

ตั้งค่าเกรเดียนต์ของฟังก์ชันความสูญเสียเป็นศูนย์แล้วแก้หาค่า ${\boldสัญลักษณ์ {\beta }}$ เราจึงได้: ^{[ 12 ]}^{[ 11 ]} $-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^{\mathsf {T}}X{\boldsymbol {\beta }}$ ${\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y$

กำลังสองน้อยที่สุดแบบไม่เชิงเส้น

ในบางกรณี ปัญหาการหาค่ากำลังสองน้อยที่สุดแบบไม่เชิงเส้นอาจมีคำตอบในรูปแบบปิดแต่โดยทั่วไปแล้วมักไม่มี ในกรณีที่ไม่มีคำตอบในรูปแบบปิด จะใช้อัลกอริธึมเชิงตัวเลขในการหาค่าของพารามิเตอร์ $\beta$ ซึ่งทำให้ค่าเป้าหมายมีค่าน้อยที่สุด อัลกอริทึมส่วนใหญ่เกี่ยวข้องกับการเลือกค่าเริ่มต้นสำหรับพารามิเตอร์ จากนั้นจึงปรับปรุงพารามิเตอร์แบบวนซ้ำ กล่าวคือ ค่าต่างๆ จะได้รับจากการประมาณค่าอย่างต่อเนื่อง: ${\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j},$ โดยที่ตัวยกkคือหมายเลขการวนซ้ำ และเวกเตอร์ของค่าเพิ่ม $\Delta \beta _{j}$ เรียกว่าเวกเตอร์การเลื่อน ในอัลกอริธึมที่ใช้กันทั่วไปบางตัว ในแต่ละรอบการทำซ้ำ โมเดลอาจถูกทำให้เป็นเชิงเส้นโดยการประมาณค่าด้วยการขยายอนุกรมเทย์เลอร์ อันดับแรกเกี่ยวกับ ${\boldsymbol {\beta }}^{k}$ : ${\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}}^{k}\right)\\[1ex]&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}.\end{aligned}}$

ค่าJacobian Jเป็นฟังก์ชันของค่าคงที่ ตัวแปรอิสระและพารามิเตอร์ ดังนั้นจึงเปลี่ยนแปลงไปในแต่ละรอบการคำนวณ ค่าความคลาดเคลื่อนจะกำหนดโดย $r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.$

เพื่อลดผลรวมกำลังสองของ $r_{i}$ สมการความชันถูกตั้งค่าเป็นศูนย์และแก้หาค่า $\Delta \beta _{j}$ : $-2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\Delta \beta _{k}\right)=0,$ ซึ่งเมื่อจัดเรียงใหม่แล้ว จะกลายเป็นสมการเชิงเส้นพร้อมกันm สมการ หรือสมการปกติ : $\sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).$

สมการปกติจะเขียนในรูปแบบเมทริกซ์ดังนี้ $\left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T}}\Delta \mathbf {y} .$

นี่คือสมการพื้นฐานของอัลกอริทึมเกาส์-นิวตัน

ความแตกต่างระหว่างวิธีการกำลังสองน้อยที่สุดแบบเชิงเส้นและแบบไม่เชิงเส้น

ฟังก์ชันแบบจำลองfใน LLSQ (linear least squares) คือการรวมกันเชิงเส้นของพารามิเตอร์ในรูปแบบ $f=X_{i1}\beta _{1}+X_{i2}\beta _{2}+\cdots$ แบบจำลองอาจแสดงถึงเส้นตรง พาราโบลา หรือการรวมกันเชิงเส้นของฟังก์ชันใดๆ ก็ได้ ใน NLLSQ (วิธีวิเคราะห์กำลังสองน้อยที่สุดแบบไม่เชิงเส้น) พารามิเตอร์จะปรากฏในรูปของฟังก์ชัน เช่น $\beta ^{2},e^{\beta x}$ และอื่นๆ หากอนุพันธ์ $\partial f/\partial \beta _{j}$ ถ้าค่าพารามิเตอร์คงที่หรือขึ้นอยู่กับค่าของตัวแปรอิสระเท่านั้น แบบจำลองนั้นจะเป็นแบบจำลองเชิงเส้นในพารามิเตอร์ มิฉะนั้น แบบจำลองนั้นจะเป็นแบบจำลองที่ไม่เป็นเชิงเส้น
จำเป็นต้องใช้ค่าเริ่มต้นสำหรับพารามิเตอร์เพื่อหาคำตอบของปัญหา NLLSQ; ส่วน LLSQ ไม่จำเป็นต้องใช้ค่าเริ่มต้นเหล่านั้น
อัลกอริทึมการแก้ปัญหาสำหรับ NLLSQ มักต้องการให้สามารถคำนวณเมทริกซ์จาโคเบียนได้เช่นเดียวกับ LLSQ นิพจน์เชิงวิเคราะห์สำหรับอนุพันธ์ย่อยอาจซับซ้อน หากไม่สามารถหานิพจน์เชิงวิเคราะห์ได้ จะต้องคำนวณอนุพันธ์ย่อยโดยใช้การประมาณเชิงตัวเลข หรือต้องประมาณค่าเมทริกซ์จาโคเบียน ซึ่งมักทำโดยใช้วิธี ผล ต่างจำกัด
การไม่บรรจบกัน (ความล้มเหลวของอัลกอริทึมในการค้นหาค่าต่ำสุด) เป็นปรากฏการณ์ที่พบได้ทั่วไปใน NLLSQ
LLSQ เป็นฟังก์ชันเว้าทั่วโลก ดังนั้นปัญหาการไม่บรรจบกันจึงไม่ใช่ปัญหา
การแก้ปัญหา NLLSQ โดยทั่วไปเป็นกระบวนการวนซ้ำซึ่งต้องยุติลงเมื่อตรงตามเกณฑ์การลู่เข้า ส่วนการแก้ปัญหา LLSQ สามารถคำนวณได้โดยใช้วิธีโดยตรง แม้ว่าปัญหาที่มีพารามิเตอร์จำนวนมากมักจะแก้ด้วยวิธีการวนซ้ำ เช่น วิธี Gauss–Seidelก็ตาม
ใน LLSQ คำตอบมีเพียงหนึ่งเดียว แต่ใน NLLSQ ผลรวมของกำลังสองอาจมีค่าต่ำสุดหลายค่า
ภายใต้เงื่อนไขที่ว่าค่าความคลาดเคลื่อนไม่มีความสัมพันธ์กับตัวแปรทำนาย LLSQ จะให้ค่าประมาณที่ไม่เอนเอียง แต่แม้ภายใต้เงื่อนไขนั้น ค่าประมาณของ NLLSQ โดยทั่วไปก็ยังมีความเอนเอียงอยู่ดี

ความแตกต่างเหล่านี้จะต้องได้รับการพิจารณาทุกครั้งที่มีการค้นหาวิธีแก้ปัญหากำลังสองน้อยที่สุดแบบไม่เชิงเส้น^{[ 11 ]}

ตัวอย่าง

ลองพิจารณาตัวอย่างง่ายๆ จากวิชาฟิสิกส์ สปริงควรเป็นไปตามกฎของฮุคซึ่งระบุว่า การยืดออกของสปริง $y$ เป็นสัดส่วนกับแรงFที่กระทำต่อสปริง $y=f(F,k)=kF$ ประกอบเป็นแบบจำลอง โดยที่Fคือตัวแปรอิสระ ในการประมาณค่าคงที่แรง k เรา ทำการวัดค่า nครั้งด้วยแรงที่แตกต่างกันเพื่อสร้างชุดข้อมูล $(F_{i},y_{i}),\ i=1,\dots ,n\!$ โดยที่y คือการยืดตัวของสปริงที่วัดได้^{[ 13 ]}การสังเกตการทดลองแต่ละครั้งจะมีข้อผิดพลาดอยู่บ้าง $\varepsilon$ ดังนั้นเราจึงสามารถกำหนดแบบจำลองเชิงประจักษ์สำหรับข้อสังเกตของเราได้ $y_{i}=kF_{i}+\varepsilon _{i}.$

มีหลายวิธีที่เราอาจใช้ในการประมาณค่าพารามิเตอร์ที่ไม่ทราบค่าkเนื่องจาก สมการ nใน ตัวแปร mในข้อมูลของเราประกอบเป็นระบบที่มีตัวแปรเกินจำนวนที่กำหนดโดยมีตัวแปรที่ไม่ทราบค่า 1 ตัวและ สมการ nตัว เราจึงประมาณค่าkโดยใช้กำลังสองน้อยที่สุด ผลรวมของกำลังสองที่จะต้องทำให้น้อยที่สุดคือ^{[ 11 ]} $S=\sum _{i=1}^{n}\left(y_{i}-kF_{i}\right)^{2}.$

ค่าประมาณกำลังสองน้อยที่สุดของค่าคงที่แรงkกำหนดโดย ${\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.$

เราตั้งสมมติฐานว่าการออกแรงทำให้สปริงยืดออก หลังจากหาค่าคงที่ของแรงโดยใช้วิธีการหาค่าที่เหมาะสมที่สุดแบบกำลังสองน้อยที่สุดแล้ว เราจึงทำนายการยืดตัวของสปริงจากกฎของฮุก

การหาปริมาณความไม่แน่นอน

ในการคำนวณกำลังสองน้อยที่สุดโดยใช้ค่าน้ำหนักหน่วย หรือในการถดถอยเชิงเส้น ความแปรปรวนของ พารามิเตอร์ที่ jจะถูกแสดงด้วยสัญลักษณ์ $\operatorname {var} ({\hat {\beta }}_{j})$ โดยปกติจะประมาณค่าด้วย $\operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{-1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj},$ ${\hat {\sigma }}^{2}\approx {\frac {S}{n-m}}$ $C=\left(X^{\mathsf {T}}X\right)^{-1},$ โดยที่ความแปรปรวนของข้อผิดพลาดที่แท้จริงσ ²ถูกแทนที่ด้วยค่าประมาณสถิติไคกำลังสองที่ลดลงโดยอิงจากค่าต่ำสุดของผลรวมกำลังสองของส่วนเหลือ (ฟังก์ชันวัตถุประสงค์) Sตัวหารn − mคือระดับความเป็นอิสระทางสถิติดูระดับความเป็นอิสระที่มีประสิทธิภาพสำหรับการวางนัยทั่วไป^[¹¹^] Cคือ เมท ริกซ์ความแปรปรวนร่วม

การทดสอบทางสถิติ

หาก ทราบ การแจกแจงความน่าจะเป็นของพารามิเตอร์หรือมีการประมาณค่าแบบเชิงเส้นกำกับ ก็สามารถหา ขอบเขตความเชื่อมั่นได้ ในทำนองเดียวกัน สามารถทำการทดสอบทางสถิติกับค่าตกค้างได้หากทราบหรือสมมติการแจกแจงความน่าจะเป็นของค่าตกค้าง เราสามารถหาการแจกแจงความน่าจะเป็นของผลรวมเชิงเส้นใดๆ ของตัวแปรตามได้หากทราบหรือสมมติการแจกแจงความน่าจะเป็นของข้อผิดพลาดในการทดลอง การอนุมานทำได้ง่ายเมื่อสมมติว่าข้อผิดพลาดมีการแจกแจงแบบปกติ ซึ่งหมายความว่าค่าประมาณพารามิเตอร์และค่าตกค้างจะมีการแจกแจงแบบปกติเช่นกันเมื่อพิจารณาจากค่าของตัวแปรอิสระ^{[ 11 ]}

เพื่อทดสอบผลลัพธ์ทางสถิติ จำเป็นต้องตั้งสมมติฐานเกี่ยวกับลักษณะของความคลาดเคลื่อนในการทดลอง สมมติฐานที่ใช้กันทั่วไปคือ ความคลาดเคลื่อนนั้นเป็นไปตามการแจกแจงแบบปกติทฤษฎีบทขีดจำกัดกลางสนับสนุนแนวคิดที่ว่านี่เป็นการประมาณที่ดีในหลายกรณี

ทฤษฎีบท เกาส์-มาร์คอฟในแบบจำลองเชิงเส้นที่ข้อผิดพลาดมีค่าเฉลี่ยเป็นศูนย์โดยมีเงื่อนไขตามตัวแปรอิสระไม่มีความสัมพันธ์กันและมีความแปรปรวน เท่ากัน ตัวประมาณเชิงเส้น ที่ไม่เอนเอียงที่ดีที่สุดของผลรวมเชิงเส้นใดๆ ของการสังเกต คือตัวประมาณกำลังสองน้อยที่สุด "ดีที่สุด" หมายความว่าตัวประมาณกำลังสองน้อยที่สุดของพารามิเตอร์มีความแปรปรวนน้อยที่สุด สมมติฐานเรื่องความแปรปรวนเท่ากันนั้นใช้ได้เมื่อข้อผิดพลาดทั้งหมดอยู่ในการแจกแจงเดียวกัน^{[ 14 ]}
หากค่าความคลาดเคลื่อนเป็นไปตามการแจกแจงแบบปกติ ตัวประมาณค่ากำลังสองน้อยที่สุดก็จะเป็นตัวประมาณค่าความน่าจะเป็นสูงสุดในแบบจำลองเชิงเส้น ด้วยเช่นกัน

อย่างไรก็ตาม สมมติว่าค่าความคลาดเคลื่อนไม่ได้มีการกระจายแบบปกติ ในกรณีนั้นทฤษฎีบทขีดจำกัดกลางมักจะบ่งชี้ว่าค่าประมาณพารามิเตอร์จะมีการกระจายแบบปกติโดยประมาณ ตราบใดที่ขนาดตัวอย่างมีขนาดใหญ่พอสมควร ด้วยเหตุนี้ เมื่อพิจารณาถึงคุณสมบัติที่สำคัญที่ว่าค่าเฉลี่ยของความคลาดเคลื่อนเป็นอิสระจากตัวแปรอิสระ การกระจายของค่าความคลาดเคลื่อนจึงไม่ใช่ประเด็นสำคัญในการวิเคราะห์การถดถอย โดยเฉพาะอย่างยิ่ง โดยทั่วไปแล้วไม่สำคัญว่าค่าความคลาดเคลื่อนจะมีการกระจายแบบปกติหรือไม่

กำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก

กรณีพิเศษของการหาค่ากำลังสองน้อยที่สุดแบบทั่วไปที่เรียกว่าการหาค่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนักเกิดขึ้นเมื่อค่าทั้งหมดที่อยู่นอกแนวทแยงมุมของ Ω (เมทริกซ์สหสัมพันธ์ของค่าคลาดเคลื่อน) เป็นศูนย์ อย่างไรก็ตามความแปรปรวนของค่าสังเกต (ตามแนวทแยงมุมของเมทริกซ์ความแปรปรวนร่วม) อาจยังคงไม่เท่ากัน ( ความแปรปรวนไม่คงที่ ) กล่าวโดยง่ายความแปรปรวนไม่คงที่คือเมื่อความแปรปรวนของค่าสังเกต (ตามแนวทแยงมุมของเมทริกซ์ความแปรปรวนร่วม) ไม่เท่ากัน $Y_{i}$ ขึ้นอยู่กับค่าของ $x_{i}$ ซึ่งทำให้กราฟส่วนที่เหลือแสดงลักษณะ "แผ่กระจาย" ออกไปทางค่าที่ใหญ่ขึ้นหรือเล็ลง $Y_{i}$ ค่าต่างๆ ดังที่เห็นในแผนภาพส่วนเหลือทางด้านขวา ในทางกลับกัน สมมติฐานเรื่องความ แปรปรวนคงที่ (homoscedasticity)คือการสมมติว่าความแปรปรวนของ $Y_{i}$ และความแปรปรวนของ $U_{i}$ เท่ากัน^{[ 9 ]}

ความสัมพันธ์กับส่วนประกอบหลัก

ส่วนประกอบหลักแรกเกี่ยวกับค่าเฉลี่ยของชุดจุดสามารถแสดงได้ด้วยเส้นตรงที่เข้าใกล้จุดข้อมูลมากที่สุด (วัดจากระยะทางกำลังสองของการเข้าใกล้ที่สุด กล่าวคือตั้งฉากกับเส้นตรง) ในทางตรงกันข้าม วิธีการกำลังสองน้อยที่สุดเชิงเส้นพยายามลดระยะทางใน $y$ พิจารณาเพียงทิศทางเท่านั้น ดังนั้น แม้ว่าทั้งสองวิธีจะใช้ตัวชี้วัดความคลาดเคลื่อนที่คล้ายกัน แต่การวิเคราะห์กำลังสองน้อยที่สุดเชิงเส้นเป็นวิธีที่ให้ความสำคัญกับมิติหนึ่งของข้อมูลมากกว่า ในขณะที่ PCA ให้ความสำคัญกับทุกมิติอย่างเท่าเทียมกัน

ความสัมพันธ์กับทฤษฎีการวัด

นักสถิติชื่อดังSara van de Geerใช้ทฤษฎีกระบวนการเชิงประจักษ์และมิติ Vapnik–Chervonenkisเพื่อพิสูจน์ว่าตัวประมาณค่ากำลังสองน้อยที่สุดสามารถตีความได้ว่าเป็นการวัดบนพื้นที่ของฟังก์ชันกำลังสองที่สามารถอินทิเกรตได้^{[ 15 ]}

การทำให้เป็นระเบียบ

การปรับเสถียรภาพแบบทิโคนอฟ

ในบางบริบทอาจเป็นการเหมาะสมกว่าที่จะใช้เวอร์ชันที่มีการปรับปรุง ของวิธีการกำลังสองน้อยที่สุด การปรับปรุงด้วยวิธี Tikhonov (หรือการถดถอยแบบสัน ) จะเพิ่มข้อจำกัดที่ $\left\|\beta \right\|_{2}^{2}$ ยกกำลังสอง $\ell _{2}$ ค่า -นอร์มของเวกเตอร์พารามิเตอร์ต้องไม่มากกว่าค่าที่กำหนดในการกำหนดสูตรกำลังสองน้อยที่สุด ซึ่งนำไปสู่ปัญหาการหาค่าต่ำสุดแบบมีข้อจำกัด ซึ่งเทียบเท่ากับปัญหาการหาค่าต่ำสุดแบบไม่มีข้อจำกัด โดยที่ฟังก์ชันเป้าหมายคือผลรวมกำลังสองของค่าคลาดเคลื่อนบวกกับค่าปรับ $\alpha \left\|\beta \right\|_{2}^{2}$ และ $\alpha$ เป็นพารามิเตอร์การปรับแต่ง (นี่คือ รูปแบบ ลากรางจ์ของปัญหาการลดค่าต่ำสุดแบบมีข้อจำกัด) ^{[ 16 ]}

ใน บริบทแบบ เบย์เซียนนี่เทียบเท่ากับการกำหนดค่าเริ่มต้นแบบ กระจายปกติที่มีค่าเฉลี่ยเป็นศูนย์ ให้กับเวกเตอร์พารามิเตอร์

วิธีการบ่วงบาศ

Lasso (least absolute shrinkage and selection operator) เป็น อีกทางเลือกหนึ่ง ของวิธี การปรับค่า ความสม่ำเสมอ (regularized version) ของวิธี Least Squares ซึ่งใช้ข้อจำกัดที่ว่า $\|\beta \|_{1}$ ค่าL1 normของเวกเตอร์พารามิเตอร์จะไม่มากกว่าค่าที่กำหนด^{[ 17 ]}^{[ 18 ]}^{[ 19 ]} (สามารถแสดงได้ดังข้างต้นโดยใช้ตัวคูณลากรางจ์ว่าสิ่งนี้เทียบเท่ากับการลดค่าโทษกำลังสองน้อยที่สุดแบบไม่มีข้อจำกัดด้วย $\alpha \|\beta \|_{1}$ (เพิ่มเติม) ใน บริบท ของเบย์เซียนสิ่งนี้เทียบเท่ากับการวางการแจกแจง แบบลาปลาซที่ มีค่าเฉลี่ยเป็นศูนย์ไว้ บนเวกเตอร์พารามิเตอร์^[²⁰^]ปัญหาการเพิ่มประสิทธิภาพอาจแก้ไขได้โดยใช้การเขียนโปรแกรมกำลังสอง หรือวิธี การเพิ่มประสิทธิภาพแบบนูนทั่วไปมากขึ้นรวมถึงอัลกอริทึมเฉพาะ เช่นอัลกอริทึมการถดถอยมุมน้อยที่สุด

หนึ่งในความแตกต่างหลักระหว่าง Lasso และ ridge regression คือ ใน ridge regression เมื่อค่าปรับเพิ่มขึ้น พารามิเตอร์ทั้งหมดจะลดลงในขณะที่ยังคงไม่เป็นศูนย์ ในขณะที่ใน Lasso การเพิ่มค่าปรับจะทำให้พารามิเตอร์จำนวนมากขึ้นเรื่อยๆ ถูกผลักไปที่ศูนย์ นี่เป็นข้อได้เปรียบของ Lasso เหนือ ridge regression เนื่องจาก1การผลักพารามิเตอร์ไปที่ศูนย์จะตัดฟีเจอร์ออกจากการถดถอย ดังนั้น Lasso จึงเลือกฟีเจอร์ที่เกี่ยวข้องมากกว่าโดยอัตโนมัติและทิ้งฟีเจอร์อื่นๆ ในขณะที่ Ridge regression ไม่เคยทิ้งฟีเจอร์ใดๆ อย่างสมบูรณ์ เทคนิค การเลือกฟีเจอร์ บางอย่าง ได้รับการพัฒนาขึ้นโดยอิงจาก LASSO รวมถึง Bolasso ซึ่งใช้ bootstraps กับตัวอย่าง^{[ 21 ]} และ FeaLect ซึ่งวิเคราะห์สัมประสิทธิ์การถดถอยที่สอดคล้องกับค่าต่างๆ ของ $\alpha$ เพื่อให้คะแนนคุณสมบัติทั้งหมด^{[ 22 ]}

สูตรL ¹ -regularized มีประโยชน์ในบางบริบทเนื่องจากมีแนวโน้มที่จะเลือกโซลูชันที่มีพารามิเตอร์เป็นศูนย์มากขึ้น ซึ่งให้โซลูชันที่ขึ้นอยู่กับตัวแปรน้อยลง^{[ 17 ]}ด้วยเหตุนี้ Lasso และรูปแบบต่างๆ จึงมีความสำคัญต่อสาขาการรับรู้แบบบีบอัด การขยายแนวทางนี้คือการทำให้เป็นมาตรฐานแบบ elastic net

ดูเพิ่มเติม

อ่านเพิ่มเติม

บียอร์ก, Å. (1996) วิธีการเชิงตัวเลขสำหรับปัญหากำลังสองน้อยที่สุด สยามไอเอสบีเอ็น 978-0-89871-360-2.
คาริยะ ต.; คูราตะ, เอช. (2004). กำลังสองน้อยที่สุดทั่วไป โฮโบเกน: ไวลีย์ไอเอสบีเอ็น 978-0-470-86697-9.
Luenberger, DG (1997) [ 1969]. "การประมาณค่ากำลังสองน้อยที่สุด"การหาค่าเหมาะสมที่สุดโดยวิธีพื้นที่เวกเตอร์นิวยอร์ก: John Wiley & Sons หน้า78–102 ISBN 978-0-471-18117-0.
Rao, CR ; Toutenburg, H. ; และ คณะ (2008). แบบจำลองเชิงเส้น: วิธีกำลังสองน้อยที่สุดและทางเลือกอื่นๆ . ชุดสถิติของ Springer ( ฉบับที่ 3). เบอร์ลิน: Springer. ISBN 978-3-540-74226-5.
Strutz, T. (2016). การปรับข้อมูลให้เข้ากับเงื่อนไขและความไม่แน่นอน: บทนำเชิงปฏิบัติเกี่ยวกับวิธีถ่วงน้ำหนักกำลังสองน้อยที่สุดและอื่นๆ ( ฉบับที่ 2). Springer Vieweg. ISBN 978-3-658-11455-8.
ฟาน เดอ มัวร์เทล, โคเอน (เมษายน 2021) "การวิเคราะห์การถดถอยหลายทิศทาง "
วอลเบิร์ก, เจ. (2005). การวิเคราะห์ข้อมูลโดยใช้วิธี Least Squares: การดึงข้อมูลที่มีประโยชน์ที่สุดจากการทดลอง . เบอร์ลิน: สปริงเกอร์. ISBN 978-3-540-25674-8.

ลิงก์ภายนอก

สื่อที่เกี่ยวข้องกับวิธีการกำลังสองน้อยที่สุดในวิกิมีเดียคอมมอนส์

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

5 ] โท

[ 6 ]

[ 7 ]

[ 8 ]

[ 10 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[

[ 21 ]

[ 22 ]

ไม่มีชื่อบทความ