ในการสร้างแบบจำลองทางสถิติการวิเคราะห์การถดถอยเป็นวิธีการทางสถิติสำหรับการประมาณความสัมพันธ์ระหว่างตัวแปรตาม (มักเรียกว่า ตัวแปร ผลลัพธ์หรือ ตัวแปร ตอบสนองหรือป้ายกำกับในศัพท์เฉพาะของการเรียนรู้ของเครื่อง) และตัวแปรอิสระ หนึ่งตัวหรือมากกว่า ( มักเรียกว่าตัวถดถอย ตัวทำนายตัวแปรควบคุมตัวแปรอธิบายหรือคุณลักษณะ ) ^{[ 1 ] [ 2 ]}

รูปแบบการวิเคราะห์การถดถอยที่พบได้บ่อยที่สุดคือการถดถอยเชิงเส้นซึ่งเป็นการหาเส้นตรง (หรือการรวมเชิงเส้น ที่ซับซ้อนกว่า ) ที่เข้ากับข้อมูลได้ดีที่สุดตามเกณฑ์ทางคณิตศาสตร์เฉพาะ ตัวอย่างเช่น วิธีการกำลังสองน้อยที่สุดแบบธรรมดาจะคำนวณเส้นตรง (หรือระนาบ ) ที่ไม่ซ้ำกันซึ่งทำให้ผลรวมของความแตกต่างกำลังสองระหว่างข้อมูลจริงกับเส้นตรง (หรือระนาบ) นั้นมีค่าน้อยที่สุด ด้วยเหตุผลทางคณิตศาสตร์เฉพาะ (ดูการถดถอยเชิงเส้น ) วิธีนี้ช่วยให้นักวิจัยสามารถประมาณค่าความคาดหวังแบบมีเงื่อนไข (หรือค่าเฉลี่ย ของประชากร ) ของตัวแปรตามเมื่อตัวแปรอิสระมีค่าตามที่กำหนดไว้ รูปแบบการถดถอยที่พบได้น้อยกว่าจะใช้ขั้นตอนที่แตกต่างกันเล็กน้อยในการประมาณค่าพารามิเตอร์ตำแหน่งทาง เลือก (เช่นการถดถอยควอนไทล์หรือการวิเคราะห์เงื่อนไขที่จำเป็น^{[ 3 ]} ) หรือประมาณค่าความคาดหวังแบบมีเงื่อนไขในแบบจำลองที่ไม่เป็นเชิงเส้นที่หลากหลายมากขึ้น (เช่นการถดถอยแบบไม่ใช้พารามิเตอร์ )

การวิเคราะห์การถดถอยส่วนใหญ่ใช้เพื่อวัตถุประสงค์ที่แตกต่างกันในเชิงแนวคิดสองประการ ประการแรก การวิเคราะห์การถดถอยใช้กันอย่างแพร่หลายสำหรับการทำนายและการพยากรณ์ซึ่งการใช้งานนั้นทับซ้อนกับสาขาการเรียนรู้ของเครื่อง อย่างมาก ประการที่สอง ในบางสถานการณ์ การวิเคราะห์การถดถอยสามารถใช้เพื่ออนุมานความสัมพันธ์เชิงสาเหตุระหว่างตัวแปรอิสระและตัวแปรตาม สิ่งสำคัญคือ การถดถอยเพียงอย่างเดียวจะเปิดเผยความสัมพันธ์ระหว่างตัวแปรตามและชุดของตัวแปรอิสระในชุดข้อมูลคงที่เท่านั้น ในการใช้การถดถอยเพื่อการทำนายหรือเพื่ออนุมานความสัมพันธ์เชิงสาเหตุ นักวิจัยต้องให้เหตุผลอย่างระมัดระวังว่าเหตุใดความสัมพันธ์ที่มีอยู่จึงมีพลังในการทำนายสำหรับบริบทใหม่ หรือเหตุใดความสัมพันธ์ระหว่างตัวแปรสองตัวจึงมีการตีความเชิงสาเหตุ ประเด็นหลังนี้มีความสำคัญอย่างยิ่งเมื่อนักวิจัยหวังที่จะประมาณความสัมพันธ์เชิงสาเหตุโดยใช้ข้อมูลจากการสังเกต^{[ 4 ] [ 5 ]}

รูปแบบการถดถอยที่เก่าแก่ที่สุดพบเห็นได้ในงานของไอแซค นิวตัน ในปี ค.ศ. 1700 ขณะศึกษา เรื่องวิษุวัตโดยได้รับการยกย่องว่าเป็นการแนะนำ "การวิเคราะห์การถดถอยเชิงเส้นในระยะเริ่มต้น" เนื่องจาก "เขาไม่เพียงแต่ทำการหาค่าเฉลี่ยของชุดข้อมูล 50 ปีก่อนโทเบียส เมเยอร์แต่ด้วยการรวมค่าตกค้างให้เป็นศูนย์ เขาบังคับให้เส้นถดถอยผ่านจุดเฉลี่ย เขายังแยกแยะความแตกต่างระหว่างชุดข้อมูลสองชุดที่ไม่เป็นเนื้อเดียวกัน และอาจคิดถึง วิธีแก้ปัญหา ที่เหมาะสมที่สุดในแง่ของอคติ แม้ว่าจะไม่ใช่ในแง่ของประสิทธิภาพก็ตาม" ^{[ 6 ]}ก่อนหน้านี้เขาใช้วิธีการหาค่าเฉลี่ยในงานของเขาในปี ค.ศ. 1671 เกี่ยวกับวงแหวนของนิวตันซึ่งไม่เคยมีมาก่อนในเวลานั้น^{[ 7 ]}

วิธีการกำลังสองน้อยที่สุดได้รับการตีพิมพ์โดยเลอฌองเดรในปี พ.ศ. 2348 ^{[ 8 ]}และโดยเกาส์ในปี พ.ศ. 2452 ^{[ 9 ]}ทั้งเลอฌองเดรและเกาส์ได้นำวิธีการนี้ไปใช้กับปัญหาในการกำหนดวงโคจรของวัตถุรอบดวงอาทิตย์ (ส่วนใหญ่เป็นดาวหาง แต่ต่อมาก็รวมถึงดาวเคราะห์น้อยที่เพิ่งค้นพบใหม่) จากการสังเกตการณ์ทางดาราศาสตร์ เกาส์ได้ตีพิมพ์การพัฒนาเพิ่มเติมของทฤษฎีกำลังสองน้อยที่สุดในปี พ.ศ. 2464 ^{[ 10 ]}ซึ่งรวมถึงทฤษฎีบทเกาส์-มาร์คอฟเวอร์ชัน หนึ่ง ด้วย

คำว่า "การถดถอย" (regression) ถูกบัญญัติโดยฟรานซิส กัลตันในศตวรรษที่ 19 เพื่ออธิบายปรากฏการณ์ทางชีววิทยา ปรากฏการณ์ดังกล่าวคือความสูงของลูกหลานของบรรพบุรุษที่สูงมีแนวโน้มที่จะถดถอยลงไปสู่ค่าเฉลี่ยปกติ (ปรากฏการณ์นี้ยังเรียกว่าการถดถอยเข้าสู่ค่าเฉลี่ย ) ^{[ 11 ] [ 12 ]} สำหรับกัลตัน การถดถอยมีความหมายทางชีววิทยาเพียงอย่างเดียว^{[ 13 ] [ 14 ]}แต่งานของเขาได้รับการขยายเพิ่มเติมในภายหลังโดยอุดนี ยูลและคาร์ล เพียร์สันไปสู่บริบททางสถิติทั่วไปมากขึ้น^{[ 15 ] [ 16 ]}ในงานของยูลและเพียร์สัน สมมติว่า การแจกแจงร่วมของตัวแปรตอบสนองและตัวแปรอธิบายเป็นแบบเกา ส์เซียน สมมติฐานนี้อ่อนลงโดยอาร์.เอ. ฟิชเชอร์ในงานของเขาในปี 1922 และ 1925 ^{[ 17 ] [ 18 ] [ 19 ]}ฟิชเชอร์สมมติว่าการแจกแจงแบบมีเงื่อนไขของตัวแปรตอบสนองเป็นแบบเกาส์เซียน แต่การแจกแจงร่วมไม่จำเป็นต้องเป็นเช่นนั้น ในแง่นี้ ข้อสันนิษฐานของฟิชเชอร์จึงใกล้เคียงกับสูตรของเกาส์ในปี 1821 มากกว่า

ในช่วงทศวรรษ 1950 และ 1960 นักเศรษฐศาสตร์ใช้เครื่องคิดเลขแบบตั้งโต๊ะแบบอิเล็กโทรเมคานิกส์ในการคำนวณการถดถอย ก่อนปี 1970 บางครั้งอาจใช้เวลานานถึง 24 ชั่วโมงในการรับผลลัพธ์จากการถดถอยหนึ่งครั้ง^{[ 20 ]}

วิธีการวิเคราะห์การถดถอยยังคงเป็นหัวข้อการวิจัยที่ได้รับความสนใจอย่างต่อเนื่อง ในช่วงหลายทศวรรษที่ผ่านมา มีการพัฒนาวิธีการใหม่ๆ มากมาย เช่น การวิเคราะห์ การถดถอยแบบทนทาน (robust regression) การวิเคราะห์ การถดถอยที่เกี่ยวข้องกับตัวแปรตอบสนองที่มีความสัมพันธ์กัน เช่นอนุกรมเวลาและเส้นโค้งการเติบโตการวิเคราะห์การถดถอยที่ตัวแปรทำนาย (ตัวแปรอิสระ) หรือตัวแปรตอบสนองเป็นเส้นโค้ง รูปภาพ กราฟ หรือวัตถุข้อมูลที่ซับซ้อนอื่นๆ วิธีการวิเคราะห์การถดถอยที่รองรับข้อมูลที่ขาดหายไปหลายประเภทการวิเคราะห์การถดถอยแบบไม่ใช้พารามิเตอร์วิธี การ แบบเบย์สำหรับการวิเคราะห์การถดถอย การวิเคราะห์การถดถอยที่ตัวแปรทำนายวัดได้โดยมีข้อผิดพลาด การวิเคราะห์การถดถอยที่มีตัวแปรทำนายมากกว่าจำนวนข้อมูล และการอนุมานเชิงสาเหตุด้วยการวิเคราะห์การถดถอย การวิเคราะห์การถดถอยสมัยใหม่มักทำด้วยโปรแกรมสถิติและ โปรแกรม สเปรดชีตบนคอมพิวเตอร์ รวมถึง เครื่องคิดเลข วิทยาศาสตร์และเครื่องคิดเลขกราฟ แบบพก พา

ในทางปฏิบัติ นักวิจัยจะเลือกแบบจำลองที่ต้องการประมาณค่าก่อน จากนั้นจึงใช้วิธีที่เลือก (เช่นวิธีการกำลังสองน้อยที่สุดแบบธรรมดา ) เพื่อประมาณค่าพารามิเตอร์ของแบบจำลองนั้น แบบจำลองการถดถอยประกอบด้วยส่วนประกอบดังต่อไปนี้:

• พารามิเตอร์ที่ไม่ทราบค่ามักแสดงเป็นค่าสเกลาร์หรือเวกเตอร์${\displaystyle \beta }$.
• ตัวแปรอิสระคือตัวแปรที่สังเกตได้จากข้อมูล และมักแสดงด้วยรูปเวกเตอร์${\displaystyle X_{i}}$(ที่ไหน${\displaystyle i}$(หมายถึงแถวของข้อมูล)
• ตัวแปรตาม คือตัวแปรที่สังเกตได้จากข้อมูล และมักใช้ค่าสเกลาร์ในการแสดง${\displaystyle Y_{i}}$.
• เทอมความคลาดเคลื่อนซึ่งไม่สามารถสังเกตได้โดยตรงจากข้อมูล และมักจะแสดงด้วยค่าสเกลาร์${\displaystyle e_{i}}$.

ใน สาขาการประยุกต์ใช้ต่างๆมีการใช้คำศัพท์ที่แตกต่างกันออกไปแทนตัวแปรอิสระและตัวแปรตาม

แบบจำลองการถดถอยส่วนใหญ่เสนอว่า${\displaystyle Y_{i}}$เป็นฟังก์ชัน ( ฟังก์ชันการถดถอย ) ของ${\displaystyle X_{i}}$และ${\displaystyle \beta }$, กับ${\displaystyle e_{i}}$ซึ่งแสดงถึงพจน์ความคลาดเคลื่อนแบบบวกที่อาจใช้แทนตัวกำหนดที่ไม่ได้ถูกจำลองไว้${\displaystyle Y_{i}}$หรือสัญญาณรบกวนทางสถิติแบบสุ่ม:

${\displaystyle Y_{i}=f(X_{i},\beta )+e_{i}}$

ในแบบจำลองการถดถอยมาตรฐาน ตัวแปรอิสระ${\displaystyle X_{i}}$โดยทั่วไปถือว่าตัวแปรอิสระนั้นปราศจากข้อผิดพลาด แบบจำลองข้อผิดพลาดในตัวแปร (errors-in-variables model)สามารถนำมาใช้ได้หากสันนิษฐานว่าตัวแปรอิสระมีข้อผิดพลาด นอกจากนี้ยังสามารถปรับเปลี่ยนแบบจำลองการถดถอยมาตรฐานเพื่อรองรับสถานการณ์ต่างๆ ได้ เช่น สถานการณ์ที่มีตัวแปรที่ถูกละเว้นตัวแปรแทรกซ้อนหรือ ภาวะความสัมพันธ์ภายใน (endogeneity )

เป้าหมายของนักวิจัยคือการประมาณค่าฟังก์ชัน${\displaystyle f(X_{i},\beta )}$ที่ตรงกับข้อมูลมากที่สุด ในการวิเคราะห์การถดถอย รูปแบบของฟังก์ชัน${\displaystyle f}$ต้องระบุให้ชัดเจน บางครั้งรูปแบบของฟังก์ชันนี้ขึ้นอยู่กับความรู้เกี่ยวกับความสัมพันธ์ระหว่าง${\displaystyle Y_{i}}$และ${\displaystyle X_{i}}$ซึ่งไม่ขึ้นอยู่กับข้อมูล หากไม่มีความรู้ดังกล่าว รูปแบบที่ยืดหยุ่นหรือสะดวกสำหรับ${\displaystyle f}$ถูกเลือก ตัวอย่างเช่น การถดถอยแบบตัวแปรเดียวอย่างง่ายอาจเสนอ${\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}$ซึ่งบ่งชี้ว่านักวิจัยเชื่อว่า${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}$เพื่อเป็นค่าประมาณที่สมเหตุสมผลสำหรับกระบวนการทางสถิติที่สร้างข้อมูลขึ้นมา

เมื่อนักวิจัยกำหนดแบบจำลองทางสถิติ ที่ต้องการ แล้ว การวิเคราะห์การถดถอยในรูปแบบต่างๆ จะมีเครื่องมือในการประมาณค่าพารามิเตอร์${\displaystyle \beta }$ตัวอย่างเช่นวิธีการกำลังสองน้อยที่สุด (รวมถึงวิธีการกำลังสองน้อยที่สุดแบบธรรมดา ซึ่งเป็นรูปแบบ ที่พบได้บ่อยที่สุด ) จะหาค่าของ${\displaystyle \beta }$ซึ่งทำให้ผลรวมของกำลังสองของข้อผิดพลาดมีค่าน้อยที่สุด${\displaystyle \sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}}$วิธีการถดถอยที่กำหนดจะให้ค่าประมาณของ ในท้ายที่สุด${\displaystyle \beta }$โดยปกติจะใช้สัญลักษณ์${\displaystyle {\หมวก {\beta }}}$เพื่อแยกความแตกต่างระหว่างค่าประมาณกับค่าพารามิเตอร์ที่แท้จริง (ไม่ทราบค่า) ซึ่งเป็นค่าที่สร้างข้อมูลขึ้นมา โดยใช้ค่าประมาณนี้ นักวิจัยสามารถใช้ค่าที่ได้จากการปรับให้เหมาะสมได้${\displaystyle {\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})}$เพื่อการทำนายหรือเพื่อประเมินความถูกต้องของแบบจำลองในการอธิบายข้อมูล ไม่ว่านักวิจัยจะมีความสนใจโดยแท้จริงในการประมาณค่าหรือไม่ก็ตาม${\displaystyle {\หมวก {\beta }}}$หรือค่าที่คาดการณ์ไว้${\displaystyle {\หมวก {Y_{i}}}}$จะขึ้นอยู่กับบริบทและเป้าหมายของพวกเขา ดังที่อธิบายไว้ในวิธีการกำลังสองน้อยที่สุดแบบธรรมดาวิธีการกำลังสองน้อยที่สุดถูกนำมาใช้อย่างแพร่หลายเนื่องจากฟังก์ชันที่ประมาณค่าได้${\displaystyle f(X_{i},{\hat {\beta }})}$ประมาณค่าคาดหวังแบบมีเงื่อนไข${\displaystyle E(Y_{i}|X_{i})}$^{[ 9 ]}อย่างไรก็ตามตัวแปรทางเลือกอื่นๆ (เช่นค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดหรือการถดถอยควอนไทล์ ) มีประโยชน์เมื่อนักวิจัยต้องการสร้างแบบจำลองฟังก์ชันอื่นๆ${\displaystyle f(X_{i},\beta )}$.

จำเป็นต้องมีข้อมูลเพียงพอเพื่อใช้ในการประมาณค่าแบบจำลองการถดถอย ตัวอย่างเช่น สมมติว่านักวิจัยสามารถเข้าถึงข้อมูลได้${\displaystyle N}$แถวข้อมูลที่มีตัวแปรตาม 1 ตัวและตัวแปรอิสระ 2 ตัว:${\displaystyle (Y_{i},X_{1i},X_{2i})}$สมมติเพิ่มเติมว่านักวิจัยต้องการประมาณค่าแบบจำลองเชิงเส้นสองตัวแปรโดยใช้วิธีกำลังสองน้อยที่สุด :${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}}$หากนักวิจัยสามารถเข้าถึงได้เพียง...${\displaystyle N=2}$หากมีข้อมูลจำนวนจุด พวกเขาก็จะสามารถค้นหาชุดค่าผสมได้มากมายนับไม่ถ้วน${\displaystyle ({\hat {\beta }__{0},{\hat {\beta }__{1},{\hat {\beta }__{2})}$ที่อธิบายข้อมูลได้ดีเท่าเทียมกัน: สามารถเลือกชุดค่าผสมใดก็ได้ที่ตรงตามความต้องการ${\displaystyle {\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}}$ซึ่งทั้งหมดนี้จะนำไปสู่${\displaystyle \sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0}$และด้วยเหตุนี้จึงเป็นคำตอบที่ถูกต้องซึ่งลดผลรวมของกำลังสองของค่าความคลาดเคลื่อน ให้เหลือ น้อยที่สุด เพื่อทำความเข้าใจว่าทำไมจึงมีตัวเลือกมากมายนับไม่ถ้วน โปรดสังเกตว่าระบบของ${\displaystyle N=2}$สมการนี้ต้องหาค่าตัวแปรที่ไม่ทราบค่า 3 ตัว ซึ่งทำให้ระบบสมการไม่สมบูรณ์อีกทางเลือกหนึ่งคือ เราสามารถมองเห็นระนาบสามมิติจำนวนอนันต์ที่ผ่านจุดนั้นได้${\displaystyle N=2}$จุดคงที่

โดยทั่วไปแล้ว การประมาณ ค่าแบบจำลอง กำลังสองน้อยที่สุดด้วย${\displaystyle k}$พารามิเตอร์ที่แตกต่างกัน จะต้องมี${\displaystyle N\geq k}$จุดข้อมูลที่แตกต่างกัน หาก${\displaystyle N>k}$ดังนั้นโดยทั่วไปแล้วจึงไม่มีชุดพารามิเตอร์ใดที่จะเหมาะสมกับข้อมูลได้อย่างสมบูรณ์แบบ ปริมาณ${\displaystyle Nk}$ตัวแปรอิสระมักปรากฏในการวิเคราะห์การถดถอย และถูกเรียกว่าระดับความเป็นอิสระในแบบจำลอง นอกจากนี้ ในการประมาณแบบจำลองกำลังสองน้อยที่สุด ตัวแปรอิสระ${\displaystyle (X_{1i},X_{2i},...,X_{ki})}$ตัวแปรอิสระ ต้องเป็นอิสระเชิงเส้น : จะต้องไม่สามารถสร้างตัวแปรอิสระใดๆ ขึ้นมาใหม่ได้โดยการบวกและคูณตัวแปรอิสระที่เหลืออยู่ ดังที่ได้กล่าวไว้ในวิธีการกำลังสองน้อยที่สุดแบบธรรมดาเงื่อนไขนี้รับประกันว่า${\displaystyle X^{T}X}$เป็นเมทริกซ์ผกผันได้ดังนั้นจึงมีคำตอบที่ไม่ซ้ำกัน${\displaystyle {\หมวก {\beta }}}$มีอยู่จริง

โดยตัวมันเองแล้ว การวิเคราะห์การถดถอยเป็นเพียงการคำนวณที่กระทำกับชุดข้อมูล เพื่อที่จะตีความผลลัพธ์ของการวิเคราะห์การถดถอยว่าเป็นแบบจำลองทางสถิติที่มีความหมายซึ่งวัดความสัมพันธ์ในโลกแห่งความเป็นจริง นักวิจัยมักอาศัยสมมติฐาน แบบดั้งเดิมหลายประการ สมมติฐานเหล่านี้มักรวมถึง:

• กลุ่มตัวอย่างนี้เป็นตัวแทนของประชากรโดยรวม
• ตัวแปรอิสระได้รับการวัดโดยไม่มีข้อผิดพลาด
• ค่าเบี่ยงเบนจากแบบจำลองจะมีค่าที่คาดหวังเป็นศูนย์ โดยขึ้นอยู่กับตัวแปรควบคุม:${\displaystyle E(e_{i}|X_{i})=0}$
• ความแปรปรวนของค่าตกค้าง${\displaystyle e_{i}}$มีค่าคงที่ตลอดการสังเกต ( ภาวะความแปรปรวน คงที่ )
• ส่วนที่เหลือ${\displaystyle e_{i}}$ค่าเหล่านี้ ไม่มีความสัมพันธ์กัน ในทางคณิตศาสตร์เมทริกซ์ความแปรปรวนร่วมของค่าความคลาดเคลื่อนจะเป็น เมทริก ซ์ทแยงมุม

เงื่อนไขเพียงไม่กี่ข้อก็เพียงพอแล้วที่จะทำให้ตัวประมาณค่ากำลังสองน้อยที่สุดมีคุณสมบัติที่พึงประสงค์ โดยเฉพาะอย่างยิ่ง สมมติฐานของเกาส์-มาร์คอฟบ่งชี้ว่าค่าประมาณพารามิเตอร์จะไม่เอนเอียงสอดคล้องและมีประสิทธิภาพในกลุ่มของตัวประมาณค่าเชิงเส้นที่ไม่เอนเอียง ผู้ปฏิบัติงานได้พัฒนาวิธีการต่างๆ เพื่อรักษาคุณสมบัติที่พึงประสงค์เหล่านี้บางส่วนหรือทั้งหมดในสภาพแวดล้อมจริง เนื่องจากสมมติฐานแบบคลาสสิกเหล่านี้ไม่น่าจะเป็นจริงอย่างแน่นอน ตัวอย่างเช่น การสร้างแบบจำลองข้อผิดพลาดในตัวแปรสามารถนำไปสู่การประมาณค่าที่สมเหตุสมผลเมื่อตัวแปรอิสระถูกวัดด้วยข้อผิดพลาดค่าความคลาดเคลื่อนมาตรฐานที่สอดคล้องกับความแปรปรวนที่ไม่คงที่ช่วยให้สามารถประมาณค่าความแปรปรวนของตัวแปรได้${\displaystyle e_{i}}$เพื่อเปลี่ยนแปลงค่าต่างๆ${\displaystyle X_{i}}$ข้อผิดพลาดที่สัมพันธ์กันซึ่งมีอยู่ในชุดย่อยของข้อมูลหรือเป็นไปตามรูปแบบเฉพาะ สามารถจัดการได้โดยใช้ค่าความคลาดเคลื่อนมาตรฐานแบบคลัสเตอร์ การถดถอยแบบถ่วงน้ำหนักทางภูมิศาสตร์หรือ ค่าความคลาดเคลื่อนมาตรฐานแบบ Newey–Westและเทคนิคอื่นๆ เมื่อแถวของข้อมูลสอดคล้องกับตำแหน่งในพื้นที่ การเลือกวิธีการสร้างแบบจำลองจึงมีความสำคัญ${\displaystyle e_{i}}$ภายในหน่วยทางภูมิศาสตร์อาจมีผลกระทบที่สำคัญ^{[ 21 ] [ 22 ]}สาขาย่อยของเศรษฐศาสตร์เชิงปริมาณส่วนใหญ่มุ่งเน้นไปที่การพัฒนาเทคนิคที่ช่วยให้นักวิจัยสามารถสรุปผลที่สมเหตุสมผลในโลกแห่งความเป็นจริงในสภาพแวดล้อมจริง ซึ่งสมมติฐานแบบคลาสสิกไม่เป็นไปตามที่คาดไว้

ในการวิเคราะห์การถดถอยเชิงเส้น แบบจำลองจะกำหนดว่าตัวแปรตามคือ...${\displaystyle y_{i}}$เป็นการรวมกันเชิงเส้นของพารามิเตอร์ (แต่ไม่จำเป็นต้องเป็นเชิงเส้นในตัวแปรอิสระ ) ตัวอย่างเช่น ในการถดถอยเชิงเส้นอย่างง่ายสำหรับการสร้างแบบจำลอง${\displaystyle n}$จุดข้อมูลมีตัวแปรอิสระหนึ่งตัว:${\displaystyle x_{i}}$และพารามิเตอร์สองตัว${\displaystyle \beta _{0}}$และ${\displaystyle \beta _{1}}$:

เส้นตรง:${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!}$

ในการวิเคราะห์การถดถอยเชิงเส้นหลายตัวแปร จะมีตัวแปรอิสระหลายตัวหรือฟังก์ชันของตัวแปรอิสระหลายตัว

การเพิ่มเทอมใน${\displaystyle x_{i}^{2}}$เมื่อนำไปเปรียบเทียบกับการถดถอยก่อนหน้านี้จะได้ผลลัพธ์ดังนี้:

พาราโบลา:${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!}$

นี่ก็ยังคงเป็นการถดถอยเชิงเส้นอยู่ดี แม้ว่านิพจน์ทางด้านขวามือจะเป็นแบบกำลังสองในตัวแปรอิสระก็ตาม${\displaystyle x_{i}}$มันเป็นเชิงเส้นในพารามิเตอร์${\displaystyle \beta _{0}}$,${\displaystyle \beta _{1}}$และ${\displaystyle \beta _{2}.}$

ในทั้งสองกรณี${\displaystyle \varepsilon _{i}}$เป็นพจน์ความคลาดเคลื่อนและตัวห้อย${\displaystyle i}$ดัชนีบ่งชี้การสังเกตเฉพาะอย่างหนึ่ง

กลับมาพิจารณากรณีเส้นตรงอีกครั้ง: เมื่อได้ตัวอย่างแบบสุ่มจากประชากร เราจะประมาณค่าพารามิเตอร์ของประชากรและได้แบบจำลองการถดถอยเชิงเส้นของตัวอย่าง:

${\displaystyle {\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.}$

ส่วนที่เหลือ${\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}$คือผลต่างระหว่างค่าของตัวแปรตามที่แบบจำลองทำนายไว้${\displaystyle {\widehat {y}}_{i}}$และค่าที่แท้จริงของตัวแปรตาม${\displaystyle y_{i}}$วิธีหนึ่งในการประมาณค่าคือ วิธีการกำลังสองน้อยที่สุดแบบธรรมดาวิธีนี้จะได้ค่าประมาณพารามิเตอร์ที่ทำให้ผลรวมของกำลังสองของส่วนเหลือ ( SSR)มี ค่าน้อยที่สุด

${\displaystyle SSR=\sum _{i=1}^{n}e_{i}^{2}}$

การหาค่าต่ำสุดของฟังก์ชันนี้จะส่งผลให้ได้ชุดสมการปกติซึ่งเป็นชุดสมการเชิงเส้นพร้อมกันในตัวแปรพารามิเตอร์ และจะแก้สมการเหล่านี้เพื่อให้ได้ตัวประมาณค่าพารามิเตอร์${\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}}$.

ในกรณีของการถดถอยเชิงเส้นอย่างง่าย สูตรสำหรับการประมาณค่ากำลังสองน้อยที่สุดคือ

${\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}$

ที่ไหน${\displaystyle {\bar {x}}}$คือค่าเฉลี่ยของ${\displaystyle x}$ค่านิยมและ${\displaystyle {\bar {y}}}$คือค่าเฉลี่ยของ${\displaystyle y}$ค่านิยม

ภายใต้สมมติฐานที่ว่าค่าความคลาดเคลื่อนของประชากรมีค่าความแปรปรวนคงที่ ค่าประมาณของความแปรปรวนนั้นกำหนดโดย:

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}}$

นี่เรียกว่าค่าความคลาดเคลื่อนกำลังสองเฉลี่ย (MSE) ของการถดถอย ตัวหารคือขนาดของกลุ่มตัวอย่างที่ลดลงด้วยจำนวนพารามิเตอร์ของแบบจำลองที่ประมาณจากข้อมูลชุดเดียวกัน${\displaystyle (n-p)}$สำหรับ${\displaystyle p}$ตัวถดถอยหรือ${\displaystyle (n-p-1)}$หากมีการใช้จุดตัด^{[ 23 ]}ในกรณีนี้${\displaystyle p=1}$ดังนั้นตัวหารคือ${\displaystyle n-2}$.

ค่าความคลาดเคลื่อนมาตรฐานของการประมาณค่าพารามิเตอร์กำหนดโดย

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}$

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}.}$

ภายใต้สมมติฐานเพิ่มเติมที่ว่าค่าความคลาดเคลื่อนของประชากรมีการกระจายแบบปกติ นักวิจัยสามารถใช้ค่าความคลาดเคลื่อนมาตรฐานที่ประมาณไว้เหล่านี้เพื่อสร้างช่วงความเชื่อมั่นและทำการทดสอบสมมติฐานเกี่ยวกับพารามิเตอร์ของประชากรได้

เมื่อฟังก์ชันแบบจำลองไม่เป็นเชิงเส้นในพารามิเตอร์ ผลรวมของกำลังสองจะต้องถูกทำให้มีค่าน้อยที่สุดโดยกระบวนการวนซ้ำ ซึ่งก่อให้เกิดความซับซ้อนหลายประการ ซึ่งสรุปไว้ในหัวข้อความแตกต่างระหว่างกำลังสองน้อยที่สุดเชิงเส้นและไม่เชิงเส้น

แบบจำลองการถดถอยทำนายค่าของ ตัวแปร Yโดยทราบค่าของ ตัวแปร Xการทำนายภายในช่วงค่าของชุดข้อมูลที่ใช้ในการสร้างแบบจำลองเรียกว่า การประมาณค่าในช่วง ( interpolation ) ส่วนการทำนายนอกช่วงค่าของข้อมูลเรียกว่า การประมาณค่าภายนอกช่วง ( extrapolation ) การประมาณค่าภายนอกช่วงขึ้นอยู่กับสมมติฐานของการถดถอยเป็นอย่างมาก ยิ่งการประมาณค่าภายนอกช่วงไปไกลจากข้อมูลมากเท่าใด ก็ยิ่งมีโอกาสที่แบบจำลองจะล้มเหลวมากขึ้นเท่านั้น เนื่องจากความแตกต่างระหว่างสมมติฐานและข้อมูลตัวอย่างหรือค่าที่แท้จริง

ช่วงการทำนายที่แสดงถึงความไม่แน่นอนอาจปรากฏควบคู่ไปกับการทำนายแบบจุด ช่วงดังกล่าวมีแนวโน้มที่จะขยายตัวอย่างรวดเร็วเมื่อค่าของตัวแปรอิสระเคลื่อนออกไปนอกช่วงที่ครอบคลุมโดยข้อมูลที่สังเกตได้

ด้วยเหตุผลดังกล่าวและเหตุผลอื่นๆ บางคนจึงมักกล่าวว่าการคาดการณ์ล่วงหน้าอาจไม่เหมาะสม^{[ 25 ]}

ไม่มีวิธีการที่เป็นที่ยอมรับโดยทั่วไปในการเชื่อมโยงจำนวนการสังเกตกับจำนวนตัวแปรอิสระในแบบจำลอง วิธีหนึ่งที่ Good และ Hardin คาดการณ์ไว้คือ${\displaystyle N=m^{n}}$, ที่ไหน${\displaystyle N}$ขนาดของกลุ่มตัวอย่าง${\displaystyle n}$คือจำนวนตัวแปรอิสระและ${\displaystyle m}$คือจำนวนการสังเกตที่จำเป็นเพื่อให้ได้ความแม่นยำที่ต้องการหากแบบจำลองมีตัวแปรอิสระเพียงตัวเดียว^{[ 26 ]}ตัวอย่างเช่น นักวิจัยกำลังสร้างแบบจำลองการถดถอยเชิงเส้นโดยใช้ชุดข้อมูลที่มีผู้ป่วย 1,000 ราย (${\displaystyle N}$). หากนักวิจัยตัดสินใจว่าจำเป็นต้องมีการสังเกตการณ์ห้าครั้งเพื่อกำหนดเส้นตรงอย่างแม่นยำ (${\displaystyle m}$) จากนั้นจำนวนตัวแปรอิสระสูงสุด (${\displaystyle n}$) โมเดลนี้สามารถรองรับได้ 4 เนื่องจาก

${\displaystyle {\frac {\log 1000}{\log 5}}\approx 4.29}$.

แม้ว่าโดยทั่วไปแล้วค่าพารามิเตอร์ของแบบจำลองการถดถอยจะถูกประมาณโดยใช้วิธีการกำลังสองน้อยที่สุด แต่ก็มีวิธีการอื่นๆ ที่เคยใช้เช่นกัน ได้แก่:

• วิธีการแบบเบย์เซียนเช่นการถดถอยเชิงเส้นแบบเบย์เซียน
• การถดถอยแบบเปอร์เซ็นต์ สำหรับสถานการณ์ที่การลด ข้อผิดพลาด แบบเปอร์เซ็นต์ถือว่าเหมาะสมกว่า^{[ 27 ]}
• ค่าเบี่ยงเบนสัมบูรณ์น้อยที่สุดซึ่งมีความทนทานต่อค่าผิดปกติได้ดีกว่า นำไปสู่การถดถอยควอนไทล์
• การถดถอยแบบไม่ใช้พารามิเตอร์นั้นต้องการจำนวนข้อมูลจำนวนมาก และต้องใช้การคำนวณที่ซับซ้อน
• การเพิ่มประสิทธิภาพสถานการณ์นำไปสู่แบบจำลองการทำนายช่วงเวลา

โปรแกรมซอฟต์แวร์ทางสถิติหลัก ๆ ทุกโปรแกรมสามารถทำการวิเคราะห์และอนุมานการถดถอยแบบกำลังสองน้อยที่สุด ได้ การถดถอยเชิงเส้นอย่างง่ายและการถดถอยหลายตัวแปรโดยใช้กำลังสองน้อยที่สุดสามารถทำได้ใน โปรแกรม สเปรดชีต บาง โปรแกรมและเครื่องคิดเลขบางเครื่อง ในขณะที่โปรแกรมซอฟต์แวร์ทางสถิติหลายโปรแกรมสามารถทำการถดถอยแบบไม่พาราเมตริกและแบบแข็งแกร่งได้หลายประเภท แต่มาตรฐานของวิธีการเหล่านี้ยังไม่ชัดเจน โปรแกรมซอฟต์แวร์แต่ละโปรแกรมใช้ระเบียบวิธีที่แตกต่างกัน และวิธีการที่มีชื่อเดียวกันอาจถูกนำไปใช้แตกต่างกันในโปรแกรมอื่น ๆ โปรแกรมซอฟต์แวร์การถดถอยเฉพาะทางได้รับการพัฒนาขึ้นเพื่อใช้ในสาขาต่าง ๆ เช่น การวิเคราะห์แบบสำรวจและการถ่ายภาพทางประสาทวิทยา

• William H. KruskalและJudith M. Tanurบรรณาธิการ (1978), "สมมติฐานเชิงเส้น", สารานุกรมสถิตินานาชาติ สำนักพิมพ์ฟรีเพรส เล่ม 1

อีแวน เจ. วิลเลียมส์, "I. การถดถอย," หน้า 523–41.

Julian C. Stanley , "II. การวิเคราะห์ความแปรปรวน," หน้า 541–554.

• Lindley, DV (1987). "การวิเคราะห์การถดถอยและความสัมพันธ์" New Palgrave: A Dictionary of Economics , เล่ม 4, หน้า 120–23.
• Birkes, David และDodge , Y. , วิธีการถดถอยทางเลือก ISBN 0-471-56881-3
• Chatfield, C. (1993) " การคำนวณการพยากรณ์ช่วงเวลา " วารสารสถิติธุรกิจและเศรษฐกิจ11หน้า 121–135
• Draper, NR; Smith, H. (1998). การวิเคราะห์การถดถอยประยุกต์ (  ฉบับที่ 3). John Wiley. ISBN 978-0-471-17082-2.
• ฟ็อกซ์, เจ. (1997). การวิเคราะห์การถดถอยประยุกต์ แบบจำลองเชิงเส้น และวิธีการที่เกี่ยวข้องเซจ
• Hardle, W., การถดถอยแบบไม่พาราเมตริกประยุกต์ (1990), ISBN 0-521-42950-1
• Meade, Nigel; Islam, Towhidul (1995). "ช่วงการทำนายสำหรับการพยากรณ์เส้นโค้งการเติบโต". Journal of Forecasting . 14 (5): 413– 430. doi : 10.1002/for.3980140502 .
• A. Sen, M. Srivastava, การวิเคราะห์การถดถอย—ทฤษฎี วิธีการ และการประยุกต์ใช้ , Springer-Verlag, เบอร์ลิน, 2011 (พิมพ์ครั้งที่ 4)
• T. Strutz: การปรับข้อมูลให้เข้ากับแบบจำลองและความไม่แน่นอน (บทนำเชิงปฏิบัติเกี่ยวกับการถ่วงน้ำหนักกำลังสองน้อยที่สุดและอื่นๆ) Vieweg+Teubner, ISBN 978-3-8348-1022-9.
• Stulp, Freek และ Olivier Sigaud. อัลกอริทึมการถดถอยหลายแบบ แต่มีแบบจำลองที่เป็นเอกภาพเพียงแบบเดียว: บทวิจารณ์. Neural Networks, เล่มที่ 69, กันยายน 2015, หน้า 60–79 . https://doi.org/10.1016/j.neunet.2015.05.005
• มาลาคูติ, บี. (2013). ระบบการดำเนินงานและการผลิตที่มีหลายวัตถุประสงค์ . จอห์น ไวลีย์ แอนด์ ซันส์.
• ชิคโก้, ดาวิเด้; วอร์เรนส์, แมทธิจส์ เจ.; เจอร์มัน, จูเซปเป้ (2021) "ค่าสัมประสิทธิ์การกำหนด R-squared มีข้อมูลมากกว่า SMAPE, MAE, MAPE, MSE และ RMSE ในการประเมินการวิเคราะห์การถดถอย " เพียร์เจ วิทยาการคอมพิวเตอร์ . 7 (e623): e623. ดอย : 10.7717/peerj- cs.623 PMC 8279135 . PMID34307865 .​  

วิกิมีเดียคอมมอน ส์มีสื่อที่เกี่ยวข้องกับการวิเคราะห์การถดถอย

• "การวิเคราะห์การถดถอย" , สารานุกรมคณิตศาสตร์ , EMS Press , 2001 [1994]
• การใช้งานครั้งแรก: การถดถอย – ประวัติความเป็นมาและข้อมูลอ้างอิงเบื้องต้น
• การวิเคราะห์การถดถอยพหุตัวแปรใช้เพื่ออะไร? – การวิเคราะห์การถดถอยพหุตัวแปร
• การวิเคราะห์การถดถอยของข้อมูลที่มีความสัมพันธ์กันน้อย – ข้อผิดพลาดในการวิเคราะห์การถดถอยเชิงเส้นอาจเกิดขึ้นได้อย่างไรเมื่อช่วงค่า Y น้อยกว่าช่วงค่า X มาก