ในทางสถิติการถดถอยแบบขั้นตอน (stepwise regression)เป็นวิธีการสร้างแบบจำลองการถดถอยโดยที่การเลือกตัวแปรทำนายจะดำเนินการโดยกระบวนการอัตโนมัติ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]}ในแต่ละขั้นตอน จะมีการพิจารณาตัวแปรหนึ่งตัวเพื่อเพิ่มหรือลบออกจากชุดของตัวแปรอธิบาย โดยอาศัยเกณฑ์ที่กำหนดไว้ล่วงหน้า โดยปกติแล้ว จะอยู่ในรูปแบบของลำดับ การทดสอบFหรือการทดสอบ t แบบไปข้างหน้า แบบย้อนกลับ หรือแบบผสม

การปฏิบัติบ่อยครั้งในการปรับแบบจำลองที่เลือกขั้นสุดท้ายตามด้วยการรายงานค่าประมาณและช่วงความเชื่อมั่นโดยไม่ปรับให้เข้ากับกระบวนการสร้างแบบจำลอง ทำให้เกิดการเรียกร้องให้หยุดใช้การสร้างแบบจำลองทีละขั้นตอนโดยสิ้นเชิง^{[ 5 ] [ 6 ]}หรืออย่างน้อยที่สุดก็ต้องแน่ใจว่าความไม่แน่นอนของแบบจำลองสะท้อนออกมาอย่างถูกต้องโดยใช้เกณฑ์อัตโนมัติที่กำหนดไว้ล่วงหน้าพร้อมกับ ค่าประมาณ ข้อผิดพลาดมาตรฐาน ที่ซับซ้อนมากขึ้น ซึ่งยังคงไม่เอนเอียง^{[ 7 ] [ 8 ]}

แนวทางหลักสำหรับการวิเคราะห์การถดถอยแบบทีละขั้นตอนมีดังนี้:

• การเลือกตัวแปรไปข้างหน้า (Forward selection ) คือการเริ่มต้นโดยไม่มีตัวแปรใด ๆ ในแบบจำลอง จากนั้นทดสอบการเพิ่มตัวแปรแต่ละตัวโดยใช้เกณฑ์ความเหมาะสมของแบบจำลองที่เลือกไว้ เพิ่มตัวแปร (ถ้ามี) ที่การรวมตัวแปรนั้นทำให้ความเหมาะสมของแบบจำลองดีขึ้นอย่างมีนัยสำคัญทางสถิติและทำซ้ำกระบวนการนี้จนกว่าจะไม่มีตัวแปรใดที่ทำให้แบบจำลองดีขึ้นอย่างมีนัยสำคัญทางสถิติอีกต่อไป
• วิธีการกำจัดย้อนหลัง (Backward elimination ) คือการเริ่มต้นด้วยตัวแปรที่เป็นไปได้ทั้งหมด ทดสอบการลบตัวแปรแต่ละตัวโดยใช้เกณฑ์ความเหมาะสมของแบบจำลองที่เลือกไว้ ลบตัวแปร (ถ้ามี) ที่การลบนั้นทำให้ความเหมาะสมของแบบจำลองลดลงน้อยที่สุดในทางสถิติ และทำซ้ำกระบวนการนี้จนกว่าจะไม่มีตัวแปรใดที่สามารถลบได้โดยไม่ทำให้ความเหมาะสมของแบบจำลองลดลงอย่างมีนัยสำคัญทางสถิติ
• การกำจัดแบบสองทิศทางคือการผสมผสานระหว่างวิธีการข้างต้น โดยทำการทดสอบในแต่ละขั้นตอนเพื่อหาตัวแปรที่จะรวมหรือตัดออก

อัลกอริทึมที่ใช้กันอย่างแพร่หลายได้รับการเสนอครั้งแรกโดย Efroymson (1960) ^{[ 10 ]}นี่คือขั้นตอนอัตโนมัติสำหรับการเลือกแบบจำลอง ทางสถิติ ในกรณีที่มีตัวแปรอธิบายที่มีศักยภาพจำนวนมาก และไม่มีทฤษฎีพื้นฐานที่จะใช้เป็นพื้นฐาน ในการ เลือกแบบจำลองขั้นตอนนี้ใช้เป็นหลักในการวิเคราะห์การถดถอยแม้ว่าแนวทางพื้นฐานจะสามารถนำไปใช้ได้ในการเลือกแบบจำลองหลายรูปแบบ นี่คือรูปแบบหนึ่งของการเลือกแบบไปข้างหน้า ในแต่ละขั้นตอนของกระบวนการ หลังจากเพิ่มตัวแปรใหม่แล้ว จะมีการทดสอบเพื่อตรวจสอบว่าสามารถลบตัวแปรบางตัวออกได้หรือไม่โดยไม่ทำให้ผลรวมกำลังสองของส่วนเหลือ (RSS) เพิ่มขึ้นอย่างมีนัยสำคัญ ขั้นตอนจะสิ้นสุดลงเมื่อการวัดมีค่าสูงสุด (ในระดับท้องถิ่น) หรือเมื่อการปรับปรุงที่มีอยู่ลดลงต่ำกว่าค่าวิกฤตบางค่า

ปัญหาหลักประการหนึ่งของการถดถอยแบบทีละขั้นตอนคือการค้นหาโมเดลที่เป็นไปได้จำนวนมาก ดังนั้นจึงมีแนวโน้มที่จะเกิดการโอเวอร์ฟิตกับข้อมูล กล่าวอีกนัยหนึ่ง การถดถอยแบบทีละขั้นตอนมักจะเหมาะสมกับข้อมูลตัวอย่างมากกว่าข้อมูลใหม่นอกตัวอย่าง มีกรณีสุดขั้วที่โมเดลบรรลุความสำคัญทางสถิติโดยใช้ตัวเลขสุ่ม^{[ 11 ]}ปัญหานี้สามารถบรรเทาได้หากเกณฑ์สำหรับการเพิ่ม (หรือลบ) ตัวแปรมีความเข้มงวดเพียงพอ จุดสำคัญอยู่ที่สิ่งที่อาจคิดได้ว่าเป็น จุด บอนเฟอร์โรนีกล่าวคือ ตัวแปรปลอมที่ดีที่สุดควรมีความสำคัญมากน้อยเพียงใดโดยอาศัยโอกาสเพียงอย่างเดียว ใน มาตราส่วนสถิติ tจะเกิดขึ้นที่ประมาณ${\displaystyle {\sqrt {2\log p}}}$โดยที่pคือจำนวนตัวแปรทำนาย น่าเสียดายที่นั่นหมายความว่าตัวแปรจำนวนมากที่มีสัญญาณจริงจะไม่ถูกนำมาพิจารณา ขอบเขตนี้จึงกลายเป็นจุดสมดุลที่เหมาะสมระหว่างการเกิดภาวะโอเวอร์ฟิตติ้งและการขาดสัญญาณ หากเราพิจารณาความเสี่ยงของการใช้ค่าตัดที่แตกต่างกัน การใช้ขอบเขตนี้จะอยู่ภายใน${\displaystyle 2\log p}$ปัจจัยของความเสี่ยงที่ดีที่สุดที่เป็นไปได้ การตัดออกอื่นใดจะส่งผลให้ความเสี่ยงดังกล่าวเพิ่มขึ้นมากขึ้น^{[ 12 ] [ 13 ]}

วิธีหนึ่งในการทดสอบข้อผิดพลาดในแบบจำลองที่สร้างขึ้นโดยการถดถอยแบบทีละขั้นตอน คือการไม่พึ่งพา ค่าสถิติ Fความสำคัญ หรือค่า R ของแบบจำลอง แต่ให้ประเมินแบบจำลองกับชุดข้อมูลที่ไม่ได้ใช้ในการสร้างแบบจำลองแทน^{[ 14 ]}วิธีนี้มักทำโดยการสร้างแบบจำลองโดยใช้ตัวอย่างจากชุดข้อมูลที่มีอยู่ (เช่น 70%) – “ ชุดฝึกอบรม ” – และใช้ส่วนที่เหลือของชุดข้อมูล (เช่น 30%) เป็นชุดตรวจสอบเพื่อประเมินความแม่นยำของแบบจำลอง ความแม่นยำมักจะวัดเป็นค่าความคลาดเคลื่อนมาตรฐานจริง (SE) MAPE ( ค่าความคลาดเคลื่อนร้อยละสัมบูรณ์เฉลี่ย ) หรือค่าความคลาดเคลื่อนเฉลี่ยระหว่างค่าที่ทำนายได้กับค่าจริงในตัวอย่างที่ใช้ทดสอบ^{[ 15 ]}วิธีนี้มีประโยชน์อย่างยิ่งเมื่อมีการเก็บรวบรวมข้อมูลในสภาพแวดล้อมที่แตกต่างกัน (เช่น ช่วงเวลาที่แตกต่างกัน สถานการณ์ทางสังคมเทียบกับสถานการณ์ส่วนตัว) หรือเมื่อสันนิษฐานว่าแบบจำลองสามารถนำไปใช้ได้ทั่วไป

กระบวนการถดถอยแบบทีละขั้นตอนถูกนำมาใช้ในการทำเหมืองข้อมูลแต่ก็เป็นที่ถกเถียงกันอยู่ มีประเด็นวิพากษ์วิจารณ์หลายประการ

• การทดสอบเองก็มีอคติ เนื่องจากใช้ข้อมูลชุดเดียวกัน^{[ 16 ] [ 17 ]} Wilkinson และ Dallal (1981) ^{[ 18 ]}คำนวณจุดเปอร์เซ็นต์ของสัมประสิทธิ์สหสัมพันธ์หลายตัวโดยการจำลอง และแสดงให้เห็นว่าการถดถอยขั้นสุดท้ายที่ได้จากการเลือกไปข้างหน้า ซึ่งขั้นตอน F กล่าวว่ามีความสำคัญที่ 0.1% นั้น แท้จริงแล้วมีความสำคัญเพียงที่ 5% เท่านั้น
• เมื่อประเมินระดับความเป็นอิสระจำนวนตัวแปรอิสระที่เป็นไปได้จากค่าที่เหมาะสมที่สุดที่เลือกอาจน้อยกว่าจำนวนตัวแปรทั้งหมดของแบบจำลองสุดท้าย ทำให้การปรับค่า r² ดูดีกว่าความเป็นจริงเมื่อปรับ^ค่าr²ตามจำนวนระดับความเป็นอิสระ สิ่งสำคัญคือต้องพิจารณาว่ามีการใช้ระดับความเป็นอิสระกี่ระดับในแบบจำลองทั้งหมด ไม่ใช่แค่การนับจำนวนตัวแปรอิสระในการปรับค่าที่ได้^{[ 19 ]}
• แบบจำลองที่สร้างขึ้นอาจเป็นการลดทอนแบบจำลองข้อมูลจริงมากเกินไป^{[ 20 ]}

ข้อวิจารณ์ดังกล่าว ซึ่งอ้างอิงจากข้อจำกัดของความสัมพันธ์ระหว่างแบบจำลอง กระบวนการ และชุดข้อมูล ที่ใช้ในการปรับแบบจำลอง นั้นมักได้รับการแก้ไขโดยการตรวจสอบแบบจำลองบนชุดข้อมูลอิสระ ดังเช่นในกระบวนการ PRESS

นักวิจารณ์มองว่ากระบวนการนี้เป็นตัวอย่างแบบอย่างของการขุดค้นข้อมูลการคำนวณอย่างเข้มข้นมักไม่ใช่สิ่งทดแทนที่เพียงพอสำหรับความเชี่ยวชาญในสาขาเฉพาะ นอกจากนี้ ผลลัพธ์ของการถดถอยแบบทีละขั้นตอนมักถูกนำไปใช้อย่างไม่ถูกต้องโดยไม่ปรับให้เข้ากับการเลือกแบบจำลอง โดยเฉพาะอย่างยิ่งการปฏิบัติในการปรับแบบจำลองที่เลือกขั้นสุดท้ายราวกับว่าไม่มีการเลือกแบบจำลองเกิดขึ้น และการรายงานค่าประมาณและช่วงความเชื่อมั่นราวกับว่าทฤษฎีกำลังสองน้อยที่สุดนั้นใช้ได้กับแบบจำลองเหล่านั้น ได้รับการอธิบายว่าเป็นเรื่องอื้อฉาว^{[ 7 ]}การใช้งานที่ไม่ถูกต้องอย่างแพร่หลายและความพร้อมใช้งานของทางเลือกอื่น เช่นการเรียนรู้แบบกลุ่มการปล่อยให้ตัวแปรทั้งหมดอยู่ในแบบจำลอง หรือการใช้ดุลยพินิจของผู้เชี่ยวชาญในการระบุตัวแปรที่เกี่ยวข้อง ทำให้เกิดการเรียกร้องให้หลีกเลี่ยงการเลือกแบบจำลองทีละขั้นตอนโดยสิ้นเชิง^{[ 5 ]}

• ความขัดแย้งของฟรีดแมน
• การถดถอยโลจิสติก
• การถดถอยมุมน้อยที่สุด
• มีดโกนของอ็อกแคม
• การตรวจสอบการถดถอย
• ลาสโซ (สถิติ)