ในทางสถิติการถดถอยพหุนามเป็นรูปแบบหนึ่งของการวิเคราะห์การถดถอยซึ่งความสัมพันธ์ระหว่างตัวแปรอิสระxและตัวแปร ตาม yถูกจำลองเป็นพหุนามในxการถดถอยพหุนามจะปรับความสัมพันธ์ที่ไม่เป็นเชิงเส้นระหว่างค่าของxและ ค่า เฉลี่ยแบบมีเงื่อนไขที่ สอดคล้องกัน ของyซึ่งเขียนแทนด้วย E( y  | x ) แม้ว่าการถดถอยพหุนามจะปรับแบบจำลองที่ไม่เป็นเชิงเส้นให้เข้ากับข้อมูล แต่ในฐานะที่เป็น ปัญหา การประมาณค่าทางสถิติแล้วมันเป็นเชิงเส้น ในแง่ที่ว่าฟังก์ชันการถดถอย E( y  | x ) เป็นเชิงเส้นใน พารามิเตอร์ที่ไม่ทราบค่าซึ่งประมาณได้จากข้อมูลดังนั้น การถดถอยพหุนามจึงเป็นกรณีพิเศษของการถดถอยเชิงเส้นหลายตัวแปร 

ตัวแปรอธิบาย (อิสระ) ที่ได้จากการขยายพหุนามของตัวแปร "พื้นฐาน" เรียกว่าเทอมดีกรีสูง ตัวแปรเหล่านี้ยังใช้ในการจัดประเภท อีกด้วย ^{[ 1 ]}

แบบจำลองการถดถอยพหุนามมักจะถูกปรับให้เหมาะสมโดยใช้วิธีกำลังสองน้อยที่สุดวิธีกำลังสองน้อยที่สุดจะลดความแปรปรวนของตัวประมาณ ค่าสัมประสิทธิ์ ที่ไม่เอนเอียง ภายใต้เงื่อนไขของทฤษฎีบทเกาส์-มาร์คอฟวิธีกำลังสองน้อยที่สุดได้รับการตีพิมพ์ในปี 1805 โดยเลอจองเดอร์และในปี 1809 โดยเกาส์การออกแบบการทดลองครั้งแรกสำหรับการถดถอยพหุนามปรากฏในบทความของเกอร์กอนน์ใน ปี 1815 ^{[ 2 ] [ 3 ]} ในศตวรรษที่ 20 การถดถอยพหุนามมีบทบาทสำคัญในการพัฒนาการวิเคราะห์การถดถอยโดยเน้นที่ประเด็นของการออกแบบและการอนุมาน มากขึ้น ^{[ 4 ]} เมื่อไม่นานมานี้ การใช้แบบจำลองพหุนามได้รับการเสริมด้วยวิธีการอื่น ๆ โดยแบบจำลองที่ไม่ใช่พหุนามมีข้อดีสำหรับปัญหาบางประเภท

เป้าหมายของการวิเคราะห์การถดถอยคือการสร้างแบบจำลองค่าที่คาดหวังของตัวแปรตามyในรูปของค่าของตัวแปรอิสระ (หรือเวกเตอร์ของตัวแปรอิสระ) xในการถดถอยเชิงเส้นอย่างง่าย แบบจำลองจะเป็นดังนี้

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

มีการใช้ โดยที่ ε คือข้อผิดพลาดสุ่มที่ไม่สามารถสังเกตได้ซึ่งมีค่าเฉลี่ยเป็นศูนย์และมีเงื่อนไขขึ้นอยู่กับตัวแปรสเกลาร์x ในแบบจำลองนี้ สำหรับทุกๆ การเพิ่มขึ้น หน่วยในค่าของxค่าคาดหวังแบบมีเงื่อนไขของyจะเพิ่มขึ้นβหน่วย

ในหลายกรณี ความสัมพันธ์เชิงเส้นแบบนี้อาจไม่เป็นจริงเสมอไป ตัวอย่างเช่น หากเรากำลังสร้างแบบจำลองผลผลิตของการสังเคราะห์ทางเคมีโดยพิจารณาจากอุณหภูมิที่การสังเคราะห์เกิดขึ้น เราอาจพบว่าผลผลิตเพิ่มขึ้นในปริมาณที่แตกต่างกันสำหรับอุณหภูมิที่เพิ่มขึ้นแต่ละหน่วย หรือเราอาจพบว่าผลผลิตลดลงเมื่อ อุณหภูมิ เพิ่มขึ้น (แต่เฉพาะในช่วงอุณหภูมิหนึ่งเท่านั้น) และเพิ่มขึ้นเมื่อ อุณหภูมิ เพิ่มขึ้นในช่วงอุณหภูมิที่แตกต่างกัน ในกรณีนี้ เราอาจเสนอแบบจำลองกำลังสองในรูปแบบ

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

ในแบบจำลองนี้ เมื่ออุณหภูมิเพิ่มขึ้นจากxเป็นx  +  1 หน่วย ผลผลิตที่คาดหวังจะเปลี่ยนแปลงไป(สามารถเห็นได้จากการหาอนุพันธ์เทียบกับ x ของสูตรการถดถอย) สำหรับ การเปลี่ยนแปลง เล็กน้อยของxผลกระทบต่อyจะได้จากอนุพันธ์รวมเทียบกับx : ข้อเท็จจริงที่ว่าการเปลี่ยนแปลงของผลผลิตขึ้นอยู่กับxทำให้ความสัมพันธ์ระหว่างxและyไม่เป็นเชิงเส้น แม้ว่าแบบจำลองจะเป็นเชิงเส้นในพารามิเตอร์ที่จะประมาณค่าก็ตาม${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$${\displaystyle \beta _{1}+2\beta _{2}x.}$

โดยทั่วไป เราสามารถสร้างแบบจำลองค่าที่คาดหวังของyเป็น พหุนาม ^{ดีกรี}nซึ่งจะได้แบบจำลองการถดถอยพหุนามทั่วไป

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

โดยสะดวกแล้ว แบบจำลองเหล่านี้เป็นแบบเชิงเส้นทั้งหมดจากมุมมองของการประมาณค่าเนื่องจากฟังก์ชันการถดถอยเป็นแบบเชิงเส้นในแง่ของพารามิเตอร์ที่ไม่ทราบค่าβ , β ,  ... ดังนั้น สำหรับ การวิเคราะห์ กำลังสองน้อยที่สุดปัญหาการคำนวณและการอนุมานของการถดถอยพหุนามสามารถแก้ไขได้อย่างสมบูรณ์โดยใช้เทคนิคการถดถอยหลายตัวแปรซึ่งทำได้โดยการพิจารณาx , x ² , ... เป็นตัวแปรอิสระที่แตกต่างกันในแบบจำลองการถดถอยหลายตัวแปร  

แบบจำลองการถดถอยพหุนาม

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

สามารถแสดงในรูปเมทริกซ์ได้ โดยประกอบด้วยเมทริกซ์การออกแบบ เวก เตอร์การตอบสนองเวกเตอร์พารามิเตอร์และเวกเตอร์ของข้อผิดพลาดแบบสุ่มแถวที่i ของ และจะมี ค่า xและyสำหรับ ตัวอย่างข้อมูล ที่ iจากนั้นแบบจำลองสามารถเขียนเป็นระบบสมการเชิงเส้น ได้ดังนี้ :${\displaystyle \mathbf {X} }$${\displaystyle {\vec {y}}}$${\displaystyle {\vec {\beta }}}$${\displaystyle {\vec {\varepsilon }}}$${\displaystyle \mathbf {X} }$${\displaystyle {\vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

ซึ่งเมื่อใช้สัญลักษณ์เมทริกซ์บริสุทธิ์ จะเขียนได้ดังนี้

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

เวกเตอร์ของค่าสัมประสิทธิ์การถดถอยพหุนามที่ประมาณได้ (โดยใช้การประมาณค่ากำลังสองน้อยที่สุดแบบธรรมดา ) คือ

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

โดยสมมติว่าm < nซึ่งเป็นเงื่อนไขที่จำเป็นสำหรับเมทริกซ์ที่จะสามารถผกผันได้ จากนั้นเนื่องจากเป็นเมทริกซ์แวนเดอร์มอนด์เงื่อนไขการผกผันจึงรับประกันได้ว่าเป็นจริงหากค่าทั้งหมดแตกต่างกัน นี่คือคำตอบกำลังสองน้อยที่สุดที่ไม่ซ้ำกัน กล่าวอีกนัยหนึ่งคือ มันทำให้ได้ค่าต่ำสุดของระยะห่างระหว่างตัวอย่างและค่าที่สอดคล้องกันของพหุนามนั่นคือ มันทำให้ได้ค่าต่ำสุด${\displaystyle \mathbf {X} }$${\displaystyle x_{i}}$${\displaystyle \|{\vec {\varepsilon }}\|}$${\displaystyle y_{i}}$${\displaystyle \sum _{k=1}^{m}\beta _{k}x_{i}^{k}}$

${\displaystyle \min _{\vec {\beta }}\sum _{i=1}^{n}\left(y_{i}-\sum _{k=1}^{m}\beta _{k}x_{i}^{k}\right)^{2}.}$

แม้ว่าการถดถอยพหุนามจะเป็นกรณีพิเศษของการถดถอยเชิงเส้นหลายตัวแปรในทางเทคนิค แต่การตีความแบบจำลองการถดถอยพหุนามที่ได้มานั้นจำเป็นต้องใช้มุมมองที่แตกต่างออกไป การตีความสัมประสิทธิ์แต่ละตัวในการถดถอยพหุนามนั้นมักทำได้ยาก เนื่องจากเอกนามพื้นฐานอาจมีความสัมพันธ์กันสูง ตัวอย่างเช่น^x และ x² มีความสัมพันธ์กันประมาณ 0.97 เมื่อ x มีการกระจายแบบเอกรูปในช่วง (0, 1) แม้ว่าความสัมพันธ์นี้จะลดลงได้โดยใช้พหุนามเชิงตั้งฉาก แต่โดยทั่วไปแล้วการพิจารณาฟังก์ชันการถดถอยที่ได้มาโดยรวมนั้นให้ข้อมูลที่เป็นประโยชน์มากกว่า จากนั้นจึงสามารถใช้ ช่วงความเชื่อมั่น แบบจุดต่อจุดหรือแบบพร้อมกัน เพื่อให้เห็นภาพความไม่แน่นอนในการประมาณค่าฟังก์ชันการถดถอยได้ 

การถดถอยพหุนามเป็นตัวอย่างหนึ่งของการวิเคราะห์การถดถอยโดยใช้ฟังก์ชันพื้นฐานเพื่อสร้างแบบจำลองความสัมพันธ์เชิงฟังก์ชันระหว่างปริมาณสองปริมาณ โดยเฉพาะอย่างยิ่ง มันจะแทนที่การถดถอยเชิงเส้นด้วยฟังก์ชันพื้นฐานพหุนามเช่นข้อเสียของฟังก์ชันพื้นฐานพหุนามคือฟังก์ชันพื้นฐานนั้น "ไม่เป็นโลคอล" ซึ่งหมายความว่าค่าที่เหมาะสมของy ที่ค่าx = x ที่กำหนด จะขึ้นอยู่กับค่าข้อมูลที่มีxที่ห่างไกลจากx ^{[ 8 ]}ในสถิติสมัยใหม่ ฟังก์ชันพื้นฐานพหุนามจะถูกใช้ร่วมกับฟังก์ชันพื้นฐาน ใหม่ เช่นสปลายน์ฟังก์ชันพื้นฐานรัศมีและเวฟเล็ตตระกูลของฟังก์ชันพื้นฐานเหล่านี้ให้ความเหมาะสมที่ประหยัดกว่าสำหรับข้อมูลหลายประเภท${\displaystyle x\in \mathbb {R} ^{d_{x}}}$${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$  

เป้าหมายของการถดถอยพหุนามคือการสร้างแบบจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นระหว่างตัวแปรอิสระและตัวแปรตาม (ในทางเทคนิคคือระหว่างตัวแปรอิสระและค่าเฉลี่ยแบบมีเงื่อนไขของตัวแปรตาม) ซึ่งคล้ายกับเป้าหมายของการถดถอยแบบไม่ใช้พารามิเตอร์ซึ่งมุ่งที่จะจับภาพความสัมพันธ์การถดถอยที่ไม่เป็นเชิงเส้นดังนั้น วิธีการถดถอยแบบไม่ใช้พารามิเตอร์ เช่นการปรับเรียบ จึงเป็นทางเลือกที่มีประโยชน์แทนการถดถอยพหุนาม วิธีการเหล่านี้บางวิธีใช้รูปแบบเฉพาะที่ของการถดถอยพหุนามแบบคลาสสิก^{[ 9 ]} ข้อดีของการถดถอยพหุนามแบบดั้งเดิมคือสามารถใช้กรอบการอนุมานของการถดถอยหลายตัวแปรได้ (ซึ่งยังคงใช้ได้เมื่อใช้ตระกูลฟังก์ชันพื้นฐานอื่นๆ เช่น สปลายน์)

ทางเลือกสุดท้ายคือการใช้ โมเดล แบบเคอร์เนลเช่นการถดถอยเวกเตอร์สนับสนุน (Support Vector Regression ) ที่ใช้เคอร์เนลพหุนาม

หากค่าตกค้างมีความแปรปรวนไม่เท่ากันอาจใช้ตัวประมาณค่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนักเพื่อพิจารณาเรื่องนั้น^{[ 10 ]}

• การปรับเส้นโค้งให้เหมาะสม
• การถดถอยเชิงเส้น
• การถดถอยพหุนามเฉพาะที่
• การสร้างแบบจำลองพหุนามและฟังก์ชันตรรกยะ
• การประมาณค่าพหุนาม
• ระเบียบวิธีพื้นผิวตอบสนอง
• สปลายเรียบ

• Microsoft Excel ใช้การถดถอยพหุนามเมื่อปรับเส้นแนวโน้มให้เข้ากับจุดข้อมูลบนแผนภาพกระจาย XY ^{[ 11 ]}

• การปรับเส้นโค้งให้เข้ากับข้อมูล (Curve Fitting) , การจำลองแบบเชิงโต้ตอบ PhET , มหาวิทยาลัยโคโลราโด โบลเดอร์