กลับไปหน้าบทความ

อ่าน 17 นาที

การถดถอยในระดับท้องถิ่น

การถดถอยแบบโลคอลหรือการถดถอยพหุนามแบบโลคอล หรือที่รู้จักกันในชื่อการถดถอยแบบเคลื่อนที่ เป็นการขยายผลของค่าเฉลี่ยเคลื่อนที่และการถดถอยพหุนาม วิธีการที่ใช้กันทั่วไปมากที่สุด

การถดถอยในระดับท้องถิ่น

เส้นโค้ง LOESS ที่ปรับให้เข้ากับกลุ่มตัวอย่างที่ได้จากคลื่นไซน์ที่มีการเพิ่มสัญญาณรบกวนแบบสม่ำเสมอ เส้นโค้ง LOESS นี้เป็นค่าประมาณของคลื่นไซน์ดั้งเดิม

การถดถอยแบบโลคอลหรือการถดถอยพหุนามแบบโลคอล [ 1 ] หรือที่รู้จักกันในชื่อการถดถอยแบบเคลื่อนที่ [ 2 ]เป็นการขยายผลของค่าเฉลี่ยเคลื่อนที่และการถดถอยพหุนาม[ 3 ] วิธีการที่ใช้กันทั่วไปมากที่สุด ซึ่งพัฒนาขึ้นครั้งแรกสำหรับการปรับเรียบแผนภาพกระจายคือLOESS ( การปรับเรียบแผนภาพกระจายโดยประมาณแบบโล คอล ) และLOWESS ( การปรับเรียบแผนภาพกระจายแบบถ่วงน้ำหนักแบบ โล คอ ล ) ซึ่งทั้งสองคำออกเสียงว่า/ ˈ ɛ s / LOH -ess ทั้งสองเป็นวิธี การถดถอยแบบไม่ใช้พารามิเตอร์ที่เกี่ยวข้องกันอย่างมากซึ่งรวมแบบจำลองการถดถอยหลายแบบเข้าด้วยกันใน แบบจำลองเมตาแบบ k -nearest-neighborในบางสาขา LOESS เป็นที่รู้จักและเรียกกันทั่วไปว่าตัวกรอง Savitzky–Golay [ 4 ] [ 5 ] (เสนอเมื่อ 15 ปีก่อน LOESS)

LOESS และ LOWESS จึงสร้างขึ้นบนพื้นฐานวิธีการ "แบบดั้งเดิม"เช่นการถดถอยกำลังสองน้อยที่สุด เชิงเส้นและไม่เชิงเส้น วิธีการเหล่านี้แก้ปัญหาในสถานการณ์ที่วิธีการแบบดั้งเดิมไม่ได้ผลดี หรือไม่สามารถนำไปใช้ได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้ความพยายามมากเกินไป LOESS ผสมผสานความเรียบง่ายของการถดถอยกำลังสองน้อยที่สุดเชิงเส้นเข้ากับความยืดหยุ่นของการถดถอยไม่เชิงเส้นโดยการสร้างแบบจำลองอย่างง่ายให้กับชุดย่อยของข้อมูลเฉพาะที่ เพื่อสร้างฟังก์ชันที่อธิบายส่วนที่เป็นตัวกำหนดของความแปรผันในข้อมูลทีละจุด อันที่จริง หนึ่งในจุดเด่นหลักของวิธีนี้คือ นักวิเคราะห์ข้อมูลไม่จำเป็นต้องระบุฟังก์ชันโดยรวมในรูปแบบใดๆ เพื่อปรับแบบจำลองให้เข้ากับข้อมูล เพียงแต่ต้องปรับให้เข้ากับส่วนต่างๆ ของข้อมูลเท่านั้น

ข้อแลกเปลี่ยนสำหรับคุณสมบัติเหล่านี้คือการคำนวณที่เพิ่มขึ้น เนื่องจากต้องใช้การคำนวณอย่างมาก LOESS จึงแทบเป็นไปไม่ได้เลยที่จะนำมาใช้ในยุคที่กำลังพัฒนาวิธีการถดถอยกำลังสองน้อยที่สุด วิธีการสร้างแบบจำลองกระบวนการสมัยใหม่ส่วนใหญ่ก็คล้ายกับ LOESS ในแง่นี้ วิธีการเหล่านี้ได้รับการออกแบบมาอย่างตั้งใจเพื่อใช้ประโยชน์จากความสามารถในการคำนวณในปัจจุบันของเราอย่างเต็มที่ที่สุด เพื่อบรรลุเป้าหมายที่ทำได้ยากด้วยวิธีการแบบดั้งเดิม

เส้นโค้งเรียบที่ลากผ่านชุดจุดข้อมูลที่ได้จากเทคนิคทางสถิตินี้เรียกว่าเส้นโค้งโลเอสโดยเฉพาะอย่างยิ่งเมื่อค่าที่เรียบแต่ละค่าได้มาจากการถดถอยกำลังสองน้อยที่สุดแบบถ่วงน้ำหนักในช่วงค่าของ ตัวแปรเกณฑ์ของแผนภาพ กระจายแกนyเมื่อค่าที่เรียบแต่ละค่าได้มาจากการถดถอยกำลังสองน้อยที่สุดเชิงเส้นแบบถ่วงน้ำหนักในช่วงนี้ จะเรียกว่าเส้นโค้งโลเวสอย่างไรก็ตาม ผู้เชี่ยวชาญบางคนถือว่าโลเวสและโลเอสเป็นคำพ้องความหมาย[ 6 ] [ 7 ]

ประวัติศาสตร์

การถดถอยแบบโลคอลและกระบวนการที่เกี่ยวข้องอย่างใกล้ชิดมีประวัติอันยาวนานและอุดมสมบูรณ์ โดยได้รับการค้นพบและค้นพบใหม่ในสาขาต่างๆ หลายครั้ง งานในช่วงแรกโดยRobert Henderson [ 8 ]ที่ศึกษาปัญหาการสำเร็จการศึกษา (คำศัพท์สำหรับการปรับให้เรียบที่ใช้ในวรรณกรรมด้านคณิตศาสตร์ประกันภัย) ได้แนะนำการถดถอยแบบโลคอลโดยใช้พหุนามลูกบาศก์

โดยเฉพาะอย่างยิ่ง ให้วายเจ{\displaystyle Y_{j}}แสดงถึงลำดับการสังเกตที่ไม่มีการแบ่งระดับ ตามแนวคิดของเฮนเดอร์สัน สมมติว่ามีเพียงพจน์จากวายชม.{\displaystyle Y_{-h}}ถึงวายชม.{\displaystyle Y_{h}}จะต้องนำมาพิจารณาเมื่อคำนวณค่าระดับขั้นของวาย0{\displaystyle Y_{0}}, และเจ{\displaystyle W_{j}}คือน้ำหนักที่จะกำหนดให้กับวายเจ{\displaystyle Y_{j}}จากนั้นเฮนเดอร์สันจึงใช้การประมาณค่าพหุนามเฉพาะที่เอ+เจ+เจ2+เจ3{\displaystyle a+bj+cj^{2}+dj^{3}}และกำหนดสมการสี่สมการต่อไปนี้สำหรับสัมประสิทธิ์:

เจ=ชม.ชม.(เอ+เจ+เจ2+เจ3)เจ=เจ=ชม.ชม.เจวายเจเจ=ชม.ชม.(เอเจ+เจ2+เจ3+เจ4)เจ=เจ=ชม.ชม.เจเจวายเจเจ=ชม.ชม.(เอเจ2+เจ3+เจ4+เจ5)เจ=เจ=ชม.ชม.เจ2เจวายเจเจ=ชม.ชม.(เอเจ3+เจ4+เจ5+เจ6)เจ=เจ=ชม.ชม.เจ3เจวายเจ{\displaystyle {\begin{aligned}\sum _{j=-h}^{h}(a+bj+cj^{2}+dj^{3})W_{j}&=\sum _{j=-h}^{h}W_{j}Y_{j}\\\sum _{j=-h}^{h}(aj+bj^{2}+cj^{3}+dj^{4})W_{j}&=\sum _{j=-h}^{h}jW_{j}Y_{j}\\\sum _{j=-h}^{h}(aj^{2}+bj^{3}+cj^{4}+dj^{5})W_{j}&=\sum _{j=-h}^{h}j^{2}W_{j}Y_{j}\\\sum _{j=-h}^{h}(aj^{3}+bj^{4}+cj^{5}+dj^{6})W_{j}&=\sum _{j=-h}^{h}j^{3}W_{j}Y_{j}\end{aligned}}}

การแก้สมการเหล่านี้เพื่อหาค่าสัมประสิทธิ์ของพหุนามจะให้ค่าที่ไล่ระดับแล้ววาย^0=เอ{\displaystyle {\hat {Y}}_{0}=a}.

เฮนเดอร์สันไปไกลกว่านั้น ในช่วงหลายปีก่อนหน้านี้ มีการพัฒนาวิธีการแบ่งระดับแบบ 'สูตรผลรวม' หลายวิธี ซึ่งได้มาจากกฎการแบ่งระดับโดยอาศัยสูตรผลรวม (การสังเคราะห์อนุกรมของการสังเกตด้วยชุดน้ำหนักที่เลือก) กฎดังกล่าวสองข้อคือกฎ 15 จุดและ 21 จุดของสเปนเซอร์ (1904) [ 9 ]กฎการแบ่งระดับเหล่านี้ได้รับการออกแบบอย่างระมัดระวังเพื่อให้มีคุณสมบัติการสร้างแบบกำลังสอง: หากค่าที่ยังไม่ได้แบ่งระดับเป็นไปตามสูตรกำลังสองอย่างแม่นยำ ค่าที่แบ่งระดับแล้วจะเท่ากับค่าที่ยังไม่ได้แบ่งระดับ นี่เป็นคุณสมบัติที่สำคัญ: ในทางตรงกันข้าม ค่าเฉลี่ยเคลื่อนที่แบบง่ายไม่สามารถจำลองจุดสูงสุดและจุดต่ำสุดในข้อมูลได้อย่างเพียงพอ ความเข้าใจของเฮนเดอร์สันคือการแสดงให้เห็นว่า กฎการแบ่งระดับ ดังกล่าวสามารถแสดงได้เป็นค่าพอดีแบบลูกบาศก์ (หรือกำลังสอง) เฉพาะที่สำหรับการเลือกน้ำหนักที่เหมาะสม

การอภิปรายเพิ่มเติมเกี่ยวกับงานทางประวัติศาสตร์เกี่ยวกับการสำเร็จการศึกษาและการปรับพหุนามเฉพาะที่สามารถพบได้ในMacaulay (1931) [ 10 ] ClevelandและLoader (1995); [ 11 ]และMurrayและBellhouse (2019) [ 12 ]

ตัวกรอง Savitzky-Golayซึ่งแนะนำโดยAbraham SavitzkyและMarcel JE Golay (1964) [ 13 ]ได้ขยายวิธีการนี้อย่างมีนัยสำคัญ เช่นเดียวกับงานการไล่ระดับก่อนหน้านี้ พวกเขามุ่งเน้นไปที่ข้อมูลที่มีตัวแปรทำนายที่มีระยะห่างเท่ากัน ซึ่ง (ไม่รวมผลกระทบที่ขอบเขต) การถดถอยเฉพาะที่สามารถแสดงเป็นคอนโวลูชันได้ Savitzky และ Golay ได้เผยแพร่ชุดสัมประสิทธิ์คอนโวลูชันจำนวนมากสำหรับลำดับต่างๆ ของความกว้างของหน้าต่างพหุนามและหน้าต่างปรับเรียบ

วิธีการถดถอยเฉพาะที่เริ่มปรากฏให้เห็นอย่างแพร่หลายในวรรณกรรมทางสถิติในช่วงทศวรรษ 1970 ตัวอย่างเช่นCharles J. Stone (1977) [ 14 ] Vladimir Katkovnik (1979) [ 15 ]และWilliam S. Cleveland (1979) [ 16 ] Katkovnik (1985) [ 17 ]เป็นหนังสือเล่มแรกที่อุทิศให้กับวิธีการถดถอยเฉพาะที่เป็นหลัก

งานเชิงทฤษฎียังคงปรากฏออกมาอย่างต่อเนื่องตลอดช่วงทศวรรษ 1990 ผลงานสำคัญได้แก่Jianqing FanและIrène Gijbels (1992) [ 18 ]ที่ศึกษาคุณสมบัติประสิทธิภาพ และDavid RuppertและMatthew P. Wand (1994) [ 19 ]ที่พัฒนาทฤษฎีการกระจายแบบเชิงเส้นกำกับสำหรับการถดถอยเฉพาะที่แบบหลายตัวแปร

ส่วนขยายที่สำคัญของการถดถอยแบบโลคอลคือการประมาณค่าความน่าจะเป็นแบบโลคอล ซึ่งคิดค้นโดยRobert TibshiraniและTrevor Hastie (1987) [ 20 ]วิธีนี้แทนที่เกณฑ์กำลังสองน้อยที่สุดแบบโลคอลด้วยเกณฑ์ตามความน่าจะเป็น จึงขยายวิธีการถดถอยแบบโลคอลไปยัง การตั้ง ค่าแบบจำลองเชิงเส้นทั่วไปเช่น ข้อมูลไบนารี ข้อมูลการนับ หรือข้อมูลที่ถูกตัดทอน

การนำการถดถอยแบบโลคอลไปใช้ในทางปฏิบัติเริ่มปรากฏในซอฟต์แวร์ทางสถิติในช่วงทศวรรษ 1980 Cleveland (1981) [ 21 ]ได้แนะนำรูทีน LOWESS ซึ่งมีจุดประสงค์เพื่อปรับความเรียบของแผนภาพกระจาย รูทีนนี้ใช้การปรับแบบเชิงเส้นแบบโลคอลด้วยตัวแปรทำนายตัวเดียว และยังแนะนำการลดน้ำหนักความทนทานเพื่อให้กระบวนการนี้ทนต่อค่าผิดปกติ การใช้งานแบบใหม่ทั้งหมด LOESS ได้รับการอธิบายไว้ใน Cleveland และSusan J. Devlin (1988) [ 22 ] LOESS เป็นตัวปรับความเรียบแบบหลายตัวแปร สามารถจัดการกับข้อมูลเชิงพื้นที่ที่มีตัวแปรทำนายสองตัว (หรือมากกว่า) และใช้การปรับแบบกำลังสองแบบโลคอล (โดยค่าเริ่มต้น) ทั้ง LOWESS และ LOESS ถูกนำไปใช้ใน ภาษาการเขียนโปรแกรม SและRดูซอฟต์แวร์การปรับแบบโลคอลของ Cleveland เพิ่มเติม[ 23 ]

แม้ว่าบางครั้งคำว่า Local Regression, LOWESS และ LOESS จะถูกใช้สลับกันได้ แต่การใช้งานเช่นนั้นถือว่าไม่ถูกต้อง Local Regression เป็นคำทั่วไปสำหรับกระบวนการปรับให้เหมาะสม ในขณะที่ LOWESS และ LOESS เป็นการนำไปใช้ที่แตกต่างกันสองแบบ

คำจำกัดความของแบบจำลอง

การถดถอยเชิงโลคัล (Local regression) ใช้ชุดข้อมูลที่ประกอบด้วยข้อมูลสังเกตการณ์ ตัวแปรอิสระหรือตัวแปรทำนายอย่างน้อยหนึ่งตัว และตัวแปรตามหรือตัวแปรตอบสนอง ชุดข้อมูลจะประกอบด้วยจำนวนหนึ่งn{\displaystyle n}การสังเกตการณ์ การสังเกตการณ์ของตัวแปรทำนายสามารถแสดงได้ดังนี้x1,,xn{\displaystyle x_{1},\ldots ,x_{n}}และการสังเกตที่สอดคล้องกันของตัวแปรตอบสนองโดยวาย1,,วายn{\displaystyle Y_{1},\ldots ,Y_{n}}.

เพื่อความสะดวกในการนำเสนอ การพัฒนาต่อไปนี้จะถือว่ามีตัวแปรทำนายเพียงตัวเดียว การขยายไปสู่ตัวแปรทำนายหลายตัว (เมื่อxฉัน{\displaystyle x_{i}}(ซึ่งเป็นเวกเตอร์) นั้นเข้าใจได้ง่ายในเชิงแนวคิด โดยถือว่ามีความสัมพันธ์เชิงฟังก์ชันระหว่างตัวแปรทำนายและตัวแปรตอบสนอง: วายฉัน=μ(xฉัน)+ϵฉัน{\displaystyle Y_{i}=\mu (x_{i})+\epsilon _{i}} ที่ไหนμ(x){\displaystyle \mu (x)}คือฟังก์ชันการถดถอยแบบ 'เรียบ' ที่ไม่ทราบค่าซึ่งจะต้องได้รับการประมาณค่า และแสดงถึงค่าคาดหวังแบบมีเงื่อนไขของการตอบสนอง โดยกำหนดค่าของตัวแปรทำนาย ในงานทางทฤษฎี ความ 'เรียบ' ของฟังก์ชันนี้สามารถกำหนดลักษณะอย่างเป็นทางการได้โดยการวางขอบเขตบนอนุพันธ์อันดับสูงกว่าϵฉัน{\displaystyle \epsilon _{i}}แสดงถึงความคลาดเคลื่อนแบบสุ่ม ซึ่งในการประมาณค่าจะถือว่ามี ค่า เฉลี่ยเป็นศูนย์อาจใช้สมมติฐานที่เข้มงวดกว่านี้ (เช่นความเป็นอิสระและความแปรปรวน เท่ากัน) เมื่อประเมินคุณสมบัติของการประมาณค่า

จากนั้นการถดถอยเฉพาะที่ก็จะประมาณค่าฟังก์ชันμ(x){\displaystyle \mu (x)}สำหรับค่าหนึ่งของx{\displaystyle x}ในแต่ละครั้ง เนื่องจากถือว่าฟังก์ชันนั้นเรียบ ข้อมูลที่มีข้อมูลมากที่สุดจึงเป็นข้อมูลที่มีค่า ...xฉัน{\displaystyle x_{i}}ค่าต่างๆ ใกล้เคียงกับx{\displaystyle x}สิ่งนี้ได้รับการกำหนดอย่างเป็นทางการด้วยแบนด์วิดท์ชม.{\displaystyle h}และ ฟังก์ชัน เคอร์เนลหรือฟังก์ชันน้ำหนัก(){\displaystyle W(\cdot )}โดยมีการกำหนดค่าน้ำหนักให้กับการสังเกตแต่ละครั้ง ฉัน(x)=(xฉันxชม.).{\displaystyle w_{i}(x)=W{\left({\frac {x_{i}-x}{h}}\right)}.} ตัวเลือกทั่วไปของ{\displaystyle W}ซึ่ง Cleveland ใช้ใน LOWESS คือ(คุณ)=(1|คุณ|3)3{\displaystyle W(u)=(1-|u|^{3})^{3}}สำหรับ|คุณ|<1{\displaystyle |u|<1}แม้ว่าฟังก์ชันที่คล้ายกันใดๆ (สูงสุดที่คุณ=0{\displaystyle u=0}และมีค่าเล็กน้อยหรือเป็น 0 สำหรับค่ามากของคุณ{\displaystyle u}) สามารถนำมาใช้ได้ คำถามเกี่ยวกับการเลือกและการกำหนดคุณสมบัติของแบนด์วิดท์ (ควรมีขนาดเท่าใด)ชม.{\displaystyle h}ควรมีค่าแตกต่างกันไปตามจุดติดตั้งหรือไม่x{\displaystyle x}?) ถูกเลื่อนออกไปก่อนในขณะนี้

แบบจำลองท้องถิ่น (โดยปกติจะเป็นพหุนามลำดับต่ำที่มีดีกรี )พี3{\displaystyle p\leq 3}) แสดงออกมาในรูปแบบ μ(xฉัน)เบต้า0+เบต้า1(xฉันx)++เบต้าพี(xฉันx)พี{\displaystyle \mu (x_{i})\approx \beta _{0}+\beta _{1}(x_{i}-x)+\ldots +\beta _{p}(x_{i}-x)^{p}} จากนั้นจึงทำการปรับให้เหมาะสมโดยใช้วิธีถ่วงน้ำหนักกำลังสองน้อยที่สุด : เลือกสัมประสิทธิ์การถดถอย (เบต้า^0,,เบต้า^พี){\displaystyle ({\hat {\beta }}_{0},\ldots ,{\hat {\beta }}_{p})}เพื่อลดให้น้อยที่สุด ฉัน=1nฉัน(x)(วายฉันเบต้า0เบต้า1(xฉันx)เบต้าพี(xฉันx)พี)2.{\displaystyle \sum _{i=1}^{n}w_{i}(x)\left(Y_{i}-\beta _{0}-\beta _{1}(x_{i}-x)-\ldots -\beta _{p}(x_{i}-x)^{p}\right)^{2}.} ค่าประมาณการถดถอยท้องถิ่นของμ(x){\displaystyle \mu (x)}ดังนั้น จึงเป็นเพียงค่าประมาณจุดตัด: μ^(x)=เบต้า^0{\displaystyle {\hat {\mu }}(x)={\hat {\beta }__{0}} ในขณะที่ค่าสัมประสิทธิ์ที่เหลือสามารถตีความได้ (โดยมีปัจจัยไม่เกิน...)พี!{\displaystyle p!}) ในรูปของการประมาณค่าอนุพันธ์

ควรเน้นย้ำว่าขั้นตอนข้างต้นให้ผลลัพธ์เป็นการประมาณการμ^(x){\displaystyle {\hat {\mu }}(x)}สำหรับค่าหนึ่งของx{\displaystyle x}เมื่อพิจารณาค่าใหม่ของx{\displaystyle x}ชุดตุ้มน้ำหนักใหม่ฉัน(x){\displaystyle w_{i}(x)}ต้องคำนวณค่าใหม่ และประมาณค่าสัมประสิทธิ์การถดถอยใหม่อีกครั้ง

การแสดงผลเมทริกซ์ของการประมาณการถดถอยเฉพาะที่

เช่นเดียวกับการประมาณค่าด้วยวิธีกำลังสองน้อยที่สุดทั้งหมด ค่าสัมประสิทธิ์การถดถอยที่ประมาณได้สามารถแสดงในรูปแบบปิดได้ (ดู รายละเอียดเพิ่มเติมได้ที่ วิธี การกำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก ): เบต้า^=(XทีX)1Xทีy{\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X^{\textsf {T}}WX} \right)^{-1}\mathbf {X^{\textsf {T}}W} \mathbf {y} } ที่ไหนเบต้า^{\displaystyle {\hat {\boldสัญลักษณ์ {\beta }}}}เป็นเวกเตอร์ของสัมประสิทธิ์การถดถอยเฉพาะที่ X{\displaystyle \mathbf {X} }คือn×(พี+1){\displaystyle n\times (p+1)}เมทริกซ์การออกแบบพร้อมรายการ(xฉันx)เจ{\displaystyle (x_{i}-x)^{j}};{\displaystyle \mathbf {W} }เป็นเมทริกซ์แนวทแยงของน้ำหนักการปรับเรียบฉัน(x){\displaystyle w_{i}(x)}; และy{\displaystyle \mathbf {y} }เป็นเวกเตอร์ของการตอบสนองวายฉัน{\displaystyle Y_{i}}.

การนำเสนอในรูปแบบเมทริกซ์นี้มีความสำคัญอย่างยิ่งสำหรับการศึกษาคุณสมบัติทางทฤษฎีของการประมาณค่าการถดถอยเฉพาะที่ ด้วยคำจำกัดความที่เหมาะสมของเมทริกซ์การออกแบบและเมทริกซ์น้ำหนัก มันสามารถขยายไปสู่การตั้งค่าตัวแปรทำนายหลายตัวได้ทันที

ประเด็นในการคัดเลือก: แบนด์วิดท์, โมเดลท้องถิ่น, เกณฑ์การปรับให้เหมาะสม

การนำการถดถอยเชิงพื้นที่ไปใช้ จำเป็นต้องมีการระบุและเลือกส่วนประกอบหลายอย่าง:

  1. แบนด์วิดท์ และโดยทั่วไปแล้วคือชุดย่อยของข้อมูลเฉพาะที่
  2. ระดับของพหุนามเฉพาะที่ หรือโดยทั่วไปแล้ว รูปแบบของแบบจำลองเฉพาะที่
  3. การเลือกฟังก์ชันน้ำหนัก(){\displaystyle W(\cdot )}.
  4. การเลือกเกณฑ์การปรับให้เหมาะสม (วิธีกำลังสองน้อยที่สุด หรือวิธีอื่น)

ส่วนประกอบแต่ละอย่างเหล่านี้ได้รับการศึกษาอย่างละเอียดถี่ถ้วน โดยมีบทสรุปอยู่ด้านล่างนี้

ชุดข้อมูลย่อยเฉพาะที่; แบนด์วิดท์

แบนด์วิดท์ชม.{\displaystyle h}ค่า h ควบคุมความละเอียดของการประมาณค่าการถดถอยเฉพาะที่ หากค่า hน้อยเกินไป การประมาณค่าอาจแสดงคุณลักษณะที่มีความละเอียดสูง ซึ่งแสดงถึงสัญญาณรบกวนในข้อมูล แทนที่จะเป็นโครงสร้างที่แท้จริงในฟังก์ชันค่าเฉลี่ย ในทางกลับกัน หากค่า hมากเกินไป การประมาณค่าจะแสดงเฉพาะคุณลักษณะที่มีความละเอียดต่ำ และโครงสร้างที่สำคัญอาจสูญหายไป นี่คือความสมดุลระหว่างความเอนเอียงและความแปรปรวนหากค่า h น้อยเกินไป การประมาณค่าจะแสดงความแปรปรวนมาก ในขณะที่หาก ค่า hมากการประมาณค่าจะแสดงความเอนเอียงมาก

ดังนั้น การเลือกแบนด์วิดท์อย่างระมัดระวังจึงมีความสำคัญอย่างยิ่งเมื่อใช้การถดถอยเฉพาะที่ วิธีการทางคณิตศาสตร์สำหรับการเลือกแบนด์วิดท์นั้น จำเป็นต้องมีเกณฑ์ที่เป็นทางการเพื่อประเมินประสิทธิภาพของการประมาณค่าก่อน เกณฑ์หนึ่งดังกล่าวคือข้อผิดพลาดในการทำนาย: หากมีการสังเกตการณ์ใหม่ที่x~{\displaystyle {\tilde {x}}}การประมาณการนั้นแม่นยำแค่ไหนμ^(x~){\displaystyle {\hat {\mu }}({\tilde {x}})}คาดการณ์การตอบสนองใหม่วาย~{\displaystyle {\tilde {Y}}}?

ประสิทธิภาพมักถูกประเมินโดยใช้ฟังก์ชันความสูญเสียแบบกำลังสอง ค่าเฉลี่ยของความคลาดเคลื่อนในการทำนายคือ อี[วาย~μ^(x~)]2=อี[วาย~μ(x)+μ(x)μ^(x~)]2=อี[วาย~μ(x)]2+อี[μ(x)μ^(x~)]2.{\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {Y}}-{\hat {\mu }}({\tilde {x}})\right]^{2}&=\operatorname {E} \left[{\tilde {Y}}-\mu (x)+\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}\\&=\operatorname {E} \left[{\tilde {Y}}-\mu (x)\right]^{2}+\operatorname {E} \left[\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}.\end{aligned}}} เทอมแรกอี(วาย~μ(x))2{\displaystyle E\left({\tilde {Y}}-\mu (x)\right)^{2}}คือความผันแปรแบบสุ่มของการสังเกต ซึ่งเป็นอิสระอย่างสมบูรณ์จากการประมาณการถดถอยเฉพาะที่ ส่วนพจน์ที่สองอี[μ(x)μ^(x~)]2{\displaystyle \operatorname {E} \left[\mu (x)-{\hat {\mu }}({\tilde {x}})\right]^{2}} คือค่าเฉลี่ยกำลังสองของข้อผิดพลาดในการประมาณค่า ความสัมพันธ์นี้แสดงให้เห็นว่า สำหรับการสูญเสียแบบกำลังสอง การลดข้อผิดพลาดในการทำนายและข้อผิดพลาดในการประมาณค่าเป็นปัญหาที่เทียบเท่ากัน

ในการเลือกแบนด์วิดท์ทั่วโลก มาตรการเหล่านี้สามารถบูรณาการเข้าด้วยกันได้x{\displaystyle x}พื้นที่ ("ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยแบบบูรณาการ" ซึ่งมักใช้ในงานเชิงทฤษฎี) หรือเฉลี่ยตามพื้นที่จริงxฉัน{\displaystyle x_{i}}(มีประโยชน์มากกว่าสำหรับการนำไปใช้ในทางปฏิบัติ) เทคนิคมาตรฐานบางอย่างจากการเลือกแบบจำลองสามารถปรับใช้กับการถดถอยเฉพาะที่ได้อย่างง่ายดาย:

  1. การตรวจสอบแบบไขว้ (Cross Validation ) ซึ่งเป็นการประมาณค่าความคลาดเคลื่อนในการทำนายแบบกำลังสองเฉลี่ย
  2. ค่า Cp ของ Mallowและเกณฑ์สารสนเทศของ Akaikeซึ่งใช้ในการประมาณค่าความคลาดเคลื่อนกำลังสองเฉลี่ยของการประมาณค่า
  3. วิธีการอื่นๆ ที่พยายามประมาณค่าความเอนเอียงและส่วนประกอบความแปรปรวนของข้อผิดพลาดในการประมาณค่าโดยตรง

เกณฑ์เหล่านี้สามารถลดให้น้อยที่สุดเพื่อสร้างตัวเลือกแบนด์วิดท์อัตโนมัติ Cleveland และ Devlin [ 22 ]นิยมใช้วิธีกราฟิก ( M -plot) เพื่อแสดงการแลกเปลี่ยนระหว่างอคติและความแปรปรวนและแนะนำการเลือกแบนด์วิดท์

คำถามหนึ่งที่ยังไม่ได้กล่าวถึงข้างต้นคือ แบนด์วิดท์ควรขึ้นอยู่กับจุดที่เหมาะสมอย่างไรx{\displaystyle x}โดยทั่วไปมักใช้แบนด์วิดท์คงที่ ในขณะที่ LOWESS และ LOESS นิยมใช้แบนด์วิดท์แบบเพื่อนบ้านใกล้เคียง ซึ่งหมายความว่าค่า hจะน้อยลงในบริเวณที่มีจุดข้อมูลจำนวนมาก ในทางทฤษฎีแล้ว พารามิเตอร์การปรับเรียบคือ...α{\displaystyle \alpha }คือสัดส่วนของจำนวนจุดข้อมูลทั้งหมดnที่ใช้ในการปรับแบบโลคอลแต่ละครั้ง ชุดย่อยของข้อมูลที่ใช้ในการปรับแบบกำลังสองน้อยที่สุดแบบถ่วงน้ำหนักแต่ละครั้งจึงประกอบด้วยnα{\displaystyle n\alpha }จุด (ปัดเศษเป็นจำนวนเต็มที่มากที่สุดถัดไป) ซึ่งค่าของตัวแปรอธิบายอยู่ใกล้ที่สุดกับจุดที่กำลังประเมินการตอบสนอง[ 7 ]

วิธีการที่ซับซ้อนกว่านั้นพยายามเลือกแบนด์วิดท์แบบปรับเปลี่ยนได้กล่าวคือ เลือกแบนด์วิดท์ที่จุดเชื่อมต่อแต่ละจุดx{\displaystyle x}โดยการใช้เกณฑ์ต่างๆ เช่น การตรวจสอบแบบไขว้ภายในหน้าต่างการปรับให้เรียบ ตัวอย่างแรกๆ ของเรื่องนี้คือ "supersmoother" ของJerome H. Friedman [ 24 ]ซึ่งใช้การตรวจสอบแบบไขว้เพื่อเลือกการปรับเชิงเส้นเฉพาะที่ในแบนด์วิดท์ที่แตกต่างกัน

ระดับของพหุนามท้องถิ่น

แหล่งข้อมูลส่วนใหญ่ ทั้งในงานเชิงทฤษฎีและเชิงคำนวณ ใช้พหุนามลำดับต่ำเป็นแบบจำลองเฉพาะที่ โดยมีดีกรีของพหุนามตั้งแต่ 0 ถึง 3

แบบจำลองระดับ 0 (ค่าคงที่เฉพาะที่) เทียบเท่ากับตัวปรับเรียบเคอร์เนลซึ่งโดยทั่วไปแล้วได้รับการยกย่องให้เป็นผลงานของÈlizbar Nadaraya (1964) [ 25 ]และGS Watson (1964) [ 26 ]นี่เป็นแบบจำลองที่ง่ายที่สุดในการใช้งาน แต่สามารถประสบปัญหาจากอคติเมื่อปรับให้เข้ากับบริเวณใกล้ขอบของชุดข้อมูล

การปรับเส้นตรงเฉพาะที่ (ระดับ 1) สามารถลดอคติที่ขอบเขตได้อย่างมาก

ฟังก์ชันกำลังสองเฉพาะที่ (ดีกรี 2) และฟังก์ชันกำลังสามเฉพาะที่ (ดีกรี 3) สามารถส่งผลให้ได้ความเหมาะสมที่ดีขึ้น โดยเฉพาะอย่างยิ่งเมื่อฟังก์ชันค่าเฉลี่ยพื้นฐานμ(x){\displaystyle \mu (x)}มีค่าความโค้งสูง หรือเทียบเท่ากับค่าอนุพันธ์อันดับสองที่มีค่ามาก

ในทางทฤษฎีแล้ว พหุนามที่มีลำดับสูงกว่าจะนำไปสู่การลู่เข้าที่เร็วขึ้นของการประมาณค่าμ^(x){\displaystyle {\hat {\mu }}(x)}สู่ค่าเฉลี่ยที่แท้จริงμ(x){\displaystyle \mu (x)}โดยมีเงื่อนไขว่าμ(x){\displaystyle \mu (x)}มีอนุพันธ์จำนวนเพียงพอดู CJ Stone (1980) [ 27 ]โดยทั่วไป ต้องใช้ขนาดตัวอย่างขนาดใหญ่เพื่อให้การบรรจบกันที่เร็วขึ้นนี้เกิดขึ้นได้ นอกจากนี้ยังมีปัญหาด้านการคำนวณและความเสถียรที่เกิดขึ้น โดยเฉพาะอย่างยิ่งสำหรับการปรับเรียบแบบหลายตัวแปร โดยทั่วไปไม่แนะนำให้ใช้พหุนามเฉพาะที่ที่มีดีกรีมากกว่า 3

เช่นเดียวกับการเลือกแบนด์วิดท์ วิธีการต่างๆ เช่น การตรวจสอบแบบไขว้ (cross-validation) สามารถนำมาใช้เพื่อเปรียบเทียบความเหมาะสมที่ได้จากพหุนามที่มีระดับต่างกันได้

ฟังก์ชันน้ำหนัก

ดังที่กล่าวมาข้างต้น ฟังก์ชันน้ำหนักจะให้น้ำหนักมากที่สุดกับจุดข้อมูลที่อยู่ใกล้จุดประมาณค่ามากที่สุด และให้น้ำหนักน้อยที่สุดกับจุดข้อมูลที่อยู่ไกลออกไป การใช้น้ำหนักนี้อยู่บนพื้นฐานของแนวคิดที่ว่า จุดที่อยู่ใกล้กันในพื้นที่ตัวแปรอธิบายมีแนวโน้มที่จะมีความสัมพันธ์กันในลักษณะที่ง่ายกว่าจุดที่อยู่ห่างกัน ตามตรรกะนี้ จุดที่มีแนวโน้มที่จะสอดคล้องกับแบบจำลองเฉพาะที่ได้ดีที่สุดจะมีอิทธิพลต่อค่าประมาณพารามิเตอร์ของแบบจำลองเฉพาะที่มากที่สุด จุดที่มีแนวโน้มที่จะไม่สอดคล้องกับแบบจำลองเฉพาะที่นั้นจะมีอิทธิพลต่อค่าประมาณพารามิเตอร์ของแบบจำลองเฉพาะที่น้อยกว่า

Cleveland (1979) [ 16 ]กำหนดข้อกำหนดสี่ประการสำหรับฟังก์ชันน้ำหนัก:

  1. ไม่เป็นลบ:(x)>0{\displaystyle W(x)>0}สำหรับ|x|<1{\displaystyle |x|<1}.
  2. สมมาตร:(x)=(x){\displaystyle W(-x)=W(x)}.
  3. โมโนโทน:(x){\displaystyle W(x)}เป็นฟังก์ชันที่ไม่เพิ่มขึ้นสำหรับx0{\displaystyle x\geq 0}.
  4. ช่วงรองรับที่จำกัด:(x)=0{\displaystyle W(x)=0}สำหรับ|x|1{\displaystyle |x|\geq 1}.

ประสิทธิภาพเชิงอะซิมโทติกของฟังก์ชันน้ำหนักได้รับการพิจารณาโดยVA Epanechnikov (1969) [ 28 ]ในบริบทของการประมาณความหนาแน่นเคอร์เนล; J. Fan (1993) [ 29 ]ได้ผลลัพธ์ที่คล้ายกันสำหรับการถดถอยเฉพาะที่ พวกเขาสรุปว่าเคอร์เนลกำลังสอง(x)=1x2{\displaystyle W(x)=1-x^{2}}สำหรับ|x|1{\displaystyle |x|\leq 1}มีประสิทธิภาพสูงสุดภายใต้ฟังก์ชันความสูญเสียแบบค่าเฉลี่ยกำลังสอง ดู"ฟังก์ชันเคอร์เนลที่ใช้กันทั่วไป"สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับเคอร์เนลประเภทต่างๆ และประสิทธิภาพของเคอร์เนลเหล่านั้น

นอกจากค่า MSE แล้ว ปัจจัยอื่นๆ ก็มีความสำคัญต่อการเลือกฟังก์ชันน้ำหนักเช่นกัน คุณสมบัติความเรียบของ...(x){\displaystyle W(x)}ส่งผลโดยตรงต่อความเรียบเนียนของการประมาณค่าμ^(x){\displaystyle {\hat {\mu }}(x)}โดยเฉพาะอย่างยิ่ง เคอร์เนลกำลังสองไม่สามารถหาอนุพันธ์ได้ที่x=±1{\displaystyle x=\pm 1}, และμ^(x){\displaystyle {\hat {\mu }}(x)}จึงไม่สามารถหาอนุพันธ์ได้ฟังก์ชันน้ำหนักของไตรคิวบ์ (x)=(1|x|3)3;|x|<1{\displaystyle W(x)=(1-|x|^{3})^{3};|x|<1} ถูกนำมาใช้ใน LOWESS และซอฟต์แวร์การถดถอยเฉพาะที่อื่นๆ ซึ่งเป็นการผสมผสานความสามารถในการหาอนุพันธ์อันดับสูงเข้ากับประสิทธิภาพ MSE ที่สูง

ข้อวิจารณ์ประการหนึ่งของฟังก์ชันน้ำหนักที่มีขอบเขตจำกัดคือ อาจนำไปสู่ปัญหาทางตัวเลข (เช่น เมทริกซ์การออกแบบที่ไม่เสถียรหรือเป็นเมทริกซ์เอกฐาน) เมื่อทำการปรับให้เข้ากับบริเวณที่มีข้อมูลน้อย ด้วยเหตุนี้ ผู้เขียนบางคนจึงเลือกใช้เคอร์เนลแบบเกาส์เซียน หรือบางคนก็เลือกใช้แบบที่ไม่มีขอบเขตจำกัด

การเลือกเกณฑ์ความเหมาะสม

ดังที่กล่าวมาข้างต้น การถดถอยแบบโลคอลใช้เกณฑ์กำลังสองน้อยที่สุดแบบถ่วงน้ำหนักเฉพาะที่เพื่อประมาณค่าพารามิเตอร์การถดถอย วิธีนี้สืบทอดข้อดีหลายประการ (ง่ายต่อการใช้งานและการตีความ คุณสมบัติที่ดีเมื่อค่าความคลาดเคลื่อนมีการกระจายแบบปกติ) และข้อเสีย (ความไวต่อค่าสุดขั้วและค่าผิดปกติ ประสิทธิภาพต่ำเมื่อค่าความคลาดเคลื่อนมีความแปรปรวนไม่เท่ากันหรือไม่ได้มีการกระจายแบบปกติ) ที่มักเกี่ยวข้องกับการถดถอยแบบกำลังสองน้อยที่สุด

ข้อเสียเหล่านี้สามารถแก้ไขได้โดยการแทนที่การประมาณค่ากำลังสองน้อยที่สุดในระดับท้องถิ่นด้วยวิธีอื่น แนวคิดสองประการที่นำเสนอในที่นี้ ได้แก่ การประมาณค่าความน่าจะเป็นในระดับท้องถิ่น ซึ่งใช้การประมาณค่าในระดับท้องถิ่นกับแบบจำลองเชิงเส้นทั่วไป และการถดถอยในระดับท้องถิ่นที่ทนทาน ซึ่งเป็นการปรับวิธีการจาก การถดถอยที่ทนทานให้เข้ากับระดับท้องถิ่น

การประมาณความน่าจะเป็นในระดับท้องถิ่น

ในการประมาณความน่าจะเป็นในท้องถิ่นที่พัฒนาโดย Tibshirani และ Hastie (1987) [ 20 ]การสังเกตวายฉัน{\displaystyle Y_{i}}สันนิษฐานว่ามาจากตระกูลการแจกแจงแบบพาราเมตริก โดยมีฟังก์ชันความหนาแน่นความน่าจะเป็นที่ทราบ (หรือฟังก์ชันมวล สำหรับข้อมูลแบบไม่ต่อเนื่อง) วายฉัน~เอฟ(y,θ(xฉัน)),{\displaystyle Y_{i}\sim f(y,\theta (x_{i})),} โดยที่ฟังก์ชันพารามิเตอร์θ(x){\displaystyle \theta (x)}คือปริมาณที่ไม่ทราบค่าที่ต้องการประมาณค่า เพื่อประมาณค่าθ(x){\displaystyle \theta (x)}ณ จุดใดจุดหนึ่งx{\displaystyle x}เกณฑ์ความน่าจะเป็นในระดับท้องถิ่นคือ ฉัน=1nฉัน(x)บันทึก[เอฟ(วายฉัน,เบต้า0+เบต้า1(xฉันx)++เบต้าพี(xฉันx)พี)].{\displaystyle \sum _{i=1}^{n}w_{i}(x)\log \left[f{\left(Y_{i},\beta _{0}+\beta _{1}(x_{i}-x)+\dots +\beta _{p}\left(x_{i}-x\right)^{p}\right)}\right].} การประมาณค่าสัมประสิทธิ์การถดถอย (โดยเฉพาะอย่างยิ่งเบต้า^0{\displaystyle {\hat {\beta }}_{0}}ค่าเหล่านี้ได้มาจากการเพิ่มค่าเกณฑ์ความน่าจะเป็นเฉพาะที่ให้สูงสุด และค่าประมาณความน่าจะเป็นเฉพาะที่คือ θ^(x)=เบต้า^0.{\displaystyle {\hat {\theta }}(x)={\hat {\beta }}_{0}.}

เมื่อไรเอฟ(y,θ(x)){\displaystyle f(y,\theta (x))}คือการแจกแจงแบบปกติและθ(x){\displaystyle \theta (x)}หาก เป็นฟังก์ชันค่าเฉลี่ย วิธีความน่าจะเป็นเฉพาะที่ (local likelihood method) จะลดลงเหลือเพียงการถดถอยกำลังสองน้อยที่สุดเฉพาะที่แบบมาตรฐาน สำหรับตระกูลความน่าจะเป็นอื่นๆ (โดยปกติ) จะไม่มีคำตอบในรูปแบบปิดสำหรับการประมาณค่าความน่าจะเป็นเฉพาะที่ และต้องใช้วิธีการวนซ้ำ เช่น การถ่วงน้ำหนัก กำลังสองน้อยที่สุดแบบวน ซ้ำ (iteratively reweighted least squares)เพื่อคำนวณค่าประมาณ

ตัวอย่าง (การถดถอยโลจิสติกแบบโลจิสติกเฉพาะที่) ค่าสังเกตการตอบสนองทั้งหมดเป็น 0 หรือ 1 และฟังก์ชันค่าเฉลี่ยคือความน่าจะเป็นของ "ความสำเร็จ"μ(xฉัน)=ปร.(วายฉัน=1|xฉัน){\displaystyle \mu (x_{i})=\Pr(Y_{i}=1|x_{i})}. เนื่องจากμ(xฉัน){\displaystyle \mu (x_{i})}ค่าต้องอยู่ระหว่าง 0 ถึง 1 และไม่ควรใช้แบบจำลองพหุนามเฉพาะที่สำหรับμ(x){\displaystyle \mu (x)}โดยตรง แทนที่จะเป็นการเปลี่ยนแปลงด้านโลจิสติกส์ θ(x)=บันทึก(μ(x)1μ(x)){\displaystyle \theta (x)=\log \left({\frac {\mu (x)}{1-\mu (x)}}\right)} สามารถนำมาใช้ได้ หรือเทียบเท่ากับ 1μ(x)=11+อีθ(x);μ(x)=อีθ(x)1+อีθ(x){\displaystyle {\begin{aligned}1-\mu (x)&={\frac {1}{1+e^{\theta (x)}}};\\\mu (x)&={\frac {e^{\theta (x)}}{1+e^{\theta (x)}}}\end{aligned}}} และฟังก์ชันมวลคือ เอฟ(วายฉัน,θ(xฉัน))=อีวายฉันθ(xฉัน)1+อีθ(xฉัน).{\displaystyle f(Y_{i},\theta (x_{i}))={\frac {e^{Y_{i}\theta (x_{i})}}{1+e^{\theta (x_{i})}}}.}

ทฤษฎีเชิงอะซิมโทติกสำหรับการประมาณความน่าจะเป็นเฉพาะที่ได้รับการพัฒนาใน J. Fan, Nancy E. Heckmanและ MPWand (1995); [ 30 ]หนังสือ Loader (1999) [ 31 ]กล่าวถึงการประยุกต์ใช้ความน่าจะเป็นเฉพาะที่อีกมากมาย

การถดถอยเฉพาะที่ที่แข็งแกร่ง

เพื่อแก้ไขปัญหาความไวต่อค่าผิด ปกติ สามารถใช้ เทคนิคจาก การถดถอยแบบทนทานได้ ใน การประมาณค่า M แบบเฉพาะที่ เกณฑ์กำลังสองน้อยที่สุดแบบเฉพาะที่ จะถูกแทนที่ด้วยเกณฑ์ในรูปแบบ ฉัน=1nฉัน(x)ρ(วายฉันเบต้า0เบต้าพี(xฉันx)พี){\displaystyle \sum _{i=1}^{n}w_{i}(x)\,\rho {\left({\frac {Y_{i}-\beta _{0}-\dots -\beta _{p}(x_{i}-x)^{p}}{s}}\right)}} ที่ไหนρ(){\displaystyle \rho (\cdot )}เป็นฟังก์ชันความทนทานและ{\displaystyle s}เป็นพารามิเตอร์มาตราส่วน การอภิปรายถึงข้อดีข้อเสียของการเลือกฟังก์ชันความทนทานที่แตกต่างกันนั้น ควรไปศึกษาใน เอกสารเกี่ยวกับ การถดถอยที่ทนทาน จะดีกว่า พารามิเตอร์มาตราส่วน{\displaystyle s}ต้องประเมินด้วยเช่นกัน เอกสารอ้างอิงสำหรับการประมาณค่า M ในพื้นที่ ได้แก่ Katkovnik (1985) [ 17 ]และAlexandre Tsybakov (1986) [ 32 ]

การวนซ้ำความทนทานใน LOWESS และ LOESS สอดคล้องกับฟังก์ชันความทนทานที่กำหนดโดย ρ(คุณ)=คุณ(1คุณ2/6)2;|คุณ|<1{\displaystyle \rho '(u)=u(1-u^{2}/6)^{2};|u|<1} และการประมาณค่าพารามิเตอร์มาตราส่วนทั่วโลกที่แม่นยำ

ถ้าρ(คุณ)=|คุณ|{\displaystyle \rho (u)=|u|}ในท้องถิ่นแอล1{\displaystyle L_{1}}เกณฑ์ ฉัน=1nฉัน(x)|วายฉันเบต้า0เบต้าพี(xฉันx)พี|{\displaystyle \sum _{i=1}^{n}w_{i}(x)\left|Y_{i}-\beta _{0}-\ldots -\beta _{p}(x_{i}-x)^{p}\right|} ผลลัพธ์; นี่ไม่จำเป็นต้องใช้พารามิเตอร์มาตราส่วน เมื่อพี=0{\displaystyle p=0}เกณฑ์นี้จะถูกลดให้เหลือน้อยที่สุดโดยค่ามัธยฐานถ่วงน้ำหนักเฉพาะที่; เฉพาะที่แอล1{\displaystyle L_{1}}การถดถอยสามารถตีความได้ว่าเป็นการประมาณค่ามัธยฐานแทนที่จะเป็นค่าเฉลี่ยของการตอบสนอง หากฟังก์ชันการสูญเสียเบี่ยงเบนไป จะกลายเป็นการถดถอยควอนไทล์เฉพาะที่ ดูKeming YuและMC Jones (1998) [ 33 ]

ทางเลือกใหม่ล่าสุดคือการปรับเปลี่ยนน้ำหนักการถดถอยเฉพาะที่แทนที่จะเป็นฟังก์ชันความสูญเสีย Shulman (2025) เสนอการถดถอยพหุนามเฉพาะที่ที่แข็งแกร่งด้วยเคอร์เนลความคล้ายคลึงกันซึ่งการถ่วงน้ำหนักเคอร์เนลได้รับการขยายให้รวมทั้งตัวแปรทำนายและตัวแปรตอบสนอง ในเวอร์ชันหนึ่ง เกณฑ์กำลังสองน้อยที่สุดเฉพาะที่จะถูกถ่วงน้ำหนักใหม่โดยการประมาณความหนาแน่นแบบมีเงื่อนไขเอฟ^วายX(วายฉันXฉัน){\displaystyle {\hat {f}}_{Y\mid X}(Y_{i}\mid X_{i})}ดังนั้นการสังเกตที่มีความหนาแน่นตามเงื่อนไขท้องถิ่นที่ประมาณไว้ต่ำจะถูกลดน้ำหนักลง วิธีนี้ช่วยให้มีความทนทานต่อค่าผิดปกติและจุดที่มีเลเวอเรจสูงโดยไม่ต้องมีการทำซ้ำความทนทานหลายครั้งที่ใช้ในวิธีการต่างๆ เช่น LOWESS และ LOESS [ 34 ]

ข้อดี

ดังที่กล่าวมาข้างต้น ข้อได้เปรียบที่สำคัญที่สุดของ LOESS เมื่อเทียบกับวิธีการอื่นๆ คือ กระบวนการปรับแบบจำลองให้เข้ากับข้อมูลตัวอย่างไม่ได้เริ่มต้นด้วยการกำหนดฟังก์ชัน แต่ผู้ทำการวิเคราะห์เพียงแค่ต้องระบุค่าพารามิเตอร์การปรับเรียบและระดับของพหุนามเฉพาะที่เท่านั้น นอกจากนี้ LOESS ยังมีความยืดหยุ่นสูง ทำให้เหมาะสำหรับการสร้างแบบจำลองกระบวนการที่ซับซ้อนซึ่งไม่มีแบบจำลองทางทฤษฎีอยู่ ข้อได้เปรียบทั้งสองประการนี้ เมื่อรวมกับความเรียบง่ายของวิธีการ ทำให้ LOESS เป็นหนึ่งในวิธีการถดถอยสมัยใหม่ที่น่าสนใจที่สุดสำหรับการใช้งานที่เข้ากับกรอบทั่วไปของการถดถอยกำลังสองน้อยที่สุด แต่มีโครงสร้างเชิงกำหนดที่ซับซ้อน

แม้ว่าจะไม่ชัดเจนเท่ากับวิธีการอื่นๆ ที่เกี่ยวข้องกับการถดถอยกำลังสองน้อยที่สุดเชิงเส้น แต่ LOESS ก็มีข้อดีส่วนใหญ่ที่วิธีการเหล่านั้นมักมีร่วมกัน ข้อดีที่สำคัญที่สุดคือทฤษฎีสำหรับการคำนวณความไม่แน่นอนในการทำนายและการปรับเทียบ นอกจากนี้ การทดสอบและขั้นตอนอื่นๆ ที่ใช้ในการตรวจสอบความถูกต้องของแบบจำลองกำลังสองน้อยที่สุดก็สามารถขยายไปใช้กับแบบจำลอง LOESS ได้เช่นกัน

ข้อเสีย

LOESS ใช้ข้อมูลอย่างมีประสิทธิภาพน้อยกว่าวิธีการกำลังสองน้อยที่สุดอื่นๆ จำเป็นต้องใช้ชุดข้อมูลขนาดใหญ่และมีการสุ่มตัวอย่างอย่างหนาแน่นเพื่อให้ได้แบบจำลองที่ดี เนื่องจาก LOESS อาศัยโครงสร้างข้อมูลเฉพาะที่เมื่อทำการปรับให้เข้ากับข้อมูลเฉพาะที่ ดังนั้น LOESS จึงให้การวิเคราะห์ข้อมูลที่ซับซ้อนน้อยกว่า แต่แลกมาด้วยต้นทุนการทดลองที่สูงกว่า[ 7 ]

ข้อเสียอีกประการหนึ่งของ LOESS คือการที่มันไม่สร้างฟังก์ชันการถดถอยที่สามารถแสดงด้วยสูตรทางคณิตศาสตร์ได้อย่างง่ายดาย ซึ่งอาจทำให้การถ่ายทอดผลการวิเคราะห์ไปยังผู้อื่นทำได้ยาก ในการถ่ายทอดฟังก์ชันการถดถอยไปยังผู้อื่น พวกเขาจะต้องมีชุดข้อมูลและซอฟต์แวร์สำหรับการคำนวณ LOESS ในทางกลับกัน ในการถดถอยแบบไม่เชิงเส้นนั้น เพียงแค่เขียนรูปแบบฟังก์ชันก็เพียงพอแล้วสำหรับการประมาณค่าพารามิเตอร์ที่ไม่ทราบค่าและความไม่แน่นอนที่ประมาณไว้ ขึ้นอยู่กับการใช้งาน นี่อาจเป็นข้อเสียที่สำคัญหรือเล็กน้อยของการใช้ LOESS โดยเฉพาะอย่างยิ่ง รูปแบบที่เรียบง่ายของ LOESS ไม่สามารถใช้ได้กับการสร้างแบบจำลองเชิงกลที่พารามิเตอร์ที่ปรับให้เหมาะสมระบุคุณสมบัติทางกายภาพเฉพาะของระบบ

สุดท้ายนี้ ดังที่ได้กล่าวไว้ข้างต้น LOESS เป็นวิธีการที่ต้องใช้การคำนวณอย่างมาก (ยกเว้นข้อมูลที่มีระยะห่างเท่ากัน ซึ่งการถดถอยสามารถกำหนดเป็น ตัวกรอง การตอบสนองแบบอิมพัลส์จำกัด ที่ไม่เป็นเหตุเป็นผล ได้) นอกจากนี้ LOESS ยังมีแนวโน้มที่จะได้รับผลกระทบจากค่าผิดปกติในชุดข้อมูล เช่นเดียวกับวิธีการกำลังสองน้อยที่สุดอื่นๆ มี LOESS เวอร์ชัน ที่ทนทาน และทำซ้ำได้ [Cleveland (1979)] ที่สามารถใช้เพื่อลดความไวของ LOESS ต่อค่าผิดปกติได้แต่ค่าผิดปกติสุดขั้วจำนวนมากก็ยังสามารถเอาชนะวิธีการทนทานได้ แม้กระทั่งวิธีการดังกล่าว วิธีการถดถอยเฉพาะที่ที่ทนทานและไม่ทำซ้ำอื่นๆ ก็ได้รับการเสนอเช่นกัน[ 34 ]

อ่านเพิ่มเติม

หนังสือที่ครอบคลุมเนื้อหาเกี่ยวกับการถดถอยในระดับท้องถิ่นและการขยายตัว:

  • Macaulay (1931) "การปรับเรียบอนุกรมเวลา" [ 10 ]กล่าวถึงวิธีการแบ่งระดับด้วยบทต่างๆ ที่เกี่ยวข้องกับการปรับพหุนามเฉพาะที่
  • Katkovnik (1985) "การระบุและการปรับเรียบข้อมูลแบบไม่ใช้พารามิเตอร์" [ 17 ]ในภาษารัสเซีย
  • Fan และ Gijbels (1996) "การสร้างแบบจำลองพหุนามท้องถิ่นและการประยุกต์ใช้" [ 35 ]
  • Loader (1999) "การถดถอยท้องถิ่นและความน่าจะเป็น" [ 31 ]
  • Fotheringham, Brunsdon และ Charlton (2002), "การถดถอยแบบถ่วงน้ำหนักทางภูมิศาสตร์" [ 36 ] (การพัฒนาการถดถอยท้องถิ่นสำหรับข้อมูลเชิงพื้นที่)

บทต่างๆ ในหนังสือ, บทวิจารณ์:

  • "การปรับให้เรียบด้วยการถดถอยเฉพาะที่: หลักการและวิธีการ" [ 11 ]
  • "การถดถอยท้องถิ่นและความน่าจะเป็น" บทที่ 13 ของพลวัตสมองที่สังเกตได้ Mitra และ Bokil (2007) [ 37 ]
  • Rafael Irizarry , "การถดถอยเฉพาะที่" บทที่ 3 ของ "สถิติเชิงไม่พาราเมตริกประยุกต์และสถิติสมัยใหม่" [ 38 ]

ดูเพิ่มเติม

  • คู่มือสถิติทางวิศวกรรมของ NIST ส่วนที่เกี่ยวกับ LOESS
  • R: การปรับความเหมาะสมของการถดถอยพหุนามเฉพาะที่ฟังก์ชัน Loess ในR
  • R: การปรับเรียบแผนภาพกระจายจุดด้วยฟังก์ชัน Lowess ในR
  • ฟังก์ชัน supsmu (Friedman's SuperSmoother) ใน R
  • Quantile LOESS – วิธีการทำการถดถอยเชิงพื้นที่บน หน้าต่างเคลื่อนที่ แบบควอนไทล์ (พร้อมโค้ด R)
  • เนท ซิลเวอร์, ความคิดเห็นเกี่ยวกับการแต่งงานของเพศเดียวกันกำลังเปลี่ยนแปลงไปอย่างไร และนั่นหมายความว่าอย่างไร – ตัวอย่างการเปรียบเทียบ LOESS กับการถดถอยเชิงเส้น

สาธารณสมบัติ บทความนี้ได้นำเนื้อหาที่เป็นสาธารณสมบัติจากสถาบันมาตรฐานและเทคโนโลยีแห่งชาติ มาใช้

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การถดถอยในระดับท้องถิ่น

การถดถอยแบบโลคอลหรือการถดถอยพหุนามแบบโลคอล หรือที่รู้จักกันในชื่อการถดถอยแบบเคลื่อนที่ เป็นการขยายผลของค่าเฉลี่ยเคลื่อนที่และการถดถอยพหุนาม วิธีการที่ใช้กันทั่วไปมากที่สุด

ประวัติศาสตร์

การถดถอยแบบโลคอลและกระบวนการที่เกี่ยวข้องอย่างใกล้ชิดมีประวัติอันยาวนานและอุดมสมบูรณ์ โดยได้รับการค้นพบและค้นพบใหม่ในสาขาต่างๆ หลายครั้ง งานในช่วงแรกโดย Robert Henderson [ 8 ] ที่ศึกษาปัญหาการสำเร็จการศึกษา...

คำจำกัดความของแบบจำลอง

การถดถอยเชิงโลคัล (Local regression) ใช้ ชุดข้อมูล ที่ประกอบด้วยข้อมูลสังเกตการณ์ ตัวแปรอิสระหรือตัวแปรทำนายอย่างน้อยหนึ่งตัว และตัวแปรตามหรือตัวแปรตอบสนอง ชุดข้อมูลจะประกอบด้วยจำนวนหนึ่ง n {\displaystyle n} การสังเกตการณ์...

การแสดงผลเมทริกซ์ของการประมาณการถดถอยเฉพาะที่

เช่นเดียวกับการประมาณค่าด้วยวิธีกำลังสองน้อยที่สุดทั้งหมด ค่าสัมประสิทธิ์การถดถอยที่ประมาณได้สามารถแสดงในรูปแบบปิดได้ (ดู รายละเอียดเพิ่มเติมได้ที่ วิธี การกำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก ): เบต้า ^ = ( X ที ว X ) − 1 X ที ว y {\displaystyle {\hat...