การถดถอยในระดับท้องถิ่น

การถดถอยแบบโลคอลหรือการถดถอยพหุนามแบบโลคอล [ 1 ] หรือที่รู้จักกันในชื่อการถดถอยแบบเคลื่อนที่ [ 2 ]เป็นการขยายผลของค่าเฉลี่ยเคลื่อนที่และการถดถอยพหุนาม[ 3 ] วิธีการที่ใช้กันทั่วไปมากที่สุด ซึ่งพัฒนาขึ้นครั้งแรกสำหรับการปรับเรียบแผนภาพกระจายคือLOESS ( การปรับเรียบแผนภาพกระจายโดยประมาณแบบโล คอล ) และLOWESS ( การปรับเรียบแผนภาพกระจายแบบถ่วงน้ำหนักแบบ โล คอ ล ) ซึ่งทั้งสองคำออกเสียงว่า/ ˈ oʊ ɛ s / LOH -ess ทั้งสองเป็นวิธี การถดถอยแบบไม่ใช้พารามิเตอร์ที่เกี่ยวข้องกันอย่างมากซึ่งรวมแบบจำลองการถดถอยหลายแบบเข้าด้วยกันใน แบบจำลองเมตาแบบ k -nearest-neighborในบางสาขา LOESS เป็นที่รู้จักและเรียกกันทั่วไปว่าตัวกรอง Savitzky–Golay [ 4 ] [ 5 ] (เสนอเมื่อ 15 ปีก่อน LOESS)
LOESS และ LOWESS จึงสร้างขึ้นบนพื้นฐานวิธีการ "แบบดั้งเดิม"เช่นการถดถอยกำลังสองน้อยที่สุด เชิงเส้นและไม่เชิงเส้น วิธีการเหล่านี้แก้ปัญหาในสถานการณ์ที่วิธีการแบบดั้งเดิมไม่ได้ผลดี หรือไม่สามารถนำไปใช้ได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้ความพยายามมากเกินไป LOESS ผสมผสานความเรียบง่ายของการถดถอยกำลังสองน้อยที่สุดเชิงเส้นเข้ากับความยืดหยุ่นของการถดถอยไม่เชิงเส้นโดยการสร้างแบบจำลองอย่างง่ายให้กับชุดย่อยของข้อมูลเฉพาะที่ เพื่อสร้างฟังก์ชันที่อธิบายส่วนที่เป็นตัวกำหนดของความแปรผันในข้อมูลทีละจุด อันที่จริง หนึ่งในจุดเด่นหลักของวิธีนี้คือ นักวิเคราะห์ข้อมูลไม่จำเป็นต้องระบุฟังก์ชันโดยรวมในรูปแบบใดๆ เพื่อปรับแบบจำลองให้เข้ากับข้อมูล เพียงแต่ต้องปรับให้เข้ากับส่วนต่างๆ ของข้อมูลเท่านั้น
ข้อแลกเปลี่ยนสำหรับคุณสมบัติเหล่านี้คือการคำนวณที่เพิ่มขึ้น เนื่องจากต้องใช้การคำนวณอย่างมาก LOESS จึงแทบเป็นไปไม่ได้เลยที่จะนำมาใช้ในยุคที่กำลังพัฒนาวิธีการถดถอยกำลังสองน้อยที่สุด วิธีการสร้างแบบจำลองกระบวนการสมัยใหม่ส่วนใหญ่ก็คล้ายกับ LOESS ในแง่นี้ วิธีการเหล่านี้ได้รับการออกแบบมาอย่างตั้งใจเพื่อใช้ประโยชน์จากความสามารถในการคำนวณในปัจจุบันของเราอย่างเต็มที่ที่สุด เพื่อบรรลุเป้าหมายที่ทำได้ยากด้วยวิธีการแบบดั้งเดิม
เส้นโค้งเรียบที่ลากผ่านชุดจุดข้อมูลที่ได้จากเทคนิคทางสถิตินี้เรียกว่าเส้นโค้งโลเอสโดยเฉพาะอย่างยิ่งเมื่อค่าที่เรียบแต่ละค่าได้มาจากการถดถอยกำลังสองน้อยที่สุดแบบถ่วงน้ำหนักในช่วงค่าของ ตัวแปรเกณฑ์ของแผนภาพ กระจายแกนyเมื่อค่าที่เรียบแต่ละค่าได้มาจากการถดถอยกำลังสองน้อยที่สุดเชิงเส้นแบบถ่วงน้ำหนักในช่วงนี้ จะเรียกว่าเส้นโค้งโลเวสอย่างไรก็ตาม ผู้เชี่ยวชาญบางคนถือว่าโลเวสและโลเอสเป็นคำพ้องความหมาย[ 6 ] [ 7 ]
ประวัติศาสตร์
การถดถอยแบบโลคอลและกระบวนการที่เกี่ยวข้องอย่างใกล้ชิดมีประวัติอันยาวนานและอุดมสมบูรณ์ โดยได้รับการค้นพบและค้นพบใหม่ในสาขาต่างๆ หลายครั้ง งานในช่วงแรกโดยRobert Henderson [ 8 ]ที่ศึกษาปัญหาการสำเร็จการศึกษา (คำศัพท์สำหรับการปรับให้เรียบที่ใช้ในวรรณกรรมด้านคณิตศาสตร์ประกันภัย) ได้แนะนำการถดถอยแบบโลคอลโดยใช้พหุนามลูกบาศก์
โดยเฉพาะอย่างยิ่ง ให้แสดงถึงลำดับการสังเกตที่ไม่มีการแบ่งระดับ ตามแนวคิดของเฮนเดอร์สัน สมมติว่ามีเพียงพจน์จากถึงจะต้องนำมาพิจารณาเมื่อคำนวณค่าระดับขั้นของ, และคือน้ำหนักที่จะกำหนดให้กับจากนั้นเฮนเดอร์สันจึงใช้การประมาณค่าพหุนามเฉพาะที่และกำหนดสมการสี่สมการต่อไปนี้สำหรับสัมประสิทธิ์:
การแก้สมการเหล่านี้เพื่อหาค่าสัมประสิทธิ์ของพหุนามจะให้ค่าที่ไล่ระดับแล้ว.
เฮนเดอร์สันไปไกลกว่านั้น ในช่วงหลายปีก่อนหน้านี้ มีการพัฒนาวิธีการแบ่งระดับแบบ 'สูตรผลรวม' หลายวิธี ซึ่งได้มาจากกฎการแบ่งระดับโดยอาศัยสูตรผลรวม (การสังเคราะห์อนุกรมของการสังเกตด้วยชุดน้ำหนักที่เลือก) กฎดังกล่าวสองข้อคือกฎ 15 จุดและ 21 จุดของสเปนเซอร์ (1904) [ 9 ]กฎการแบ่งระดับเหล่านี้ได้รับการออกแบบอย่างระมัดระวังเพื่อให้มีคุณสมบัติการสร้างแบบกำลังสอง: หากค่าที่ยังไม่ได้แบ่งระดับเป็นไปตามสูตรกำลังสองอย่างแม่นยำ ค่าที่แบ่งระดับแล้วจะเท่ากับค่าที่ยังไม่ได้แบ่งระดับ นี่เป็นคุณสมบัติที่สำคัญ: ในทางตรงกันข้าม ค่าเฉลี่ยเคลื่อนที่แบบง่ายไม่สามารถจำลองจุดสูงสุดและจุดต่ำสุดในข้อมูลได้อย่างเพียงพอ ความเข้าใจของเฮนเดอร์สันคือการแสดงให้เห็นว่า กฎการแบ่งระดับ ดังกล่าวสามารถแสดงได้เป็นค่าพอดีแบบลูกบาศก์ (หรือกำลังสอง) เฉพาะที่สำหรับการเลือกน้ำหนักที่เหมาะสม
การอภิปรายเพิ่มเติมเกี่ยวกับงานทางประวัติศาสตร์เกี่ยวกับการสำเร็จการศึกษาและการปรับพหุนามเฉพาะที่สามารถพบได้ในMacaulay (1931) [ 10 ] ClevelandและLoader (1995); [ 11 ]และMurrayและBellhouse (2019) [ 12 ]
ตัวกรอง Savitzky-Golayซึ่งแนะนำโดยAbraham SavitzkyและMarcel JE Golay (1964) [ 13 ]ได้ขยายวิธีการนี้อย่างมีนัยสำคัญ เช่นเดียวกับงานการไล่ระดับก่อนหน้านี้ พวกเขามุ่งเน้นไปที่ข้อมูลที่มีตัวแปรทำนายที่มีระยะห่างเท่ากัน ซึ่ง (ไม่รวมผลกระทบที่ขอบเขต) การถดถอยเฉพาะที่สามารถแสดงเป็นคอนโวลูชันได้ Savitzky และ Golay ได้เผยแพร่ชุดสัมประสิทธิ์คอนโวลูชันจำนวนมากสำหรับลำดับต่างๆ ของความกว้างของหน้าต่างพหุนามและหน้าต่างปรับเรียบ
วิธีการถดถอยเฉพาะที่เริ่มปรากฏให้เห็นอย่างแพร่หลายในวรรณกรรมทางสถิติในช่วงทศวรรษ 1970 ตัวอย่างเช่นCharles J. Stone (1977) [ 14 ] Vladimir Katkovnik (1979) [ 15 ]และWilliam S. Cleveland (1979) [ 16 ] Katkovnik (1985) [ 17 ]เป็นหนังสือเล่มแรกที่อุทิศให้กับวิธีการถดถอยเฉพาะที่เป็นหลัก
งานเชิงทฤษฎียังคงปรากฏออกมาอย่างต่อเนื่องตลอดช่วงทศวรรษ 1990 ผลงานสำคัญได้แก่Jianqing FanและIrène Gijbels (1992) [ 18 ]ที่ศึกษาคุณสมบัติประสิทธิภาพ และDavid RuppertและMatthew P. Wand (1994) [ 19 ]ที่พัฒนาทฤษฎีการกระจายแบบเชิงเส้นกำกับสำหรับการถดถอยเฉพาะที่แบบหลายตัวแปร
ส่วนขยายที่สำคัญของการถดถอยแบบโลคอลคือการประมาณค่าความน่าจะเป็นแบบโลคอล ซึ่งคิดค้นโดยRobert TibshiraniและTrevor Hastie (1987) [ 20 ]วิธีนี้แทนที่เกณฑ์กำลังสองน้อยที่สุดแบบโลคอลด้วยเกณฑ์ตามความน่าจะเป็น จึงขยายวิธีการถดถอยแบบโลคอลไปยัง การตั้ง ค่าแบบจำลองเชิงเส้นทั่วไปเช่น ข้อมูลไบนารี ข้อมูลการนับ หรือข้อมูลที่ถูกตัดทอน
การนำการถดถอยแบบโลคอลไปใช้ในทางปฏิบัติเริ่มปรากฏในซอฟต์แวร์ทางสถิติในช่วงทศวรรษ 1980 Cleveland (1981) [ 21 ]ได้แนะนำรูทีน LOWESS ซึ่งมีจุดประสงค์เพื่อปรับความเรียบของแผนภาพกระจาย รูทีนนี้ใช้การปรับแบบเชิงเส้นแบบโลคอลด้วยตัวแปรทำนายตัวเดียว และยังแนะนำการลดน้ำหนักความทนทานเพื่อให้กระบวนการนี้ทนต่อค่าผิดปกติ การใช้งานแบบใหม่ทั้งหมด LOESS ได้รับการอธิบายไว้ใน Cleveland และSusan J. Devlin (1988) [ 22 ] LOESS เป็นตัวปรับความเรียบแบบหลายตัวแปร สามารถจัดการกับข้อมูลเชิงพื้นที่ที่มีตัวแปรทำนายสองตัว (หรือมากกว่า) และใช้การปรับแบบกำลังสองแบบโลคอล (โดยค่าเริ่มต้น) ทั้ง LOWESS และ LOESS ถูกนำไปใช้ใน ภาษาการเขียนโปรแกรม SและRดูซอฟต์แวร์การปรับแบบโลคอลของ Cleveland เพิ่มเติม[ 23 ]
แม้ว่าบางครั้งคำว่า Local Regression, LOWESS และ LOESS จะถูกใช้สลับกันได้ แต่การใช้งานเช่นนั้นถือว่าไม่ถูกต้อง Local Regression เป็นคำทั่วไปสำหรับกระบวนการปรับให้เหมาะสม ในขณะที่ LOWESS และ LOESS เป็นการนำไปใช้ที่แตกต่างกันสองแบบ
คำจำกัดความของแบบจำลอง
การถดถอยเชิงโลคัล (Local regression) ใช้ชุดข้อมูลที่ประกอบด้วยข้อมูลสังเกตการณ์ ตัวแปรอิสระหรือตัวแปรทำนายอย่างน้อยหนึ่งตัว และตัวแปรตามหรือตัวแปรตอบสนอง ชุดข้อมูลจะประกอบด้วยจำนวนหนึ่งการสังเกตการณ์ การสังเกตการณ์ของตัวแปรทำนายสามารถแสดงได้ดังนี้และการสังเกตที่สอดคล้องกันของตัวแปรตอบสนองโดย.
เพื่อความสะดวกในการนำเสนอ การพัฒนาต่อไปนี้จะถือว่ามีตัวแปรทำนายเพียงตัวเดียว การขยายไปสู่ตัวแปรทำนายหลายตัว (เมื่อ(ซึ่งเป็นเวกเตอร์) นั้นเข้าใจได้ง่ายในเชิงแนวคิด โดยถือว่ามีความสัมพันธ์เชิงฟังก์ชันระหว่างตัวแปรทำนายและตัวแปรตอบสนอง: ที่ไหนคือฟังก์ชันการถดถอยแบบ 'เรียบ' ที่ไม่ทราบค่าซึ่งจะต้องได้รับการประมาณค่า และแสดงถึงค่าคาดหวังแบบมีเงื่อนไขของการตอบสนอง โดยกำหนดค่าของตัวแปรทำนาย ในงานทางทฤษฎี ความ 'เรียบ' ของฟังก์ชันนี้สามารถกำหนดลักษณะอย่างเป็นทางการได้โดยการวางขอบเขตบนอนุพันธ์อันดับสูงกว่าแสดงถึงความคลาดเคลื่อนแบบสุ่ม ซึ่งในการประมาณค่าจะถือว่ามี ค่า เฉลี่ยเป็นศูนย์อาจใช้สมมติฐานที่เข้มงวดกว่านี้ (เช่นความเป็นอิสระและความแปรปรวน เท่ากัน) เมื่อประเมินคุณสมบัติของการประมาณค่า
จากนั้นการถดถอยเฉพาะที่ก็จะประมาณค่าฟังก์ชันสำหรับค่าหนึ่งของในแต่ละครั้ง เนื่องจากถือว่าฟังก์ชันนั้นเรียบ ข้อมูลที่มีข้อมูลมากที่สุดจึงเป็นข้อมูลที่มีค่า ...ค่าต่างๆ ใกล้เคียงกับสิ่งนี้ได้รับการกำหนดอย่างเป็นทางการด้วยแบนด์วิดท์และ ฟังก์ชัน เคอร์เนลหรือฟังก์ชันน้ำหนักโดยมีการกำหนดค่าน้ำหนักให้กับการสังเกตแต่ละครั้ง ตัวเลือกทั่วไปของซึ่ง Cleveland ใช้ใน LOWESS คือสำหรับแม้ว่าฟังก์ชันที่คล้ายกันใดๆ (สูงสุดที่และมีค่าเล็กน้อยหรือเป็น 0 สำหรับค่ามากของ) สามารถนำมาใช้ได้ คำถามเกี่ยวกับการเลือกและการกำหนดคุณสมบัติของแบนด์วิดท์ (ควรมีขนาดเท่าใด)ควรมีค่าแตกต่างกันไปตามจุดติดตั้งหรือไม่?) ถูกเลื่อนออกไปก่อนในขณะนี้
แบบจำลองท้องถิ่น (โดยปกติจะเป็นพหุนามลำดับต่ำที่มีดีกรี )) แสดงออกมาในรูปแบบ จากนั้นจึงทำการปรับให้เหมาะสมโดยใช้วิธีถ่วงน้ำหนักกำลังสองน้อยที่สุด : เลือกสัมประสิทธิ์การถดถอย เพื่อลดให้น้อยที่สุด ค่าประมาณการถดถอยท้องถิ่นของดังนั้น จึงเป็นเพียงค่าประมาณจุดตัด: ในขณะที่ค่าสัมประสิทธิ์ที่เหลือสามารถตีความได้ (โดยมีปัจจัยไม่เกิน...)) ในรูปของการประมาณค่าอนุพันธ์
ควรเน้นย้ำว่าขั้นตอนข้างต้นให้ผลลัพธ์เป็นการประมาณการสำหรับค่าหนึ่งของเมื่อพิจารณาค่าใหม่ของชุดตุ้มน้ำหนักใหม่ต้องคำนวณค่าใหม่ และประมาณค่าสัมประสิทธิ์การถดถอยใหม่อีกครั้ง
การแสดงผลเมทริกซ์ของการประมาณการถดถอยเฉพาะที่
เช่นเดียวกับการประมาณค่าด้วยวิธีกำลังสองน้อยที่สุดทั้งหมด ค่าสัมประสิทธิ์การถดถอยที่ประมาณได้สามารถแสดงในรูปแบบปิดได้ (ดู รายละเอียดเพิ่มเติมได้ที่ วิธี การกำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก ): ที่ไหนเป็นเวกเตอร์ของสัมประสิทธิ์การถดถอยเฉพาะที่ คือเมทริกซ์การออกแบบพร้อมรายการ;เป็นเมทริกซ์แนวทแยงของน้ำหนักการปรับเรียบ; และเป็นเวกเตอร์ของการตอบสนอง.
การนำเสนอในรูปแบบเมทริกซ์นี้มีความสำคัญอย่างยิ่งสำหรับการศึกษาคุณสมบัติทางทฤษฎีของการประมาณค่าการถดถอยเฉพาะที่ ด้วยคำจำกัดความที่เหมาะสมของเมทริกซ์การออกแบบและเมทริกซ์น้ำหนัก มันสามารถขยายไปสู่การตั้งค่าตัวแปรทำนายหลายตัวได้ทันที
ประเด็นในการคัดเลือก: แบนด์วิดท์, โมเดลท้องถิ่น, เกณฑ์การปรับให้เหมาะสม
การนำการถดถอยเชิงพื้นที่ไปใช้ จำเป็นต้องมีการระบุและเลือกส่วนประกอบหลายอย่าง:
- แบนด์วิดท์ และโดยทั่วไปแล้วคือชุดย่อยของข้อมูลเฉพาะที่
- ระดับของพหุนามเฉพาะที่ หรือโดยทั่วไปแล้ว รูปแบบของแบบจำลองเฉพาะที่
- การเลือกฟังก์ชันน้ำหนัก.
- การเลือกเกณฑ์การปรับให้เหมาะสม (วิธีกำลังสองน้อยที่สุด หรือวิธีอื่น)
ส่วนประกอบแต่ละอย่างเหล่านี้ได้รับการศึกษาอย่างละเอียดถี่ถ้วน โดยมีบทสรุปอยู่ด้านล่างนี้
ชุดข้อมูลย่อยเฉพาะที่; แบนด์วิดท์
แบนด์วิดท์ค่า h ควบคุมความละเอียดของการประมาณค่าการถดถอยเฉพาะที่ หากค่า hน้อยเกินไป การประมาณค่าอาจแสดงคุณลักษณะที่มีความละเอียดสูง ซึ่งแสดงถึงสัญญาณรบกวนในข้อมูล แทนที่จะเป็นโครงสร้างที่แท้จริงในฟังก์ชันค่าเฉลี่ย ในทางกลับกัน หากค่า hมากเกินไป การประมาณค่าจะแสดงเฉพาะคุณลักษณะที่มีความละเอียดต่ำ และโครงสร้างที่สำคัญอาจสูญหายไป นี่คือความสมดุลระหว่างความเอนเอียงและความแปรปรวนหากค่า h น้อยเกินไป การประมาณค่าจะแสดงความแปรปรวนมาก ในขณะที่หาก ค่า hมากการประมาณค่าจะแสดงความเอนเอียงมาก
ดังนั้น การเลือกแบนด์วิดท์อย่างระมัดระวังจึงมีความสำคัญอย่างยิ่งเมื่อใช้การถดถอยเฉพาะที่ วิธีการทางคณิตศาสตร์สำหรับการเลือกแบนด์วิดท์นั้น จำเป็นต้องมีเกณฑ์ที่เป็นทางการเพื่อประเมินประสิทธิภาพของการประมาณค่าก่อน เกณฑ์หนึ่งดังกล่าวคือข้อผิดพลาดในการทำนาย: หากมีการสังเกตการณ์ใหม่ที่การประมาณการนั้นแม่นยำแค่ไหนคาดการณ์การตอบสนองใหม่?
ประสิทธิภาพมักถูกประเมินโดยใช้ฟังก์ชันความสูญเสียแบบกำลังสอง ค่าเฉลี่ยของความคลาดเคลื่อนในการทำนายคือ เทอมแรกคือความผันแปรแบบสุ่มของการสังเกต ซึ่งเป็นอิสระอย่างสมบูรณ์จากการประมาณการถดถอยเฉพาะที่ ส่วนพจน์ที่สอง คือค่าเฉลี่ยกำลังสองของข้อผิดพลาดในการประมาณค่า ความสัมพันธ์นี้แสดงให้เห็นว่า สำหรับการสูญเสียแบบกำลังสอง การลดข้อผิดพลาดในการทำนายและข้อผิดพลาดในการประมาณค่าเป็นปัญหาที่เทียบเท่ากัน
ในการเลือกแบนด์วิดท์ทั่วโลก มาตรการเหล่านี้สามารถบูรณาการเข้าด้วยกันได้พื้นที่ ("ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยแบบบูรณาการ" ซึ่งมักใช้ในงานเชิงทฤษฎี) หรือเฉลี่ยตามพื้นที่จริง(มีประโยชน์มากกว่าสำหรับการนำไปใช้ในทางปฏิบัติ) เทคนิคมาตรฐานบางอย่างจากการเลือกแบบจำลองสามารถปรับใช้กับการถดถอยเฉพาะที่ได้อย่างง่ายดาย:
- การตรวจสอบแบบไขว้ (Cross Validation ) ซึ่งเป็นการประมาณค่าความคลาดเคลื่อนในการทำนายแบบกำลังสองเฉลี่ย
- ค่า Cp ของ Mallowและเกณฑ์สารสนเทศของ Akaikeซึ่งใช้ในการประมาณค่าความคลาดเคลื่อนกำลังสองเฉลี่ยของการประมาณค่า
- วิธีการอื่นๆ ที่พยายามประมาณค่าความเอนเอียงและส่วนประกอบความแปรปรวนของข้อผิดพลาดในการประมาณค่าโดยตรง
เกณฑ์เหล่านี้สามารถลดให้น้อยที่สุดเพื่อสร้างตัวเลือกแบนด์วิดท์อัตโนมัติ Cleveland และ Devlin [ 22 ]นิยมใช้วิธีกราฟิก ( M -plot) เพื่อแสดงการแลกเปลี่ยนระหว่างอคติและความแปรปรวนและแนะนำการเลือกแบนด์วิดท์
คำถามหนึ่งที่ยังไม่ได้กล่าวถึงข้างต้นคือ แบนด์วิดท์ควรขึ้นอยู่กับจุดที่เหมาะสมอย่างไรโดยทั่วไปมักใช้แบนด์วิดท์คงที่ ในขณะที่ LOWESS และ LOESS นิยมใช้แบนด์วิดท์แบบเพื่อนบ้านใกล้เคียง ซึ่งหมายความว่าค่า hจะน้อยลงในบริเวณที่มีจุดข้อมูลจำนวนมาก ในทางทฤษฎีแล้ว พารามิเตอร์การปรับเรียบคือ...คือสัดส่วนของจำนวนจุดข้อมูลทั้งหมดnที่ใช้ในการปรับแบบโลคอลแต่ละครั้ง ชุดย่อยของข้อมูลที่ใช้ในการปรับแบบกำลังสองน้อยที่สุดแบบถ่วงน้ำหนักแต่ละครั้งจึงประกอบด้วยจุด (ปัดเศษเป็นจำนวนเต็มที่มากที่สุดถัดไป) ซึ่งค่าของตัวแปรอธิบายอยู่ใกล้ที่สุดกับจุดที่กำลังประเมินการตอบสนอง[ 7 ]
วิธีการที่ซับซ้อนกว่านั้นพยายามเลือกแบนด์วิดท์แบบปรับเปลี่ยนได้กล่าวคือ เลือกแบนด์วิดท์ที่จุดเชื่อมต่อแต่ละจุดโดยการใช้เกณฑ์ต่างๆ เช่น การตรวจสอบแบบไขว้ภายในหน้าต่างการปรับให้เรียบ ตัวอย่างแรกๆ ของเรื่องนี้คือ "supersmoother" ของJerome H. Friedman [ 24 ]ซึ่งใช้การตรวจสอบแบบไขว้เพื่อเลือกการปรับเชิงเส้นเฉพาะที่ในแบนด์วิดท์ที่แตกต่างกัน
ระดับของพหุนามท้องถิ่น
แหล่งข้อมูลส่วนใหญ่ ทั้งในงานเชิงทฤษฎีและเชิงคำนวณ ใช้พหุนามลำดับต่ำเป็นแบบจำลองเฉพาะที่ โดยมีดีกรีของพหุนามตั้งแต่ 0 ถึง 3
แบบจำลองระดับ 0 (ค่าคงที่เฉพาะที่) เทียบเท่ากับตัวปรับเรียบเคอร์เนลซึ่งโดยทั่วไปแล้วได้รับการยกย่องให้เป็นผลงานของÈlizbar Nadaraya (1964) [ 25 ]และGS Watson (1964) [ 26 ]นี่เป็นแบบจำลองที่ง่ายที่สุดในการใช้งาน แต่สามารถประสบปัญหาจากอคติเมื่อปรับให้เข้ากับบริเวณใกล้ขอบของชุดข้อมูล
การปรับเส้นตรงเฉพาะที่ (ระดับ 1) สามารถลดอคติที่ขอบเขตได้อย่างมาก
ฟังก์ชันกำลังสองเฉพาะที่ (ดีกรี 2) และฟังก์ชันกำลังสามเฉพาะที่ (ดีกรี 3) สามารถส่งผลให้ได้ความเหมาะสมที่ดีขึ้น โดยเฉพาะอย่างยิ่งเมื่อฟังก์ชันค่าเฉลี่ยพื้นฐานมีค่าความโค้งสูง หรือเทียบเท่ากับค่าอนุพันธ์อันดับสองที่มีค่ามาก
ในทางทฤษฎีแล้ว พหุนามที่มีลำดับสูงกว่าจะนำไปสู่การลู่เข้าที่เร็วขึ้นของการประมาณค่าสู่ค่าเฉลี่ยที่แท้จริงโดยมีเงื่อนไขว่ามีอนุพันธ์จำนวนเพียงพอดู CJ Stone (1980) [ 27 ]โดยทั่วไป ต้องใช้ขนาดตัวอย่างขนาดใหญ่เพื่อให้การบรรจบกันที่เร็วขึ้นนี้เกิดขึ้นได้ นอกจากนี้ยังมีปัญหาด้านการคำนวณและความเสถียรที่เกิดขึ้น โดยเฉพาะอย่างยิ่งสำหรับการปรับเรียบแบบหลายตัวแปร โดยทั่วไปไม่แนะนำให้ใช้พหุนามเฉพาะที่ที่มีดีกรีมากกว่า 3
เช่นเดียวกับการเลือกแบนด์วิดท์ วิธีการต่างๆ เช่น การตรวจสอบแบบไขว้ (cross-validation) สามารถนำมาใช้เพื่อเปรียบเทียบความเหมาะสมที่ได้จากพหุนามที่มีระดับต่างกันได้
ฟังก์ชันน้ำหนัก
ดังที่กล่าวมาข้างต้น ฟังก์ชันน้ำหนักจะให้น้ำหนักมากที่สุดกับจุดข้อมูลที่อยู่ใกล้จุดประมาณค่ามากที่สุด และให้น้ำหนักน้อยที่สุดกับจุดข้อมูลที่อยู่ไกลออกไป การใช้น้ำหนักนี้อยู่บนพื้นฐานของแนวคิดที่ว่า จุดที่อยู่ใกล้กันในพื้นที่ตัวแปรอธิบายมีแนวโน้มที่จะมีความสัมพันธ์กันในลักษณะที่ง่ายกว่าจุดที่อยู่ห่างกัน ตามตรรกะนี้ จุดที่มีแนวโน้มที่จะสอดคล้องกับแบบจำลองเฉพาะที่ได้ดีที่สุดจะมีอิทธิพลต่อค่าประมาณพารามิเตอร์ของแบบจำลองเฉพาะที่มากที่สุด จุดที่มีแนวโน้มที่จะไม่สอดคล้องกับแบบจำลองเฉพาะที่นั้นจะมีอิทธิพลต่อค่าประมาณพารามิเตอร์ของแบบจำลองเฉพาะที่น้อยกว่า
Cleveland (1979) [ 16 ]กำหนดข้อกำหนดสี่ประการสำหรับฟังก์ชันน้ำหนัก:
- ไม่เป็นลบ:สำหรับ.
- สมมาตร:.
- โมโนโทน:เป็นฟังก์ชันที่ไม่เพิ่มขึ้นสำหรับ.
- ช่วงรองรับที่จำกัด:สำหรับ.
ประสิทธิภาพเชิงอะซิมโทติกของฟังก์ชันน้ำหนักได้รับการพิจารณาโดยVA Epanechnikov (1969) [ 28 ]ในบริบทของการประมาณความหนาแน่นเคอร์เนล; J. Fan (1993) [ 29 ]ได้ผลลัพธ์ที่คล้ายกันสำหรับการถดถอยเฉพาะที่ พวกเขาสรุปว่าเคอร์เนลกำลังสองสำหรับมีประสิทธิภาพสูงสุดภายใต้ฟังก์ชันความสูญเสียแบบค่าเฉลี่ยกำลังสอง ดู"ฟังก์ชันเคอร์เนลที่ใช้กันทั่วไป"สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับเคอร์เนลประเภทต่างๆ และประสิทธิภาพของเคอร์เนลเหล่านั้น
นอกจากค่า MSE แล้ว ปัจจัยอื่นๆ ก็มีความสำคัญต่อการเลือกฟังก์ชันน้ำหนักเช่นกัน คุณสมบัติความเรียบของ...ส่งผลโดยตรงต่อความเรียบเนียนของการประมาณค่าโดยเฉพาะอย่างยิ่ง เคอร์เนลกำลังสองไม่สามารถหาอนุพันธ์ได้ที่, และจึงไม่สามารถหาอนุพันธ์ได้ฟังก์ชันน้ำหนักของไตรคิวบ์ ถูกนำมาใช้ใน LOWESS และซอฟต์แวร์การถดถอยเฉพาะที่อื่นๆ ซึ่งเป็นการผสมผสานความสามารถในการหาอนุพันธ์อันดับสูงเข้ากับประสิทธิภาพ MSE ที่สูง
ข้อวิจารณ์ประการหนึ่งของฟังก์ชันน้ำหนักที่มีขอบเขตจำกัดคือ อาจนำไปสู่ปัญหาทางตัวเลข (เช่น เมทริกซ์การออกแบบที่ไม่เสถียรหรือเป็นเมทริกซ์เอกฐาน) เมื่อทำการปรับให้เข้ากับบริเวณที่มีข้อมูลน้อย ด้วยเหตุนี้ ผู้เขียนบางคนจึงเลือกใช้เคอร์เนลแบบเกาส์เซียน หรือบางคนก็เลือกใช้แบบที่ไม่มีขอบเขตจำกัด
การเลือกเกณฑ์ความเหมาะสม
ดังที่กล่าวมาข้างต้น การถดถอยแบบโลคอลใช้เกณฑ์กำลังสองน้อยที่สุดแบบถ่วงน้ำหนักเฉพาะที่เพื่อประมาณค่าพารามิเตอร์การถดถอย วิธีนี้สืบทอดข้อดีหลายประการ (ง่ายต่อการใช้งานและการตีความ คุณสมบัติที่ดีเมื่อค่าความคลาดเคลื่อนมีการกระจายแบบปกติ) และข้อเสีย (ความไวต่อค่าสุดขั้วและค่าผิดปกติ ประสิทธิภาพต่ำเมื่อค่าความคลาดเคลื่อนมีความแปรปรวนไม่เท่ากันหรือไม่ได้มีการกระจายแบบปกติ) ที่มักเกี่ยวข้องกับการถดถอยแบบกำลังสองน้อยที่สุด
ข้อเสียเหล่านี้สามารถแก้ไขได้โดยการแทนที่การประมาณค่ากำลังสองน้อยที่สุดในระดับท้องถิ่นด้วยวิธีอื่น แนวคิดสองประการที่นำเสนอในที่นี้ ได้แก่ การประมาณค่าความน่าจะเป็นในระดับท้องถิ่น ซึ่งใช้การประมาณค่าในระดับท้องถิ่นกับแบบจำลองเชิงเส้นทั่วไป และการถดถอยในระดับท้องถิ่นที่ทนทาน ซึ่งเป็นการปรับวิธีการจาก การถดถอยที่ทนทานให้เข้ากับระดับท้องถิ่น
การประมาณความน่าจะเป็นในระดับท้องถิ่น
ในการประมาณความน่าจะเป็นในท้องถิ่นที่พัฒนาโดย Tibshirani และ Hastie (1987) [ 20 ]การสังเกตสันนิษฐานว่ามาจากตระกูลการแจกแจงแบบพาราเมตริก โดยมีฟังก์ชันความหนาแน่นความน่าจะเป็นที่ทราบ (หรือฟังก์ชันมวล สำหรับข้อมูลแบบไม่ต่อเนื่อง) โดยที่ฟังก์ชันพารามิเตอร์คือปริมาณที่ไม่ทราบค่าที่ต้องการประมาณค่า เพื่อประมาณค่าณ จุดใดจุดหนึ่งเกณฑ์ความน่าจะเป็นในระดับท้องถิ่นคือ การประมาณค่าสัมประสิทธิ์การถดถอย (โดยเฉพาะอย่างยิ่งค่าเหล่านี้ได้มาจากการเพิ่มค่าเกณฑ์ความน่าจะเป็นเฉพาะที่ให้สูงสุด และค่าประมาณความน่าจะเป็นเฉพาะที่คือ
เมื่อไรคือการแจกแจงแบบปกติและหาก เป็นฟังก์ชันค่าเฉลี่ย วิธีความน่าจะเป็นเฉพาะที่ (local likelihood method) จะลดลงเหลือเพียงการถดถอยกำลังสองน้อยที่สุดเฉพาะที่แบบมาตรฐาน สำหรับตระกูลความน่าจะเป็นอื่นๆ (โดยปกติ) จะไม่มีคำตอบในรูปแบบปิดสำหรับการประมาณค่าความน่าจะเป็นเฉพาะที่ และต้องใช้วิธีการวนซ้ำ เช่น การถ่วงน้ำหนัก กำลังสองน้อยที่สุดแบบวน ซ้ำ (iteratively reweighted least squares)เพื่อคำนวณค่าประมาณ
ตัวอย่าง (การถดถอยโลจิสติกแบบโลจิสติกเฉพาะที่) ค่าสังเกตการตอบสนองทั้งหมดเป็น 0 หรือ 1 และฟังก์ชันค่าเฉลี่ยคือความน่าจะเป็นของ "ความสำเร็จ". เนื่องจากค่าต้องอยู่ระหว่าง 0 ถึง 1 และไม่ควรใช้แบบจำลองพหุนามเฉพาะที่สำหรับโดยตรง แทนที่จะเป็นการเปลี่ยนแปลงด้านโลจิสติกส์ สามารถนำมาใช้ได้ หรือเทียบเท่ากับ และฟังก์ชันมวลคือ
ทฤษฎีเชิงอะซิมโทติกสำหรับการประมาณความน่าจะเป็นเฉพาะที่ได้รับการพัฒนาใน J. Fan, Nancy E. Heckmanและ MPWand (1995); [ 30 ]หนังสือ Loader (1999) [ 31 ]กล่าวถึงการประยุกต์ใช้ความน่าจะเป็นเฉพาะที่อีกมากมาย
การถดถอยเฉพาะที่ที่แข็งแกร่ง
เพื่อแก้ไขปัญหาความไวต่อค่าผิด ปกติ สามารถใช้ เทคนิคจาก การถดถอยแบบทนทานได้ ใน การประมาณค่า M แบบเฉพาะที่ เกณฑ์กำลังสองน้อยที่สุดแบบเฉพาะที่ จะถูกแทนที่ด้วยเกณฑ์ในรูปแบบ ที่ไหนเป็นฟังก์ชันความทนทานและเป็นพารามิเตอร์มาตราส่วน การอภิปรายถึงข้อดีข้อเสียของการเลือกฟังก์ชันความทนทานที่แตกต่างกันนั้น ควรไปศึกษาใน เอกสารเกี่ยวกับ การถดถอยที่ทนทาน จะดีกว่า พารามิเตอร์มาตราส่วนต้องประเมินด้วยเช่นกัน เอกสารอ้างอิงสำหรับการประมาณค่า M ในพื้นที่ ได้แก่ Katkovnik (1985) [ 17 ]และAlexandre Tsybakov (1986) [ 32 ]
การวนซ้ำความทนทานใน LOWESS และ LOESS สอดคล้องกับฟังก์ชันความทนทานที่กำหนดโดย และการประมาณค่าพารามิเตอร์มาตราส่วนทั่วโลกที่แม่นยำ
ถ้าในท้องถิ่นเกณฑ์ ผลลัพธ์; นี่ไม่จำเป็นต้องใช้พารามิเตอร์มาตราส่วน เมื่อเกณฑ์นี้จะถูกลดให้เหลือน้อยที่สุดโดยค่ามัธยฐานถ่วงน้ำหนักเฉพาะที่; เฉพาะที่การถดถอยสามารถตีความได้ว่าเป็นการประมาณค่ามัธยฐานแทนที่จะเป็นค่าเฉลี่ยของการตอบสนอง หากฟังก์ชันการสูญเสียเบี่ยงเบนไป จะกลายเป็นการถดถอยควอนไทล์เฉพาะที่ ดูKeming YuและMC Jones (1998) [ 33 ]
ทางเลือกใหม่ล่าสุดคือการปรับเปลี่ยนน้ำหนักการถดถอยเฉพาะที่แทนที่จะเป็นฟังก์ชันความสูญเสีย Shulman (2025) เสนอการถดถอยพหุนามเฉพาะที่ที่แข็งแกร่งด้วยเคอร์เนลความคล้ายคลึงกันซึ่งการถ่วงน้ำหนักเคอร์เนลได้รับการขยายให้รวมทั้งตัวแปรทำนายและตัวแปรตอบสนอง ในเวอร์ชันหนึ่ง เกณฑ์กำลังสองน้อยที่สุดเฉพาะที่จะถูกถ่วงน้ำหนักใหม่โดยการประมาณความหนาแน่นแบบมีเงื่อนไขดังนั้นการสังเกตที่มีความหนาแน่นตามเงื่อนไขท้องถิ่นที่ประมาณไว้ต่ำจะถูกลดน้ำหนักลง วิธีนี้ช่วยให้มีความทนทานต่อค่าผิดปกติและจุดที่มีเลเวอเรจสูงโดยไม่ต้องมีการทำซ้ำความทนทานหลายครั้งที่ใช้ในวิธีการต่างๆ เช่น LOWESS และ LOESS [ 34 ]
ข้อดี
ดังที่กล่าวมาข้างต้น ข้อได้เปรียบที่สำคัญที่สุดของ LOESS เมื่อเทียบกับวิธีการอื่นๆ คือ กระบวนการปรับแบบจำลองให้เข้ากับข้อมูลตัวอย่างไม่ได้เริ่มต้นด้วยการกำหนดฟังก์ชัน แต่ผู้ทำการวิเคราะห์เพียงแค่ต้องระบุค่าพารามิเตอร์การปรับเรียบและระดับของพหุนามเฉพาะที่เท่านั้น นอกจากนี้ LOESS ยังมีความยืดหยุ่นสูง ทำให้เหมาะสำหรับการสร้างแบบจำลองกระบวนการที่ซับซ้อนซึ่งไม่มีแบบจำลองทางทฤษฎีอยู่ ข้อได้เปรียบทั้งสองประการนี้ เมื่อรวมกับความเรียบง่ายของวิธีการ ทำให้ LOESS เป็นหนึ่งในวิธีการถดถอยสมัยใหม่ที่น่าสนใจที่สุดสำหรับการใช้งานที่เข้ากับกรอบทั่วไปของการถดถอยกำลังสองน้อยที่สุด แต่มีโครงสร้างเชิงกำหนดที่ซับซ้อน
แม้ว่าจะไม่ชัดเจนเท่ากับวิธีการอื่นๆ ที่เกี่ยวข้องกับการถดถอยกำลังสองน้อยที่สุดเชิงเส้น แต่ LOESS ก็มีข้อดีส่วนใหญ่ที่วิธีการเหล่านั้นมักมีร่วมกัน ข้อดีที่สำคัญที่สุดคือทฤษฎีสำหรับการคำนวณความไม่แน่นอนในการทำนายและการปรับเทียบ นอกจากนี้ การทดสอบและขั้นตอนอื่นๆ ที่ใช้ในการตรวจสอบความถูกต้องของแบบจำลองกำลังสองน้อยที่สุดก็สามารถขยายไปใช้กับแบบจำลอง LOESS ได้เช่นกัน
ข้อเสีย
LOESS ใช้ข้อมูลอย่างมีประสิทธิภาพน้อยกว่าวิธีการกำลังสองน้อยที่สุดอื่นๆ จำเป็นต้องใช้ชุดข้อมูลขนาดใหญ่และมีการสุ่มตัวอย่างอย่างหนาแน่นเพื่อให้ได้แบบจำลองที่ดี เนื่องจาก LOESS อาศัยโครงสร้างข้อมูลเฉพาะที่เมื่อทำการปรับให้เข้ากับข้อมูลเฉพาะที่ ดังนั้น LOESS จึงให้การวิเคราะห์ข้อมูลที่ซับซ้อนน้อยกว่า แต่แลกมาด้วยต้นทุนการทดลองที่สูงกว่า[ 7 ]
ข้อเสียอีกประการหนึ่งของ LOESS คือการที่มันไม่สร้างฟังก์ชันการถดถอยที่สามารถแสดงด้วยสูตรทางคณิตศาสตร์ได้อย่างง่ายดาย ซึ่งอาจทำให้การถ่ายทอดผลการวิเคราะห์ไปยังผู้อื่นทำได้ยาก ในการถ่ายทอดฟังก์ชันการถดถอยไปยังผู้อื่น พวกเขาจะต้องมีชุดข้อมูลและซอฟต์แวร์สำหรับการคำนวณ LOESS ในทางกลับกัน ในการถดถอยแบบไม่เชิงเส้นนั้น เพียงแค่เขียนรูปแบบฟังก์ชันก็เพียงพอแล้วสำหรับการประมาณค่าพารามิเตอร์ที่ไม่ทราบค่าและความไม่แน่นอนที่ประมาณไว้ ขึ้นอยู่กับการใช้งาน นี่อาจเป็นข้อเสียที่สำคัญหรือเล็กน้อยของการใช้ LOESS โดยเฉพาะอย่างยิ่ง รูปแบบที่เรียบง่ายของ LOESS ไม่สามารถใช้ได้กับการสร้างแบบจำลองเชิงกลที่พารามิเตอร์ที่ปรับให้เหมาะสมระบุคุณสมบัติทางกายภาพเฉพาะของระบบ
สุดท้ายนี้ ดังที่ได้กล่าวไว้ข้างต้น LOESS เป็นวิธีการที่ต้องใช้การคำนวณอย่างมาก (ยกเว้นข้อมูลที่มีระยะห่างเท่ากัน ซึ่งการถดถอยสามารถกำหนดเป็น ตัวกรอง การตอบสนองแบบอิมพัลส์จำกัด ที่ไม่เป็นเหตุเป็นผล ได้) นอกจากนี้ LOESS ยังมีแนวโน้มที่จะได้รับผลกระทบจากค่าผิดปกติในชุดข้อมูล เช่นเดียวกับวิธีการกำลังสองน้อยที่สุดอื่นๆ มี LOESS เวอร์ชัน ที่ทนทาน และทำซ้ำได้ [Cleveland (1979)] ที่สามารถใช้เพื่อลดความไวของ LOESS ต่อค่าผิดปกติได้แต่ค่าผิดปกติสุดขั้วจำนวนมากก็ยังสามารถเอาชนะวิธีการทนทานได้ แม้กระทั่งวิธีการดังกล่าว วิธีการถดถอยเฉพาะที่ที่ทนทานและไม่ทำซ้ำอื่นๆ ก็ได้รับการเสนอเช่นกัน[ 34 ]
อ่านเพิ่มเติม
หนังสือที่ครอบคลุมเนื้อหาเกี่ยวกับการถดถอยในระดับท้องถิ่นและการขยายตัว:
- Macaulay (1931) "การปรับเรียบอนุกรมเวลา" [ 10 ]กล่าวถึงวิธีการแบ่งระดับด้วยบทต่างๆ ที่เกี่ยวข้องกับการปรับพหุนามเฉพาะที่
- Katkovnik (1985) "การระบุและการปรับเรียบข้อมูลแบบไม่ใช้พารามิเตอร์" [ 17 ]ในภาษารัสเซีย
- Fan และ Gijbels (1996) "การสร้างแบบจำลองพหุนามท้องถิ่นและการประยุกต์ใช้" [ 35 ]
- Loader (1999) "การถดถอยท้องถิ่นและความน่าจะเป็น" [ 31 ]
- Fotheringham, Brunsdon และ Charlton (2002), "การถดถอยแบบถ่วงน้ำหนักทางภูมิศาสตร์" [ 36 ] (การพัฒนาการถดถอยท้องถิ่นสำหรับข้อมูลเชิงพื้นที่)
บทต่างๆ ในหนังสือ, บทวิจารณ์:
- "การปรับให้เรียบด้วยการถดถอยเฉพาะที่: หลักการและวิธีการ" [ 11 ]
- "การถดถอยท้องถิ่นและความน่าจะเป็น" บทที่ 13 ของพลวัตสมองที่สังเกตได้ Mitra และ Bokil (2007) [ 37 ]
- Rafael Irizarry , "การถดถอยเฉพาะที่" บทที่ 3 ของ "สถิติเชิงไม่พาราเมตริกประยุกต์และสถิติสมัยใหม่" [ 38 ]
ดูเพิ่มเติม
ลิงก์ภายนอก
- คู่มือสถิติทางวิศวกรรมของ NIST ส่วนที่เกี่ยวกับ LOESS
- R: การปรับความเหมาะสมของการถดถอยพหุนามเฉพาะที่ฟังก์ชัน Loess ในR
- R: การปรับเรียบแผนภาพกระจายจุดด้วยฟังก์ชัน Lowess ในR
- ฟังก์ชัน supsmu (Friedman's SuperSmoother) ใน R
- Quantile LOESS – วิธีการทำการถดถอยเชิงพื้นที่บน หน้าต่างเคลื่อนที่ แบบควอนไทล์ (พร้อมโค้ด R)
- เนท ซิลเวอร์, ความคิดเห็นเกี่ยวกับการแต่งงานของเพศเดียวกันกำลังเปลี่ยนแปลงไปอย่างไร และนั่นหมายความว่าอย่างไร – ตัวอย่างการเปรียบเทียบ LOESS กับการถดถอยเชิงเส้น
บทความนี้ได้นำเนื้อหาที่เป็นสาธารณสมบัติจากสถาบันมาตรฐานและเทคโนโลยีแห่งชาติ มาใช้