การถดถอยมุมน้อยที่สุด

ในทางสถิติการถดถอยมุมน้อยที่สุด (LARS)เป็นอัลกอริทึมสำหรับการปรับ แบบจำลอง การถดถอยเชิงเส้นให้เข้ากับข้อมูลที่มีมิติสูง ซึ่งพัฒนาโดยBradley Efron , Trevor Hastie , Iain JohnstoneและRobert Tibshirani [ 1 ]
สมมติว่าเราคาดว่าตัวแปรตอบสนองจะถูกกำหนดโดยการรวมกันเชิงเส้นของกลุ่มย่อยของตัวแปรอิสระที่เป็นไปได้ อัลกอริทึม LARS จะให้วิธีการในการสร้างค่าประมาณของตัวแปรที่จะรวมไว้ รวมถึงค่าสัมประสิทธิ์ของตัวแปรเหล่านั้นด้วย
แทนที่จะให้ผลลัพธ์เป็นเวกเตอร์ วิธีการแก้ปัญหาของ LARS ประกอบด้วยเส้นโค้งที่แสดงถึงคำตอบสำหรับแต่ละค่าของนอร์ม L1ของเวกเตอร์พารามิเตอร์ อัลกอริทึมนี้คล้ายกับการถดถอยแบบก้าวหน้า (forward stepwise regression ) แต่แทนที่จะรวมตัวแปรในแต่ละขั้นตอน พารามิเตอร์ที่ประมาณค่าได้จะเพิ่มขึ้นในทิศทางที่ทำมุมเท่ากับความสัมพันธ์ของแต่ละพารามิเตอร์กับค่าตกค้าง
ข้อดีและข้อเสีย
ข้อดีของวิธีการ LARS มีดังนี้:
- ในแง่ของความเร็วในการคำนวณนั้นเร็วพอๆ กับการเลือกแบบไปข้างหน้า (forward selection)
- วิธีการนี้สร้างเส้นทางคำตอบเชิงเส้นแบบแบ่งส่วนที่สมบูรณ์ ซึ่งมีประโยชน์ในการตรวจสอบความถูกต้องแบบไขว้หรือความพยายามที่คล้ายคลึงกันในการปรับแต่งแบบจำลอง
- หากตัวแปรสองตัวมีความสัมพันธ์กับตัวแปรตอบสนองในระดับใกล้เคียงกัน ค่าสัมประสิทธิ์ของตัวแปรทั้งสองควรเพิ่มขึ้นในอัตราที่ใกล้เคียงกัน ดังนั้นอัลกอริทึมจึงทำงานได้ตามที่สัญชาตญาณคาดการณ์ไว้ และยังมีความเสถียรมากกว่าด้วย
- สามารถปรับเปลี่ยนได้อย่างง่ายดายเพื่อสร้างอัลกอริธึมที่มีประสิทธิภาพสำหรับวิธีการอื่นๆ ที่ให้ผลลัพธ์คล้ายกัน เช่นlassoและการถดถอยแบบก้าวหน้าทีละขั้นตอน
- วิธีนี้มีประสิทธิภาพในบริบทที่p ≫ n (กล่าวคือ เมื่อจำนวนตัวทำนายpมากกว่าจำนวนจุดn อย่างมีนัยสำคัญ ) [ 2 ]
ข้อเสียของวิธีการ LARS ได้แก่:
- เมื่อมีสัญญาณรบกวนในตัวแปรตามมากเท่าใดก็ได้ และตัวแปรอิสระที่มีมิติสูงและมี ความสัมพันธ์ กันหลายตัวแปรก็ไม่มีเหตุผลที่จะเชื่อว่าตัวแปรที่เลือกจะมีโอกาสสูงที่จะเป็นตัวแปรเชิงสาเหตุที่แท้จริง ปัญหานี้ไม่ได้เกิดขึ้นเฉพาะกับ LARS เท่านั้น แต่เป็นปัญหาทั่วไปของวิธีการเลือกตัวแปรที่พยายามค้นหาส่วนประกอบเชิงกำหนดที่อยู่เบื้องหลัง อย่างไรก็ตาม เนื่องจาก LARS ขึ้นอยู่กับการปรับค่าตกค้างซ้ำๆ จึงดูเหมือนว่าจะมีความไวต่อผลกระทบของสัญญาณรบกวนเป็นพิเศษ ปัญหานี้ได้รับการกล่าวถึงโดยละเอียดโดย Weisberg ในส่วนการอภิปรายของบทความ Efron et al. (2004) ในวารสาร Annals of Statistics [ 3 ] Weisberg ให้ตัวอย่างเชิงประจักษ์โดยอิงจากการวิเคราะห์ข้อมูลใหม่ที่ใช้ในการตรวจสอบความถูกต้องของ LARS ซึ่งการเลือกตัวแปรดูเหมือนจะมีปัญหากับตัวแปรที่มีความสัมพันธ์กันสูง
- เนื่องจากข้อมูลที่มีมิติสูง เกือบทั้งหมด ในโลกแห่งความเป็นจริงมักจะแสดงให้เห็นถึงความสัมพันธ์เชิงเส้นร่วมกันในระดับหนึ่งระหว่างตัวแปรอย่างน้อยบางตัว ปัญหาที่ LARS มีกับตัวแปรที่มีความสัมพันธ์กันอาจจำกัดการนำไปใช้กับข้อมูลที่มีมิติสูงได้
อัลกอริทึม
ขั้นตอนพื้นฐานของอัลกอริทึมการถดถอยมุมน้อยที่สุดมีดังนี้:
- เริ่มต้นด้วยค่าสัมประสิทธิ์ทั้งหมดเท่ากับศูนย์
- หาตัวทำนายสัมพันธ์กันมากที่สุดกับ.
- เพิ่มค่าสัมประสิทธิ์ในทิศทางของเครื่องหมายของความสัมพันธ์กับ. นำค่าส่วนเหลือมาใช้ระหว่างทาง หยุดเมื่อตัวทำนายอื่นปรากฏขึ้นมีความสัมพันธ์กันมากกับเช่นมี.
- เพิ่มขึ้น (,) ในทิศทางกำลังสองน้อยที่สุดร่วมกัน จนกว่าจะมีตัวทำนายอื่นมีความสัมพันธ์กับส่วนที่เหลือมากพอๆ กัน.
- เพิ่มขึ้น (,,) ในทิศทางกำลังสองน้อยที่สุดร่วมกัน จนกว่าจะมีตัวทำนายอื่นมีความสัมพันธ์กับส่วนที่เหลือมากพอๆ กัน.
- ดำเนินการต่อไปจนกว่าตัวทำนายทั้งหมดจะอยู่ในแบบจำลอง[ 4 ]
การนำซอฟต์แวร์ไปใช้
การถดถอยเชิงมุมน้อยที่สุด (Least-angle regression) ถูกนำมาใช้ในRโดยใช้ แพ็ก เกจ larsในPythonโดยใช้ แพ็ก เกจ scikit-learnและในSASโดยใช้ขั้นตอนGLMSELECT