กลับไปหน้าบทความ

อ่าน 2 นาที

การถดถอยมุมน้อยที่สุด

ในทางสถิติการถดถอยมุมน้อยที่สุด (LARS)เป็นอัลกอริทึมสำหรับการปรับ แบบจำลอง การถดถอยเชิงเส้นให้เข้ากับข้อมูลที่มีมิติสูง ซึ่งพัฒนาโดยBradley Efron , Trevor Hastie , Iain...

การถดถอยมุมน้อยที่สุด

ค่าสัมประสิทธิ์มาตรฐานแสดงเป็นฟังก์ชันของสัดส่วนการหดตัว

ในทางสถิติการถดถอยมุมน้อยที่สุด (LARS)เป็นอัลกอริทึมสำหรับการปรับ แบบจำลอง การถดถอยเชิงเส้นให้เข้ากับข้อมูลที่มีมิติสูง ซึ่งพัฒนาโดยBradley Efron , Trevor Hastie , Iain JohnstoneและRobert Tibshirani [ 1 ]

สมมติว่าเราคาดว่าตัวแปรตอบสนองจะถูกกำหนดโดยการรวมกันเชิงเส้นของกลุ่มย่อยของตัวแปรอิสระที่เป็นไปได้ อัลกอริทึม LARS จะให้วิธีการในการสร้างค่าประมาณของตัวแปรที่จะรวมไว้ รวมถึงค่าสัมประสิทธิ์ของตัวแปรเหล่านั้นด้วย

แทนที่จะให้ผลลัพธ์เป็นเวกเตอร์ วิธีการแก้ปัญหาของ LARS ประกอบด้วยเส้นโค้งที่แสดงถึงคำตอบสำหรับแต่ละค่าของนอร์ม L1ของเวกเตอร์พารามิเตอร์ อัลกอริทึมนี้คล้ายกับการถดถอยแบบก้าวหน้า (forward stepwise regression ) แต่แทนที่จะรวมตัวแปรในแต่ละขั้นตอน พารามิเตอร์ที่ประมาณค่าได้จะเพิ่มขึ้นในทิศทางที่ทำมุมเท่ากับความสัมพันธ์ของแต่ละพารามิเตอร์กับค่าตกค้าง

ข้อดีและข้อเสีย

ข้อดีของวิธีการ LARS มีดังนี้:

  1. ในแง่ของความเร็วในการคำนวณนั้นเร็วพอๆ กับการเลือกแบบไปข้างหน้า (forward selection)
  2. วิธีการนี้สร้างเส้นทางคำตอบเชิงเส้นแบบแบ่งส่วนที่สมบูรณ์ ซึ่งมีประโยชน์ในการตรวจสอบความถูกต้องแบบไขว้หรือความพยายามที่คล้ายคลึงกันในการปรับแต่งแบบจำลอง
  3. หากตัวแปรสองตัวมีความสัมพันธ์กับตัวแปรตอบสนองในระดับใกล้เคียงกัน ค่าสัมประสิทธิ์ของตัวแปรทั้งสองควรเพิ่มขึ้นในอัตราที่ใกล้เคียงกัน ดังนั้นอัลกอริทึมจึงทำงานได้ตามที่สัญชาตญาณคาดการณ์ไว้ และยังมีความเสถียรมากกว่าด้วย
  4. สามารถปรับเปลี่ยนได้อย่างง่ายดายเพื่อสร้างอัลกอริธึมที่มีประสิทธิภาพสำหรับวิธีการอื่นๆ ที่ให้ผลลัพธ์คล้ายกัน เช่นlassoและการถดถอยแบบก้าวหน้าทีละขั้นตอน
  5. วิธีนี้มีประสิทธิภาพในบริบทที่p n (กล่าวคือ เมื่อจำนวนตัวทำนายpมากกว่าจำนวนจุดn อย่างมีนัยสำคัญ ) [ 2 ] 

ข้อเสียของวิธีการ LARS ได้แก่:

  1. เมื่อมีสัญญาณรบกวนในตัวแปรตามมากเท่าใดก็ได้ และตัวแปรอิสระที่มีมิติสูงและมี ความสัมพันธ์ กันหลายตัวแปรก็ไม่มีเหตุผลที่จะเชื่อว่าตัวแปรที่เลือกจะมีโอกาสสูงที่จะเป็นตัวแปรเชิงสาเหตุที่แท้จริง ปัญหานี้ไม่ได้เกิดขึ้นเฉพาะกับ LARS เท่านั้น แต่เป็นปัญหาทั่วไปของวิธีการเลือกตัวแปรที่พยายามค้นหาส่วนประกอบเชิงกำหนดที่อยู่เบื้องหลัง อย่างไรก็ตาม เนื่องจาก LARS ขึ้นอยู่กับการปรับค่าตกค้างซ้ำๆ จึงดูเหมือนว่าจะมีความไวต่อผลกระทบของสัญญาณรบกวนเป็นพิเศษ ปัญหานี้ได้รับการกล่าวถึงโดยละเอียดโดย Weisberg ในส่วนการอภิปรายของบทความ Efron et al. (2004) ในวารสาร Annals of Statistics [ 3 ] Weisberg ให้ตัวอย่างเชิงประจักษ์โดยอิงจากการวิเคราะห์ข้อมูลใหม่ที่ใช้ในการตรวจสอบความถูกต้องของ LARS ซึ่งการเลือกตัวแปรดูเหมือนจะมีปัญหากับตัวแปรที่มีความสัมพันธ์กันสูง
  2. เนื่องจากข้อมูลที่มีมิติสูง เกือบทั้งหมด ในโลกแห่งความเป็นจริงมักจะแสดงให้เห็นถึงความสัมพันธ์เชิงเส้นร่วมกันในระดับหนึ่งระหว่างตัวแปรอย่างน้อยบางตัว ปัญหาที่ LARS มีกับตัวแปรที่มีความสัมพันธ์กันอาจจำกัดการนำไปใช้กับข้อมูลที่มีมิติสูงได้

อัลกอริทึม

ขั้นตอนพื้นฐานของอัลกอริทึมการถดถอยมุมน้อยที่สุดมีดังนี้:

  • เริ่มต้นด้วยค่าสัมประสิทธิ์ทั้งหมดเบต้า{\displaystyle \beta }เท่ากับศูนย์
  • หาตัวทำนายxเจ{\displaystyle x_{j}}สัมพันธ์กันมากที่สุดกับy{\displaystyle y}.
  • เพิ่มค่าสัมประสิทธิ์เบต้าเจ{\displaystyle \beta _{j}}ในทิศทางของเครื่องหมายของความสัมพันธ์กับy{\displaystyle y}. นำค่าส่วนเหลือมาใช้=yy^{\displaystyle r=y-{\หมวก {y}}}ระหว่างทาง หยุดเมื่อตัวทำนายอื่นปรากฏขึ้นxเค{\displaystyle x_{k}}มีความสัมพันธ์กันมากกับ{\displaystyle r}เช่นxเจ{\displaystyle x_{j}}มี.
  • เพิ่มขึ้น (เบต้าเจ{\displaystyle \beta _{j}},เบต้าเค{\displaystyle \beta _{k}}) ในทิศทางกำลังสองน้อยที่สุดร่วมกัน จนกว่าจะมีตัวทำนายอื่นx{\displaystyle x_{m}}มีความสัมพันธ์กับส่วนที่เหลือมากพอๆ กัน{\displaystyle r}.
  • เพิ่มขึ้น (เบต้าเจ{\displaystyle \beta _{j}},เบต้าเค{\displaystyle \beta _{k}},เบต้า{\displaystyle \beta _{m}}) ในทิศทางกำลังสองน้อยที่สุดร่วมกัน จนกว่าจะมีตัวทำนายอื่นxn{\displaystyle x_{n}}มีความสัมพันธ์กับส่วนที่เหลือมากพอๆ กัน{\displaystyle r}.
  • ดำเนินการต่อไปจนกว่าตัวทำนายทั้งหมดจะอยู่ในแบบจำลอง[ 4 ]

การนำซอฟต์แวร์ไปใช้

การถดถอยเชิงมุมน้อยที่สุด (Least-angle regression) ถูกนำมาใช้ในRโดยใช้ แพ็ก เกจ larsในPythonโดยใช้ แพ็ก เกจ scikit-learnและในSASโดยใช้ขั้นตอนGLMSELECT

ดูเพิ่มเติม

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การถดถอยมุมน้อยที่สุด

ในทางสถิติการถดถอยมุมน้อยที่สุด (LARS)เป็นอัลกอริทึมสำหรับการปรับ แบบจำลอง การถดถอยเชิงเส้นให้เข้ากับข้อมูลที่มีมิติสูง ซึ่งพัฒนาโดยBradley Efron , Trevor Hastie , Iain...

อัลกอริทึม

ขั้นตอนพื้นฐานของอัลกอริทึมการถดถอยมุมน้อยที่สุดมีดังนี้:

การนำซอฟต์แวร์ไปใช้

การถดถอยเชิงมุมน้อยที่สุด (Least-angle regression) ถูกนำมาใช้ใน R โดยใช้ แพ็ก เกจ larsใน Python โดยใช้ แพ็ก เกจ scikit-learnและใน SAS โดยใช้ขั้นตอนGLMSELECT

ดูเพิ่มเติม

สถิติมิติสูง ลาสโซ (สถิติ) การวิเคราะห์การถดถอย การเลือกแบบจำลอง