ในทางสถิติ ความสัมพันธ์ เชิงเส้นร่วม ( multicollinearityหรือcollinearity)คือสถานการณ์ที่ตัวแปรทำนายในแบบจำลองการถดถอยมีความสัมพันธ์เชิงเส้นต่อกัน

ภาวะ ความสัมพันธ์เชิงเส้นสมบูรณ์แบบ (Perfect multicollinearity)หมายถึงสถานการณ์ที่ตัวแปรทำนายมี ความสัมพันธ์เชิงเส้น ตรงที่แน่นอนเมื่อมีภาวะความสัมพันธ์เชิงเส้นสมบูรณ์แบบเมทริกซ์การออกแบบจะ...${\displaystyle X}$มีอันดับ น้อยกว่าอันดับเต็ม ดังนั้นเมทริกซ์โมเมนต์ จึง${\displaystyle X^{\mathsf {T}}X}$ไม่สามารถผกผันได้ในสถานการณ์นี้ค่าประมาณพารามิเตอร์ของการถดถอยจะไม่ชัดเจน เนื่องจากระบบสมการมีคำตอบมากมายนับไม่ถ้วน

ภาวะความสัมพันธ์เชิง เส้นไม่สมบูรณ์ (Imperfect multicollinearity)หมายถึงสถานการณ์ที่ตัวแปรทำนายมีความสัมพันธ์เชิงเส้นเกือบ สมบูรณ์แบบ

ทฤษฎีบท เกาส์-มาร์คอฟตั้งอยู่บนสมมติฐานว่าไม่มีภาวะความสัมพันธ์เชิงเส้นร่วมที่สมบูรณ์แบบ

ผลกระทบเชิงลบของตัวแปรที่มีความสัมพันธ์กันสูงเป็นที่ทราบกันดีและได้รับการพิสูจน์แล้วหลายครั้ง^{[ 1 ] [ 2 ]}

เพื่อแก้ไขปัญหาความสัมพันธ์เชิงเส้นสูงของชุดข้อมูล สามารถใช้ค่าสัมประสิทธิ์ การเพิ่มความแปรปรวน (Variance Inflation Factor)เพื่อระบุความสัมพันธ์เชิงเส้นของตัวแปรทำนายได้

ภาวะความสัมพันธ์เชิงเส้นที่สมบูรณ์แบบหมายถึงสถานการณ์ที่ตัวทำนายมีความสัมพันธ์เชิงเส้น (ตัวหนึ่งสามารถเขียนเป็นฟังก์ชันเชิงเส้นที่แน่นอนของตัวอื่นได้) ^{[ 3 ]}กำลังสองน้อยที่สุดแบบธรรมดาต้องใช้การผกผันเมทริกซ์${\displaystyle X^{\mathsf {T}}X}$, ที่ไหน

${\displaystyle X={\begin{bmatrix}1&X_{11}&\cdots &X_{k1}\\\vdots &\vdots &&\vdots \\1&X_{1N}&\cdots &X_{kN}\end{bmatrix}}}$

เป็น${\displaystyle N\times (k+1)}$เมทริกซ์ โดยที่${\displaystyle N}$คือจำนวนการสังเกตการณ์${\displaystyle k}$คือจำนวนตัวแปรอธิบาย และ${\displaystyle N\geq k+1}$หากมีความสัมพันธ์เชิงเส้นที่แน่นอนระหว่างตัวแปรอิสระแล้ว อย่างน้อยหนึ่งในคอลัมน์ของ${\displaystyle X}$เป็นผลรวมเชิงเส้นของตัวอื่นๆ ดังนั้นอันดับของ${\displaystyle X}$(และด้วยเหตุนี้จึงเป็นของ${\displaystyle X^{\mathsf {T}}X}$) น้อยกว่า${\displaystyle k+1}$และเมทริกซ์${\displaystyle X^{\mathsf {T}}X}$จะไม่สามารถกลับด้านได้

บางครั้ง ตัวแปรต่างๆ${\displaystyle X_{j}}$เกือบจะเป็นเส้นตรงเดียวกัน ในกรณีนี้ เมทริกซ์${\displaystyle X^{\mathsf {T}}X}$มีเมทริกซ์ผกผัน แต่เมทริกซ์ผกผันนั้นมีสภาพไม่ดีอัลกอริทึมคอมพิวเตอร์อาจคำนวณเมทริกซ์ผกผันโดยประมาณได้หรือไม่ก็ได้ หรือแม้ว่าจะทำได้ เมทริกซ์ผกผันที่ได้ก็อาจมีข้อผิดพลาดจากการปัดเศษ สูง

การวัดมาตรฐานของสภาพที่ไม่ดีในเมทริกซ์คือดัชนีสภาพ ซึ่งจะตรวจสอบว่าการผกผันของเมทริกซ์นั้นไม่เสถียรทางตัวเลขด้วยตัวเลขความแม่นยำจำกัดหรือไม่ ซึ่งบ่งชี้ถึงความไวที่อาจเกิดขึ้นของค่าผกผันที่คำนวณได้ต่อการเปลี่ยนแปลงเล็กน้อยในเมทริกซ์ดั้งเดิม ตัวเลขสภาพคำนวณโดยการหาค่าเอกพจน์ สูงสุด หารด้วยค่าเอกพจน์ต่ำสุดของ เมทริกซ์ การออกแบบ^{[ 5 ]}ในบริบทของตัวแปรร่วมเชิงเส้นปัจจัยการขยายตัวของความแปรปรวนคือตัวเลขสภาพสำหรับสัมประสิทธิ์เฉพาะ

นอกจากจะทำให้เกิดปัญหาทางตัวเลขแล้ว ความสัมพันธ์เชิงเส้นที่ไม่สมบูรณ์ยังทำให้การประมาณค่าตัวแปรอย่างแม่นยำทำได้ยาก กล่าวอีกนัยหนึ่ง ตัวแปรที่มีความสัมพันธ์กันสูงจะนำไปสู่การประมาณค่าที่ไม่แม่นยำและค่าความคลาดเคลื่อนมาตรฐานที่สูง

ยกตัวอย่างเช่น สมมติว่าเราสังเกตเห็นว่าอลิซสวมรองเท้าบูททุกครั้งที่ฝนตก และมีเพียงแอ่งน้ำเกิดขึ้นเมื่อฝนตก ในกรณีนี้ เราไม่สามารถบอกได้ว่าเธอสวมรองเท้าบูทเพื่อป้องกันไม่ให้ฝนตกใส่เท้า หรือเพื่อป้องกันไม่ให้เท้าเปียกหากเหยียบลงไปในแอ่งน้ำ

ปัญหาของการพยายามระบุว่าตัวแปรแต่ละตัวมีความสำคัญมากน้อยเพียงใดก็คือ ตัวแปรทั้งสองมีความสัมพันธ์กันอย่างซับซ้อน กล่าวคือ การสังเกตของเราสามารถอธิบายได้ดีเท่ากันโดยตัวแปรใดตัวแปรหนึ่ง ดังนั้นเราจึงไม่ทราบว่าตัวแปรใดเป็นสาเหตุของความสัมพันธ์ที่สังเกตได้

มีสองวิธีที่จะค้นหาข้อมูลนี้ได้:

1. โดยใช้ข้อมูลหรือทฤษฎีที่มีอยู่ก่อนหน้า ตัวอย่างเช่น หากเราสังเกตว่าอลิซไม่เคยเหยียบแอ่งน้ำ เราก็สามารถโต้แย้งได้อย่างสมเหตุสมผลว่าแอ่งน้ำไม่ใช่เหตุผลที่เธอสวมรองเท้าบูท เพราะเธอไม่จำเป็นต้องใช้รองเท้าบูทเพื่อหลีกเลี่ยงแอ่งน้ำ
2. เก็บรวบรวมข้อมูลเพิ่มเติม หากเราสังเกตอลิซบ่อยพอ ในที่สุดเราก็จะเห็นเธอในวันที่น้ำขังแต่ฝนไม่ตก (เช่น เพราะฝนหยุดตกก่อนที่เธอจะออกจากบ้าน)

ปัญหาการรบกวนนี้จะยิ่งแย่ลงอย่างมากเมื่อนักวิจัยพยายามเพิกเฉยหรือระงับมันโดยการตัดตัวแปรเหล่านี้ออกจากสมการถดถอย (ดู#การใช้ผิดวิธี ) การตัดตัวแปรที่มีความสัมพันธ์กันหลายตัวออกจากสมการถดถอยจะทำให้การอนุมานเชิงสาเหตุ ไม่ถูกต้อง และทำให้ได้ค่าประมาณที่แย่ลงเนื่องจากการกำจัดตัวแปรแทรกซ้อนที่สำคัญออกไป

ภาวะความสัมพันธ์เชิงเส้นหลายตัวแปรสามารถส่งผลกระทบอย่างมากต่อความเสถียรและความสามารถในการตีความของแบบจำลองการถดถอย เมื่อตัวแปรทำนายมีความสัมพันธ์กันสูง ความแปรปรวนของสัมประสิทธิ์การถดถอยที่ประมาณการจะเพิ่มขึ้น ซึ่งอาจนำไปสู่ข้อผิดพลาดมาตรฐานขนาดใหญ่และการอนุมานทางสถิติที่ไม่น่าเชื่อถือ ส่งผลให้สัมประสิทธิ์อาจดูเหมือนไม่มีนัยสำคัญทางสถิติแม้ว่าแบบจำลองโดยรวมจะมีอำนาจในการอธิบายที่แข็งแกร่ง ปัญหานี้ไม่จำเป็นต้องลดประสิทธิภาพการทำนาย แต่ทำให้การตีความตัวทำนายแต่ละตัวซับซ้อนขึ้น^{[ 9 ]}

ปัจจัยการขยายตัวของความแปรปรวนมักถูกนำไปใช้ในทางที่ผิดเป็นเกณฑ์ในการถดถอยแบบทีละขั้นตอน (เช่น สำหรับการรวม/การยกเว้นตัวแปร) ซึ่งเป็นการใช้งานที่ "ขาดพื้นฐานเชิงตรรกะใดๆ และยังทำให้เข้าใจผิดโดยพื้นฐานในฐานะกฎทั่วไป" ^{[ 11 ]}

การไม่รวมตัวแปรที่มีความสัมพันธ์กันทำให้ค่าประมาณของข้อผิดพลาดมาตรฐานมีขนาดเล็กเกินจริง แต่ไม่ได้ลดข้อผิดพลาดมาตรฐานที่แท้จริง (ไม่ใช่ค่าประมาณ) สำหรับสัมประสิทธิ์การถดถอย^{[ 12 ]}การไม่รวมตัวแปรที่มีปัจจัยการขยายตัวของความแปรปรวน สูงยังทำให้ข้อผิดพลาดมาตรฐานและค่า p ที่คำนวณได้ไม่ถูกต้องด้วย การเปลี่ยนผลลัพธ์ของการถดถอยให้เป็นการวิเคราะห์แบบ post hoc ^{[ 14 ]}

เนื่องจากความสัมพันธ์เชิงเส้นตรงที่มากเกินไปจะนำไปสู่ค่าความคลาดเคลื่อนมาตรฐานและค่า p ที่สูง ซึ่งอาจทำให้การตีพิมพ์บทความทำได้ยากขึ้น นักวิจัยบางคนจึงพยายามกำจัดข้อมูลที่ไม่พึงประสงค์โดยการตัดตัวแปรที่มีความสัมพันธ์กันอย่างมากออกจากแบบจำลองการถดถอย กระบวนการนี้จัดอยู่ในหมวดหมู่ที่กว้างกว่า ได้แก่ การปรับ ค่า pให้ สูงขึ้น การขุดค้นข้อมูลและการวิเคราะห์ภายหลัง การตัดตัวแปรทำนายที่มีความสัมพันธ์เชิงเส้นตรง (ที่เป็นประโยชน์) ออกไปโดยทั่วไปจะทำให้ความแม่นยำของแบบจำลองและการประมาณค่าสัมประสิทธิ์ลดลง

ในทำนองเดียวกัน การลองใช้แบบจำลองหรือวิธีการประมาณค่าที่แตกต่างกันหลายวิธี (เช่นวิธีการกำลังสองน้อยที่สุดแบบธรรมดาการถดถอยแบบริดจ์ ฯลฯ) จนกว่าจะพบวิธีที่สามารถ "จัดการ" กับปัญหาความสัมพันธ์เชิงเส้นร่วมกันได้ จะทำให้เกิดปัญหาเส้นทางแยก ค่า P และช่วงความเชื่อมั่นที่ได้จากการวิเคราะห์ภายหลังจะไม่ถูกต้อง เนื่องจากละเลยความไม่แน่นอนในขั้นตอนการเลือกแบบจำลอง

เป็นการสมเหตุสมผลที่จะตัดตัวแปรทำนายที่ไม่สำคัญออก หากทราบล่วงหน้าว่าตัวแปรเหล่านั้นมีผลกระทบต่อผลลัพธ์น้อยหรือไม่เลย ตัวอย่างเช่น การผลิตชีสในท้องถิ่นไม่ควรนำมาใช้ทำนายความสูงของตึกระฟ้า อย่างไรก็ตาม การทำเช่นนี้ต้องทำตั้งแต่เริ่มกำหนดแบบจำลอง ก่อนที่จะสังเกตข้อมูลใดๆ และควรพิจารณาตัวแปรที่มีศักยภาพในการให้ข้อมูลเสมอ

• เมทริกซ์ที่มีเงื่อนไขไม่ดี
• การพึ่งพาเชิงเส้น

• Belsley, David A.; Kuh, Edwin ; Welsch, Roy E. (1980). การวินิจฉัยการถดถอย: การระบุข้อมูลที่มีอิทธิพลและแหล่งที่มาของความสัมพันธ์เชิงเส้นร่วมกันนิวยอร์ก: Wiley. ISBN 978-0-471-05856-4.
• โกลด์เบอร์เกอร์, อาร์เธอร์ เอส. (1991). "ความสัมพันธ์เชิงเส้นร่วมกัน" . หลักสูตรเศรษฐศาสตร์เชิงปริมาณ . เคมบริดจ์: สำนักพิมพ์มหาวิทยาลัยฮาร์วาร์ด. หน้า245–253 . ISBN  9780674175440.
• Hill, R. Carter; Adkins, Lee C. (2001). "ความสัมพันธ์เชิงเส้นร่วม" ใน Baltagi, Badi H. (บรรณาธิการ). คู่มือประกอบทฤษฎีเศรษฐศาสตร์เชิงปริมาณ . Blackwell. หน้า256–278 . doi : 10.1002/9780470996249.ch13 . ISBN  978-0-631-21254-6.
• จอห์นสตัน, จอห์น (1972). วิธีการทางเศรษฐมิติ (  ฉบับพิมพ์ครั้งที่สอง). นิวยอร์ก: แมคกรอว์-ฮิลล์. หน้า159–168 . ISBN  9780070326798.
• Kalnins, Arturs (2022). "เมื่อใดที่ความสัมพันธ์เชิงเส้นหลายตัวแปรทำให้ค่าสัมประสิทธิ์คลาดเคลื่อนและก่อให้เกิดข้อผิดพลาดประเภทที่ 1? การประนีประนอมระหว่าง Lindner, Puck และ Verbeke (2020) กับ Kalnins (2018)". Journal of International Business Studies . 53 (7): 1536– 1548. doi : 10.1057/s41267-022-00531-9 . S2CID 249323519 . 
• Kmenta, Jan (1986). องค์ประกอบของเศรษฐศาสตร์เชิงปริมาณ (  ฉบับพิมพ์ครั้งที่สอง). นิวยอร์ก: Macmillan. หน้า430–442 . ISBN  978-0-02-365070-3.
• มัดดาลา, GS ; ลาฮิรี, คาจัล (2009) เศรษฐมิติเบื้องต้น (  ฉบับที่สี่) ชิเชสเตอร์: ไวลีย์ หน้า279– 312. ISBN  978-0-470-01512-4.
• Tomaschek, Fabian; Hendrix, Peter; Baayen, R. Harald (2018). "กลยุทธ์ในการจัดการ กับความสัมพันธ์เชิงเส้นในข้อมูลทางภาษาศาสตร์หลายตัวแปร"วารสารสัทศาสตร์ 71 : 249– 267. doi : 10.1016/j.wocn.2018.09.004 .

• โทมา, มาร์ค (2 มีนาคม 2011). "การบรรยายวิชาเศรษฐศาสตร์เชิงปริมาณ (หัวข้อ: ปัญหาความสัมพันธ์เชิงเส้นหลายตัวแปร)"มหาวิทยาลัยโอเรกอน . เก็บถาวรจากต้นฉบับเมื่อวันที่ 12 ธันวาคม 2021 –ผ่านทางYouTube .
• การใช้งานครั้งแรก: บทความเรื่อง Multicollinearity มีข้อมูลทางประวัติศาสตร์อยู่บ้าง