ความสัมพันธ์

Q: ความสัมพันธ์และความเป็นเหตุเป็นผล

The conventional dictum that " correlation does not imply causation " means that correlation cannot be used by itself to infer a causal relationship between the variables.

ในทางสถิติความสัมพันธ์เชิงสถิติเป็นความสัมพันธ์ทางสถิติระหว่างตัวแปรสุ่ม สองตัว หรือข้อมูลสองตัวแปรโดยทั่วไปหมายถึงขอบเขตที่ปริมาณสองอย่างมีความสัมพันธ์เชิงเส้นตรงโดยทั่วไปแล้ว ความสัมพันธ์ใดๆ ระหว่างตัวแปรเรียกว่าความสัมพันธ์เชิงสัมพันธ์ซึ่งหมายถึงระดับที่ความแปรปรวนในตัวแปรหนึ่งสามารถอธิบายได้ด้วยตัวแปรอื่น^{[ 1 ]}^{[ 2 ]}

การมีความสัมพันธ์กันเพียงอย่างเดียวไม่เพียงพอที่จะสรุปได้ว่ามี ความสัมพันธ์ เชิงสาเหตุและมักกล่าวกันว่า " ความสัมพันธ์ไม่ได้หมายความถึงสาเหตุ " ยิ่งไปกว่านั้น แนวคิดเรื่องความสัมพันธ์ไม่เหมือนกับการพึ่งพาซึ่ง กันและกัน กล่าว คือ ถ้าตัวแปรสองตัวเป็นอิสระต่อกัน ตัวแปรทั้งสองจะไม่มีความสัมพันธ์กัน แต่ในทางกลับกันนั้นไม่จำเป็นเสมอไปแม้ว่าตัวแปรสองตัวจะไม่มีความสัมพันธ์กัน แต่ก็อาจพึ่งพาซึ่งกันและกันได้

ความสัมพันธ์เชิงสถิติมีประโยชน์เพราะสามารถบ่งชี้ความสัมพันธ์เชิงทำนายที่สามารถนำไปใช้ประโยชน์ได้จริง ตัวอย่างเช่น บริษัทผลิตไฟฟ้าอาจผลิตไฟฟ้าน้อยลงในวันที่อากาศไม่ร้อนจัด โดยอาศัยความสัมพันธ์ระหว่างความต้องการใช้ไฟฟ้าและสภาพอากาศ ในตัวอย่างนี้มีความสัมพันธ์เชิงสาเหตุ เพราะสภาพอากาศที่รุนแรงทำให้ผู้คนใช้ไฟฟ้ามากขึ้นสำหรับการทำความร้อนหรือความเย็น

มีค่าสัมประสิทธิ์สหสัมพันธ์ หลายค่า ที่สามารถใช้ในการวัดความสัมพันธ์ ซึ่งมักจะแสดงด้วยสัญลักษณ์ $\rho$ หรือ $r$ สัมประสิทธิ์สหสัมพันธ์ ที่พบได้บ่อยที่สุดคือสัมประสิทธิ์สหสัมพันธ์เพียร์สันซึ่งมีความไวต่อความสัมพันธ์เชิงเส้นระหว่างตัวแปรสองตัวเท่านั้น (ซึ่งอาจมีอยู่แม้ว่าตัวแปรหนึ่งจะเป็นฟังก์ชันที่ไม่เป็นเชิงเส้นของอีกตัวแปรหนึ่งก็ตาม) สัมประสิทธิ์สหสัมพันธ์อื่นๆ เช่นสัมประสิทธิ์สหสัมพันธ์ลำดับของสเปียร์แมนได้รับการพัฒนาให้มีความแข็งแกร่ง กว่า ของเพียร์สันและสามารถตรวจจับความสัมพันธ์ที่มีโครงสร้างน้อยกว่าระหว่างตัวแปรได้^{[ 3 ]}^{[ 4 ]}^{[ 5 ]}

แนวคิดนี้ได้รับการขยายไปสู่รูปแบบความสัมพันธ์อื่นๆ ระหว่างตัวแปรสองตัว เช่นข้อมูลร่วมกันและความแปรปรวนตามระยะทาง

สัมประสิทธิ์

สัมประสิทธิ์ผลคูณโมเมนต์ของเพียร์สัน

มาตรวัดความสัมพันธ์ที่คุ้นเคยที่สุดระหว่างปริมาณสองอย่างคือสัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน ซึ่งโดยทั่วไปเรียกว่า 'สัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน' หรือเรียกง่ายๆ ว่า 'สัมประสิทธิ์สหสัมพันธ์' (เนื่องจากเป็นรูปแบบที่ใช้กันทั่วไปมากที่สุด) ได้มาจากการหาอัตราส่วนของความแปรปรวนร่วมระหว่างตัวแปรสองตัวในชุดข้อมูลเชิงตัวเลขที่ปรับให้เป็นมาตรฐานตามรากที่สองของความแปรปรวนของตัวแปรเหล่านั้น หรืออีกนัยหนึ่ง สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันสามารถคำนวณได้โดยการหารความแปรปรวนร่วมของตัวแปรทั้งสองด้วยผลคูณของส่วนเบี่ยงเบนมาตรฐานของตัวแปรเหล่านั้นคาร์ล เพียร์สันพัฒนาสัมประสิทธิ์นี้จากแนวคิดที่คล้ายคลึงกันของฟรานซิส กัลตัน^{[ 6 ]}

สัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน (Pearson product-moment correlation coefficient) พยายามสร้างเส้นที่เหมาะสมที่สุดผ่านชุดข้อมูลของตัวแปรสองตัว โดยพื้นฐานแล้วคือการแสดงค่าที่คาดหวัง และสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันที่ได้จะบ่งชี้ว่าชุดข้อมูลจริงอยู่ห่างจากค่าที่คาดหวังมากน้อยเพียงใด ขึ้นอยู่กับเครื่องหมายของสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน ผลลัพธ์อาจเป็นสหสัมพันธ์เชิงลบหรือเชิงบวก หากมีความสัมพันธ์ใดๆ ระหว่างตัวแปรในชุดข้อมูล

สัมประสิทธิ์สหสัมพันธ์ประชากร $\rho _{X,Y}$ ระหว่างตัวแปรสุ่ม สองตัว $X$ และ $Y$ ด้วยค่าที่คาดหวัง $\mu _{X}$ และ $\mu _{Y}$ และค่าเบี่ยงเบนมาตรฐาน $\sigma _{X}$ และ $\sigma _{Y}$ มีนิยามดังนี้:

$\rho _{X,Y}=\operatorname {corr} (X,Y)={\operatorname {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={\operatorname {E} [(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}},\quad {\text{if}}\ \sigma _{X}\sigma _{Y}>0.$

ที่ไหน $\operatorname {E}$ คือตัวดำเนินการค่าคาดหวัง $\operatorname {cov}$ หมายถึงความแปรปรวนร่วมและ $\operatorname {corr}$ เป็นสัญลักษณ์ทางเลือกที่ใช้กันอย่างแพร่หลายสำหรับสัมประสิทธิ์สหสัมพันธ์ สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันจะนิยามได้ก็ต่อเมื่อค่าเบี่ยงเบนมาตรฐานทั้งสองมีค่าจำกัดและเป็นบวกเท่านั้น สูตรทางเลือกที่ใช้เฉพาะโมเมนต์ อย่างเดียว คือ:

$\rho _{X,Y}={\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y) \over {\sqrt {\operatorname {E} (X^{2})-\operatorname {E} (X)^{2}}}\cdot {\sqrt {\operatorname {E} (Y^{2})-\operatorname {E} (Y)^{2}}}}$

ความสัมพันธ์และความเป็นอิสระ

เป็นผลลัพธ์จากความไม่เท่าเทียมกันของ Cauchy–Schwarzที่ว่าค่าสัมบูรณ์ของสัมประสิทธิ์สหสัมพันธ์ของ Pearson จะไม่เกิน 1 ดังนั้น ค่าของสัมประสิทธิ์สหสัมพันธ์จึงอยู่ในช่วงระหว่าง −1 ถึง +1 สัมประสิทธิ์สหสัมพันธ์จะเป็น +1 ในกรณีของความสัมพันธ์เชิงเส้นตรงที่สมบูรณ์แบบ (เพิ่มขึ้น) (สหสัมพันธ์) −1 ในกรณีของความสัมพันธ์เชิงเส้นผกผันที่สมบูรณ์แบบ (ลดลง) ( สหสัมพันธ์ผกผัน ) ^{[ 7 ]}และมีค่าบางค่าในช่วงเปิด $(-1,1)$ ในกรณีอื่นๆ ค่าสัมประสิทธิ์จะบ่งบอกถึงระดับความสัมพันธ์เชิงเส้นระหว่างตัวแปร ยิ่งค่าสัมประสิทธิ์เข้าใกล้ศูนย์ ความสัมพันธ์ก็จะยิ่งน้อยลง (ใกล้เคียงกับภาวะไม่มีความสัมพันธ์) ยิ่งค่าสัมประสิทธิ์เข้าใกล้ -1 หรือ 1 มากเท่าใด ความสัมพันธ์ระหว่างตัวแปรก็จะยิ่งแข็งแกร่งมากขึ้นเท่านั้น

ถ้าตัวแปรเป็นอิสระต่อกันค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันจะเป็น 0 อย่างไรก็ตาม เนื่องจากค่าสัมประสิทธิ์สหสัมพันธ์ตรวจจับได้เฉพาะความสัมพันธ์เชิงเส้นระหว่างตัวแปรสองตัวเท่านั้น ดังนั้นในทางกลับกันจึงไม่จำเป็นต้องเป็นจริงเสมอไป ค่าสัมประสิทธิ์สหสัมพันธ์เป็น 0 ไม่ได้หมายความว่าตัวแปรเป็นอิสระต่อกันเสมอไป

${\begin{aligned}X,Y{\text{ เป็นอิสระต่อกัน}}\quad &\Rightarrow \quad \rho _{X,Y}=0\quad (X,Y{\text{ ไม่มีความสัมพันธ์กัน}})\\\rho _{X,Y}=0\quad (X,Y{\text{ ไม่มีความสัมพันธ์กัน}})\quad &\nRightarrow \quad X,Y{\text{ เป็นอิสระต่อกัน}}\end{aligned}}$

ตัวอย่างเช่น สมมติว่าตัวแปรสุ่ม $X$ มีการกระจายแบบสมมาตรเกี่ยวกับศูนย์ และ $Y=X^{2}$ . แล้ว $Y$ ถูกกำหนดโดยสมบูรณ์โดย $X$ ดังนั้น $X$ และ $Y$ มีความสัมพันธ์กันอย่างสมบูรณ์ แต่ค่าสหสัมพันธ์เป็นศูนย์ กล่าวคือไม่มีความสัมพันธ์กันอย่างไรก็ตาม ในกรณีพิเศษเมื่อ $X$ และ $Y$ หากทั้งสองอย่างเป็นแบบปกติร่วมกันความไม่สัมพันธ์กันจะเทียบเท่ากับความเป็นอิสระต่อกัน

แม้ว่าข้อมูลที่ไม่สัมพันธ์กันไม่ได้หมายความว่าข้อมูลเหล่านั้นจะเป็นอิสระต่อกันเสมอไป แต่เราสามารถตรวจสอบได้ว่าตัวแปรสุ่มเป็นอิสระต่อกันหรือไม่ หากค่าข้อมูลร่วม (mutual information) ของตัวแปร เหล่านั้น เป็น 0

สัมประสิทธิ์สหสัมพันธ์ตัวอย่าง

เมื่อกำหนดชุดของ $n$ การวัดของคู่ $(X_{i},Y_{i})$ จัดทำดัชนีโดย $i=1,\ldots ,n$ ค่าสัมประสิทธิ์สหสัมพันธ์ของตัวอย่างสามารถใช้ในการประมาณค่าสัมประสิทธิ์สหสัมพันธ์เพียร์สันของประชากรได้ $\rho _{X,Y}$ ระหว่าง $X$ และ $Y$ สัมประสิทธิ์สหสัมพันธ์ของตัวอย่างถูกกำหนดดังนี้

r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{(n-1)s_{x}s_{y}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}},

ที่ไหน ${\overline {x}}$ และ ${\overline {y}}$ คือค่าเฉลี่ย ตัวอย่าง ของ $X$ และ $Y$ , และ $s_{x}$ และ $s_{y}$ ค่าเบี่ยงเบนมาตรฐานของตัวอย่างที่แก้ไขแล้วคือ $X$ และ $Y$ .

นิพจน์ที่เทียบเท่าสำหรับ $r_{xy}$ เป็น

{\begin{aligned}r_{xy}&={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{ns'_{x}s'_{y}}}\\[5pt]&={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-(\sum x_{i})^{2}}}~{\sqrt {n\sum y_{i}^{2}-(\sum y_{i})^{2}}}}}.\end{aligned}}

ที่ไหน $s'_{x}$ และ $s'_{y}$ คือค่าเบี่ยงเบนมาตรฐานของตัวอย่าง ที่ยังไม่ได้แก้ไขของ $X$ และ $Y$ .

ถ้า $x$ และ $y$ ผลลัพธ์ของการวัดที่มีข้อผิดพลาดในการวัด ขีดจำกัดที่สมจริงของสัมประสิทธิ์สหสัมพันธ์ไม่ได้อยู่ที่ −1 ถึง +1 แต่เป็นช่วงที่เล็กกว่า^{[ 8 ]}สำหรับกรณีของแบบจำลองเชิงเส้นที่มีตัวแปรอิสระตัวเดียวสัมประสิทธิ์การกำหนด (R กำลังสอง)คือกำลังสองของ $r_{xy}$ สัมประสิทธิ์ผลคูณโมเมนต์ของเพียร์สัน

ตัวอย่าง

พิจารณาการแจกแจงความน่าจะเป็นร่วมของ $X$ และ $Y$ ที่แสดงในตารางด้านล่าง

$\mathrm {P} (X=x,Y=y)$
$y$ $x$	− 1	0	1
0	0	1/3	0
1	1/3	0	1/3

สำหรับการแจกแจงร่วมนี้การแจกแจงแบบมาร์จินัลมีดังนี้:

\mathrm {P} (X=x)={\begin{cases}{\frac {1}{3}}&\quad {\text{สำหรับ }}x=0\\{\frac {2}{3}}&\quad {\text{สำหรับ }}x=1\end{cases}}

\mathrm {P} (Y=y)={\begin{cases}{\frac {1}{3}}&\quad {\text{สำหรับ }}y=-1\\{\frac {1}{3}}&\quad {\text{สำหรับ }}y=0\\{\frac {1}{3}}&\quad {\text{สำหรับ }}y=1\end{cases}}

ซึ่งจะได้ค่าคาดการณ์และค่าความคลาดเคลื่อนดังต่อไปนี้:

\mu _{X}={\frac {2}{3}}

\mu _{Y}=0

\sigma _{X}^{2}={\frac {2}{9}}

\sigma _{Y}^{2}={\frac {2}{3}}

ดังนั้น:

{\begin{aligned}\rho _{X,Y}&={\frac {1}{\sigma _{X}\sigma _{Y}}}\mathrm {E} [(X-\mu _{X})(Y-\mu _{Y})]\\[5pt]&={\frac {1}{\sigma _{X}\sigma _{Y}}}\sum _{x,y}{(x-\mu _{X})(y-\mu _{Y})\mathrm {P} (X=x,Y=y)}\\[5pt]&={\frac {3{\sqrt {3}}}{2}}\left(\left(1-{\frac {2}{3}}\right)(-1-0){\frac {1}{3}}+\left(0-{\frac {2}{3}}\right)(0-0){\frac {1}{3}}+\left(1-{\frac {2}{3}}\right)(1-0){\frac {1}{3}}\right)=0.\end{aligned}}

สัมประสิทธิ์สหสัมพันธ์ลำดับ

สัมประสิทธิ์ สหสัมพันธ์ลำดับเช่นสัมประสิทธิ์สหสัมพันธ์ลำดับของสเปียร์แมนและสัมประสิทธิ์สหสัมพันธ์ลำดับของเคนดัล (τ)วัดขอบเขตที่เมื่อตัวแปรหนึ่งเพิ่มขึ้น ตัวแปรอีกตัวหนึ่งมีแนวโน้มที่จะเพิ่มขึ้น โดยไม่จำเป็นต้องแสดงการเพิ่มขึ้นนั้นด้วยความสัมพันธ์เชิงเส้น หากเมื่อตัวแปรหนึ่งเพิ่มขึ้น ตัวแปรอีกตัวหนึ่งลดลงสัมประสิทธิ์สหสัมพันธ์ลำดับจะเป็นค่าลบ โดยทั่วไปมักมองว่าสัมประสิทธิ์สหสัมพันธ์ลำดับเหล่านี้เป็นทางเลือกแทนสัมประสิทธิ์ของเพียร์สัน ซึ่งใช้เพื่อลดปริมาณการคำนวณหรือเพื่อให้สัมประสิทธิ์มีความไวต่อความไม่ปกติของการกระจายตัวน้อยลง อย่างไรก็ตาม มุมมองนี้มีพื้นฐานทางคณิตศาสตร์น้อยมาก เนื่องจากสัมประสิทธิ์สหสัมพันธ์ลำดับวัดความสัมพันธ์ประเภทที่แตกต่างจากสัมประสิทธิ์สหสัมพันธ์ผลคูณโมเมนต์ของเพียร์สันและควรพิจารณาว่าเป็นมาตรวัดความสัมพันธ์ประเภทที่แตกต่างกันมากกว่าที่จะเป็นมาตรวัดทางเลือกของสัมประสิทธิ์สหสัมพันธ์ของประชากร^{[ 9 ]}^{[ 10 ]}

เพื่ออธิบายลักษณะของความสัมพันธ์เชิงลำดับ และความแตกต่างจากความสัมพันธ์เชิงเส้นตรง ลองพิจารณาตัวเลขสี่คู่ต่อไปนี้ $(x,y)$ :

(0, 1), (10, 100), (101, 500), (102, 2000).

เมื่อเราเปลี่ยนจากคู่หนึ่งไปยังอีกคู่หนึ่ง $x$ เพิ่มขึ้น และก็เช่นกัน $y$ ความสัมพันธ์นี้สมบูรณ์แบบ ในแง่ที่ว่าการเพิ่มขึ้นของ $x$ มักมาพร้อมกับการเพิ่มขึ้นของ $y$ นั่นหมายความว่าเรามีความสัมพันธ์เชิงอันดับที่สมบูรณ์แบบ และค่าสัมประสิทธิ์สหสัมพันธ์ของสเปียร์แมนและเคนดัลมีค่าเท่ากับ 1 ในขณะที่ในตัวอย่างนี้ ค่าสัมประสิทธิ์สหสัมพันธ์แบบเพียร์สันมีค่าเท่ากับ 0.7544 ซึ่งบ่งชี้ว่าจุดต่างๆ ไม่ได้อยู่บนเส้นตรงเดียวกัน ในทำนองเดียวกัน ถ้า $y$ ลดลงเสมอเมื่อ $x$ เมื่อค่าเพิ่มขึ้นค่าสัมประสิทธิ์สหสัมพันธ์ลำดับจะเป็น −1 ในขณะที่ค่าสัมประสิทธิ์สหสัมพันธ์ผลคูณโมเมนต์ของเพียร์สันอาจจะใกล้เคียงกับ −1 หรือไม่ก็ได้ ขึ้นอยู่กับว่าจุดต่างๆ อยู่ใกล้เส้นตรงมากแค่ไหน แม้ว่าในกรณีสุดขั้วของสหสัมพันธ์ลำดับที่สมบูรณ์แบบ ค่าสัมประสิทธิ์ทั้งสองจะเท่ากัน (เป็น +1 หรือ −1 ทั้งคู่) แต่โดยทั่วไปแล้วจะไม่เป็นเช่นนั้น ดังนั้นจึงไม่สามารถเปรียบเทียบค่าของค่าสัมประสิทธิ์ทั้งสองได้อย่างมีความหมาย^{[ 9 ]}ตัวอย่างเช่น สำหรับสามคู่ (1, 1) (2, 3) (3, 2) ค่าสัมประสิทธิ์ของสเปียร์แมนคือ 1/2 ในขณะที่ค่าสัมประสิทธิ์ของเคนดัลคือ 1/3

ความเข้าใจผิดทั่วไป

ความสัมพันธ์และความเป็นเหตุเป็นผล

The conventional dictum that "correlation does not imply causation" means that correlation cannot be used by itself to infer a causal relationship between the variables.^[11] This dictum should not be taken to mean that correlations cannot indicate the potential existence of causal relations. However, the causes underlying the correlation, if any, may be indirect and unknown, and high correlations also overlap with identity relations (tautologies), where no causal process exists (e.g., between two variables measuring the same construct). Consequently, a correlation between two variables is not a sufficient condition to establish a causal relationship (in either direction).

A correlation between age and height in children is fairly causally transparent, but a correlation between mood and health in people is less so. Does improved mood lead to improved health, or does good health lead to good mood, or both? Or does some other factor underlie both? In other words, a correlation can be taken as evidence for a possible causal relationship, but cannot indicate what the causal relationship, if any, might be.

Simple linear correlations

The Pearson correlation coefficient indicates the strength of a linear relationship between two variables, but its value generally does not completely characterize their relationship. In particular, if the conditional mean of $Y$ given $X$ , denoted $\operatorname {E} (Y\mid X)$ , is not linear in $X$ , the correlation coefficient will not fully determine the form of $\operatorname {E} (Y\mid X)$ .

The adjacent image shows scatter plots of Anscombe's quartet, a set of four different pairs of variables created by Francis Anscombe.^[12] The four $y$ variables have the same mean (7.5), variance (4.12), correlation (0.816) and regression line ( ${\textstyle y=3+0.5x}$ อย่างไรก็ตาม ดังที่เห็นได้จากกราฟ การกระจายตัวของตัวแปรนั้นแตกต่างกันมาก ตัวแรก (บนซ้าย) ดูเหมือนจะมีการกระจายแบบปกติ ซึ่งสอดคล้องกับสิ่งที่คาดหวังเมื่อพิจารณาตัวแปรสองตัวที่มีความสัมพันธ์กันและยึดตามสมมติฐานของการกระจายแบบปกติ ตัวที่สอง (บนขวา) ไม่มีการกระจายแบบปกติ แม้ว่าจะสังเกตเห็นความสัมพันธ์ที่ชัดเจนระหว่างตัวแปรทั้งสอง แต่ก็ไม่ใช่ความสัมพันธ์เชิงเส้น ในกรณีนี้ ค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันไม่ได้บ่งชี้ว่ามีความสัมพันธ์เชิงฟังก์ชันที่แน่นอน เพียงแต่แสดงให้เห็นถึงขอบเขตที่ความสัมพันธ์นั้นสามารถประมาณได้ด้วยความสัมพันธ์เชิงเส้น ในกรณีที่สาม (ล่างซ้าย) ความสัมพันธ์เชิงเส้นนั้นสมบูรณ์แบบ ยกเว้นค่าผิดปกติ หนึ่งค่า ที่มีอิทธิพลมากพอที่จะลดค่าสัมประสิทธิ์สหสัมพันธ์จาก 1 เหลือ 0.816 สุดท้าย ตัวอย่างที่สี่ (ล่างขวา) แสดงให้เห็นอีกตัวอย่างหนึ่งที่ค่าผิดปกติเพียงค่าเดียวก็เพียงพอที่จะทำให้ได้ค่าสัมประสิทธิ์สหสัมพันธ์สูง แม้ว่าความสัมพันธ์ระหว่างตัวแปรทั้งสองจะไม่เป็นเชิงเส้นก็ตาม

ตัวอย่างเหล่านี้แสดงให้เห็นว่าสัมประสิทธิ์สหสัมพันธ์ ซึ่งเป็นสถิติสรุปไม่สามารถแทนที่การตรวจสอบข้อมูลด้วยสายตาได้ บางครั้งมีการกล่าวว่าตัวอย่างเหล่านี้แสดงให้เห็นว่าสหสัมพันธ์เพียร์สันถือว่าข้อมูลเป็นไปตามการแจกแจงแบบปกติแต่สิ่งนี้ถูกต้องเพียงบางส่วนเท่านั้น^{[ 6 ]}สหสัมพันธ์เพียร์สันสามารถคำนวณได้อย่างแม่นยำสำหรับการแจกแจงใดๆ ที่มีเมทริกซ์ความแปรปรวน ร่วมจำกัด ซึ่งรวมถึงการแจกแจงส่วนใหญ่ที่พบในทางปฏิบัติ อย่างไรก็ตาม สัมประสิทธิ์สหสัมพันธ์เพียร์สัน (เมื่อรวมกับค่าเฉลี่ยและความแปรปรวนของตัวอย่าง) จะเป็นสถิติที่เพียงพอต่อเมื่อข้อมูลถูกดึงมาจากการแจกแจงแบบปกติหลายตัวแปรเท่านั้น ดังนั้น สัมประสิทธิ์สหสัมพันธ์เพียร์สันจึงสามารถอธิบายความสัมพันธ์ระหว่างตัวแปรได้อย่างสมบูรณ์ก็ต่อเมื่อข้อมูลถูกดึงมาจากการแจกแจงแบบปกติหลายตัวแปรเท่านั้น

คุณสมบัติ

ความไม่สัมพันธ์กันและความเป็นอิสระของกระบวนการสุ่ม

ในทำนองเดียวกันสำหรับกระบวนการสุ่มสองกระบวนการ $\left\{X_{t}\right\}_{t\in {\mathcal {T}}}$ และ $\left\{Y_{t}\right\}_{t\in {\mathcal {T}}}$ : ถ้าตัวแปรทั้งสองเป็นอิสระต่อกัน แสดงว่าตัวแปรทั้งสองไม่มีความสัมพันธ์กัน^{[ 13 ]}^{:หน้า 151}ข้อความตรงข้ามกับข้อความนี้อาจไม่เป็นจริง แม้ว่าตัวแปรทั้งสองจะไม่มีความสัมพันธ์กัน แต่ก็อาจไม่เป็นอิสระต่อกัน

ความไวต่อการกระจายข้อมูล

ระดับความสัมพันธ์ระหว่างตัวแปร $X$ และ $Y$ ไม่ขึ้นอยู่กับมาตราส่วนที่ใช้ในการแสดงตัวแปรเหล่านั้น กล่าวคือ หากเราวิเคราะห์ความสัมพันธ์ระหว่าง $X$ และ $Y$ มาตรวัดความสัมพันธ์ส่วนใหญ่จะไม่ได้รับผลกระทบจากการแปลง $X$ เป็น $a + bX$ และ $Y$ เป็น $c + dY$ โดยที่a , b , cและdเป็นค่าคงที่ ( bและdเป็นค่าบวก) นี่เป็นจริงสำหรับสถิติ ความสัมพันธ์บางอย่าง รวมถึง ค่าที่เทียบเคียงได้ ในประชากรด้วย สถิติความสัมพันธ์บางอย่าง เช่น สัมประสิทธิ์ความสัมพันธ์อันดับ ก็ไม่เปลี่ยนแปลงไปตามการแปลงแบบโมโนโทนของการกระจายแบบมาร์จินัลของ $X$ และ/หรือ $Y$ เช่น กัน

การวัดความสัมพันธ์ส่วนใหญ่มีความอ่อนไหวต่อวิธี การสุ่มตัวอย่าง $X$ และ $Y$ ความสัมพันธ์มักจะแข็งแกร่งขึ้นหากพิจารณาในช่วงค่าที่กว้างขึ้น ดังนั้น หากเราพิจารณาค่าสัมประสิทธิ์ความสัมพันธ์ระหว่างความสูงของพ่อและลูกชายในกลุ่มผู้ชายที่เป็นผู้ใหญ่ทั้งหมด และเปรียบเทียบกับค่าสัมประสิทธิ์ความสัมพันธ์เดียวกันที่คำนวณเมื่อเลือกพ่อที่มีความสูงระหว่าง 165 ซม. ถึง 170 ซม. ความสัมพันธ์จะอ่อนกว่าในกรณีหลัง มีการพัฒนาเทคนิคหลายอย่างที่พยายามแก้ไขข้อจำกัดช่วงในตัวแปรหนึ่งหรือทั้งสองตัว และมักใช้ในการวิเคราะห์เมตา เทคนิคที่ใช้กันมากที่สุดคือสมการกรณีที่ II และกรณีที่ III ของ Thorndike ^{[ 14 ]}

มาตรวัดความสัมพันธ์ต่างๆ ที่ใช้กันอยู่อาจไม่สามารถหาค่าได้สำหรับบางการแจกแจงร่วมของ $X$ และ $Y$ ตัวอย่างเช่น สัมประสิทธิ์สหสัมพันธ์ของเพียร์สันถูกกำหนดโดยใช้โมเมนต์ดังนั้นจึงไม่สามารถหาค่าได้หากโมเมนต์เหล่านั้นไม่สามารถหาค่าได้ มาตรวัดความสัมพันธ์ที่อิงตามควอนไทล์นั้นสามารถหาค่าได้เสมอ สถิติที่ได้จากตัวอย่างซึ่งมีจุดประสงค์เพื่อประมาณค่ามาตรวัดความสัมพันธ์ของประชากร อาจมีหรือไม่มีคุณสมบัติทางสถิติที่พึงประสงค์ เช่น การไม่เอนเอียงหรือความสอดคล้องเชิงอะซิมโทติกขึ้นอยู่กับโครงสร้างเชิงพื้นที่ของประชากรที่สุ่มตัวอย่างข้อมูลมา

ความไวต่อการกระจายข้อมูลสามารถนำมาใช้ให้เกิดประโยชน์ได้ ตัวอย่างเช่นความสัมพันธ์แบบปรับขนาดถูกออกแบบมาเพื่อใช้ความไวต่อช่วงเพื่อเลือกความสัมพันธ์ระหว่างส่วนประกอบที่รวดเร็วของอนุกรมเวลา [ ^{15 ] โดย}การลดช่วงของค่าในลักษณะที่ควบคุมได้ ความสัมพันธ์ในช่วงเวลาที่ยาวนานจะถูกกรองออกไป และจะเหลือเพียงความสัมพันธ์ในช่วงเวลาสั้นๆ เท่านั้น

เมทริกซ์สหสัมพันธ์

เมทริกซ์สหสัมพันธ์ของ $n$ ตัวแปรสุ่ม $X_{1},\ldots ,X_{n}$ คือ $n\times n$ เมทริกซ์ $C$ ของใคร $(i,j)$ รายการคือ

c_{ij}:=\operatorname {corr} (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sigma _{X_{i}}\sigma _{X_{j}}}},\quad {\text{if}}\ \sigma _{X_{i}}\sigma _{X_{j}}>0.

ดังนั้น ค่าในแนวทแยงทั้งหมดจึงเท่ากับหนึ่งหากใช้สัมประสิทธิ์ผลคูณโมเมนต์ในการวัดความสัมพันธ์ เมทริกซ์ความสัมพันธ์จะเหมือนกับเมทริกซ์ความแปรปรวนร่วมของตัวแปรสุ่มมาตรฐาน $X_{i}/\sigma (X_{i})$ สำหรับ $i=1,\dots ,n$ สิ่งนี้ใช้ได้ทั้งกับเมทริกซ์ความสัมพันธ์ของประชากร (ในกรณีนี้) $\sigma$ คือค่าเบี่ยงเบนมาตรฐานของประชากร) และไปยังเมทริกซ์ของความสัมพันธ์ตัวอย่าง (ในกรณีนี้) $\sigma$ (หมายถึงค่าเบี่ยงเบนมาตรฐานของตัวอย่าง) ดังนั้น แต่ละเมทริกซ์จึงเป็นเมทริกซ์บวกกึ่งกำหนด (positive-semidefinite matrix ) อย่างแน่นอน ยิ่งไปกว่านั้น เมทริกซ์สหสัมพันธ์จะเป็นเมทริกซ์บวกกำหนดอย่างเคร่งครัด (strictly positive definite matrix ) หากไม่มีตัวแปรใดสามารถสร้างค่าทั้งหมดของมันได้อย่างแม่นยำโดยใช้ฟังก์ชันเชิงเส้นของค่าของตัวแปรอื่น ๆ

เมทริกซ์สหสัมพันธ์มีความสมมาตรเนื่องจากสหสัมพันธ์ระหว่าง $X_{i}$ และ $X_{j}$ เหมือนกับความสัมพันธ์ระหว่าง $X_{j}$ และ $X_{i}$ .

ตัวอย่างเช่น เมทริกซ์สหสัมพันธ์ปรากฏอยู่ในสูตรหนึ่งสำหรับค่าสัมประสิทธิ์การกำหนดค่าหลายตัวแปรซึ่งเป็นมาตรวัดความเหมาะสมของแบบจำลองใน การ วิเคราะห์การถดถอยหลายตัวแปร

ในการสร้างแบบจำลองทางสถิติเมทริกซ์สหสัมพันธ์ที่แสดงถึงความสัมพันธ์ระหว่างตัวแปรจะถูกจัดประเภทเป็นโครงสร้างสหสัมพันธ์ที่แตกต่างกัน ซึ่งจำแนกตามปัจจัยต่างๆ เช่น จำนวนพารามิเตอร์ที่จำเป็นในการประมาณค่า ตัวอย่างเช่น ใน เมทริกซ์สหสัมพันธ์ แบบแลกเปลี่ยนได้ตัวแปรทุกคู่จะถูกจำลองว่ามีสหสัมพันธ์เดียวกัน ดังนั้นองค์ประกอบที่ไม่ใช่แนวทแยงทั้งหมดของเมทริกซ์จึงเท่ากัน ในทางกลับกัน เมทริกซ์ อัตถารีเกรสซีฟมักใช้เมื่อตัวแปรแสดงถึงอนุกรมเวลา เนื่องจากสหสัมพันธ์มีแนวโน้มที่จะมากขึ้นเมื่อการวัดอยู่ใกล้กันมากขึ้นในเวลา ตัวอย่างอื่นๆ ได้แก่ แบบอิสระ แบบไม่มีโครงสร้าง แบบขึ้นอยู่กับ M และแบบโทปลิตซ์

ในการวิเคราะห์ข้อมูลเชิงสำรวจรูปแบบการแสดงความสัมพันธ์จะแทนที่เมทริกซ์ความสัมพันธ์ด้วยแผนภาพ โดยความสัมพันธ์ที่ "โดดเด่น" จะแสดงด้วยเส้นทึบ (ความสัมพันธ์เชิงบวก) หรือเส้นประ (ความสัมพันธ์เชิงลบ)

เมทริกซ์สหสัมพันธ์ที่ถูกต้องที่ใกล้ที่สุด

ในบางแอปพลิเคชัน (เช่น การสร้างแบบจำลองข้อมูลจากข้อมูลที่สังเกตได้เพียงบางส่วน) เราต้องการหาเมทริกซ์สหสัมพันธ์ที่ "ใกล้เคียงที่สุด" กับเมทริกซ์สหสัมพันธ์ "โดยประมาณ" (เช่น เมทริกซ์ที่โดยทั่วไปแล้วขาดคุณสมบัติบวกกึ่งกำหนดเนื่องจากวิธีการคำนวณ)

ในปี พ.ศ. 2545 Higham ^{[ 16 ]}ได้กำหนดแนวคิดเรื่องความใกล้เคียงอย่างเป็นทางการโดยใช้บรรทัดฐาน Frobeniusและได้จัดเตรียมวิธีการคำนวณเมทริกซ์สหสัมพันธ์ที่ใกล้ที่สุดโดยใช้อัลกอริทึมการฉายภาพของ Dykstra

สิ่งนี้จุดประกายความสนใจในหัวข้อดังกล่าว โดยมีผลลัพธ์ทางทฤษฎีใหม่ (เช่น การคำนวณเมทริกซ์สหสัมพันธ์ที่ใกล้ที่สุดด้วยโครงสร้างปัจจัย^{[ 17 ]} ) และเชิงตัวเลข (เช่น การใช้วิธีของนิวตันในการคำนวณเมทริกซ์สหสัมพันธ์ที่ใกล้ที่สุด^{[ 18 ]} ) ที่ได้รับในอีกหลายปีต่อมา

การกระจายแบบปกติสองตัวแปร

ถ้าเป็นคู่ $\ (X,Y)\$ ตัวแปรสุ่มมีการกระจายแบบปกติสอง ตัวแปร โดยค่าเฉลี่ยแบบมีเงื่อนไข $\operatorname {\boldsymbol {\mathcal {E}}} (X\mid Y)$ เป็นฟังก์ชันเชิงเส้นของ $Y$ และค่าเฉลี่ยแบบมีเงื่อนไข $\operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)$ เป็นฟังก์ชันเชิงเส้นของ $\ X~.$ สัมประสิทธิ์สหสัมพันธ์ $\ \rho _{X,Y}\$ ระหว่าง $\ X\$ และ $\ Y\ ,$ และค่าเฉลี่ยและค่าความแปรปรวนส่วนขอบ ของ $\ X\$ และ $\ Y\$ กำหนดความสัมพันธ์เชิงเส้นนี้:

\operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)=\operatorname {\boldsymbol {\mathcal {E}}} (Y)+\rho _{X,Y}\cdot \sigma _{Y}\cdot {\frac {\ X-\operatorname {\boldsymbol {\mathcal {E}}} (X)\ }{\sigma _{X}}}\ ,

ที่ไหน $\operatorname {\boldsymbol {\mathcal {E}}} (X)$ และ $\operatorname {\boldsymbol {\mathcal {E}}} (Y)$ คือค่าที่คาดหวังของ $\ X\$ และ $\ Y\ ,$ ตามลำดับ และ $\ \sigma _{X}\$ และ $\ \sigma _{Y}\$ ค่าเบี่ยงเบนมาตรฐานของ $\ X\$ และ $\ Y\ ,$ ตามลำดับ

ความสัมพันธ์เชิงประจักษ์ $r$ เป็นการประมาณค่าสัมประสิทธิ์สหสัมพันธ์ $\ \rho ~.$ การประมาณการการกระจายสำหรับ $\ \rho \$ ได้รับจาก

\pi (\rho \mid r)={\frac {\ \Gamma (N)\ }{\ {\sqrt {2\pi \ }}\cdot \Gamma (N-{\tfrac {\ 1\ }{2}})\ }}\cdot {\bigl (}1-r^{2}{\bigr )}^{\frac {\ N\ -2\ }{2}}\cdot {\bigl (}1-\rho ^{2}{\bigr )}^{\frac {\ N-3\ }{2}}\cdot {\bigl (}1-r\rho {\bigr )}^{-N+{\frac {\ 3\ }{2}}}\cdot F_{\mathsf {Hyp}}\left(\ {\tfrac {\ 3\ }{2}},-{\tfrac {\ 1\ }{2}};N-{\tfrac {\ 1\ }{2}};{\frac {\ 1+r\rho \ }{2}}\ \right)\

ที่ไหน $\ F_{Hyp}\$ คือฟังก์ชันไฮเปอร์จีโอเมตริกแบบเกาส์เซียน

ความหนาแน่นนี้เป็นทั้งความหนาแน่นแบบเบย์เซียนภายหลัง และ ความหนาแน่นของการกระจายความเชื่อมั่นที่เหมาะสมที่สุด^{[ 19 ]}^{[ 20 ]}

มาตรการอื่นๆ ในการวัดความสัมพันธ์ระหว่างตัวแปรสุ่ม

ข้อมูลที่ได้จากสัมประสิทธิ์สหสัมพันธ์นั้นไม่เพียงพอที่จะกำหนดโครงสร้างความสัมพันธ์ระหว่างตัวแปรสุ่มได้อย่างสมบูรณ์ สัมประสิทธิ์สหสัมพันธ์จะกำหนดโครงสร้างความสัมพันธ์ได้อย่างสมบูรณ์เฉพาะในกรณีพิเศษบางกรณีเท่านั้น เช่น เมื่อการแจกแจงเป็นการแจกแจงปกติแบบหลายตัวแปร (ดูแผนภาพด้านบน) ในกรณีของการแจกแจงแบบวงรี สัมประสิทธิ์ สหสัมพันธ์ จะบ่งบอกลักษณะของวงรี (หรือวงรีที่มีความหนาแน่นเท่ากัน) แต่ก็ไม่ได้บ่งบอกโครงสร้างความสัมพันธ์ได้อย่างสมบูรณ์ (ตัวอย่างเช่น ระดับความเป็นอิสระของ การแจกแจง t แบบหลายตัวแปรจะเป็นตัวกำหนดระดับความสัมพันธ์ที่ส่วนหาง)

สำหรับตัวแปรต่อเนื่อง มีการนำมาตรวัดความสัมพันธ์ทางเลือกหลายแบบมาใช้เพื่อแก้ไขข้อบกพร่องของค่าสัมประสิทธิ์สหสัมพันธ์ของ Pearson ที่อาจมีค่าเป็นศูนย์สำหรับตัวแปรสุ่มที่มีความสัมพันธ์กัน (ดู^{[ 21 ]}และเอกสารอ้างอิงในนั้นสำหรับภาพรวม) มาตรวัดเหล่านี้มีคุณสมบัติสำคัญร่วมกันคือ ค่าศูนย์หมายถึงความเป็นอิสระ ซึ่งทำให้ผู้เขียนบางคน^{[ 21 ]}^{[ 22 ]}แนะนำให้ใช้มาตรวัดเหล่านี้เป็นประจำ โดยเฉพาะอย่างยิ่งค่าสัมประสิทธิ์สหสัมพันธ์ระยะทาง [ ^{23 ] [}^{24 ] มาตร}วัดทางเลือกอีกแบบหนึ่งคือค่าสัมประสิทธิ์ความสัมพันธ์แบบสุ่ม (Randomized Dependence Coefficient) ^{[ 25 ]} RDC เป็นมาตรวัดความสัมพันธ์ระหว่างตัวแปรสุ่มหลายตัวแปรที่มีประสิทธิภาพในการคำนวณโดยใช้ copulaและไม่เปลี่ยนแปลงเมื่อเทียบกับการปรับขนาดแบบไม่เชิงเส้นของตัวแปรสุ่ม

ข้อเสียเปรียบที่สำคัญอย่างหนึ่งของมาตรการทางเลือกทั่วไปคือ เมื่อใช้เพื่อทดสอบว่าตัวแปรสองตัวมีความสัมพันธ์กันหรือไม่ มาตรการเหล่านี้มักจะมีประสิทธิภาพต่ำกว่าเมื่อเทียบกับค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันเมื่อข้อมูลเป็นไปตามการแจกแจงปกติแบบหลายตัวแปร^{[ 21 ]}นี่เป็นผลพวงจากทฤษฎีบทไม่มีอาหารกลางวันฟรีเพื่อตรวจจับความสัมพันธ์ทุกประเภท มาตรการเหล่านี้ต้องเสียสละประสิทธิภาพในความสัมพันธ์อื่นๆ โดยเฉพาะอย่างยิ่งในกรณีพิเศษที่สำคัญของความสัมพันธ์เชิงเส้นที่มีขอบเขตแบบเกาส์เซียน ซึ่งค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันเหมาะสมที่สุด ปัญหาอีกประการหนึ่งเกี่ยวข้องกับการตีความ ในขณะที่ค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันสามารถตีความได้สำหรับทุกค่า มาตรการทางเลือกโดยทั่วไปสามารถตีความได้อย่างมีความหมายเฉพาะที่ค่าสุดขั้วเท่านั้น^{[ 26 ]}

สำหรับตัวแปรไบนารี สองตัว อัตราส่วนความน่าจะเป็นจะวัดความสัมพันธ์ระหว่างกัน และมีค่าอยู่ในช่วงของจำนวนที่ไม่เป็นลบ ซึ่งอาจมีค่าเป็นอนันต์ได้: $[0,+\infty ]$ สถิติที่เกี่ยวข้อง เช่น Yule 's Yและ Yule's Qจะปรับค่านี้ให้อยู่ในช่วงที่คล้ายกับค่าสหสัมพันธ์ $[-1,1]$ อัตราส่วนความน่าจะเป็นได้รับการขยายความโดยแบบจำลองโลจิสติกเพื่อจำลองกรณีที่ตัวแปรตามเป็นค่าไม่ต่อเนื่อง และอาจมีตัวแปรอิสระหนึ่งตัวหรือมากกว่านั้น

อัตราส่วนสหสัมพันธ์ข้อมูลร่วมตามเอนโทรปีสหสัมพันธ์รวม สหสัมพันธ์รวมคู่และสหสัมพันธ์พหุคอริก ล้วนสามารถตรวจจับความสัมพันธ์ทั่วไปได้มากขึ้น เช่นเดียวกับการพิจารณาโคพูล่าระหว่างตัวแปรเหล่านั้น ในขณะที่สัมประสิทธิ์การกำหนดจะขยายสัมประสิทธิ์สหสัมพันธ์ไปสู่การถดถอยพหุตัวแปร

ดูเพิ่มเติม

อ่านเพิ่มเติม

John Nicholas Zorich (2024). ประวัติศาสตร์ของความสัมพันธ์ . Taylor & Francis. doi : 10.1201/9781003527893 . ISBN 9781003527893.
"ความสัมพันธ์ (ในสถิติ)" , สารานุกรมคณิตศาสตร์ , EMS Press , 2001 [1994]
Oestreicher, J. & DR (26 กุมภาพันธ์ 2015). โรคระบาดแห่งความเท่าเทียม: นิยายวิทยาศาสตร์ระทึกขวัญเกี่ยวกับโรคระบาดระหว่างประเทศ การเมือง และการค้นพบยา . แคลิฟอร์เนีย: สำนักพิมพ์ Omega Cat Press. หน้า 408. ISBN 978-0963175540.

ลิงก์ภายนอก

หน้า MathWorld เกี่ยวกับค่าสัมประสิทธิ์สหสัมพันธ์ (ไขว้) ของตัวอย่าง
คำนวณค่าความสำคัญระหว่างค่าสหสัมพันธ์สองค่าเพื่อเปรียบเทียบค่าสหสัมพันธ์สองค่า
"ชุดเครื่องมือ MATLAB สำหรับคำนวณสัมประสิทธิ์สหสัมพันธ์แบบถ่วงน้ำหนัก"เก็บถาวรจากต้นฉบับเมื่อวันที่ 24 เมษายน 2564
พิสูจน์ว่าค่าสัมประสิทธิ์สหสัมพันธ์ทวิภาคของตัวอย่างมีขีดจำกัดบวกหรือลบ 1
การจำลองแบบโต้ตอบด้วย Flash เกี่ยวกับความสัมพันธ์ของตัวแปรสองตัวที่มีการแจกแจงแบบปกติโดย Juha Puranen
การวิเคราะห์ความสัมพันธ์ สถิติชีวการแพทย์
R-Psychologist การแสดง ภาพความสัมพันธ์ระหว่างตัวแปรเชิงตัวเลขสองตัว

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[11]

[12]

[ 13 ]

[ 14 ]

15 ] โดย

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

23 ] [

24 ] มาตร

[ 25 ]

[ 26 ]