กลับไปหน้าบทความ

อ่าน 6 นาที

ไม่มีชื่อบทความ

ใน ทางสถิติ ค่าตกค้างแบบปรับค่ามาตรฐาน ( Studentized residual) คือ อัตราส่วนไร้หน่วย ที่ได้จากการหารค่าตกค้างด้วยค่าประมาณของ ส่วน เบี่ยง เบน มาตรฐาน โดย ทั้งสองค่าแสดงใน หน่วย...

ส่วนที่เหลือของนักเรียน

ในทางสถิติ ค่าตกค้างแบบปรับค่ามาตรฐาน ( Studentized residual)คืออัตราส่วนไร้หน่วยที่ได้จากการหารค่าตกค้างด้วยค่าประมาณของส่วนเบี่ยงเบนมาตรฐานโดยทั้งสองค่าแสดงในหน่วย เดียวกัน มันเป็นรูปแบบหนึ่งของสถิติtของ Studentโดยที่ค่าประมาณของความคลาดเคลื่อนจะแตกต่างกันไปในแต่ละจุด

นี่เป็นเทคนิคสำคัญในการตรวจจับค่าผิดปกติเป็นหนึ่งในหลายเทคนิคที่ตั้งชื่อตามวิลเลียม ซีลีย์ กอสเซ็ตผู้เขียนภายใต้นามแฝง "สตูเดนต์" (เช่นการแจกแจงของสตูเดนต์ ) การหารค่าสถิติด้วยค่าเบี่ยงเบนมาตรฐานของตัวอย่างเรียกว่าการทำให้เป็นสตูเดนต์ (Studentizing ) ในทำนองเดียวกับการทำให้เป็นมาตรฐาน (Standardizing ) และการทำให้เป็นปกติ (Normalizing )

แรงจูงใจ

เหตุผลสำคัญที่ทำให้ต้องใช้แนวคิดเรื่องค่าตกค้าง (residual) คือ ในการวิเคราะห์การ ถดถอย ของตัวแปรสุ่มหลายตัว ค่า ความแปรปรวนของ ค่า ตกค้างที่ค่าตัวแปรป้อนเข้าต่างกันอาจแตกต่างกัน แม้ว่าค่าความแปรปรวนของ ค่าความคลาดเคลื่อน ( error)ที่ค่าตัวแปรป้อนเข้าต่างกันเหล่านั้นจะเท่ากันก็ตาม ประเด็นอยู่ที่ความแตกต่างระหว่างค่าความคลาดเคลื่อนและค่าตกค้างในทางสถิติโดยเฉพาะอย่างยิ่งพฤติกรรมของค่าตกค้างในการวิเคราะห์การถดถอย

พิจารณาแบบจำลองการถดถอยเชิงเส้นอย่างง่าย

วาย=α0+α1X+ε.{\displaystyle Y=\alpha _{0}+\alpha _{1}X+\varepsilon .\,}

กำหนดให้ตัวอย่างสุ่ม ( X , Y ) โดยที่i = 1, ..., nแต่ละคู่ ( X , Y ) จะเป็นไปตามเงื่อนไขต่อไปนี้      

วายฉัน=α0+α1Xฉัน+εฉัน,{\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}X_{i}+\varepsilon _{i},\,}

ข้อผิดพลาดอยู่ที่ไหนεฉัน{\displaystyle \varepsilon _{i}}เป็นอิสระต่อกันและมีค่าความแปรปรวนเท่ากันทั้งหมดσ2{\displaystyle \sigma ^{2}}ค่าความคลาดเคลื่อนที่เหลืออยู่ไม่ใช่ค่าความคลาดเคลื่อนที่แท้จริง แต่เป็นค่าประมาณที่ได้จากข้อมูลที่สังเกตได้ เมื่อใช้วิธีการกำลังสองน้อยที่สุด ในการประมาณค่าα0{\displaystyle \alpha _{0}}และα1{\displaystyle \alpha _{1}}จากนั้นจึงเป็นส่วนที่เหลือε^{\displaystyle {\widehat {\varepsilon \,}}}ซึ่งแตกต่างจากข้อผิดพลาดε{\displaystyle \varepsilon }ไม่สามารถเป็นอิสระได้ เนื่องจากเป็นไปตามข้อจำกัดทั้งสองข้อ

ฉัน=1nε^ฉัน=0{\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}=0}

และ

ฉัน=1nε^ฉันxฉัน=0.{\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}x_{i}=0.}

(ในที่นี้ε คือ ข้อผิดพลาดลำดับที่ iและε^ฉัน{\displaystyle {\widehat {\varepsilon \,}__{i}}(คือค่า ตกค้างลำดับที่ i )

ค่าความคลาดเคลื่อน (residuals) ต่างจากค่าความคลาดเคลื่อน (errors) ตรงที่ค่าความแปรปรวนของค่าความคลาดเคลื่อนไม่เท่ากันทั้งหมดค่าความแปรปรวนจะลดลงเมื่อ ค่า x ที่สอดคล้องกัน อยู่ห่างจากค่าเฉลี่ยของx มากขึ้น นี่ไม่ใช่ลักษณะของข้อมูลเอง แต่เป็นเพราะการถดถอยนั้นเหมาะสมกับค่าที่อยู่ปลายสุดของโดเมนได้ดีกว่า นอกจากนี้ยังสะท้อนให้เห็นในฟังก์ชันอิทธิพลของจุดข้อมูลต่างๆ ต่อสัมประสิทธิ์การถดถอยด้วยกล่าวคือ จุดปลายมีอิทธิพลมากกว่า สิ่งนี้สามารถสังเกตได้เช่นกัน เนื่องจากค่าความคลาดเคลื่อนที่จุดปลายขึ้นอยู่กับความชันของเส้นที่เหมาะสมอย่างมาก ในขณะที่ค่าความคลาดเคลื่อนที่จุดกึ่งกลางค่อนข้างไม่ไวต่อความชัน ข้อเท็จจริงที่ว่าค่าความแปรปรวนของค่าความคลาดเคลื่อนแตกต่างกันแม้ว่าค่าความแปรปรวนของค่าความคลาดเคลื่อนที่แท้จริงจะเท่ากันทั้งหมด เป็นสาเหตุหลักที่ทำให้จำเป็นต้องใช้การปรับค่าให้เป็นค่ามาตรฐาน (studentization)

ปัญหาไม่ได้อยู่ที่เพียงแค่ค่าพารามิเตอร์ของประชากร (ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน) ไม่เป็นที่ทราบเท่านั้น แต่เป็นเพราะการถดถอยให้ผลลัพธ์การกระจายของค่าความคลาดเคลื่อนที่แตกต่างกันจุดข้อมูลต่างๆ ซึ่ง ต่างจาก ตัวประมาณ ค่าแบบจุดของการกระจายแบบเอกตัวแปรที่มี การกระจาย ของค่าความคลาดเคลื่อนร่วมกัน

พื้นหลัง

สำหรับแบบจำลองอย่างง่ายนี้เมทริกซ์การออกแบบคือ

X=[1x11xn]{\displaystyle X=\left[{\begin{matrix}1&x_{1}\\\vdots &\vdots \\1&x_{n}\end{matrix}}\right]}

และเมทริกซ์หมวกHคือเมทริกซ์ของการฉายภาพเชิงตั้งฉากลงบนปริภูมิคอลัมน์ของเมทริกซ์การออกแบบ:

ชม=X(XทีX)1Xที.{\displaystyle H=X(X^{T}X)^{-1}X^{T}.\,}

ค่าเลเวอเรจh คือ ค่าในแนวทแยงมุมลำดับที่ iของเมทริกซ์หมวก ส่วนค่าความแปรปรวนของ ค่าตกค้างลำดับที่ iคือ

วาร์(ε^ฉัน)=σ2(1ชม.ฉันฉัน).{\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}(1-h_{ii}).}

ในกรณีที่เมทริกซ์การออกแบบXมีเพียงสองคอลัมน์ (ดังตัวอย่างข้างต้น) ค่านี้จะเท่ากับ

วาร์(ε^ฉัน)=σ2(11n(xฉันx¯)2เจ=1n(xเจx¯)2).{\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}-{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right).}

ในกรณีของค่าเฉลี่ยเลขคณิตเมทริกซ์ออกแบบXจะมีเพียงคอลัมน์เดียว ( เวกเตอร์ของเลขหนึ่ง ) ซึ่งก็คือ:

วาร์(ε^ฉัน)=σ2(11n).{\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}\right).}

การคำนวณ

จากคำจำกัดความข้างต้นค่าตกค้างแบบ Studentizedคือ

ทีฉัน=ε^ฉันσ^1ชม.ฉันฉัน {\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}

โดยที่h คืออัตราส่วนการใช้ประโยชน์และσ^{\displaystyle {\widehat {\sigma }}}เป็นการประมาณค่าσ ที่เหมาะสม (ดูด้านล่าง)

ในกรณีของค่าเฉลี่ย ค่านี้จะเท่ากับ:

ทีฉัน=ε^ฉันσ^(n1)/n{\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {(n-1)/n}}}}

การรับนักศึกษาทั้งภายในและภายนอกองค์กร

โดยทั่วไป แล้วค่าประมาณของσ²คือค่าตกค้างแบบ studentized ภายใน

σ^2=1nเจ=1nε^เจ2.{\displaystyle {\widehat {\sigma }}^{2}={1 \over nm}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}.}

โดยที่mคือจำนวนพารามิเตอร์ในแบบจำลอง (ในตัวอย่างของเราคือ 2)

แต่ถ้าหากสงสัยว่ากรณีที่ i อาจมีขนาดใหญ่ผิดปกติ ก็จะไม่เป็นไปตามการกระจายแบบปกติเช่นกัน ดังนั้นจึงควรตัดข้อมูล ที่ iออกจากการประมาณค่าความแปรปรวนเมื่อพิจารณาว่า กรณีที่ iอาจเป็นค่าผิดปกติหรือไม่ และควรใช้ ค่าความคลาดเคลื่อน มาตรฐานภายนอก แทน ซึ่งก็คือ   

σ^(ฉัน)2=1n1เจ=1เจฉันnε^เจ2,{\displaystyle {\widehat {\sigma }}_{(i)}^{2}={1 \over n-m-1}\sum _{\begin{smallmatrix}j=1\\j\neq i\end{smallmatrix}}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2},}

โดยพิจารณาจากค่าตกค้างทั้งหมดยกเว้น ค่าตกค้าง ที่น่าสงสัย ลำดับที่ i ขอเน้นย้ำว่าε^เจ2(เจฉัน){\displaystyle {\widehat {\varepsilon \,}}_{j}^{\,2}(j\neq i)}สำหรับผู้ต้องสงสัยiจะคำนวณโดยไม่รวมกรณีที่i 

ถ้าค่าประมาณσ 2 รวมกรณี ที่ i ไว้ด้วยแล้ว จะเรียกว่าค่าตกค้างแบบ studentized ภายในทีฉัน{\displaystyle t_{i}}(เรียกอีกอย่างว่าค่าตกค้างมาตรฐาน[ 1 ] ) หากค่าประมาณσ^(ฉัน)2{\displaystyle {\widehat {\sigma }}_{(i)}^{2}}หากใช้แทนโดยไม่รวมกรณี ที่ i จะเรียกว่านักเรียนที่ได้รับการฝึกฝนจากภายนอกทีฉัน(ฉัน){\displaystyle t_{i(i)}}.

การกระจาย

ถ้าความคลาดเคลื่อนเป็นอิสระต่อกันและ มีการกระจายแบบปกติโดยมีค่าเฉลี่ย 0 และความแปรปรวนσ²แล้วการกระจายความน่าจะเป็นของค่าตกค้างที่ปรับให้เป็นมาตรฐานภายนอกลำดับที่i จะเป็น ดังนี้ทีฉัน(ฉัน){\displaystyle t_{i(i)}}เป็นการแจกแจงแบบ t ของนักเรียนที่มีองศาอิสระn m − 1 และสามารถมีค่าได้ตั้งแต่   {\displaystyle \scriptstyle -\infty }ถึง+{\displaystyle \scriptstyle +\infty }.

ในทางกลับกัน ค่าความคลาดเคลื่อนมาตรฐานภายในอยู่ในช่วง0±ν{\displaystyle 0\,\pm \,{\sqrt {\nu }}}โดยที่ν = n mคือจำนวนองศาอิสระของส่วนเหลือ ถ้าt แทนส่วนเหลือแบบ studentized ภายใน และสมมติอีกครั้งว่าข้อผิดพลาดเป็นตัวแปรเกาส์เซียนที่มีการกระจายเหมือนกันและเป็นอิสระต่อกัน ดังนั้น: [ 2 ] 

ทีฉัน~νทีที2+ν1{\displaystyle t_{i}\sim {\sqrt {\nu }}{t \over {\sqrt {t^{2}+\nu -1}}}}

โดยที่tเป็นตัวแปรสุ่มที่มีการแจกแจงแบบ t ของนักเรียนที่มีองศาอิสระν  − 1 ในความเป็นจริง สิ่งนี้หมายความว่า t 2 / νเป็นไปตามการแจกแจงเบต้าB (1/2,( ν − 1)/2) การแจกแจงข้างต้นบางครั้งเรียกว่าการแจกแจงเทา[ 2 ]ซึ่งได้รับการพัฒนาครั้งแรกโดย Thompson ในปี 1935 [ 3 ]   

เมื่อν = 3 ค่าความคลาดเคลื่อนมาตรฐานภายในจะมีการกระจายอย่างสม่ำเสมอระหว่าง3{\displaystyle \scriptstyle -{\sqrt {3}}}และ+3{\displaystyle \scriptstyle +{\sqrt {3}}}. If there is only one residual degree of freedom, the above formula for the distribution of internally studentized residuals doesn't apply. In this case, the t are all either +1 or −1, with 50% chance for each.

The standard deviation of the distribution of internally studentized residuals is always 1, but this does not imply that the standard deviation of all the t of a particular experiment is 1. For instance, the internally studentized residuals when fitting a straight line going through (0, 0) to the points (1, 4), (2, −1), (2, −1) are 2, 5/5, 5/5{\displaystyle {\sqrt {2}},\ -{\sqrt {5}}/5,\ -{\sqrt {5}}/5}, and the standard deviation of these is not 1.

Note that any pair of studentized residual t and t (where ij{\displaystyle i\neq j}), are NOT i.i.d. They have the same distribution, but are not independent due to constraints on the residuals having to sum to 0 and to have them be orthogonal to the design matrix.

Software implementations

Many programs and statistics packages, such as R, Python, etc., include implementations of Studentized residual.

Language/ProgramFunctionNotes
Rrstandard(model, ...)internally studentized. See
Rrstudent(model, ...)externally studentized. See

See also

Further reading

  • Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. ed.). New York: Chapman and Hall. ISBN 041224280X. Retrieved 23 February 2013.

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ไม่มีชื่อบทความ

ใน ทางสถิติ ค่าตกค้างแบบปรับค่ามาตรฐาน ( Studentized residual) คือ อัตราส่วนไร้หน่วย ที่ได้จากการหารค่าตกค้างด้วยค่าประมาณของ ส่วน เบี่ยง เบน มาตรฐาน โดย ทั้งสองค่าแสดงใน หน่วย...

แรงจูงใจ

เหตุผลสำคัญที่ทำให้ต้องใช้แนวคิดเรื่องค่าตกค้าง (residual) คือ ใน การวิเคราะห์การ ถดถอย ของ ตัวแปรสุ่มหลายตัว ค่า ความแปรปรวนของ ค่า ตกค้าง ที่ค่าตัวแปรป้อนเข้าต่างกันอาจแตกต่างกัน แม้ว่าค่าความแปรปรวนของ ค่าความคลาดเคลื่อน ( error)...

พื้นหลัง

สำหรับแบบจำลองอย่างง่ายนี้ เมทริกซ์การออกแบบ คือ

การคำนวณ

จากคำจำกัดความข้างต้น ค่าตกค้างแบบ Studentized คือ