ส่วนที่เหลือของนักเรียน
ในทางสถิติ ค่าตกค้างแบบปรับค่ามาตรฐาน ( Studentized residual)คืออัตราส่วนไร้หน่วยที่ได้จากการหารค่าตกค้างด้วยค่าประมาณของส่วนเบี่ยงเบนมาตรฐานโดยทั้งสองค่าแสดงในหน่วย เดียวกัน มันเป็นรูปแบบหนึ่งของสถิติtของ Studentโดยที่ค่าประมาณของความคลาดเคลื่อนจะแตกต่างกันไปในแต่ละจุด
นี่เป็นเทคนิคสำคัญในการตรวจจับค่าผิดปกติเป็นหนึ่งในหลายเทคนิคที่ตั้งชื่อตามวิลเลียม ซีลีย์ กอสเซ็ตผู้เขียนภายใต้นามแฝง "สตูเดนต์" (เช่นการแจกแจงของสตูเดนต์ ) การหารค่าสถิติด้วยค่าเบี่ยงเบนมาตรฐานของตัวอย่างเรียกว่าการทำให้เป็นสตูเดนต์ (Studentizing ) ในทำนองเดียวกับการทำให้เป็นมาตรฐาน (Standardizing ) และการทำให้เป็นปกติ (Normalizing )
แรงจูงใจ
เหตุผลสำคัญที่ทำให้ต้องใช้แนวคิดเรื่องค่าตกค้าง (residual) คือ ในการวิเคราะห์การ ถดถอย ของตัวแปรสุ่มหลายตัว ค่า ความแปรปรวนของ ค่า ตกค้างที่ค่าตัวแปรป้อนเข้าต่างกันอาจแตกต่างกัน แม้ว่าค่าความแปรปรวนของ ค่าความคลาดเคลื่อน ( error)ที่ค่าตัวแปรป้อนเข้าต่างกันเหล่านั้นจะเท่ากันก็ตาม ประเด็นอยู่ที่ความแตกต่างระหว่างค่าความคลาดเคลื่อนและค่าตกค้างในทางสถิติโดยเฉพาะอย่างยิ่งพฤติกรรมของค่าตกค้างในการวิเคราะห์การถดถอย
พิจารณาแบบจำลองการถดถอยเชิงเส้นอย่างง่าย
กำหนดให้ตัวอย่างสุ่ม ( X , Y ) โดยที่i = 1, ..., nแต่ละคู่ ( X , Y ) จะเป็นไปตามเงื่อนไขต่อไปนี้
ข้อผิดพลาดอยู่ที่ไหนเป็นอิสระต่อกันและมีค่าความแปรปรวนเท่ากันทั้งหมดค่าความคลาดเคลื่อนที่เหลืออยู่ไม่ใช่ค่าความคลาดเคลื่อนที่แท้จริง แต่เป็นค่าประมาณที่ได้จากข้อมูลที่สังเกตได้ เมื่อใช้วิธีการกำลังสองน้อยที่สุด ในการประมาณค่าและจากนั้นจึงเป็นส่วนที่เหลือซึ่งแตกต่างจากข้อผิดพลาดไม่สามารถเป็นอิสระได้ เนื่องจากเป็นไปตามข้อจำกัดทั้งสองข้อ
และ
(ในที่นี้ε คือ ข้อผิดพลาดลำดับที่ iและ(คือค่า ตกค้างลำดับที่ i )
ค่าความคลาดเคลื่อน (residuals) ต่างจากค่าความคลาดเคลื่อน (errors) ตรงที่ค่าความแปรปรวนของค่าความคลาดเคลื่อนไม่เท่ากันทั้งหมดค่าความแปรปรวนจะลดลงเมื่อ ค่า x ที่สอดคล้องกัน อยู่ห่างจากค่าเฉลี่ยของx มากขึ้น นี่ไม่ใช่ลักษณะของข้อมูลเอง แต่เป็นเพราะการถดถอยนั้นเหมาะสมกับค่าที่อยู่ปลายสุดของโดเมนได้ดีกว่า นอกจากนี้ยังสะท้อนให้เห็นในฟังก์ชันอิทธิพลของจุดข้อมูลต่างๆ ต่อสัมประสิทธิ์การถดถอยด้วยกล่าวคือ จุดปลายมีอิทธิพลมากกว่า สิ่งนี้สามารถสังเกตได้เช่นกัน เนื่องจากค่าความคลาดเคลื่อนที่จุดปลายขึ้นอยู่กับความชันของเส้นที่เหมาะสมอย่างมาก ในขณะที่ค่าความคลาดเคลื่อนที่จุดกึ่งกลางค่อนข้างไม่ไวต่อความชัน ข้อเท็จจริงที่ว่าค่าความแปรปรวนของค่าความคลาดเคลื่อนแตกต่างกันแม้ว่าค่าความแปรปรวนของค่าความคลาดเคลื่อนที่แท้จริงจะเท่ากันทั้งหมด เป็นสาเหตุหลักที่ทำให้จำเป็นต้องใช้การปรับค่าให้เป็นค่ามาตรฐาน (studentization)
ปัญหาไม่ได้อยู่ที่เพียงแค่ค่าพารามิเตอร์ของประชากร (ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน) ไม่เป็นที่ทราบเท่านั้น แต่เป็นเพราะการถดถอยให้ผลลัพธ์การกระจายของค่าความคลาดเคลื่อนที่แตกต่างกันณจุดข้อมูลต่างๆ ซึ่ง ต่างจาก ตัวประมาณ ค่าแบบจุดของการกระจายแบบเอกตัวแปรที่มี การกระจาย ของค่าความคลาดเคลื่อนร่วมกัน
พื้นหลัง
สำหรับแบบจำลองอย่างง่ายนี้เมทริกซ์การออกแบบคือ
และเมทริกซ์หมวกHคือเมทริกซ์ของการฉายภาพเชิงตั้งฉากลงบนปริภูมิคอลัมน์ของเมทริกซ์การออกแบบ:
ค่าเลเวอเรจh คือ ค่าในแนวทแยงมุมลำดับที่ iของเมทริกซ์หมวก ส่วนค่าความแปรปรวนของ ค่าตกค้างลำดับที่ iคือ
ในกรณีที่เมทริกซ์การออกแบบXมีเพียงสองคอลัมน์ (ดังตัวอย่างข้างต้น) ค่านี้จะเท่ากับ
ในกรณีของค่าเฉลี่ยเลขคณิตเมทริกซ์ออกแบบXจะมีเพียงคอลัมน์เดียว ( เวกเตอร์ของเลขหนึ่ง ) ซึ่งก็คือ:
การคำนวณ
จากคำจำกัดความข้างต้นค่าตกค้างแบบ Studentizedคือ
โดยที่h คืออัตราส่วนการใช้ประโยชน์และเป็นการประมาณค่าσ ที่เหมาะสม (ดูด้านล่าง)
ในกรณีของค่าเฉลี่ย ค่านี้จะเท่ากับ:
การรับนักศึกษาทั้งภายในและภายนอกองค์กร
โดยทั่วไป แล้วค่าประมาณของσ²คือค่าตกค้างแบบ studentized ภายใน
โดยที่mคือจำนวนพารามิเตอร์ในแบบจำลอง (ในตัวอย่างของเราคือ 2)
แต่ถ้าหากสงสัยว่ากรณีที่ i อาจมีขนาดใหญ่ผิดปกติ ก็จะไม่เป็นไปตามการกระจายแบบปกติเช่นกัน ดังนั้นจึงควรตัดข้อมูล ที่ iออกจากการประมาณค่าความแปรปรวนเมื่อพิจารณาว่า กรณีที่ iอาจเป็นค่าผิดปกติหรือไม่ และควรใช้ ค่าความคลาดเคลื่อน มาตรฐานภายนอก แทน ซึ่งก็คือ
โดยพิจารณาจากค่าตกค้างทั้งหมดยกเว้น ค่าตกค้าง ที่น่าสงสัย ลำดับที่ i ขอเน้นย้ำว่าสำหรับผู้ต้องสงสัยiจะคำนวณโดยไม่รวมกรณีที่i
ถ้าค่าประมาณσ 2 รวมกรณี ที่ i ไว้ด้วยแล้ว จะเรียกว่าค่าตกค้างแบบ studentized ภายใน(เรียกอีกอย่างว่าค่าตกค้างมาตรฐาน[ 1 ] ) หากค่าประมาณหากใช้แทนโดยไม่รวมกรณี ที่ i จะเรียกว่านักเรียนที่ได้รับการฝึกฝนจากภายนอก.
การกระจาย
ถ้าความคลาดเคลื่อนเป็นอิสระต่อกันและ มีการกระจายแบบปกติโดยมีค่าเฉลี่ย 0 และความแปรปรวนσ²แล้วการกระจายความน่าจะเป็นของค่าตกค้างที่ปรับให้เป็นมาตรฐานภายนอกลำดับที่i จะเป็น ดังนี้เป็นการแจกแจงแบบ t ของนักเรียนที่มีองศาอิสระn − m − 1 และสามารถมีค่าได้ตั้งแต่ ถึง.
ในทางกลับกัน ค่าความคลาดเคลื่อนมาตรฐานภายในอยู่ในช่วงโดยที่ν = n − mคือจำนวนองศาอิสระของส่วนเหลือ ถ้าt แทนส่วนเหลือแบบ studentized ภายใน และสมมติอีกครั้งว่าข้อผิดพลาดเป็นตัวแปรเกาส์เซียนที่มีการกระจายเหมือนกันและเป็นอิสระต่อกัน ดังนั้น: [ 2 ]
โดยที่tเป็นตัวแปรสุ่มที่มีการแจกแจงแบบ t ของนักเรียนที่มีองศาอิสระν − 1 ในความเป็นจริง สิ่งนี้หมายความว่า t 2 / νเป็นไปตามการแจกแจงเบต้าB (1/2,( ν − 1)/2) การแจกแจงข้างต้นบางครั้งเรียกว่าการแจกแจงเทา[ 2 ]ซึ่งได้รับการพัฒนาครั้งแรกโดย Thompson ในปี 1935 [ 3 ]
เมื่อν = 3 ค่าความคลาดเคลื่อนมาตรฐานภายในจะมีการกระจายอย่างสม่ำเสมอระหว่างและ. If there is only one residual degree of freedom, the above formula for the distribution of internally studentized residuals doesn't apply. In this case, the t are all either +1 or −1, with 50% chance for each.
The standard deviation of the distribution of internally studentized residuals is always 1, but this does not imply that the standard deviation of all the t of a particular experiment is 1. For instance, the internally studentized residuals when fitting a straight line going through (0, 0) to the points (1, 4), (2, −1), (2, −1) are , and the standard deviation of these is not 1.
Note that any pair of studentized residual t and t (where ), are NOT i.i.d. They have the same distribution, but are not independent due to constraints on the residuals having to sum to 0 and to have them be orthogonal to the design matrix.
Software implementations
Many programs and statistics packages, such as R, Python, etc., include implementations of Studentized residual.
| Language/Program | Function | Notes |
|---|---|---|
| R | rstandard(model, ...) | internally studentized. See |
| R | rstudent(model, ...) | externally studentized. See |
See also
- Cook's distance – a measure of changes in regression coefficients when an observation is deleted
- Grubbs's test
- Normalization (statistics)
- Samuelson's inequality
- Standard score
- William Sealy Gosset
Further reading
- Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. ed.). New York: Chapman and Hall. ISBN 041224280X. Retrieved 23 February 2013.