การเซ็นเซอร์ (ทางสถิติ)

Q: ข้อมูลสำคัญเกี่ยวกับ ไม่มีชื่อบทความ

ใน ทางสถิติ การ เซ็นเซอร์ คือสภาวะที่ ค่า ของ การวัด หรือ การสังเกต นั้นทราบเพียงบางส่วนเท่านั้น

ในทางสถิติการเซ็นเซอร์คือสภาวะที่ค่าของการวัดหรือการสังเกตนั้นทราบเพียงบางส่วนเท่านั้น

ตัวอย่างเช่น สมมติว่ามีการศึกษาเพื่อวัดผลกระทบของยาต่ออัตราการเสียชีวิตในการศึกษานั้น อาจทราบว่าอายุของผู้เข้าร่วมวิจัยเมื่อเสียชีวิตอย่างน้อย 75 ปี (แต่อาจมากกว่านั้น) สถานการณ์เช่นนี้อาจเกิดขึ้นได้หากผู้เข้าร่วมวิจัยถอนตัวจากการศึกษาเมื่ออายุ 75 ปี หรือหากผู้เข้าร่วมวิจัยยังมีชีวิตอยู่เมื่ออายุ 75 ปี

การเซ็นเซอร์ยังเกิดขึ้นเมื่อค่าที่ได้อยู่นอกช่วงการวัดของเครื่องมือวัดตัวอย่างเช่น เครื่องชั่งน้ำหนักในห้องน้ำอาจวัดได้สูงสุดเพียง 140 กิโลกรัม หลังจากนั้นจะวนกลับไปที่ 0 และนับต่อไปจากจุดนั้น หากชั่งน้ำหนักบุคคลที่มีน้ำหนัก 160 กิโลกรัม ผู้สังเกตการณ์จะรู้เพียงว่าน้ำหนักของบุคคลนั้นคือ 20 mod 140 กิโลกรัม (นอกจาก 160 กิโลกรัมแล้ว พวกเขายังมีน้ำหนัก 200 กิโลกรัม 300 กิโลกรัม 440 กิโลกรัม และอื่นๆ)

ปัญหาข้อมูลที่ถูกตัดทอน ซึ่งค่าที่สังเกตได้ของตัวแปรบางตัวเป็นที่ทราบเพียงบางส่วน มีความเกี่ยวข้องกับปัญหาข้อมูลที่หายไปซึ่งค่าที่สังเกตได้ของตัวแปรบางตัวไม่เป็นที่ทราบ

การเซ็นเซอร์ไม่ควรสับสนกับแนวคิดที่เกี่ยวข้องอย่างการตัดทอนในกรณีของการเซ็นเซอร์ ข้อมูลที่ได้จะทราบค่าที่แน่นอน หรือทราบว่าค่าดังกล่าวอยู่ในช่วงที่กำหนด ส่วนการตัดทอน ข้อมูลที่ได้จะไม่แสดงค่าที่อยู่นอกช่วงที่กำหนด กล่าวคือ ค่าในประชากรที่อยู่นอกช่วงนั้นจะไม่ถูกพบเห็นหรือบันทึกไว้หากพบเห็น โปรดทราบว่าในทางสถิติ การตัดทอนไม่เหมือนกับการปัดเศษ

ประเภท

การเซ็นเซอร์ด้านซ้าย–จุดข้อมูลต่ำกว่าค่าที่กำหนด แต่ไม่ทราบว่าต่ำกว่าเท่าใด
การเซ็นเซอร์ช่วง–จุดข้อมูลอยู่บนช่วงระหว่างค่าสองค่า
การเซ็นเซอร์ด้านขวา–จุดข้อมูลอยู่เหนือค่าที่กำหนด แต่ไม่ทราบว่าสูงกว่าเท่าใด
การเซ็นเซอร์ประเภทที่ 1เกิดขึ้นเมื่อการทดลองมีจำนวนผู้เข้าร่วมหรือสิ่งของที่กำหนดไว้ และหยุดการทดลอง ณ เวลาที่กำหนดไว้ล่วงหน้า ซึ่ง ณ จุดนั้น ผู้เข้าร่วมที่เหลืออยู่จะถูกเซ็นเซอร์ทางด้านขวา
การเซ็นเซอร์แบบที่ 2เกิดขึ้นหากการทดลองมีจำนวนผู้เข้าร่วมหรือสิ่งของที่กำหนดไว้ และหยุดการทดลองเมื่อพบว่ามีผู้เข้าร่วมหรือสิ่งของจำนวนหนึ่งล้มเหลวตามที่กำหนดไว้ล่วงหน้า ผู้เข้าร่วมหรือสิ่งของที่เหลือจะถูกเซ็นเซอร์ทางด้านขวา
การเซ็นเซอร์แบบสุ่ม (หรือแบบไม่ให้ข้อมูล ) คือ เมื่อแต่ละบุคคลมีเวลาการเซ็นเซอร์ที่ไม่ขึ้นกับเวลาที่เกิดความล้มเหลวทางสถิติ ค่าที่สังเกตได้คือค่าต่ำสุดระหว่างเวลาการเซ็นเซอร์และเวลาที่เกิดความล้มเหลว บุคคลที่มีเวลาที่เกิดความล้มเหลวมากกว่าเวลาการเซ็นเซอร์จะถูกเซ็นเซอร์ทางขวา

การเซ็นเซอร์แบบช่วงเวลาสามารถเกิดขึ้นได้เมื่อการสังเกตค่าใดค่าหนึ่งจำเป็นต้องมีการติดตามหรือตรวจสอบเพิ่มเติม การเซ็นเซอร์ด้านซ้ายและการเซ็นเซอร์ด้านขวาเป็นกรณีพิเศษของการเซ็นเซอร์แบบช่วงเวลา โดยจุดเริ่มต้นของช่วงเวลาอยู่ที่ศูนย์หรือจุดสิ้นสุดอยู่ที่อนันต์ ตามลำดับ

วิธีการประมาณค่าสำหรับการใช้ข้อมูลที่ถูกตัดตอนทางซ้ายนั้นมีความหลากหลาย และวิธีการประมาณค่าทั้งหมดอาจไม่สามารถนำไปใช้ได้ หรืออาจไม่ใช่วิธีที่น่าเชื่อถือที่สุดสำหรับชุดข้อมูลทั้งหมด^{[ 1 ]}

ความเข้าใจผิดที่พบบ่อยเกี่ยวกับข้อมูลช่วงเวลาคือ การจัดประเภทช่วงเวลาดังกล่าวว่าเป็น ช่วงเวลา ที่ถูกตัดตอนทางซ้ายเมื่อไม่ทราบเวลาเริ่มต้น ในกรณีเหล่านี้ เราจะมีขอบเขตล่างของช่วง เวลา ดังนั้น ข้อมูลจึงถูกตัดตอนทางขวา (แม้ว่าจุดเริ่มต้นที่หายไปจะอยู่ทางซ้ายของช่วงเวลาที่ทราบเมื่อมองในแง่ของไทม์ไลน์ก็ตาม!)

การวิเคราะห์

อาจใช้เทคนิคพิเศษในการจัดการกับข้อมูลที่ถูกตัดทอน การทดสอบที่มีเวลาล้มเหลวที่เฉพาะเจาะจงจะถูกเข้ารหัสเป็นความล้มเหลวจริง ส่วนข้อมูลที่ถูกตัดทอนจะถูกเข้ารหัสตามประเภทของการตัดทอนและช่วงเวลาหรือขีดจำกัดที่ทราบ โปรแกรมซอฟต์แวร์พิเศษ (มัก เน้นด้าน ความน่าเชื่อถือ ) สามารถทำการประมาณค่าความน่าจะเป็นสูงสุดสำหรับสถิติสรุป ช่วงความเชื่อมั่น ฯลฯ ได้

ระบาดวิทยา

หนึ่งในความพยายามแรกสุดในการวิเคราะห์ปัญหาทางสถิติที่เกี่ยวข้องกับข้อมูลที่ถูกตัดทอนคือ การวิเคราะห์ข้อมูล การเจ็บป่วยและการเสียชีวิต จากไข้ทรพิษ ของ แดเนียล เบอร์นูลลีในปี 1766 เพื่อแสดงให้เห็นถึงประสิทธิภาพของ การ ฉีดวัคซีน^[²^]บทความแรกๆ ที่ใช้ตัวประมาณค่า Kaplan–Meierเพื่อประมาณค่าใช้จ่ายที่ถูกตัดทอนคือบทความของ Quesenberry et al. (1989) ^[³^{] อย่างไรก็ตาม Lin et al.}^[⁴^]พบว่าวิธีการนี้ไม่ถูกต้อง เว้นแต่ว่าผู้ป่วยทั้งหมดจะมีค่าใช้จ่ายสะสมด้วยฟังก์ชันอัตราเชิงกำหนดร่วมกันตลอดเวลา พวกเขาจึงเสนอเทคนิคการประมาณค่าทางเลือกที่เรียกว่าตัวประมาณค่า Lin ^[⁵^]

การทดสอบอายุการใช้งาน

การทดสอบ ความน่าเชื่อถือมักประกอบด้วยการทำการทดสอบกับชิ้นส่วน (ภายใต้เงื่อนไขที่กำหนด) เพื่อหาระยะเวลาที่ใช้ก่อนที่จะเกิดความล้มเหลว

บางครั้งความล้มเหลวอาจเป็นสิ่งที่วางแผนไว้และคาดการณ์ไว้ แต่กลับไม่เกิดขึ้น เช่น ความผิดพลาดของผู้ปฏิบัติงาน การทำงานผิดปกติของอุปกรณ์ ความผิดปกติในการทดสอบ เป็นต้น ผลการทดสอบจึงไม่ใช่เวลาที่ต้องการให้เกิดความล้มเหลว แต่สามารถ (และควร) นำมาใช้เป็นเวลาที่จะยุติการทดสอบได้ การใช้ข้อมูลที่ถูกตัดทอนนั้นไม่ได้ตั้งใจ แต่จำเป็นต้องใช้
บางครั้งวิศวกรวางแผนโปรแกรมทดสอบโดยกำหนดให้หลังจากถึงระยะเวลาที่กำหนดหรือจำนวนครั้งที่ล้มเหลวตามที่กำหนด การทดสอบอื่นๆ ทั้งหมดจะถูกยุติลง ช่วงเวลาที่ถูกระงับนี้ถือเป็นข้อมูลที่ถูกตัดตอนทางด้านขวา การใช้ข้อมูลที่ถูกตัดตอนเป็นไปโดยเจตนา

การวิเคราะห์ข้อมูลจากการทดสอบซ้ำประกอบด้วยทั้งเวลาที่เกิดความล้มเหลวสำหรับรายการที่ล้มเหลว และเวลาที่การทดสอบสิ้นสุดลงสำหรับรายการที่ไม่ล้มเหลว

การถดถอยแบบเซ็นเซอร์

แบบจำลองก่อนหน้านี้สำหรับการถดถอยแบบเซ็นเซอร์แบบจำลองโทบิตได้รับการเสนอโดยเจมส์ โทบินในปี พ.ศ. 2491 ^{[ 6 ]}

ความน่าจะเป็น

ความน่าจะเป็นคือ ความน่าจะเป็นหรือความหนาแน่นของความน่าจะเป็นของสิ่งที่สังเกตได้ โดยมองว่าเป็นฟังก์ชันของพารามิเตอร์ในแบบจำลองที่กำหนดไว้ ในการรวมจุดข้อมูลที่ถูกตัดทอนเข้ากับความน่าจะเป็น จุดข้อมูลที่ถูกตัดทอนจะถูกแทนด้วยความน่าจะเป็นของจุดข้อมูลที่ถูกตัดทอนเป็นฟังก์ชันของพารามิเตอร์ของแบบจำลองที่กำหนดโดยแบบจำลอง กล่าวคือ ฟังก์ชันของฟังก์ชันการกระจายสะสม (CDF) แทนที่จะเป็นความหนาแน่นหรือมวลความน่าจะเป็น

กรณีการตัดข้อมูลที่พบได้ทั่วไปที่สุดคือการตัดข้อมูลแบบช่วงเวลา: $Pr(a<x\leqslant b)=F(b)-F(a)$ , ที่ไหน $F(x)$ คือฟังก์ชันการกระจายสะสม (CDF) ของการแจกแจงความน่าจะเป็น และกรณีพิเศษสองกรณีมีดังนี้:

การเซ็นเซอร์จากฝ่ายซ้าย: $\Pr(-\infty <x\leq b)=F(b)-F(-\infty )=F(b)-0=F(b)=\Pr(x\leq b)$
การเซ็นเซอร์ที่ถูกต้อง: $\Pr(a<x\leq \infty )=F(\infty )-F(a)=1-F(a)=1-\Pr(x\leq a)=\Pr(x>a)$

สำหรับฟังก์ชันการแจกแจงความน่าจะเป็นแบบต่อเนื่อง: $\Pr(a<x\leq b)=Pr(a<x<b)$

ตัวอย่าง

สมมติว่าเราสนใจเรื่องระยะเวลาการอยู่รอด $T_{1},T_{2},\dots ,T_{n}$ แต่เราไม่ได้สังเกตเห็น $T_{i}$ สำหรับทุกคน $i$ แต่เรากลับสังเกตเห็นว่า

$(U_{i},\delta _{i})$ , กับ $U_{i}=T_{i}$ และ $\delta _{i}=1$ ถ้า $T_{i}$ มีการสังเกตจริง ๆ และ
$(U_{i},\delta _{i})$ , กับ $U_{i}<T_{i}$ และ $\delta _{i}=0$ ถ้าสิ่งที่เราทราบมีเพียงแค่นั้น $T_{i}$ ยาวกว่า $U_{i}$ .

เมื่อไร $T_{i}>U_{i},U_{i}$ เรียกว่า^เวลาเซ็นเซอร์ [ ^{7 ]}

ถ้าเวลาการเซ็นเซอร์ทั้งหมดเป็นค่าคงที่ที่ทราบแล้ว ความน่าจะเป็นคือ

$L=\prod _{i,\delta _{i}=1}f(u_{i})\prod _{i,\delta _{i}=0}S(u_{i})$

ที่ไหน $f(u_{i})$ คือฟังก์ชันความหนาแน่นความน่าจะเป็นที่ประเมินค่า ณ $u_{i}$ ,และ $S(u_{i})$ ความน่าจะ เป็น ที่ $T_{i}$ มากกว่า $u_{i}$ เรียกว่าฟังก์ชันการอยู่รอด

สามารถทำให้ง่ายขึ้นได้โดยการกำหนดฟังก์ชันความเสี่ยงซึ่งก็คือแรงของการเสียชีวิตในทันที ดังนี้

$\lambda (u)={\frac {f(u)}{S(u)}}$

ดังนั้น

$f(u)=\แลมบ์ดา (u)S(u)$

แล้ว

$L=\prod _{i}\lambda (u_{i})^{\delta _{i}}S(u_{i}).$

สำหรับการแจกแจงแบบเอกซ์โปเนนเชียลเรื่องนี้จะยิ่งง่ายขึ้นไปอีก เพราะอัตราความเสี่ยง $\lambda$ มีค่าคงที่ และ $S(u)=\exp(-\lambda u)$ . แล้ว:

$L(\lambda )=\lambda ^{k}\exp \left(-\lambda \sum _{i}u_{i}\right),$

ที่ไหน $k = ∑i Δi$ .

จากสิ่งนี้เราสามารถคำนวณได้อย่างง่ายดาย ${\hat {\แลมบ์ดา }}$ ค่าประมาณความน่าจะเป็นสูงสุด (MLE)ของ $\lambda$ ดังต่อไปนี้:

$\ell (\lambda )=\log(L(\lambda ))=k\log(\lambda )-\lambda \sum _{i}u_{i}.$

แล้ว

${\frac {d\ell }{d\lambda }}={\frac {k}{\lambda }}-\sum _{i}u_{i}.$

เราตั้งค่านี้เป็น 0 แล้วแก้หาค่า $\lambda$ เพื่อให้ได้มา:

${\hat {\lambda }}={\frac {k}{\sum _{i}u_{i}}}.$

กล่าวอีกนัยหนึ่งเวลาเฉลี่ยก่อนเกิดความล้มเหลวคือ:

${\frac {1}{\hat {\lambda }}}={\frac {\sum _{i}u_{i}}{k}}.$

วิธีนี้แตกต่างจากการประมาณค่าความน่าจะเป็นสูงสุดมาตรฐาน (MLE) สำหรับการแจกแจงแบบเอกซ์โปเนนเชียลตรงที่ ข้อมูลที่ถูกตัดทอนจะถูกนำมาพิจารณาเฉพาะในตัวเศษเท่านั้น

ดูเพิ่มเติม

อ่านเพิ่มเติม

Blower, S. (2004), D, Bernoulli's " "ความพยายามในการวิเคราะห์ใหม่เกี่ยวกับอัตราการตายที่เกิดจากโรคไข้ทรพิษและข้อดีของการฉีดวัคซีนเพื่อป้องกันโรค" (PDF) . เก็บถาวรจากต้นฉบับ(PDF)เมื่อ 2017-08-08 . สืบค้นเมื่อ2019-06-25 . (146 KiB ) ", บทวิจารณ์ไวรัสวิทยาทางการแพทย์ , 14 : 275–288
แบรดลีย์, แอล. (1971). การฉีดวัคซีนไข้ทรพิษ: ข้อถกเถียงทางคณิตศาสตร์ในศตวรรษที่สิบแปด . นอตติงแฮม. ISBN 0-902031-23-6.{{cite book}}: CS1 maint: ไม่พบตำแหน่งผู้เผยแพร่ ( ลิงก์ )
Mann, NR ; et al. (1975). Methods for Statistical Analysis of Reliability and Life Data . New York: Wiley. ISBN 047156737X.
Bagdonavicius, V., Kruopis, J., Nikulin, MS (2011), "การทดสอบแบบไม่ใช้พารามิเตอร์สำหรับข้อมูลที่ถูกตัดทอน", ลอนดอน, ISTE/WILEY, ISBN 9781848212893.

ลิงก์ภายนอก

"คู่มือสถิติทางวิศวกรรม", NIST/SEMATEK,

[ 1 ]

[

[

[

[

[ 6 ]

เวลา