ในทฤษฎีการตัดสินใจและทฤษฎีการประมาณค่า ตัวอย่างของสไตน์ ( หรือที่รู้จักกันในชื่อปรากฏการณ์ของสไตน์หรือความขัดแย้งของสไตน์ ) คือการสังเกตว่าเมื่อมีการประมาณค่าพารามิเตอร์สามตัวขึ้นไปพร้อมกัน จะมีตัวประมาณค่าแบบ รวม ที่แม่นยำกว่าโดยเฉลี่ย (นั่นคือ มีค่าความคลาดเคลื่อนกำลังสองเฉลี่ย ที่คาดหวังต่ำกว่า ) มากกว่าวิธีการใดๆ ที่จัดการพารามิเตอร์แยกกัน ชื่อนี้ตั้งตามชื่อของชาร์ลส์ สไตน์แห่งมหาวิทยาลัยสแตนฟอร์ดผู้ค้นพบปรากฏการณ์นี้ในปี 1955 ^{[ 1 ]}

คำอธิบายที่เข้าใจง่ายคือ การหาค่าที่เหมาะสมที่สุดสำหรับค่าความคลาดเคลื่อนกำลังสองเฉลี่ยของ ตัวประมาณค่า แบบรวมนั้นไม่เหมือนกับการหาค่าที่เหมาะสมที่สุดสำหรับค่าความคลาดเคลื่อนของตัวประมาณค่าแยกกันของพารามิเตอร์แต่ละตัว ในทางปฏิบัติ หากค่าความคลาดเคลื่อนแบบรวมเป็นสิ่งที่น่าสนใจจริงๆ ควรใช้ตัวประมาณค่าแบบรวม แม้ว่าพารามิเตอร์พื้นฐานจะเป็นอิสระต่อกันก็ตาม แต่หากเราสนใจที่จะประมาณค่าพารามิเตอร์แต่ละตัว การใช้ตัวประมาณค่าแบบรวมจะไม่ช่วยอะไร และในความเป็นจริงแล้วอาจแย่กว่าด้วยซ้ำ

ต่อไปนี้คือรูปแบบที่ง่ายที่สุดของความขัดแย้ง ซึ่งเป็นกรณีพิเศษที่จำนวนการสังเกตเท่ากับจำนวนพารามิเตอร์ที่จะประมาณค่า สมมติให้เป็นเวกเตอร์ที่ประกอบด้วยพารามิเตอร์ที่ไม่ทราบค่า ในการประมาณค่าพารามิเตอร์เหล่านี้จะทำการวัดเพียงครั้งเดียวสำหรับแต่ละพารามิเตอร์ส่งผลให้ได้เวกเตอร์ที่มีความยาวสมมติว่าทราบว่าการวัดเป็นตัวแปรสุ่มแบบเกาส์เซียนที่เป็นอิสระต่อกันโดยมีค่าเฉลี่ยและความแปรปรวนเท่ากับ 1 กล่าวคือดังนั้น แต่ละพารามิเตอร์จะถูกประมาณค่าโดยใช้การวัดที่มีสัญญาณรบกวนเพียงครั้งเดียว และการวัดแต่ละครั้งมีความคลาดเคลื่อนเท่ากัน ${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle n\geq 3}$${\displaystyle X_{i}}$${\displaystyle \theta _{i}}$${\displaystyle \mathbf {X} }$${\displaystyle n}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\theta }},\mathbf {I} _{n})}$

ภายใต้เงื่อนไขเหล่านี้ การใช้ค่าที่วัดได้แต่ละค่าเป็นค่าประมาณของพารามิเตอร์ที่สอดคล้องกันนั้นเป็นเรื่องที่เข้าใจง่ายและเป็นที่นิยม กฎการตัดสินใจแบบ "ธรรมดา" นี้สามารถเขียนได้เป็นซึ่งเป็นตัวประมาณค่าความน่าจะเป็นสูงสุด (MLE) คุณภาพของตัวประมาณค่าดังกล่าวจะวัดได้จากฟังก์ชันความเสี่ยงฟังก์ชันความเสี่ยงที่ใช้กันทั่วไปคือค่าความคลาดเคลื่อนกำลังสองเฉลี่ยซึ่งกำหนดโดยที่น่าประหลาดใจคือ กฎการตัดสินใจแบบ "ธรรมดา" นั้นไม่เหมาะสม ( ไม่สามารถยอมรับได้ ) ในแง่ของค่าความคลาดเคลื่อนกำลังสองเฉลี่ยเมื่อกล่าวอีกนัยหนึ่ง ในการตั้งค่าที่กล่าวถึงในที่นี้ มีตัวประมาณค่าทางเลือกอื่น ๆ ที่ให้ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยต่ำกว่าเสมอ ไม่ว่าค่าของ จะเป็นเท่าใดก็ตามสำหรับค่า ที่กำหนด เราสามารถกำหนด "ตัวประมาณค่า" ที่สมบูรณ์แบบได้ ซึ่งก็คือ เสมอแต่ตัวประมาณค่านี้จะไม่ดีสำหรับค่า อื่นๆ ${\displaystyle {\hat {\boldsymbol {\theta }}}=\mathbf {X} }$${\displaystyle \mathbb {E} [\|{\boldsymbol {\theta }}-{\hat {\boldsymbol {\theta }}}\|^{2}]}$${\displaystyle n\geq 3}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$

ตัวประมาณค่าของปรากฏการณ์ของสไตน์นั้น สำหรับค่า ที่กำหนดจะดีกว่ากฎการตัดสินใจแบบ "ธรรมดา" สำหรับบางค่าแต่จำเป็นต้องแย่กว่าสำหรับค่าอื่นๆ เป็นเพียงค่าเฉลี่ยเท่านั้นที่มันดีกว่า กล่าวให้แม่นยำยิ่งขึ้น ตัวประมาณค่าหนึ่งจะกล่าวได้ว่าเหนือกว่าตัวประมาณค่าอื่นถ้าสำหรับทุกค่าของความเสี่ยงของต่ำกว่าหรือเท่ากับความเสี่ยงของและถ้าความไม่เท่าเทียมกันนั้นเข้มงวดสำหรับบางค่าของตัวประมาณค่าหนึ่งจะกล่าวได้ว่ายอมรับได้ถ้าไม่มีตัวประมาณค่าอื่นใดเหนือกว่ามัน มิฉะนั้นจะ ถือว่ายอมรับ ไม่ได้ดังนั้น ตัวอย่างของสไตน์จึงสามารถกล่าวได้ง่ายๆ ดังนี้: กฎการตัดสินใจแบบ "ธรรมดา" ของค่าเฉลี่ยของการแจกแจงแบบเกาส์เซียนหลายตัวแปรนั้นยอมรับไม่ได้ภายใต้ความเสี่ยงของความคลาดเคลื่อนกำลังสองเฉลี่ย${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle {\hat {\boldสัญลักษณ์ {\theta }}__{1}}$${\displaystyle {\hat {\boldสัญลักษณ์ {\theta }}__{2}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle {\hat {\boldสัญลักษณ์ {\theta }}__{1}}$${\displaystyle {\hat {\boldสัญลักษณ์ {\theta }}__{2}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$

ตัวประมาณค่าแบบง่ายๆ ที่ใช้งานได้จริงจำนวนมากให้ประสิทธิภาพที่ดีกว่ากฎการตัดสินใจแบบ "ธรรมดา" ตัวอย่างที่รู้จักกันดีที่สุดคือตัวประมาณค่า James–Steinซึ่งหดตัวเข้าหาจุดเฉพาะ (เช่น จุดกำเนิด) ด้วยปริมาณที่แปรผกผันกับระยะห่างของจากจุดนั้น สำหรับโครงร่างของการพิสูจน์ผลลัพธ์นี้ โปรดดูที่การพิสูจน์ตัวอย่างของ Steinการพิสูจน์ทางเลือกอื่นมาจากLarry Brown : เขาพิสูจน์ว่าตัวประมาณค่าแบบธรรมดาสำหรับเวกเตอร์ค่าเฉลี่ยปกติหลายตัวแปรมิติ n นั้นยอมรับได้ก็ต่อเมื่อการเคลื่อนที่แบบบราวน์มิติ n เกิดการเวียนเกิด^{[ 2 ]}เนื่องจากการเคลื่อนที่แบบบราวน์ไม่เกิดการเวียนเกิดสำหรับMLE จึงยอมรับไม่ได้สำหรับ ${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle n}$${\displaystyle n}$${\displaystyle n\geq 3}$${\displaystyle n\geq 3}$

สำหรับค่าใดๆ ของตัวประมาณค่าใหม่ จะช่วยปรับปรุงค่าความคลาดเคลื่อนกำลังสองเฉลี่ยอย่างน้อยหนึ่งค่า นี่ไม่ใช่เรื่องยาก − ตัวอย่างเช่น ถ้าอยู่ระหว่าง −1 และ 1 และแล้วตัวประมาณค่าที่หดตัวเข้าหา0 อย่างเป็นเส้นตรงด้วยค่า 0.5 (เช่นการกำหนดเกณฑ์แบบอ่อนด้วยเกณฑ์) จะมีค่าความคลาดเคลื่อนกำลังสองเฉลี่ยต่ำกว่าตัวมันเอง แต่ก็มีค่าอื่นๆ ของที่ตัวประมาณค่านี้แย่กว่าตัวมันเอง เคล็ดลับของตัวประมาณค่าของ Stein และตัวอื่นๆ ที่ทำให้เกิดปรากฏการณ์ Stein paradox คือ พวกมันปรับการเลื่อนในลักษณะที่ว่าจะมีอย่างน้อยหนึ่งค่า (สำหรับเวกเตอร์ใดๆ) ที่ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยดีขึ้น และการปรับปรุงนั้นจะชดเชยการลดลงของค่าความคลาดเคลื่อนกำลังสองเฉลี่ยที่อาจเกิดขึ้นสำหรับค่าอื่นได้มากกว่าปัญหาคือ หากไม่ทราบคุณจะไม่รู้ ว่า ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยใดดีขึ้น ดังนั้นคุณจึงไม่สามารถใช้ตัวประมาณค่าของ Stein เฉพาะกับพารามิเตอร์เหล่านั้นได้ ${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle \mathbb {E} [(\theta _{i}-{\hat {\theta }}_{i})^{2}].}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle \sigma =1}$${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {sign} (X_{i})\max(|X_{i}|-0.5,0)}$${\displaystyle 0.5}$${\displaystyle \mathbf {X} }$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle \mathbf {X} }$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle X_{i}}$${\displaystyle {\hat {\theta }}_{i}}$${\displaystyle {\boldสัญลักษณ์ {\theta }}}$${\displaystyle n}$

ตัวอย่างของการตั้งค่าข้างต้นเกิดขึ้นในการประมาณค่าช่องสัญญาณในด้านโทรคมนาคม เช่น เนื่องจากปัจจัยต่างๆ ส่งผลต่อประสิทธิภาพโดยรวมของช่องสัญญาณ

ตัวอย่างของสไตน์นั้นน่าประหลาดใจ เนื่องจากกฎการตัดสินใจ "แบบธรรมดา" นั้นเข้าใจง่ายและใช้กันทั่วไป อันที่จริง วิธีการสร้างตัวประมาณค่ามากมาย รวมถึงการประมาณค่าความน่าจะเป็นสูงสุด การประมาณค่าเชิงเส้น ที่ไม่เอนเอียงที่ดีที่สุด การประมาณค่า กำลังสองน้อยที่สุดและการประมาณค่าสมดุลที่ เหมาะสมที่สุด ล้วนให้ผลลัพธ์เป็นตัวประมาณค่า "แบบธรรมดา" อย่างไรก็ตาม ดังที่ได้กล่าวไว้ข้างต้น ตัวประมาณค่านี้ยังไม่เหมาะสมที่สุด

เพื่อแสดงให้เห็นถึงลักษณะที่ไม่สมเหตุสมผลของตัวอย่างของสไตน์ ลองพิจารณาตัวอย่างในโลกแห่งความเป็นจริงต่อไปนี้ สมมติว่าเราต้องการประมาณค่าพารามิเตอร์ที่ไม่เกี่ยวข้องกันสามตัว เช่น ผลผลิตข้าวสาลีของสหรัฐฯ ในปี 1993 จำนวนผู้ชมในการแข่งขันเทนนิสวิมเบิลดันในปี 2001 และน้ำหนักของลูกอมที่สุ่มเลือกจากซูเปอร์มาร์เก็ต สมมติว่าเรามีการวัดแบบเกาส์เซียนที่เป็นอิสระสำหรับปริมาณเหล่านี้แต่ละตัว ตัวอย่างของสไตน์บอกเราว่าเราสามารถได้ค่าประมาณที่ดีกว่า (โดยเฉลี่ย) สำหรับเวกเตอร์ของพารามิเตอร์ทั้งสามตัวโดยการใช้การวัดที่ไม่เกี่ยวข้องกันทั้งสามตัวพร้อมกัน

มองเผินๆ อาจดูเหมือนว่าเราจะได้ค่าประมาณผลผลิตข้าวสาลีของสหรัฐฯ ที่ดีขึ้นโดยการวัดสถิติอื่นๆ ที่ไม่เกี่ยวข้องกัน เช่น จำนวนผู้ชมในวิมเบิลดัน และน้ำหนักของลูกอมหนึ่งแท่ง อย่างไรก็ตาม เราไม่ได้ได้ค่าประมาณผลผลิตข้าวสาลีของสหรัฐฯ ที่ดีขึ้นด้วยตัวมันเอง แต่เราได้สร้างค่าประมาณสำหรับเวกเตอร์ของค่าเฉลี่ยของตัวแปรสุ่มทั้งสามตัว ซึ่งมี ความเสี่ยง โดยรวม ลดลง เนื่องจากต้นทุนของการประมาณค่าที่ไม่ดีในองค์ประกอบหนึ่งของเวกเตอร์จะถูกชดเชยด้วยการประมาณค่าที่ดีกว่าในอีกองค์ประกอบหนึ่ง นอกจากนี้ ชุดค่าเฉลี่ยที่ประมาณได้สามค่าเฉพาะที่ได้จากค่าประมาณใหม่นี้ อาจไม่ได้ดีกว่าชุดค่าเฉลี่ยปกติ (ค่าที่วัดได้) เสมอไป ค่าประมาณใหม่นี้ดีกว่าเฉพาะในค่าเฉลี่ยเท่านั้น

ฟังก์ชันความเสี่ยงของกฎการตัดสินใจคือ ${\displaystyle d(\mathbf {x} )=\mathbf {x} }$

${\displaystyle R(\theta ,d)=\operatorname {E} _{\theta }[|{\boldsymbol {\theta }}-\mathbf {X} |^{2}]}$

${\displaystyle =\int ({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{(-1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx}$

${\displaystyle =n.}$

ทีนี้ลองพิจารณากฎการตัดสินใจดู

${\displaystyle d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} ,}$

โดยที่. เราจะแสดงให้เห็นว่าเป็นกฎการตัดสินใจที่ดีกว่า. ฟังก์ชันความเสี่ยงคือ ${\displaystyle \alpha =n-2}$${\displaystyle d'}$${\displaystyle d}$

${\displaystyle R(\theta ,d')=\operatorname {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}}}|\mathbf {X} |^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)} ^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right],}$

ซึ่งเป็นฟังก์ชันกำลังสองของเราสามารถลดรูปพจน์กลางได้โดยพิจารณาฟังก์ชัน "ที่มีพฤติกรรมดี" ทั่วไปและใช้การอินทิเกรตโดยส่วนสำหรับ สำหรับฟังก์ชันที่อนุพันธ์ต่อเนื่องใดๆ ที่เติบโตช้าพอสำหรับค่ามากเราจะได้ว่า: ${\displaystyle \alpha }$${\displaystyle h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R} }$${\displaystyle 1\leq i\leq n}$${\displaystyle h}$${\displaystyle x_{i}}$

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}\right]_{x_{i}=-\infty }^{\infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)\right].}$

ดังนั้น,

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].}$

(ผลลัพธ์นี้เรียกว่าทฤษฎีบทของสไตน์ ) ตอนนี้ เราเลือก

${\displaystyle h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.}$

หากตรงตามเงื่อนไข "ประพฤติตัวดี" (ซึ่งไม่เป็นเช่นนั้น แต่สามารถแก้ไขได้ โปรดดูด้านล่าง) เราก็จะมี ${\displaystyle h}$

${\displaystyle {\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i}^{2}}{|\mathbf {x} |^{4}}}}$

และดังนั้น

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {({\boldsymbol {\theta }}-\mathbf {X} )^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]=\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[(\theta _{i}-X_{i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]}$

${\displaystyle =-\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]}$

${\displaystyle =-(n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

จากนั้นจึงกลับมาพิจารณาฟังก์ชันความเสี่ยงของ: ${\displaystyle d'}$

${\displaystyle R(\theta ,d')=n-2\alpha (n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

สมการกำลังสองนี้มีค่าต่ำสุดที่ ซึ่งให้ผลลัพธ์ดังนี้ ${\displaystyle \alpha }$${\displaystyle \alpha =n-2}$

${\displaystyle R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

ซึ่งแน่นอนว่าเป็นการตอบสนองตามกฎการตัดสินใจที่ไม่สามารถยอมรับได้ ${\displaystyle R(\theta ,d')<R(\theta ,d).}$${\displaystyle d}$

ยังคงต้องหาเหตุผลมาสนับสนุนการใช้งานต่อไป

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.}$

ฟังก์ชันนี้ไม่สามารถหาอนุพันธ์ต่อเนื่องได้ เนื่องจากมีจุดเอกฐานที่อย่างไรก็ตาม ฟังก์ชันนี้ ${\displaystyle \mathbf {x} =0}$

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}}$

สามารถหาอนุพันธ์ได้อย่างต่อเนื่อง และหลังจากดำเนินการตามพีชคณิตต่อไปโดยให้ ก็จะได้ผลลัพธ์เดียวกัน ${\displaystyle \varepsilon \to 0}$

• ตัวประมาณค่าเจมส์-สไตน์