วิธีของสไตน์เป็นวิธีหนึ่งในการกำหนดขอบเขตของระยะห่างระหว่างการแจกแจงความน่าจะเป็นสองแบบโดยใช้เมตริกความน่าจะ เป็น เฉพาะ

ให้กำหนดเมตริกในรูปแบบดังนี้

${\displaystyle (1.1)\quad d(P,Q)=\sup _{h\in {\mathcal {H}}}\left|\int h\,dP-\int h\,dQ\right|=\sup _{h\in {\mathcal {H}}}{\Bigl |}E[h(W)]-E[h(Y)]{\Bigr |}}$

ที่นี่,${\displaystyle P}$และ${\displaystyle Q}$เป็นการวัดความน่าจะเป็นบนพื้นที่ที่สามารถวัดได้${\displaystyle {\mathcal {X}}}$,${\displaystyle W}$และ${\displaystyle Y}$เป็นตัวแปรสุ่มที่มีการกระจายตัว${\displaystyle P}$และ${\displaystyle Q}$ตามลำดับ${\displaystyle E}$คือตัวดำเนินการคาดหวังตามปกติ และ${\displaystyle {\mathcal {H}}}$เป็นชุดฟังก์ชันจาก${\displaystyle {\mathcal {X}}}$ไปยังเซตของจำนวนจริง เซต${\displaystyle {\mathcal {H}}}$จะต้องมีขนาดใหญ่พอ เพื่อให้คำจำกัดความข้างต้นให้ผลลัพธ์เป็นเมตริกอย่าง แท้จริง

ตัวอย่างที่สำคัญคือเมตริกความแปรผันรวมซึ่งเรากำหนดให้${\displaystyle {\mathcal {H}}}$ประกอบด้วยฟังก์ชันตัวบ่งชี้ ทั้งหมด ของเซตที่วัดได้เมตริกเอกรูป (ของ Kolmogorov)สำหรับการวัดความน่าจะเป็นบนจำนวนจริง ซึ่งเราพิจารณาฟังก์ชันตัวบ่งชี้ครึ่งเส้นทั้งหมด และเมตริก Gini-Kantorovich (Wasserstein)ซึ่งเราจัดการกับเซต${\displaystyle {\mathcal {H}}}$ของฟังก์ชัน ต่อเนื่องลิปชิตซ์ทั้งหมดที่มีค่าคงที่ลิปชิตซ์เท่ากับ 1 อย่างไรก็ตาม โปรดทราบว่าไม่ใช่ทุกเมตริกจะสามารถแสดงในรูปแบบ (1.1) ได้

ต่อไปนี้คือสิ่งที่จะกล่าวต่อไปนี้${\displaystyle P}$เป็นการแจกแจงที่ซับซ้อน (เช่น การแจกแจงของผลรวมของตัวแปรสุ่มที่ขึ้นอยู่กัน) ซึ่งเราต้องการประมาณด้วยการแจกแจงที่ง่ายกว่าและจัดการได้ง่ายกว่ามาก${\displaystyle Q}$(เช่น การแจกแจงปกติมาตรฐาน หรือการแจกแจงปัวซง)

ตอนนี้เราสมมติว่าการแจกแจง${\displaystyle Q}$เป็นการแจกแจงแบบคงที่ ในส่วนต่อไปนี้ เราจะพิจารณากรณีโดยเฉพาะที่${\displaystyle Q}$คือการแจกแจงปกติมาตรฐาน ซึ่งใช้เป็นตัวอย่างคลาสสิก

อันดับแรก เราต้องการผู้ปฏิบัติงาน${\displaystyle {\mathcal {A}}}$ซึ่งทำหน้าที่ต่างๆ${\displaystyle f}$จาก${\displaystyle {\mathcal {X}}}$ไปยังเซตของจำนวนจริงและ 'แสดงลักษณะ' ของการแจกแจง ${\displaystyle Q}$ ในแง่ที่ว่าความเท่าเทียมกันต่อไปนี้เป็นจริง:

${\displaystyle (2.1)\quad E[({\mathcal {A}}f)](Y):=E(({\mathcal {A}}f)(Y))=0{\text{ สำหรับทุก }}f\quad \iff \quad Y{\text{ มีการกระจาย }}Q.}$

เราเรียกตัวดำเนินการดังกล่าวว่าตัวดำเนินการสไตน์ (Stein operator )

สำหรับการแจกแจงปกติมาตรฐานทฤษฎีบทของสไตน์ให้ตัวดำเนินการดังนี้:

${\displaystyle (2.2)\quad E\left(f'(Y)-Yf(Y)\right)=0{\text{ for all }}f\in C_{b}^{1}\quad \iff \quad Y{\text{ has standard normal distribution.}}}$

ดังนั้น เราจึงสามารถนำ

${\displaystyle (2.3)\quad ({\mathcal {A}}f)(x)=f'(x)-xf(x).}$

โดยทั่วไปแล้วมีตัวดำเนินการดังกล่าวอยู่มากมายนับไม่ถ้วน และยังคงเป็นคำถามที่เปิดกว้างอยู่ว่าควรเลือกตัวใด อย่างไรก็ตาม ดูเหมือนว่าสำหรับการแจกแจงหลายๆ แบบจะมี ตัวดำเนินการ ที่ดี เป็นพิเศษ เช่น (2.3) สำหรับการแจกแจงแบบปกติ

มีหลายวิธีในการค้นหาตัวดำเนินการ Stein ^{[ 4 ]}

${\displaystyle P}$อยู่ใกล้${\displaystyle Q}$ในส่วนที่เกี่ยวกับ${\displaystyle d}$หากความแตกต่างของความคาดหวังใน (1.1) ใกล้เคียงกับ 0 เราหวังว่าตอนนี้ผู้ดำเนินการ${\displaystyle {\mathcal {A}}}$แสดงพฤติกรรมเดียวกัน: ถ้า${\displaystyle P=Q}$แล้ว${\displaystyle E({\mathcal {A}}f)(W)=0}$และหวังว่าถ้า${\displaystyle P\approx Q}$เรามี${\displaystyle E({\mathcal {A}}f)(W)\approx 0}$.

โดยปกติแล้วสามารถกำหนดฟังก์ชันได้${\displaystyle f=f_{h}}$โดยที่

${\displaystyle (3.1)\quad ({\mathcal {A}}f)(x)=h(x)-E[h(Y)]\qquad {\text{ for all }}x.}$

เราเรียกสมการ (3.1) ว่าสมการของสไตน์แทนที่${\displaystyle x}$โดย${\displaystyle W}$และตั้งความคาดหวังเกี่ยวกับเรื่องนี้${\displaystyle W}$เราได้รับ

${\displaystyle (3.2)\quad E({\mathcal {A}}f)(W)=E[h(W)]-E[h(Y)].}$

ความพยายามทั้งหมดนี้จะคุ้มค่าก็ต่อเมื่อด้านซ้ายของ (3.2) หาขอบเขตได้ง่ายกว่าด้านขวา ซึ่งน่าประหลาดใจที่มักจะเป็นเช่นนั้น

ถ้า${\displaystyle Q}$เป็นการแจกแจงปกติมาตรฐานและเราใช้ (2.3) จากนั้นสมการ Stein ที่สอดคล้องกันคือ

${\displaystyle (3.3)\quad f'(x)-xf(x)=h(x)-E[h(Y)]\qquad {\text{for all }}x.}$

ถ้าการแจกแจงความน่าจะเป็น Q มีความหนาแน่น q ที่ต่อเนื่องอย่างสมบูรณ์ (โดยสัมพันธ์กับการวัดของ Lebesgue ) แล้ว^{[ 4 ]}

${\displaystyle (3.4)\quad ({\mathcal {A}}f)(x)=f'(x)+f(x)q'(x)/q(x).}$

วิธีการวิเคราะห์สมการ (3.3) สามารถแก้ได้อย่างชัดเจนโดยง่าย:

${\displaystyle (4.1)\quad f(x)=e^{x^{2}/2}\int _{-\infty }^{x}[h(s)-Eh(Y)]e^{-s^{2}/2}\,ds.}$

วิธีการสร้างถ้า${\displaystyle {\mathcal {A}}}$เป็นตัวสร้างของกระบวนการมาร์คอฟ${\displaystyle (Z_{t})_{t\geq 0}}$(ดู Barbour (1988), Götze (1991)) จากนั้นคำตอบของ (3.2) คือ

${\displaystyle (4.2)\quad f(x)=-\int _{0}^{\infty }[E^{x}h(Z_{t})-Eh(Y)]\,dt,}$

ที่ไหน${\displaystyle E^{x}}$แสดงถึงความคาดหวังเกี่ยวกับกระบวนการ${\displaystyle Z}$กำลังเริ่มต้นใน${\displaystyle x}$อย่างไรก็ตาม ยังต้องพิสูจน์ว่าคำตอบ (4.2) มีอยู่สำหรับฟังก์ชันที่ต้องการทั้งหมด${\displaystyle h\in {\mathcal {H}}}$.

โดยปกติแล้ว เรามักพยายามกำหนดขอบเขตของสิ่งต่างๆ${\displaystyle f}$และอนุพันธ์ (หรือความแตกต่าง) ของมันในแง่ของ${\displaystyle h}$และอนุพันธ์ (หรือผลต่าง) ของมัน นั่นคือ อสมการในรูปแบบ

${\displaystyle (5.1)\quad \|D^{k}f\|\leq C_{k,l}\|D^{l}h\|,}$

สำหรับบางกรณีโดยเฉพาะ${\displaystyle k,l=0,1,2,\dots }$(โดยทั่วไป${\displaystyle k\geq l}$หรือ${\displaystyle k\geq l-1}$ตามลำดับ (ขึ้นอยู่กับรูปแบบของตัวดำเนินการสไตน์) ซึ่งมักจะเป็นเช่นนั้น${\displaystyle \|\cdot \|}$เป็นบรรทัดฐานสูงสุด ที่นี่${\displaystyle D^{k}}$หมายถึงตัวดำเนินการเชิงอนุพันธ์แต่ในบริบทแบบไม่ต่อเนื่อง มักหมายถึงตัวดำเนินการผลต่างค่าคงที่${\displaystyle C_{k,l}}$อาจมีพารามิเตอร์ของการแจกแจงอยู่ด้วย${\displaystyle Q}$หากมีปัจจัยใด ๆ ปัจจัยเหล่านั้นมักถูกเรียกว่าปัจจัยสไตน์

ในกรณีของ (4.1) สามารถพิสูจน์ได้ว่าบรรทัดฐานสูงสุดนั้น

${\displaystyle (5.2)\quad \|f\|_{\infty }\leq \min \left\{{\sqrt {\pi /2}}\|h\|_{\infty },2\|h'\|_{\infty }\right\},\quad \|f'\|_{\infty }\leq \min\{2\|h\|_{\infty },4\|h'\|_{\infty }\},\quad \|f''\|_{\infty }\leq 2\|h'\|_{\infty },}$

โดยที่ข้อจำกัดสุดท้ายนั้นจะใช้ได้ก็ต่อเมื่อ...${\displaystyle h}$สามารถหาอนุพันธ์ได้ (หรืออย่างน้อยก็มีความต่อเนื่องแบบลิปชิตซ์ ซึ่งตัวอย่างเช่น ไม่ใช่กรณีนี้หากเราพิจารณาเมตริกความแปรผันรวมหรือเมตริกโคลโมโกโรฟ!) เนื่องจากการกระจายปกติมาตรฐานไม่มีพารามิเตอร์เพิ่มเติม ในกรณีเฉพาะนี้ ค่าคงที่จึงปราศจากพารามิเตอร์เพิ่มเติม

ถ้าเรามีขอบเขตในรูปแบบทั่วไป (5.1) เรามักจะสามารถจัดการกับเมตริกความน่าจะเป็นหลายๆ ตัวพร้อมกันได้ บ่อยครั้งที่เราสามารถเริ่มต้นด้วยขั้นตอนถัดไปด้านล่างได้ หากมีขอบเขตในรูปแบบ (5.1) อยู่แล้ว (ซึ่งเป็นกรณีสำหรับหลายๆ การแจกแจง)

ขณะนี้เราอยู่ในสถานะที่สามารถกำหนดขอบเขตด้านซ้ายของ (3.1) ได้แล้ว เนื่องจากขั้นตอนนี้ขึ้นอยู่กับรูปแบบของตัวดำเนินการ Stein เป็นอย่างมาก เราจึงพิจารณากรณีของการแจกแจงปกติมาตรฐานโดยตรง

ณ จุดนี้ เราสามารถแทนค่าตัวแปรสุ่มลงไปได้โดยตรง${\displaystyle W}$ซึ่งเราต้องการประมาณค่าและพยายามหาขอบเขตบน อย่างไรก็ตาม การกำหนดทฤษฎีบทที่ครอบคลุมกว่านั้นมักจะได้ผลดีกว่า ลองพิจารณากรณีของการพึ่งพาในระดับท้องถิ่นในที่นี้

สมมติว่า${\displaystyle W=\sum _{i=1}^{n}X_{i}}$เป็นผลรวมของตัวแปรสุ่ม โดยที่${\displaystyle E[W]=0}$และความแปรปรวน${\displaystyle \operatorname {var} [W]=1}$สมมติว่าสำหรับทุกๆ${\displaystyle i=1,\dots ,n}$มีชุดหนึ่ง${\displaystyle A_{i}\subset \{1,2,\dots ,n\}}$โดยที่${\displaystyle X_{i}}$เป็นอิสระจากตัวแปรสุ่มทั้งหมด${\displaystyle X_{j}}$กับ${\displaystyle j\not \in A_{i}}$เราเรียกเซตนี้ว่า 'ย่านใกล้เคียง' ของ${\displaystyle X_{i}}$ในทำนองเดียวกัน ให้${\displaystyle B_{i}\subset \{1,2,\dots ,n\}}$เป็นเซตที่มีคุณสมบัติว่าทั้งหมด${\displaystyle X_{j}}$กับ${\displaystyle j\in A_{i}}$เป็นอิสระจากทุกสิ่ง${\displaystyle X_{k}}$,${\displaystyle k\not \in B_{i}}$เราสามารถนึกถึง... ${\displaystyle B_{i}}$ในฐานะเพื่อนบ้านในละแวกนั้น${\displaystyle X_{i}}$กล่าวอีกนัยหนึ่งคือ เป็นย่านใกล้เคียงลำดับที่สอง สำหรับเซตหนึ่ง${\displaystyle A\subset \{1,2,\dots ,n\}}$กำหนดผลรวมในตอนนี้${\displaystyle X_{A}:=\sum _{j\in A}X_{j}}$.

โดยใช้การกระจายอนุกรมเทย์เลอร์ เราสามารถพิสูจน์ได้ว่า

${\displaystyle (6.1)\quad \left|E(f'(W)-Wf(W))\right|\leq \|f''\|_{\infty }\sum _{i=1}^{n}\left({\frac {1}{2}}E|X_{i}X_{A_{i}}^{2}|+E|X_{i}X_{A_{i}}X_{B_{i}\setminus A_{i}}|+E|X_{i}X_{A_{i}}|E|X_{B_{i}}|\right)}$

โปรดทราบว่า หากเราปฏิบัติตามแนวทางการให้เหตุผลนี้ เราสามารถจำกัด (1.1) ได้เฉพาะสำหรับฟังก์ชันที่${\displaystyle \|h'\|_{\infty }}$มีขอบเขตเนื่องจากความไม่เท่าเทียมกันที่สามของ (5.2) (และในความเป็นจริง ถ้า${\displaystyle h}$มีจุดไม่ต่อเนื่อง ดังนั้นก็จะ${\displaystyle f''}$) เพื่อให้ได้ขอบเขตที่คล้ายกับ (6.1) ซึ่งมีเฉพาะนิพจน์เท่านั้น${\displaystyle \|f\|_{\infty }}$และ${\displaystyle \|f'\|_{\infty }}$การโต้แย้งมีความซับซ้อนมากขึ้นและผลลัพธ์ก็ไม่ง่ายเหมือน (6.1) อย่างไรก็ตาม สามารถทำได้

ทฤษฎีบท ก . ถ้า${\displaystyle W}$ตามที่อธิบายไว้ข้างต้น เรามีเมตริกลิปชิตซ์${\displaystyle d_{W}}$ที่

${\displaystyle (6.2)\quad d_{W}({\mathcal {L}}(W),N(0,1))\leq 2\sum _{i=1}^{n}\left({\frac {1}{2}}E|X_{i}X_{A_{i}}^{2}|+E|X_{i}X_{A_{i}}X_{B_{i}\setminus A_{i}}|+E|X_{i}X_{A_{i}}|E|X_{B_{i}}|\right).}$

พิสูจน์จำไว้ว่าเมตริกลิปชิตซ์มีรูปแบบ (1.1) โดยที่ฟังก์ชัน${\displaystyle h}$เป็นฟังก์ชันลิปชิตซ์ต่อเนื่องที่มีค่าคงที่ลิปชิตซ์เท่ากับ 1 ดังนั้น${\displaystyle \|h'\|\leq 1}$การรวมสิ่งนี้เข้ากับ (6.1) และขอบเขตสุดท้ายใน (5.2) จะพิสูจน์ทฤษฎีบทได้

ดังนั้น โดยคร่าวๆ แล้ว เราได้พิสูจน์แล้วว่า ในการคำนวณระยะทางลิปชิตซ์ระหว่าง${\displaystyle W}$ด้วยโครงสร้างการพึ่งพาในระดับท้องถิ่นและการแจกแจงแบบปกติมาตรฐาน เราจึงจำเป็นต้องทราบเพียงโมเมนต์ที่สามของ${\displaystyle X_{i}}$และขนาดของย่านต่างๆ${\displaystyle A_{i}}$และ${\displaystyle B_{i}}$.

เราสามารถใช้ ทฤษฎีบท A ในการจัดการกรณีผลรวมของตัวแปรสุ่มอิสระที่มีการแจกแจงเหมือนกันได้

สมมติว่า${\displaystyle EX_{i}=0}$,${\displaystyle \operatorname {var} X_{i}=1}$และ${\displaystyle W=n^{-1/2}\sum X_{i}}$เราสามารถนำไปได้${\displaystyle A_{i}=B_{i}=\{i\}}$จากทฤษฎีบท A เราจะได้ว่า

${\displaystyle (7.1)\quad d_{W}({\mathcal {L}}(W),N(0,1))\leq {\frac {5E|X_{1}|^{3}}{n^{1/2}}}.}$

สำหรับผลรวมของตัวแปรสุ่ม วิธีการอีกวิธีหนึ่งที่เกี่ยวข้องกับวิธีของสไตน์เรียกว่าการแปลงไบแอสศูนย์ (zero bias transform )