กลับไปหน้าบทความ

อ่าน 6 นาที

ไม่มีชื่อบทความ

ใน ทฤษฎีสารสนเทศ และ สถิติ อสมการ ของ Kullback เป็นขอบเขตล่างของ ความแตกต่าง Kullback–Leibler ที่แสดงในรูปของ ฟังก์ชันอัตรา เบี่ยง เบนขนาดใหญ่ [ 1 ] ถ้า P และ Q เป็นการ...

ความไม่เท่าเทียมกันของคัลแบ็ก

ในทฤษฎีสารสนเทศและสถิติอสมการของ Kullbackเป็นขอบเขตล่างของความแตกต่าง Kullback–Leiblerที่แสดงในรูปของฟังก์ชันอัตราเบี่ยงเบนขนาดใหญ่[ 1 ] ถ้าPและQเป็นการกระจายความน่าจะเป็นบนเส้นจำนวนจริงโดยที่Pมีความต่อเนื่องสัมบูรณ์เทียบกับQกล่าวคือP << Qและโมเมนต์แรกของมันมีอยู่จริง แล้ว   ดีเคแอล(พีคิว)Ψคิว*(μ1(พี)),{\displaystyle D_{KL}(P\parallel Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P)),} ที่ไหนΨคิว*{\displaystyle \Psi _{Q}^{*}}คือฟังก์ชันอัตรา ซึ่งก็คือค่าสังยุคนูนของ ฟังก์ชันสร้าง คุมู ลันต์ ของคิว{\displaystyle Q}, และμ1(พี){\displaystyle \mu '_{1}(P)}เป็นช่วงเวลา แรก ของพี.{\displaystyle P.}

ขอบเขต Cramér –Raoเป็นผลลัพธ์ที่สืบเนื่องมาจากผลลัพธ์นี้

การพิสูจน์

ให้PและQเป็นการแจกแจงความน่าจะเป็น (การวัด) บนเส้นจำนวนจริง ซึ่งมีโมเมนต์อันดับแรกอยู่ และP  << Q พิจารณาตระกูลเอกซ์โพเนนเชียลธรรมชาติของQที่กำหนดโดย คิวθ(เอ)=เออีθxคิว(x)อีθxคิว(x)=1เอ็มคิว(θ)เออีθxคิว(x){\displaystyle Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)} สำหรับเซตที่วัดได้ทุกเซตAโดยที่เอ็มคิว{\displaystyle M_{Q}}คือฟังก์ชันสร้างโมเมนต์ของQ (โปรดทราบว่าQ   = Q ) จากนั้น  ดีเคแอล(พีคิว)=ดีเคแอล(พีคิวθ)+การสนับสนุนพี(บันทึกคิวθคิว)พี.{\displaystyle D_{KL}(P\parallel Q)=D_{KL}(P\parallel Q_{\theta })+\int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.} จากความไม่เท่าเทียมกันของกิบบส์เราจึงได้ดีเคแอล(พีคิวθ)0{\displaystyle D_{KL}(P\ขนาน Q_{\theta })\geq 0}ดังนั้น ดีเคแอล(พีคิว)การสนับสนุนพี(บันทึกคิวθคิว)พี=การสนับสนุนพี(บันทึกอีθxเอ็มคิว(θ))พี(x){\displaystyle D_{KL}(P\parallel Q)\geq \int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\operatorname {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)} เมื่อทำให้ด้านขวาง่ายขึ้น เราจะได้ว่า สำหรับทุกค่า θ จริง โดยที่เอ็มคิว(θ)<:{\displaystyle M_{Q}(\theta )<\infty :) ดีเคแอล(พีคิว)μ1(พี)θΨคิว(θ),{\displaystyle D_{KL}(P\parallel Q)\geq \mu '_{1}(P)\theta -\Psi _{Q}(\theta ),} ที่ไหนμ1(พี){\displaystyle \mu '_{1}(P)}คือโมเมนต์แรก หรือค่าเฉลี่ยของPและΨคิว=บันทึกเอ็มคิว{\displaystyle \Psi _{Q}=\log M_{Q}}เรียกว่าฟังก์ชันสร้างคูมูลันต์การหา ค่า สูงสุด จะ ทำให้กระบวนการคอนจูเกชันแบบนูน เสร็จสมบูรณ์ และได้ฟังก์ชันอัตราดังนี้ : ดีเคแอล(พีคิว)จีบθ{μ1(พี)θΨคิว(θ)}=Ψคิว*(μ1(พี)).{\displaystyle D_{KL}(P\parallel Q)\geq \sup _{\theta }\left\{\mu '_{1}(P)\theta -\Psi _{Q}(\theta )\right\}=\Psi _{Q}^{*}(\mu '_{1}(P)).}

บทสรุป: ขอบเขต Cramér–Rao

เริ่มต้นด้วยอสมการของคัลแบ็ก

ให้X เป็นตระกูลของการแจกแจงความน่าจะเป็นบนเส้นจำนวนจริงที่มีดัชนีเป็นพารามิเตอร์จริง θ และเป็นไปตามเงื่อนไขความสม่ำเสมอ บางประการ แล้ว ลิมชม.0ดีเคแอล(Xθ+ชม.Xθ)ชม.2ลิมชม.0Ψθ*(μθ+ชม.)ชม.2,{\displaystyle \lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}\geq \lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},}

ที่ไหนΨθ*{\displaystyle \Psi _{\ทีต้า }^{*}}คือคอนจูเกตแบบนูนของฟังก์ชันสร้างคูมูลันต์ของXθ{\displaystyle X_{\theta }}และμθ+ชม.{\displaystyle \mu _{\theta +h}}เป็นช่วงเวลาแรกของXθ+ชม..{\displaystyle X_{\theta +h}.}

ด้านซ้าย

ด้านซ้ายของอสมการนี้สามารถลดรูปได้ดังนี้: ลิมชม.0ดีเคแอล(Xθ+ชม.Xθ)ชม.2=ลิมชม.01ชม.2บันทึก(Xθ+ชม.Xθ)Xθ+ชม.=ลิมชม.01ชม.2บันทึก(XθXθ+ชม.)Xθ+ชม.=ลิมชม.01ชม.2บันทึก(1(1XθXθ+ชม.))Xθ+ชม.=ลิมชม.01ชม.2[(1XθXθ+ชม.)+12(1XθXθ+ชม.)2+โอ((1XθXθ+ชม.)2)]Xθ+ชม.อนุกรมเทย์เลอร์สำหรับ บันทึก(1ที)=ลิมชม.01ชม.2[12(1XθXθ+ชม.)2]Xθ+ชม.=ลิมชม.01ชม.2[12(Xθ+ชม.XθXθ+ชม.)2]Xθ+ชม.=12ฉันX(θ){\displaystyle {\begin{aligned}\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left(1-\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\right)\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)+{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}+o\left(\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right)\right]\mathrm {d} X_{\theta +h}&&{\text{Taylor series for }}\log(1-t)\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left({\frac {\mathrm {d} X_{\theta +h}-\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&={\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\end{aligned}}} ซึ่งก็คือครึ่งหนึ่งของข้อมูลฟิชเชอร์ของพารามิเตอร์θ

ด้านขวา

ด้านขวาของอสมการสามารถพัฒนาได้ดังนี้: ลิมชม.0Ψθ*(μθ+ชม.)ชม.2=ลิมชม.01ชม.2จีบที{μθ+ชม.ทีΨθ(ที)}.{\displaystyle \lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\to 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.} ค่าสูงสุดนี้เกิดขึ้นที่ค่าt = τ โดยที่อนุพันธ์อันดับแรกของฟังก์ชันสร้างคุมูลันต์คือΨθ(τ)=μθ+ชม.,{\displaystyle \Psi '_{\theta }(\tau )=\mu _{\theta +h},}แต่เรามีΨθ(0)=μθ,{\displaystyle \Psi '_{\theta }(0)=\mu _{\theta },}ดังนั้น Ψθ"(0)=μθθลิมชม.0ชม.τ.{\displaystyle \Psi ''_{\theta }(0)={\frac {d\mu _{\theta }}{d\theta }}\lim _{h\to 0}{\frac {h}{\tau }}.} นอกจากนี้, ลิมชม.0Ψθ*(μθ+ชม.)ชม.2=12Ψθ"(0)(μθθ)2=12วาร์(Xθ)(μθθ)2.{\displaystyle \lim _{h\to 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.}

นำทั้งสองด้านกลับมาประกอบเข้าด้วยกัน

เรามี: 12ฉันX(θ)12วาร์(Xθ)(μθθ)2,{\displaystyle {\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\geq {\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2},} ซึ่งสามารถจัดเรียงใหม่ได้ดังนี้: วาร์(Xθ)(μθ/θ)2ฉันX(θ).{\displaystyle \operatorname {Var} (X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\mathcal {I}}_{X}(\theta )}}.}

ดูเพิ่มเติม

หมายเหตุและเอกสารอ้างอิง

  1. ฟุคส์, ไอเม; เลตตา, จอร์จิโอ (1970) "L'inégalité de Kullback. Application à la théorie de l'estimation" . เซมิแนร์แห่งความน่าจะเป็นของสตราสบูร์ก เซมิแนร์เดอความน่าจะเป็น4 . สตราสบูร์ก: 108– 131

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ไม่มีชื่อบทความ

ใน ทฤษฎีสารสนเทศ และ สถิติ อสมการ ของ Kullback เป็นขอบเขตล่างของ ความแตกต่าง Kullback–Leibler ที่แสดงในรูปของ ฟังก์ชันอัตรา เบี่ยง เบนขนาดใหญ่ [ 1 ] ถ้า P และ Q เป็นการ...

การพิสูจน์

ให้ P และ Q เป็นการ แจกแจงความน่าจะเป็น (การวัด) บนเส้นจำนวนจริง ซึ่งมีโมเมนต์อันดับแรกอยู่ และ P << Q พิจารณา ตระกูลเอกซ์โพเนนเชียลธรรมชาติ ของ Q ที่กำหนดโดย คิว θ ( เอ ) = ∫ เอ อี θ x คิว ( ง x ) ∫ − ∞ ∞ อี θ x คิว ( ง x ) = 1 เอ็ม คิว ( θ ) ∫ เอ อี θ x คิว...

เริ่มต้นด้วยอสมการของคัลแบ็ก

ให้ X เป็นตระกูลของการแจกแจงความน่าจะเป็นบนเส้นจำนวนจริงที่มีดัชนีเป็นพารามิเตอร์จริง θ และเป็นไปตาม เงื่อนไขความสม่ำเสมอ บางประการ แล้ว ลิม ชม. → 0 ดี เค แอล ( X θ + ชม. ∥ X θ ) ชม. 2 ≥ ลิม ชม. → 0 Ψ θ * ( μ θ + ชม. ) ชม.

ด้านซ้าย

ด้านซ้ายของอสมการนี้สามารถลดรูปได้ดังนี้: ลิม ชม. → 0 ดี เค แอล ( X θ + ชม. ∥ X θ ) ชม. 2 = ลิม ชม. → 0 1 ชม. 2 ∫ − ∞ ∞ บันทึก ⁡ ( ง X θ + ชม. ง X θ ) ง X θ + ชม. = − ลิม ชม. → 0 1 ชม. 2 ∫ − ∞ ∞ บันทึก ⁡ ( ง X θ ง X θ + ชม. ) ง X θ + ชม. = − ลิม ชม. → 0 1 ชม.