ความไม่เท่าเทียมกันของคัลแบ็ก
ในทฤษฎีสารสนเทศและสถิติอสมการของ Kullbackเป็นขอบเขตล่างของความแตกต่าง Kullback–Leiblerที่แสดงในรูปของฟังก์ชันอัตราเบี่ยงเบนขนาดใหญ่[ 1 ] ถ้าPและQเป็นการกระจายความน่าจะเป็นบนเส้นจำนวนจริงโดยที่Pมีความต่อเนื่องสัมบูรณ์เทียบกับQกล่าวคือP << Qและโมเมนต์แรกของมันมีอยู่จริง แล้ว ที่ไหนคือฟังก์ชันอัตรา ซึ่งก็คือค่าสังยุคนูนของ ฟังก์ชันสร้าง คุมู ลันต์ ของ, และเป็นช่วงเวลา แรก ของ
ขอบเขต Cramér –Raoเป็นผลลัพธ์ที่สืบเนื่องมาจากผลลัพธ์นี้
การพิสูจน์
ให้PและQเป็นการแจกแจงความน่าจะเป็น (การวัด) บนเส้นจำนวนจริง ซึ่งมีโมเมนต์อันดับแรกอยู่ และP << Q พิจารณาตระกูลเอกซ์โพเนนเชียลธรรมชาติของQที่กำหนดโดย สำหรับเซตที่วัดได้ทุกเซตAโดยที่คือฟังก์ชันสร้างโมเมนต์ของQ (โปรดทราบว่าQ = Q ) จากนั้น จากความไม่เท่าเทียมกันของกิบบส์เราจึงได้ดังนั้น เมื่อทำให้ด้านขวาง่ายขึ้น เราจะได้ว่า สำหรับทุกค่า θ จริง โดยที่ :) ที่ไหนคือโมเมนต์แรก หรือค่าเฉลี่ยของPและเรียกว่าฟังก์ชันสร้างคูมูลันต์การหา ค่า สูงสุด จะ ทำให้กระบวนการคอนจูเกชันแบบนูน เสร็จสมบูรณ์ และได้ฟังก์ชันอัตราดังนี้ :
บทสรุป: ขอบเขต Cramér–Rao
เริ่มต้นด้วยอสมการของคัลแบ็ก
ให้X เป็นตระกูลของการแจกแจงความน่าจะเป็นบนเส้นจำนวนจริงที่มีดัชนีเป็นพารามิเตอร์จริง θ และเป็นไปตามเงื่อนไขความสม่ำเสมอ บางประการ แล้ว
ที่ไหนคือคอนจูเกตแบบนูนของฟังก์ชันสร้างคูมูลันต์ของและเป็นช่วงเวลาแรกของ
ด้านซ้าย
ด้านซ้ายของอสมการนี้สามารถลดรูปได้ดังนี้: ซึ่งก็คือครึ่งหนึ่งของข้อมูลฟิชเชอร์ของพารามิเตอร์θ
ด้านขวา
ด้านขวาของอสมการสามารถพัฒนาได้ดังนี้: ค่าสูงสุดนี้เกิดขึ้นที่ค่าt = τ โดยที่อนุพันธ์อันดับแรกของฟังก์ชันสร้างคุมูลันต์คือแต่เรามีดังนั้น นอกจากนี้,
นำทั้งสองด้านกลับมาประกอบเข้าด้วยกัน
เรามี: ซึ่งสามารถจัดเรียงใหม่ได้ดังนี้:
ดูเพิ่มเติม
หมายเหตุและเอกสารอ้างอิง
- ↑ฟุคส์, ไอเม; เลตตา, จอร์จิโอ (1970) "L'inégalité de Kullback. Application à la théorie de l'estimation" . เซมิแนร์แห่งความน่าจะเป็นของสตราสบูร์ก เซมิแนร์เดอความน่าจะเป็น4 . สตราสบูร์ก: 108– 131