ตัวประมาณค่าคงที่

ในทางสถิติแนวคิดของการเป็นตัวประมาณค่าที่ไม่เปลี่ยนแปลง (invariant estimator)เป็นเกณฑ์ที่สามารถใช้เปรียบเทียบคุณสมบัติของตัวประมาณค่า ต่างๆ สำหรับปริมาณเดียวกันได้ เป็นวิธีหนึ่งในการทำให้แนวคิดที่ว่าตัวประมาณค่าควรมีคุณสมบัติที่น่าสนใจบางอย่างเป็นรูปธรรม โดยทั่วไปแล้ว คำว่า "ไม่เปลี่ยนแปลง" หมายความว่าค่าประมาณจะไม่เปลี่ยนแปลงเมื่อทั้งการวัดและพารามิเตอร์ถูกแปลงในลักษณะที่เข้ากันได้ แต่ความหมายได้ขยายออกไปเพื่อให้ค่าประมาณสามารถเปลี่ยนแปลงได้อย่างเหมาะสมเมื่อมีการแปลงดังกล่าว^{[ 1 ]}คำว่าตัวประมาณค่าที่เท่ากัน (equivariant estimator)ใช้ในบริบททางคณิตศาสตร์ที่เป็นทางการซึ่งรวมถึงคำอธิบายที่แม่นยำเกี่ยวกับความสัมพันธ์ของวิธีที่ตัวประมาณค่าเปลี่ยนแปลงไปตามการเปลี่ยนแปลงของชุดข้อมูลและการกำหนดพารามิเตอร์ ซึ่งสอดคล้องกับการใช้คำว่า " ความเท่ากัน " (equivariance) ในคณิตศาสตร์ทั่วไป

ในการอนุมานทางสถิติมีแนวทางทฤษฎีการประมาณ ค่าหลายแนวทาง ที่สามารถใช้ตัดสินใจได้ทันทีว่าควรใช้ตัวประมาณค่าใดตามแนวทางเหล่านั้น ตัวอย่างเช่น แนวคิดจากการอนุมานแบบเบย์เซียนจะนำไปสู่ตัวประมาณค่าแบบเบย์เซียน โดยตรง ในทำนองเดียวกัน ทฤษฎีการอนุมานทางสถิติแบบคลาสสิกบางครั้งก็สามารถนำไปสู่ข้อสรุปที่ชัดเจนเกี่ยวกับตัวประมาณค่าที่ควรใช้ อย่างไรก็ตาม ประโยชน์ของทฤษฎีเหล่านี้ขึ้นอยู่กับการมีแบบจำลองทางสถิติ ที่กำหนดไว้อย่างครบถ้วน และอาจขึ้นอยู่กับการมีฟังก์ชันความสูญเสียที่เกี่ยวข้องเพื่อกำหนดตัวประมาณค่า ดังนั้นการวิเคราะห์แบบเบย์เซียนอาจดำเนินการได้ ซึ่งนำไปสู่การแจกแจงความน่าจะเป็นภายหลังสำหรับพารามิเตอร์ที่เกี่ยวข้อง แต่การใช้ฟังก์ชันอรรถประโยชน์หรือฟังก์ชันความสูญเสียเฉพาะอาจไม่ชัดเจน แนวคิดเรื่องความไม่แปรเปลี่ยนจึงสามารถนำมาใช้ในการสรุปการแจกแจงความน่าจะเป็นภายหลังได้ ในกรณีอื่นๆ การวิเคราะห์ทางสถิติจะดำเนินการโดยไม่มีแบบจำลองทางสถิติที่กำหนดไว้อย่างครบถ้วน หรือทฤษฎีการอนุมานทางสถิติแบบคลาสสิกไม่สามารถนำมาใช้ได้โดยง่าย เนื่องจากตระกูลของแบบจำลองที่กำลังพิจารณานั้นไม่เหมาะสมกับการดำเนินการดังกล่าว นอกเหนือจากกรณีที่ทฤษฎีทั่วไปไม่ได้กำหนดตัวประมาณค่าไว้แล้ว แนวคิดเรื่องความไม่เปลี่ยนแปลงของตัวประมาณค่าสามารถนำมาใช้ได้เมื่อต้องการหาตัวประมาณค่าในรูปแบบอื่น ไม่ว่าจะเป็นเพื่อความง่ายในการใช้งานตัวประมาณค่า หรือเพื่อให้ตัวประมาณค่ามีความ แข็งแกร่ง

แนวคิดเรื่องความไม่เปลี่ยนแปลงบางครั้งถูกนำมาใช้เพียงอย่างเดียวในการเลือกตัวประมาณค่า แต่ก็ไม่ได้หมายความว่าจะเป็นข้อสรุปที่เด็ดขาดเสมอไป ตัวอย่างเช่น ข้อกำหนดเรื่องความไม่เปลี่ยนแปลงอาจไม่สอดคล้องกับข้อกำหนดที่ว่าตัวประมาณค่าต้องไม่เอนเอียงไปทางค่าเฉลี่ยในทางกลับกัน เกณฑ์เรื่องความไม่เอนเอียงไปทาง ค่ามัธยฐานนั้น ถูกกำหนดขึ้นจากลักษณะการแจกแจงตัวอย่าง ของตัวประมาณค่า ดังนั้นจึงไม่เปลี่ยนแปลงภายใต้การแปลงหลายรูปแบบ

การประยุกต์ใช้แนวคิดเรื่องความไม่เปลี่ยนแปลงอย่างหนึ่งคือ เมื่อมีการเสนอกลุ่มหรือตระกูลของตัวประมาณค่า และจำเป็นต้องเลือกสูตรเฉพาะจากกลุ่มเหล่านั้น วิธีการหนึ่งคือ การกำหนดคุณสมบัติความไม่เปลี่ยนแปลงที่เกี่ยวข้อง แล้วจึงหาสูตรภายในกลุ่มนั้นที่มีคุณสมบัติที่ดีที่สุด ซึ่งนำไปสู่สิ่งที่เรียกว่าตัวประมาณค่าความไม่เปลี่ยนแปลงที่เหมาะสมที่สุด

มีรูปแบบการแปลงหลายประเภทที่ควรพิจารณาเมื่อต้องจัดการกับตัวประมาณค่าที่ไม่เปลี่ยนแปลง แต่ละรูปแบบจะก่อให้เกิดกลุ่มของตัวประมาณค่าที่ไม่เปลี่ยนแปลงไปตามรูปแบบการแปลงเหล่านั้น

• ความไม่เปลี่ยนแปลงต่อการเลื่อน: ตามหลักการแล้ว ค่าประมาณของพารามิเตอร์ตำแหน่งควรไม่เปลี่ยนแปลงเมื่อมีการเลื่อนค่าข้อมูลอย่างง่าย หากค่าข้อมูลทั้งหมดเพิ่มขึ้นในปริมาณที่กำหนด ค่าประมาณควรเปลี่ยนแปลงในปริมาณเดียวกัน เมื่อพิจารณาการประมาณโดยใช้ค่าเฉลี่ยถ่วงน้ำหนักข้อกำหนดเรื่องความไม่เปลี่ยนแปลงนี้หมายความโดยทันทีว่าน้ำหนักควรรวมกันได้เท่ากับหนึ่ง แม้ว่าผลลัพธ์เดียวกันมักจะได้มาจากข้อกำหนดเรื่องความไม่ลำเอียง แต่การใช้ "ความไม่เปลี่ยนแปลง" ไม่จำเป็นต้องมีค่าเฉลี่ยและไม่ใช้การแจกแจงความน่าจะเป็นใดๆ เลย
• ความไม่แปรเปลี่ยนตามมาตราส่วน: โปรดทราบว่าหัวข้อเกี่ยวกับการไม่แปรเปลี่ยนของพารามิเตอร์มาตราส่วนของตัวประมาณค่านี้ ไม่ควรสับสนกับ ความไม่แปรเปลี่ยนตามมาตราส่วน โดยทั่วไป เกี่ยวกับพฤติกรรมของระบบภายใต้คุณสมบัติโดยรวม (ในทางฟิสิกส์)
• ความไม่แปรเปลี่ยนของการแปลงพารามิเตอร์: ในที่นี้ การแปลงจะใช้กับพารามิเตอร์เท่านั้น แนวคิดในที่นี้คือ โดยพื้นฐานแล้วการอนุมานแบบเดียวกันควรทำจากข้อมูลและแบบจำลองที่เกี่ยวข้องกับพารามิเตอร์ θ เช่นเดียวกับที่จะทำจากข้อมูลเดียวกันหากแบบจำลองใช้พารามิเตอร์ φ โดยที่ φ เป็นการแปลงแบบหนึ่งต่อหนึ่งของ θ, φ= h (θ) ตามความไม่แปรเปลี่ยนประเภทนี้ ผลลัพธ์จากตัวประมาณค่าที่ไม่แปรเปลี่ยนการแปลงควรมีความสัมพันธ์กันโดย φ= h (θ) ตัวประมาณค่าความน่าจะเป็นสูงสุดมีคุณสมบัตินี้เมื่อการแปลงเป็นแบบโมโนโทนิกแม้ว่าคุณสมบัติเชิงอะซิมโทติกของตัวประมาณค่าอาจไม่แปรเปลี่ยน แต่คุณสมบัติของตัวอย่างขนาดเล็กอาจแตกต่างกัน และจำเป็นต้องสร้างการแจกแจงเฉพาะ^{[ 2 ]}
• ความไม่เปลี่ยนแปลงภายใต้การเรียงสับเปลี่ยน: ในกรณีที่ชุดข้อมูลสามารถแสดงได้ด้วยแบบจำลองทางสถิติที่แสดงว่าข้อมูลเหล่านั้นเป็นผลลัพธ์จากตัวแปรสุ่มอิสระและมีการแจกแจงเหมือนกัน การกำหนดเงื่อนไขว่าตัวประมาณค่าใดๆ ของคุณสมบัติใดๆ ของการแจกแจงทั่วไปควรมีความไม่เปลี่ยนแปลงภายใต้การเรียงสับเปลี่ยนจึงเป็นเรื่องที่สมเหตุสมผล โดยเฉพาะอย่างยิ่ง ตัวประมาณค่าที่พิจารณาว่าเป็นฟังก์ชันของชุดข้อมูลนั้น จะต้องไม่เปลี่ยนแปลงหากมีการสลับตำแหน่งของข้อมูลภายในชุดข้อมูล

การรวมกันของคุณสมบัติการไม่เปลี่ยนแปลงเมื่อเรียงสับเปลี่ยนและการไม่เปลี่ยนแปลงเมื่อจัดตำแหน่ง เพื่อประมาณค่าพารามิเตอร์ตำแหน่งจาก ชุดข้อมูล ที่เป็นอิสระและมีการกระจายเหมือนกันโดยใช้ค่าเฉลี่ยถ่วงน้ำหนัก หมายความว่าน้ำหนักควรเท่ากันและรวมกันได้เท่ากับหนึ่ง แน่นอนว่า ตัวประมาณค่าอื่นๆ นอกเหนือจากค่าเฉลี่ยถ่วงน้ำหนักอาจเหมาะสมกว่า

ภายใต้เงื่อนไขนี้ เราจะได้รับชุดข้อมูลการวัดซึ่งมีข้อมูลเกี่ยวกับพารามิเตอร์ที่ไม่ทราบค่าการวัดเหล่านี้ถูกจำลองเป็นตัวแปรสุ่มเวกเตอร์ที่มีฟังก์ชันความหนาแน่นความน่าจะเป็นซึ่งขึ้นอยู่กับเวกเตอร์พารามิเตอร์ ${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$${\displaystyle f(x|\theta )}$${\displaystyle \theta }$

ปัญหาคือการประมาณ ค่าที่กำหนด ให้ ค่าประมาณซึ่งแทนด้วยเป็นฟังก์ชันของการวัดและอยู่ในเซตคุณภาพของผลลัพธ์ถูกกำหนดโดยฟังก์ชันความสูญเสียซึ่งกำหนดฟังก์ชันความเสี่ยงเซตของค่าที่เป็นไปได้ของ, , และแทนด้วย, , และตามลำดับ ${\displaystyle \theta }$${\displaystyle x}$${\displaystyle a}$${\displaystyle A}$${\displaystyle L=L(a,\theta )}$${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle a}$${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle A}$

ในการจำแนกประเภททางสถิติกฎที่กำหนดคลาสให้กับข้อมูลใหม่สามารถพิจารณาได้ว่าเป็นตัวประมาณค่าชนิดพิเศษ สามารถนำข้อพิจารณาประเภทความไม่เปลี่ยนแปลงหลายประการมาใช้ในการกำหนดความรู้เบื้องต้นสำหรับการจดจำรูปแบบได้

ตัวประมาณค่าที่ไม่เปลี่ยนแปลง คือตัวประมาณค่าที่ปฏิบัติตามกฎสองข้อต่อไปนี้:

1. หลักการคงสภาพอย่างมีเหตุผล: การกระทำที่เกิดขึ้นในปัญหาการตัดสินใจไม่ควรขึ้นอยู่กับการเปลี่ยนแปลงของการวัดที่ใช้
2. หลักการไม่เปลี่ยนแปลง: หากปัญหาการตัดสินใจสองปัญหามีโครงสร้างเชิงรูปแบบที่เหมือนกัน (ในแง่ของ, , และ) แล้วควรใช้กฎการตัดสินใจเดียวกันในแต่ละปัญหา${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle f(x|\theta )}$${\displaystyle L}$

ในการกำหนดนิยามตัวประมาณค่าคงที่หรือตัวประมาณค่าสมดุลอย่างเป็นทางการ จำเป็นต้องมีนิยามบางอย่างที่เกี่ยวข้องกับกลุ่มของการแปลงก่อน ให้แทนเซตของตัวอย่างข้อมูลที่เป็นไปได้กลุ่มของการแปลงของซึ่งจะใช้สัญลักษณ์ แทนคือเซตของการแปลงแบบ 1:1 และทั่วถึง (ที่วัดได้) ของไปยังตัวมันเอง ซึ่งเป็นไปตามเงื่อนไขต่อไปนี้: ${\displaystyle X}$${\displaystyle X}$${\displaystyle G}$${\displaystyle X}$

1. ถ้า เช่นนั้น${\displaystyle g_{1}\in G}$${\displaystyle g_{2}\in G}$${\displaystyle g_{1}g_{2}\in G\,}$
2. ถ้าเช่นนั้นโดยที่(นั่นคือ การแปลงแต่ละครั้งจะมีตัวผกผันภายในกลุ่ม)${\displaystyle g\in G}$${\displaystyle g^{-1}\in G}$${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$(กล่าวคือ มีการแปลงเอกลักษณ์)${\displaystyle e(x)=x\,}$

ชุดข้อมูลและในนั้นเทียบเท่ากันก็ต่อเมื่อสำหรับบางค่า จุดที่เทียบเท่ากันทั้งหมดจะก่อให้เกิดชั้นความเทียบเท่าชั้นความเทียบเท่าดังกล่าวเรียกว่าวงโคจร (ใน) วงโคจรคือเซตถ้าประกอบด้วยวงโคจรเพียงวงเดียวจะกล่าวได้ว่าเป็นแบบถ่ายทอด ${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle X}$${\displaystyle x_{1}=g(x_{2})}$${\displaystyle g\in G}$${\displaystyle X}$${\displaystyle x_{0}}$${\displaystyle X(x_{0})}$${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$${\displaystyle X}$${\displaystyle g}$

กล่าวได้ว่าตระกูลของความหนาแน่นนั้น ไม่เปลี่ยนแปลงภายใต้กลุ่ม ถ้าสำหรับทุก ๆและจะมีค่าเฉพาะตัวหนึ่งที่ทำให้มีความหนาแน่นจะใช้สัญลักษณ์แทน ${\displaystyle F}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle \theta \in \Theta }$${\displaystyle \theta ^{*}\in \Theta }$${\displaystyle Y=g(x)}$${\displaystyle f(y|\theta ^{*})}$${\displaystyle \theta ^{*}}$${\displaystyle {\bar {g}}(\theta )}$

ถ้าไม่เปลี่ยนแปลงภายใต้กลุ่มแล้วฟังก์ชันความสูญเสียจะกล่าวได้ว่าไม่เปลี่ยนแปลงภายใต้ถ้าสำหรับทุกและจะมีอยู่จริงที่ทำให้สำหรับทุกค่าที่แปลงแล้วจะถูกแทนด้วย ${\displaystyle F}$${\displaystyle G}$${\displaystyle L(\theta ,a)}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle a\in A}$${\displaystyle a^{*}\in A}$${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$${\displaystyle \theta \in \Theta }$${\displaystyle a^{*}}$${\displaystyle {\tilde {g}}(a)}$

ในข้างต้นเป็นกลุ่มของการแปลงจากไปเป็นตัวมันเอง และเป็นกลุ่มของการแปลงจากไปเป็นตัวมันเอง ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$${\displaystyle \Theta }$${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$${\displaystyle A}$

ปัญหาการประมาณค่าจะไม่เปลี่ยนแปลง (คงที่) หากมีกลุ่มสามกลุ่มตามที่นิยามไว้ข้างต้น ${\displaystyle G}$${\displaystyle G,{\bar {G}},{\tilde {G}}}$

สำหรับปัญหาการประมาณค่าที่ไม่เปลี่ยนแปลงภายใต้ ตัวประมาณค่าจะเป็นตัวประมาณค่าที่ไม่เปลี่ยนแปลงภายใต้ถ้าสำหรับทุกและ, ${\displaystyle G}$${\displaystyle \delta (x)}$${\displaystyle G}$${\displaystyle x\in X}$${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

1. ฟังก์ชันความเสี่ยงของตัวประมาณค่าที่ไม่เปลี่ยนแปลงมีค่าคงที่บนวงโคจรของ หรือเทียบเท่าสำหรับทุกและ.${\displaystyle \delta }$${\displaystyle \Theta }$${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$${\displaystyle \theta \in \Theta }$${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. ฟังก์ชันความเสี่ยงของตัวประมาณค่าแบบไม่เปลี่ยนแปลงที่มีคุณสมบัติการถ่ายทอดจะเป็นค่าคงที่${\displaystyle {\bar {g}}}$

สำหรับปัญหาที่กำหนด ตัวประมาณค่าคงที่ที่มีความเสี่ยงต่ำที่สุดเรียกว่า "ตัวประมาณค่าคงที่ที่ดีที่สุด" อย่างไรก็ตาม ไม่สามารถหาตัวประมาณค่าคงที่ที่ดีที่สุดได้เสมอไป กรณีพิเศษที่สามารถหาได้คือกรณีที่สมบัติการถ่ายทอด (transitive) ${\displaystyle {\bar {g}}}$

สมมติว่าเป็นพารามิเตอร์ตำแหน่ง ถ้าความหนาแน่นของอยู่ในรูปแบบสำหรับและปัญหาจะไม่เปลี่ยนแปลงภายใต้ ตัวประมาณค่าที่ไม่เปลี่ยนแปลงในกรณีนี้ต้องเป็นไปตามเงื่อนไข ${\displaystyle \theta }$${\displaystyle X}$${\displaystyle f(x-\theta )}$${\displaystyle \Theta =A=\mathbb {R} ^{1}}$${\displaystyle L=L(a-\theta )}$${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

ดังนั้นจึงอยู่ในรูปแบบ( ) เป็นแบบถ่ายทอดบนดังนั้นความเสี่ยงจึงไม่เปลี่ยนแปลงตาม: นั่นคือ. ตัวประมาณค่าคงที่ที่ดีที่สุดคือตัวประมาณค่าที่ทำให้ความเสี่ยงต่ำสุด ${\displaystyle \delta (x)=x+K}$${\displaystyle K\in \mathbb {R} }$${\displaystyle {\bar {g}}}$${\displaystyle \Theta }$${\displaystyle \theta }$${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$${\displaystyle R(\theta ,\delta )}$

ในกรณีที่ L คือค่าความคลาดเคลื่อนกำลังสอง${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

ปัญหาการประมาณค่าคือมีความหนาแน่นโดยที่θคือพารามิเตอร์ที่จะประมาณค่า และฟังก์ชันความสูญเสียคือปัญหานี้ไม่เปลี่ยนแปลงภายใต้กลุ่มการแปลง (แบบบวก) ต่อไปนี้: ${\displaystyle X=(X_{1},\dots ,X_{n})}$${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

ตัวประมาณค่าคงที่ที่ดีที่สุดคือตัวประมาณค่าที่ทำให้ค่าต่ำสุด ${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

และนี่คือตัวประมาณค่าของพิตแมน (1939)

สำหรับกรณีการสูญเสียแบบกำลังสอง ผลลัพธ์คือ

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

ถ้า(เช่นการแจกแจงปกติหลายตัวแปรที่มีส่วนประกอบอิสระและมีค่าความแปรปรวนเท่ากับ 1) แล้ว ${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

ถ้า(ส่วนประกอบอิสระที่มีการกระจายแบบโคชีที่มีพารามิเตอร์มาตราส่วนσ ) แล้ว อย่างไรก็ตาม ผลลัพธ์คือ ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

กับ

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$