สมมติว่า{ P | θ ∈ Θ } เป็นแบบจำลองพาราเมตริกและX = ( X , …, X )คือข้อมูลที่สุ่มมาจากแบบจำลองนี้ ให้T = T ( X )เป็นตัวประมาณค่าสำหรับพารามิเตอร์θถ้าตัวประมาณค่านี้เป็นตัวประมาณค่าที่ไม่เอนเอียง (นั่นคือE[ T ] = θ ) แล้วอสมการ Cramér–Raoระบุว่าความแปรปรวนของตัวประมาณค่านี้มีขอบเขตล่าง:

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

ที่ไหน${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$คือเมทริกซ์ข้อมูลของฟิชเชอร์ของแบบจำลองที่จุดθโดยทั่วไป ความแปรปรวนจะวัดระดับการกระจายตัวของตัวแปรสุ่มรอบค่าเฉลี่ย ดังนั้น ตัวประมาณค่าที่มีความแปรปรวนน้อยจะมีความเข้มข้นมากกว่า และประมาณค่าพารามิเตอร์ได้แม่นยำกว่า เรากล่าวว่าตัวประมาณค่าเป็นตัวประมาณค่าที่มีประสิทธิภาพสำหรับตัวอย่างจำกัด (ในกลุ่มของตัวประมาณค่าที่ไม่เอนเอียง) หากถึงขอบล่างในอสมการ Cramér–Rao ข้างต้น สำหรับทุกθ ∈ Θตัวประมาณค่าที่มีประสิทธิภาพมักจะเป็นตัวประมาณค่าที่ไม่เอนเอียงที่มีความแปรปรวนต่ำสุดอย่างไรก็ตาม ในทางกลับกันนั้นไม่จริง มีปัญหาการประมาณค่าแบบจุดซึ่งตัวประมาณค่าที่ไม่เอนเอียงที่มีความแปรปรวนต่ำสุดไม่มีประสิทธิภาพ^{[ 6 ]}

ในอดีต ประสิทธิภาพในตัวอย่างขนาดจำกัดถือเป็นเกณฑ์การหาค่าเหมาะสมที่สุดในยุคแรกๆ อย่างไรก็ตาม เกณฑ์นี้มีข้อจำกัดบางประการ:

• ตัวประมาณค่าที่มีประสิทธิภาพสำหรับตัวอย่างจำกัดนั้นหายากมาก ในความเป็นจริง มีการพิสูจน์แล้วว่าการประมาณค่าที่มีประสิทธิภาพเป็นไปได้เฉพาะในตระกูลเอกซ์โพเนนเชียลและเฉพาะสำหรับพารามิเตอร์ตามธรรมชาติของตระกูลนั้นเท่านั้น^{[ 7 ]}
• แนวคิดเรื่องประสิทธิภาพนี้บางครั้งถูกจำกัดไว้เฉพาะกลุ่มของ ตัวประมาณค่า ที่ไม่เอนเอียง (บ่อยครั้งที่ไม่เป็นเช่นนั้น^{[ 8 ]} ) เนื่องจากไม่มีเหตุผลทางทฤษฎีที่ดีที่จะกำหนดให้ตัวประมาณค่าต้องไม่เอนเอียง ข้อจำกัดนี้จึงไม่สะดวก อันที่จริง หากเราใช้ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยเป็นเกณฑ์ในการเลือก ตัวประมาณค่าที่เอนเอียงหลายตัวจะทำงานได้ดีกว่าตัวประมาณค่าที่ไม่เอนเอียง "ที่ดีที่สุด" เล็กน้อย ตัวอย่างเช่น ในสถิติหลายตัวแปรสำหรับมิติที่สามขึ้นไป ตัวประมาณค่าที่ไม่เอนเอียงค่าเฉลี่ยค่าเฉลี่ยตัวอย่างถือว่าใช้ไม่ได้ไม่ว่าผลลัพธ์จะเป็นอย่างไร ประสิทธิภาพของมันแย่กว่าตัวประมาณค่า James–Steinเป็นต้น
• ประสิทธิภาพของตัวอย่างขนาดจำกัดนั้นพิจารณาจากค่าความแปรปรวน ซึ่งเป็นเกณฑ์ที่ใช้ในการตัดสินประสิทธิภาพของตัวประมาณค่า แนวทางที่ครอบคลุมกว่าคือการใช้ฟังก์ชันความสูญเสียที่ไม่ใช่ฟังก์ชันกำลังสอง ซึ่งในกรณีนี้จะไม่สามารถกำหนดประสิทธิภาพของตัวอย่างขนาดจำกัดได้อีกต่อไป

ตัวอย่างเช่น ในบรรดารูปแบบที่พบได้ในทางปฏิบัติ มีตัวประมาณค่าที่มีประสิทธิภาพสำหรับ: ค่าเฉลี่ยμของการแจกแจงปกติ (แต่ไม่ใช่ค่าความแปรปรวนσ² ⁾ , พารามิเตอร์λของการแจกแจงปัวซง , และความน่าจะเป็นpในการแจกแจงทวินามหรือ พหุ นาม

พิจารณาแบบจำลองการแจกแจงปกติที่มีค่าเฉลี่ยไม่ทราบค่าแต่ความแปรปรวนทราบค่า: { P = N ( θ , σ ² ) | θ ∈ R }ข้อมูลประกอบด้วย การสังเกต อิสระและมีการแจกแจงเหมือนกันn ครั้ง จากแบบจำลองนี้: X = ( x , …, x )เราประมาณค่าพารามิเตอร์θโดยใช้ค่าเฉลี่ยตัวอย่างของการสังเกตทั้งหมด:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

ตัวประมาณค่านี้มีค่าเฉลี่ยθและความแปรปรวนσ² ^/ nซึ่งเท่ากับส่วนกลับของข้อมูลฟิชเชอร์จากตัวอย่าง ดังนั้น ค่าเฉลี่ยของตัวอย่างจึงเป็นตัวประมาณค่าที่มีประสิทธิภาพสำหรับค่าเฉลี่ยของการแจกแจงปกติในตัวอย่างขนาดจำกัด

พิจารณาตัวอย่างที่มีขนาด${\displaystyle N}$ดึงมาจากการแจกแจงปกติของค่าเฉลี่ย${\displaystyle \mu }$และความแปรปรวน ของหน่วย เช่น${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

ค่าเฉลี่ยของ ตัวอย่าง ,${\displaystyle {\overline {X}}}$ของตัวอย่าง${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$ซึ่งกำหนดไว้ดังนี้

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

ความแปรปรวนของค่าเฉลี่ย 1/ N (กำลังสองของค่าความคลาดเคลื่อนมาตรฐาน ) เท่ากับส่วนกลับของข้อมูลฟิชเชอร์จากตัวอย่าง ดังนั้น ตามอสมการของ Cramér–Raoค่าเฉลี่ยของตัวอย่างจึงมีประสิทธิภาพในแง่ที่ว่าประสิทธิภาพของมันเท่ากับหนึ่ง (100%)

ทีนี้ลองพิจารณาค่ามัธยฐานของตัวอย่างดู${\displaystyle {\widetilde {X}}}$นี่คือ ตัวประมาณค่าที่ ไม่ลำเอียงและสม่ำเสมอสำหรับ${\displaystyle \mu }$สำหรับขนาดใหญ่${\displaystyle N}$ค่ามัธยฐานของตัวอย่างมีการกระจายแบบปกติ โดยประมาณ โดยมีค่าเฉลี่ย${\displaystyle \mu }$และความแปรปรวน${\displaystyle {\pi }/{2N},}$^{[ 10 ]}

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

ประสิทธิภาพของค่ามัธยฐานสำหรับค่าขนาดใหญ่${\displaystyle N}$ดังนั้น

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

กล่าวอีกนัยหนึ่ง ความแปรปรวนสัมพัทธ์ของค่ามัธยฐานจะเป็นดังนี้${\displaystyle \pi /2\approx 1.57}$หรือมากกว่าความแปรปรวนของค่าเฉลี่ย 57% – ค่าความคลาดเคลื่อนมาตรฐานของค่ามัธยฐานจะมากกว่าค่าเฉลี่ย 25% ^{[ 11 ]}

โปรดทราบว่านี่คือประสิทธิภาพเชิงอะซิมโทติกซึ่งก็คือประสิทธิภาพในกรณีที่ขนาดตัวอย่างเพิ่มขึ้นอย่างจำกัด${\displaystyle N}$มีแนวโน้มเข้าสู่ค่าอนันต์ สำหรับค่าจำกัดของ${\displaystyle N,}$ประสิทธิภาพจะสูงกว่านี้ (ตัวอย่างเช่น ขนาดตัวอย่าง 3 จะให้ประสิทธิภาพประมาณ 74%)

ดังนั้น ค่าเฉลี่ยของตัวอย่างจึงมีประสิทธิภาพมากกว่าค่ามัธยฐานของตัวอย่างในตัวอย่างนี้ อย่างไรก็ตาม อาจมีมาตรวัดบางอย่างที่ค่ามัธยฐานมีประสิทธิภาพดีกว่า ตัวอย่างเช่น ค่ามัธยฐานมีความทนทานต่อค่าผิด ปกติมากกว่ามาก ดังนั้นหากแบบจำลองเกาส์เซียนไม่น่าเชื่อถือหรือเป็นเพียงค่าประมาณ การใช้ค่ามัธยฐานอาจมีข้อดี (ดูสถิติที่ทนทาน )

ในการประมาณค่าเฉลี่ยของตัวแปรที่ไม่สัมพันธ์กันและมีการกระจายเหมือนกัน เราสามารถใช้ประโยชน์จากข้อเท็จจริงที่ว่าความแปรปรวนของผลรวมคือผลรวมของความแปรปรวนในกรณีนี้ ประสิทธิภาพสามารถกำหนดได้เป็นกำลังสองของสัมประสิทธิ์ความแปรผันกล่าวคือ^{[ 13 ]}

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

ประสิทธิภาพเชิงสัมพัทธ์ของตัวประมาณค่าสองตัวดังกล่าว จึงสามารถตีความได้ว่าเป็นขนาดตัวอย่างเชิงสัมพัทธ์ของตัวประมาณค่าตัวหนึ่งที่จำเป็นเพื่อให้ได้ความแน่นอนของอีกตัวหนึ่ง พิสูจน์:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

ตอนนี้เพราะว่า${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$เรามี${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$ดังนั้น ประสิทธิภาพเชิงสัมพัทธ์จึงแสดงถึงขนาดตัวอย่างเชิงสัมพัทธ์ของตัวประมาณค่าตัวแรกที่จำเป็นเพื่อให้ตรงกับความแปรปรวนของตัวประมาณค่าตัวที่สอง

แม้ว่าประสิทธิภาพจะเป็นคุณสมบัติที่พึงประสงค์ของตัวประมาณค่า แต่ก็ต้องพิจารณาควบคู่ไปกับปัจจัยอื่นๆ ด้วย และตัวประมาณค่าที่มีประสิทธิภาพสำหรับบางการแจกแจงอาจไม่มีประสิทธิภาพสำหรับ1การแจกแจงอื่นๆ ที่สำคัญที่สุดคือ ตัวประมาณค่าที่มีประสิทธิภาพสำหรับข้อมูลที่สะอาดจากการแจกแจงแบบง่าย เช่น การแจกแจงปกติ (ซึ่งสมมาตร มีจุดสูงสุดเพียงจุดเดียว และมีหางบาง) อาจไม่ทนทานต่อการปนเปื้อนจากค่าผิดปกติ และอาจไม่มีประสิทธิภาพสำหรับการแจกแจงที่ซับซ้อนกว่า ในสถิติที่ทนทาน (robust statistics)จะให้ความสำคัญกับความทนทานและความสามารถในการประยุกต์ใช้กับการแจกแจงที่หลากหลายมากกว่าประสิทธิภาพในการแจกแจงเดียว ตัวประมาณค่าแบบM (M-estimators)เป็นกลุ่มของตัวประมาณค่าทั่วไปที่ได้รับแรงบันดาลใจจากความกังวลเหล่านี้ พวกมันสามารถออกแบบเพื่อให้ได้ทั้งความทนทานและประสิทธิภาพเชิงสัมพัทธ์สูง แม้ว่าอาจมีประสิทธิภาพต่ำกว่าตัวประมาณค่าแบบดั้งเดิมในบางกรณีก็ตาม อย่างไรก็ตาม พวกมันอาจมีความซับซ้อนในการคำนวณมาก

ทางเลือกแบบดั้งเดิมมากกว่าคือตัวประมาณค่า Lซึ่งเป็นสถิติที่ง่ายมาก คำนวณและตีความได้ง่าย ในหลายกรณีมีความแข็งแกร่ง และมักมีประสิทธิภาพเพียงพอสำหรับการประมาณค่าเริ่มต้น ดูการประยุกต์ใช้ตัวประมาณค่า Lสำหรับการอภิปรายเพิ่มเติม สถิติที่ไม่มีประสิทธิภาพในแง่นี้มีการกล่าวถึงโดยละเอียดในหนังสือThe Atomic Nucleusโดย RD Evans ซึ่งเขียนขึ้นก่อนการมาถึงของคอมพิวเตอร์ เมื่อการประมาณค่าเฉลี่ยเลขคณิตของชุดการวัดที่เรียงลำดับแล้วอย่างมีประสิทธิภาพก็เป็นเรื่องยาก^{[ 14 ]}