ทฤษฎีการประมาณค่า
ทฤษฎีการประมาณค่าเป็นสาขาหนึ่งของสถิติที่เกี่ยวข้องกับการประมาณค่าพารามิเตอร์โดยอาศัยข้อมูลเชิงประจักษ์ที่วัดได้ซึ่งมีองค์ประกอบแบบสุ่ม พารามิเตอร์อธิบายการตั้งค่าทางกายภาพพื้นฐานในลักษณะที่ค่าของพารามิเตอร์ ส่งผลต่อการกระจายของข้อมูลที่วัดได้ ตัวประมาณค่า พยายามประมาณค่าพารามิเตอร์ที่ไม่ทราบค่าโดยใช้การวัด ในทฤษฎีการประมาณค่า โดยทั่วไปจะพิจารณาสองแนวทาง: [ 1 ]
- วิธีการเชิงความน่าจะเป็น (ที่อธิบายไว้ในบทความนี้) ถือว่าข้อมูลที่วัดได้เป็นข้อมูลสุ่ม โดยมีการกระจายความน่าจะเป็นขึ้นอยู่กับพารามิเตอร์ที่สนใจ
- แนวทางการกำหนดสมาชิกภาพในเซตนั้นตั้งอยู่บนสมมติฐานที่ว่า เวกเตอร์ข้อมูลที่วัดได้เป็นสมาชิกของเซตซึ่งขึ้นอยู่กับเวกเตอร์พารามิเตอร์
ตัวอย่าง
ตัวอย่างเช่น ต้องการประมาณสัดส่วนของประชากรผู้มีสิทธิเลือกตั้งที่จะลงคะแนนให้ผู้สมัครคนใดคนหนึ่ง สัดส่วนนั้นคือพารามิเตอร์ที่ต้องการหา โดยการประมาณค่าจะอิงจากกลุ่มตัวอย่างผู้มีสิทธิเลือกตั้งแบบสุ่มขนาดเล็ก หรืออีกทางหนึ่ง ต้องการประมาณความน่าจะเป็นที่ผู้มีสิทธิเลือกตั้งจะลงคะแนนให้ผู้สมัครคนใดคนหนึ่ง โดยพิจารณาจากลักษณะทางประชากรศาสตร์บางประการ เช่น อายุ
หรือยกตัวอย่างเช่น ในระบบเรดาร์เป้าหมายคือการหาตำแหน่งหรือระยะทางของวัตถุ (เครื่องบิน เรือ ฯลฯ) โดยการวิเคราะห์เวลาการเดินทางไปกลับของคลื่นสะท้อนที่ได้รับจากคลื่นที่ส่งออกไป เนื่องจากคลื่นสะท้อนนั้นปนเปื้อนด้วยสัญญาณรบกวนทางไฟฟ้าอย่างหลีกเลี่ยงไม่ได้ ค่าที่วัดได้จึงกระจายตัวแบบสุ่ม ดังนั้นจึงต้องประมาณเวลาการเดินทาง
ยกตัวอย่างเช่น ในทฤษฎีการสื่อสารทางไฟฟ้า การวัดที่ประกอบด้วยข้อมูลเกี่ยวกับพารามิเตอร์ที่สนใจ มักจะเกี่ยวข้องกับสัญญาณรบกวน
พื้นฐาน
สำหรับแบบจำลองที่กำหนด จำเป็นต้องมี "ส่วนประกอบ" ทางสถิติหลายอย่างเพื่อให้สามารถใช้งานตัวประมาณค่าได้ ส่วนประกอบแรกคือตัวอย่างทางสถิติซึ่งเป็นชุดข้อมูลที่ได้จากเวกเตอร์สุ่ม (RV) ขนาดNโดยนำมาใส่ในเวก เตอร์ ประการที่สอง มีพารามิเตอร์ M ตัวซึ่งค่าของพารามิเตอร์เหล่านั้นจะต้องได้รับการประมาณค่า ประการที่สาม ฟังก์ชันความหนาแน่นความน่าจะ เป็นแบบต่อเนื่อง(pdf) หรือฟังก์ชันมวลความน่าจะเป็น แบบไม่ต่อเนื่อง (pmf) ของการแจกแจงพื้นฐานที่สร้างข้อมูลนั้น จะต้องระบุโดยมีเงื่อนไขตามค่าของพารามิเตอร์: นอกจากนี้ พารามิเตอร์เองก็อาจมีการกระจายความน่าจะเป็นได้เช่นกัน (เช่นสถิติแบบเบย์เซียน ) ในกรณีเช่นนี้ จำเป็นต้องกำหนดความน่าจะเป็นแบบเบย์เซียน หลังจากสร้างแบบจำลองแล้ว เป้าหมายต่อไปคือการประมาณค่าพารามิเตอร์ ซึ่งค่าประมาณเหล่านั้นมักจะแสดงด้วยสัญลักษณ์โดยที่ "หมวก" แสดงถึงค่าประมาณ
ตัวประมาณค่าที่ใช้กันทั่วไปอย่างหนึ่งคือ ตัวประมาณ ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยต่ำสุด (MMSE) ซึ่งใช้ค่าความคลาดเคลื่อนระหว่างค่าพารามิเตอร์ที่ประมาณได้กับค่าจริงของพารามิเตอร์ เพื่อเป็นพื้นฐานสำหรับความเหมาะสมที่สุด จากนั้นจึงยกกำลังสองค่าความคลาดเคลื่อนนี้ และ ลด ค่าคาดหวังของค่าที่ยกกำลังสองนี้ให้เหลือน้อยที่สุดสำหรับตัวประมาณค่า MMSE
ผู้ประเมิน
ตัวประมาณค่า (วิธีการประมาณค่า) ที่ใช้กันทั่วไปและหัวข้อที่เกี่ยวข้อง ได้แก่:
- ตัวประมาณค่าความน่าจะเป็นสูงสุด
- ตัวประมาณค่าแบบเบย์ส
- ตัวประมาณค่าด้วยวิธีโมเมนต์
- มุ่งหน้าสู่ Cramér–Rao
- กำลังสองน้อยที่สุด
- ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยต่ำสุด (MMSE) หรือที่รู้จักกันในชื่อ ค่าความคลาดเคลื่อนกำลังสองน้อยที่สุดของเบย์ส (BLSE)
- ค่าสูงสุดภายหลัง (MAP)
- ตัวประมาณค่าที่ไม่เอนเอียงที่มีความแปรปรวนต่ำสุด (MVUE)
- การระบุระบบไม่เชิงเส้น
- ตัวประมาณค่าเชิงเส้นที่ไม่เอนเอียงที่ดีที่สุด (สีน้ำเงิน)
- ตัวประมาณค่าที่ไม่เอนเอียง—ดูอคติของตัวประมาณค่า
- ตัวกรองอนุภาค
- มาร์คอฟเชน มอนเตคาร์โล (MCMC)
- ตัวกรอง Kalmanและอนุพันธ์ต่างๆ ของตัวกรอง Kalman
- ตัวกรองไวเนอร์
ตัวอย่าง
ค่าคงที่ที่ไม่ทราบค่าในสัญญาณรบกวนเกาส์เซียนสีขาวแบบบวก
พิจารณาสัญญาณแบบไม่ต่อเนื่องที่ ได้รับ, ของตัวอย่างอิสระที่ประกอบด้วยค่าคงที่ที่ไม่ทราบค่าโดยมีสัญญาณรบกวนเกาส์เซียนสีขาวแบบเพิ่ม (AWGN)โดยมีค่าเฉลี่ย เป็นศูนย์ และค่าความแปรปรวน ที่ทราบแล้ว( เช่น ,เนื่องจากทราบค่าความแปรปรวนแล้ว พารามิเตอร์ที่ไม่ทราบค่าเพียงอย่างเดียวคือ.
ดังนั้นแบบจำลองสำหรับสัญญาณจึงเป็นดังนี้
ตัวประมาณค่าที่เป็นไปได้สองตัว (จากหลายตัว) สำหรับพารามิเตอร์เป็น:
- ซึ่งก็คือค่าเฉลี่ยของตัวอย่าง
ตัวประมาณค่าทั้งสองนี้มีค่าเฉลี่ยเท่ากับซึ่งสามารถแสดงได้โดยการหาค่าเฉลี่ยของตัวประมาณแต่ละตัว และ
ณ จุดนี้ ตัวประมาณค่าทั้งสองดูเหมือนจะทำงานได้เหมือนกัน อย่างไรก็ตาม ความแตกต่างระหว่างพวกมันจะปรากฏชัดเจนเมื่อเปรียบเทียบค่าความแปรปรวน และ
ดูเหมือนว่าค่าเฉลี่ยของตัวอย่างจะเป็นตัวประมาณที่ดีกว่า เนื่องจากค่าความแปรปรวนของค่าเฉลี่ยจะต่ำกว่าสำหรับทุกค่า Nที่มากกว่า1
ความน่าจะเป็นสูงสุด
จากตัวอย่างการใช้ตัวประมาณค่าความน่าจะเป็นสูงสุดฟังก์ชันความหนาแน่นความน่าจะเป็น (pdf) ของสัญญาณรบกวนสำหรับตัวอย่างหนึ่งเป็น และความน่าจะเป็นของกลายเป็น (สามารถคิดได้ว่าเป็น) โดยความเป็นอิสระความน่าจะเป็นของกลายเป็น การหาค่าลอการิทึมธรรมชาติของฟังก์ชันความหนาแน่นความน่าจะเป็น และตัวประมาณค่าความน่าจะเป็นสูงสุดคือ
การหา อนุพันธ์อันดับแรกของฟังก์ชันลอการิทึมความน่าจะเป็น และตั้งค่าเป็นศูนย์
ผลลัพธ์ที่ได้คือตัวประมาณค่าความน่าจะเป็นสูงสุด ซึ่งก็คือค่าเฉลี่ยของตัวอย่างนั่นเอง จากตัวอย่างนี้ พบว่าค่าเฉลี่ยของตัวอย่างเป็นตัวประมาณค่าความน่าจะเป็นสูงสุดสำหรับตัวอย่างของพารามิเตอร์คงที่ที่ไม่ทราบค่าซึ่งถูกรบกวนด้วยสัญญาณรบกวนแบบ AWGN
ขอบล่างของ Cramér–Rao
ในการหาขอบเขตล่างของ Cramér–Rao (CRLB) ของตัวประมาณค่าเฉลี่ยตัวอย่าง จำเป็นต้องหา ค่า Fisher information number ก่อน และคัดลอกจากด้านบน
การหาอนุพันธ์อันดับสอง และการหาค่าคาดหวังที่เป็นลบนั้นเป็นเรื่องง่าย เนื่องจากตอนนี้มันเป็นค่าคงที่ที่แน่นอนแล้ว
สุดท้ายนี้ นำข้อมูลของฟิชเชอร์มาใส่ลงไป ส่งผลให้
เมื่อเปรียบเทียบกับความแปรปรวนของค่าเฉลี่ยตัวอย่าง (ที่คำนวณไว้ก่อนหน้านี้) จะเห็นได้ว่าค่าเฉลี่ยตัวอย่างเท่ากับขอบเขตล่างของ Cramér–Rao สำหรับทุกค่าของและกล่าวอีกนัยหนึ่ง ค่าเฉลี่ยของตัวอย่างคือตัวประมาณค่าที่มีประสิทธิภาพ (ซึ่งจำเป็นต้องมีเพียงหนึ่งเดียว) และด้วยเหตุนี้จึงเป็นตัวประมาณค่าที่ไม่เอนเอียงที่มีความแปรปรวนต่ำสุด (MVUE) นอกเหนือจากการเป็นตัวประมาณค่าความน่าจะเป็นสูงสุด ด้วย
ค่าสูงสุดของการแจกแจงแบบสม่ำเสมอ
หนึ่งในตัวอย่างที่ง่ายที่สุดแต่มีความสำคัญของการประมาณค่าคือ การประมาณค่าสูงสุดของการแจกแจงแบบเอกรูป ตัวอย่างนี้ใช้เป็นแบบฝึกหัดในห้องเรียนและเพื่อแสดงให้เห็นถึงหลักการพื้นฐานของทฤษฎีการประมาณค่า นอกจากนี้ ในกรณีของการประมาณค่าโดยใช้ตัวอย่างเพียงตัวเดียว มันยังแสดงให้เห็นถึงประเด็นเชิงปรัชญาและความเข้าใจผิดที่อาจเกิดขึ้นในการใช้ ตัวประมาณค่า ความน่าจะเป็นสูงสุดและฟังก์ชันความน่าจะเป็น
กำหนดให้เป็นการแจกแจงแบบเอกรูปไม่ต่อเนื่องในกรณีที่ค่าสูงสุดไม่ทราบ ค่า ตัวประมาณค่า UMVUสำหรับค่าสูงสุดจะกำหนดโดย โดยที่mคือค่าสูงสุดของตัวอย่างและkคือขนาดของตัวอย่างการสุ่มตัวอย่างโดยไม่ใส่คืน[ 2 ] [ 3 ]ปัญหานี้เป็นที่รู้จักกันทั่วไปในชื่อปัญหาของรถถังเยอรมันเนื่องจากการประยุกต์ใช้การประมาณค่าสูงสุดในการประมาณการผลิตรถถังเยอรมันในช่วงสงครามโลกครั้งที่ 2
สูตรนี้สามารถเข้าใจได้โดยสัญชาตญาณดังนี้;
ช่องว่างที่เพิ่มเข้ามาเพื่อชดเชยอคติเชิงลบของค่าสูงสุดของตัวอย่างในฐานะตัวประมาณค่าสูงสุดของประชากร[หมายเหตุ 1 ]
สิ่งนี้มีความแปรปรวนของ[ 2 ] ดังนั้นค่าเบี่ยงเบนมาตรฐานโดยประมาณคือขนาดเฉลี่ยของช่องว่างระหว่างตัวอย่าง (ในประชากร) เปรียบเทียบด้านบน สามารถมองได้ว่าเป็นกรณีง่ายๆ ของ การ ประมาณระยะห่างสูงสุด
ค่าสูงสุดของตัวอย่างเป็น ตัวประมาณค่า ความน่าจะเป็นสูงสุดสำหรับค่าสูงสุดของประชากร แต่ดังที่ได้กล่าวไว้ข้างต้น ตัวประมาณค่านี้มีอคติ
แอปพลิเคชัน
ทฤษฎีการประมาณค่าจำเป็นต้องใช้ในหลายสาขา ตัวอย่างเช่น:
- การตีความผลการทดลอง ทางวิทยาศาสตร์
- การประมวลผลสัญญาณ
- การทดลองทางคลินิก
- ผลสำรวจความคิดเห็น
- การควบคุมคุณภาพ
- โทรคมนาคม
- การบริหารโครงการ
- วิศวกรรมซอฟต์แวร์
- ทฤษฎีการควบคุม (โดยเฉพาะการควบคุมแบบปรับตัว )
- ระบบตรวจจับการบุกรุกเครือข่าย
- การกำหนดวงโคจร
ข้อมูลที่วัดได้มีแนวโน้มที่จะมีสัญญาณรบกวนหรือความไม่แน่นอน และการใช้หลักความน่าจะ เป็นทางสถิติ จะช่วยให้สามารถหาทางออกที่ดีที่สุด เพื่อดึง ข้อมูล ที่เป็นประโยชน์ออกมาให้ได้มาก ที่สุด
ดูเพิ่มเติม
- ตัวประมาณค่าเชิงเส้นที่ไม่เอนเอียงที่ดีที่สุด (สีน้ำเงิน)
- ความครบถ้วน (สถิติ)
- ทฤษฎีการตรวจจับ
- ประสิทธิภาพ (สถิติ)
- อัลกอริทึมการคาดการณ์และการทำให้สูงสุด (EM algorithm)
- ปัญหาเฟอร์มิ
- แบบจำลองกล่องสีเทา
- ทฤษฎีสารสนเทศ
- การวิเคราะห์สเปกตรัมกำลังสองน้อยที่สุด
- ตัวกรองที่ตรงกัน
- การประมาณสเปกตรัมเอนโทรปีสูงสุด
- พารามิเตอร์ที่ก่อกวน
- สมการพาราเมตริก
- หลักการพาเรโต
- กฎสามข้อ (ทางสถิติ)
- ตัวประมาณสถานะ
- การประมวลผลสัญญาณทางสถิติ
- ความเพียงพอ (สถิติ)
หมายเหตุ
- ↑ค่าสูงสุดของตัวอย่างจะไม่เกินค่าสูงสุดของประชากร แต่สามารถน้อยกว่าได้ ดังนั้นจึงเป็นตัวประมาณค่าที่ไม่เป็นกลาง กล่าวคือ จะมีแนวโน้มที่จะประมาณค่าสูงสุดของประชากรต่ำกว่าความเป็นจริง