ทฤษฎีสารสนเทศ
เอนโทรปี เอนโทรปีเชิงอนุพันธ์ เอนโทรปีแบบมีเงื่อนไข เอนโทรปีร่วม ข้อมูลร่วมกัน ข้อมูลกำกับ ข้อมูลร่วมกันแบบมีเงื่อนไข เอนโทรปีสัมพัทธ์ อัตราเอนโทรปี การจำกัดความหนาแน่นของจุดแยกจากกัน
คุณสมบัติการแบ่งส่วนแบบอะซิมโทติก ทฤษฎีอัตราการบิดเบือน
ทฤษฎีบทการเข้ารหัสต้นฉบับของแชนนอน ความจุของช่องสัญญาณ ทฤษฎีบทการเข้ารหัสช่องสัญญาณรบกวน ทฤษฎีบทแชนนอน–ฮาร์ตลีย์
วี ที อี

ในทฤษฎีคณิตศาสตร์ของความน่าจะเป็นอัตราเอนโทรปีหรืออัตราข้อมูลต้นทางเป็นฟังก์ชันที่กำหนด เอน โทร ปีให้กับกระบวนการสุ่ม

สำหรับกระบวนการที่นิ่งอย่างยิ่งเอนโทรปีแบบมีเงื่อนไขสำหรับตัวแปรสุ่มล่าสุดจะโน้มไปทางค่าอัตราในที่สุด

กระบวนการที่มี ดัชนี นับได้จะก่อให้เกิดลำดับของเอนโทรปีร่วมหากมีขีดจำกัด อัตราเอนโทรปีจะถูกกำหนดเป็น ${\displaystyle X}$ ${\displaystyle H_{n}(X_{1},X_{2},\จุด X_{n})}$

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

โปรดสังเกตว่าเมื่อกำหนดลำดับใดๆที่มีและ กำหนดให้โดยการยืด หด จะได้ดังนั้น อัตราเอนโทรปีจึงคำนวณค่าเฉลี่ยของการเปลี่ยนแปลงเอนโทรปีครั้งแรก โดยมีค่าเป็นอนันต์การเปลี่ยนแปลงเอนโทรปีที่ th ก็คือเอนโทรปีแบบมีเงื่อนไขดังนั้น อัตราเอนโทรปีจึงเป็นค่าเฉลี่ยของเอนโทรปีของการแจกแจงของ ตัวแปรที่ th เมื่อทราบค่าก่อนหน้า พฤติกรรมของเอนโทรปีร่วมจากดัชนีหนึ่งไปยังดัชนีถัดไปยังขึ้นอยู่กับลักษณะ เฉพาะ บางประการ ของเอนโทรปีอย่างชัดเจน${\displaystyle (a_{n})_{n}}$${\displaystyle a_{0}=0}$${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\เดลต้า a_{k}}$${\displaystyle n}$${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle H(X_{n}|X_{n-1},X_{n-2},...)}$${\displaystyle n}$

แม้ว่าอาจเข้าใจได้ว่าเป็นลำดับของตัวแปรสุ่ม แต่ค่าอัตราเอนโทรปีแสดงถึงการเปลี่ยนแปลงเอนโทรปีโดยเฉลี่ยต่อตัวแปรสุ่มหนึ่งตัวในระยะยาว ${\displaystyle X}$${\displaystyle H(X)}$

สามารถคิดได้ว่าเป็นคุณสมบัติทั่วไปของแหล่งสุ่ม ซึ่งเป็นหัวข้อของคุณสมบัติการแบ่งส่วนเท่ากันแบบไม่แสดงอาการ

กระบวนการสุ่มยังก่อให้เกิดลำดับของเอนโทรปีแบบมีเงื่อนไข ซึ่งประกอบด้วยตัวแปรสุ่มมากขึ้นเรื่อยๆ สำหรับกระบวนการสุ่มแบบคงที่อย่างยิ่ง อัตราเอนโทรปีจะเท่ากับขีดจำกัดของลำดับนั้น

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

ปริมาณที่กำหนดโดยขีดจำกัดทางด้านขวายังแสดงด้วยซึ่งได้รับแรงกระตุ้นในระดับที่นี่ ซึ่งเป็นอัตราที่เกี่ยวข้องกับกระบวนการอีกครั้ง ในความหมายข้างต้น ${\displaystyle H'(X)}$

เนื่องจากกระบวนการสุ่มที่กำหนดโดยห่วงโซ่มาร์คอฟซึ่งลดไม่ได้และไม่เป็นระยะมีการแจกแจงแบบคงที่อัตราเอนโทรปีจึงไม่ขึ้นอยู่กับการแจกแจงเริ่มต้น

ตัวอย่างเช่น ลองพิจารณาห่วงโซ่มาร์คอฟที่นิยามจากจำนวนสถานะที่นับได้ โดยพิจารณาจาก เมทริกซ์การเปลี่ยนผ่านสุ่มทางขวา และเอนโทรปี ${\displaystyle P_{ij}}$

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

ที่เกี่ยวข้องกับแต่ละรัฐจะพบ

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}$

การกระจายตัวแบบอะซิมโทติกของโซ่ คือที่ไหน${\displaystyle \mu _{i}}$

โดยเฉพาะอย่างยิ่ง จะเห็นได้ว่าอัตราเอนโทรปีของกระบวนการสุ่มiid จะเท่ากับเอนโทรปีของสมาชิกแต่ละตัวในกระบวนการ

อัตราเอนโทรปีของแบบจำลองมาร์คอฟซ่อนเร้น (HMM) ยังไม่มีคำตอบในรูปแบบปิดที่ทราบแน่ชัด อย่างไรก็ตาม มีขอบเขตบนและขอบเขตล่างที่ทราบแน่ชัด ให้โซ่มาร์คอฟพื้นฐานอยู่นิ่ง และให้เป็นสถานะที่สังเกตได้ จากนั้นเราจะได้และ ที่ลิมิตของทั้งสองฝั่งบรรจบกันที่จุดกึ่งกลาง${\displaystyle X_{1:\infty }}$${\displaystyle Y_{1:\infty }}$$${\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}$$${\displaystyle n\to \infty }$

อัตราเอนโทรปีอาจใช้ในการประมาณความซับซ้อนของกระบวนการสุ่ม มีการใช้ในแอปพลิเคชันที่หลากหลาย ตั้งแต่การระบุลักษณะความซับซ้อนของภาษา การแยกแหล่งที่มาแบบบอด ไปจนถึงการปรับค่าควอนไทเซอร์และอัลกอริทึมการบีบอัดข้อมูลให้เหมาะสม ยกตัวอย่างเช่น เกณฑ์อัตราเอนโทรปีสูงสุดอาจใช้สำหรับการเลือกคุณลักษณะใน การเรียน รู้ของเครื่อง

• แหล่งข้อมูล (คณิตศาสตร์)
• แหล่งข้อมูลมาร์คอฟ
• คุณสมบัติการแบ่งส่วนแบบอะซิมโทติก
• การเดินสุ่มเอนโทรปีสูงสุด - เลือกเพื่อเพิ่มอัตราเอนโทรปีสูงสุด

• ปก, T. และ Thomas, J. องค์ประกอบของทฤษฎีสารสนเทศ. จอห์น ไวลีย์ แอนด์ ซันส์ อิงค์. ฉบับที่สอง, 2006