กลับไปหน้าบทความ

อ่าน 2 นาที

ความไม่เท่าเทียมกันในการประมวลผลข้อมูล

ต้นขั้ววิทยาการคอมพิวเตอร์/การประมวลผลข้อมูล

ความไม่เท่าเทียมกัน ของการประมวลผลข้อมูลเป็น แนวคิด ทางทฤษฎีสารสนเทศที่ระบุว่าเนื้อหาสารสนเทศของสัญญาณไม่สามารถเพิ่มขึ้นได้ผ่านการดำเนินการทางกายภาพเฉพาะที่...

ความไม่เท่าเทียมกันในการประมวลผลข้อมูล

ความไม่เท่าเทียมกัน ของการประมวลผลข้อมูลเป็น แนวคิด ทางทฤษฎีสารสนเทศที่ระบุว่าเนื้อหาสารสนเทศของสัญญาณไม่สามารถเพิ่มขึ้นได้ผ่านการดำเนินการทางกายภาพเฉพาะที่ ซึ่งสามารถแสดงได้อย่างกระชับว่า 'การประมวลผลภายหลังไม่สามารถเพิ่มสารสนเทศได้' [ 1 ]

คำแถลง

ให้ตัวแปรสุ่มสามตัวสร้างเป็นห่วงโซ่มาร์คอฟXวาย{\displaystyle X\rightarrow Y\rightarrow Z}ซึ่งหมายความว่าการแจกแจงแบบมีเงื่อนไขของ{\displaystyle Z}ขึ้นอยู่กับเท่านั้นวาย{\displaystyle Y}และเป็นอิสระแบบมีเงื่อนไขจากX{\displaystyle X}โดยเฉพาะอย่างยิ่ง เราจะมีห่วงโซ่มาร์คอฟดังกล่าว หากฟังก์ชันความน่าจะเป็นร่วมสามารถเขียนได้ดังนี้

พี(x,y,z)=พี(x)พี(y|x)พี(z|y)=พี(y)พี(x|y)พี(z|y){\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}

ในการตั้งค่านี้ จะไม่มีการประมวลผลใดๆวาย{\displaystyle Y}ไม่ว่าจะเป็นแบบกำหนดได้หรือแบบสุ่ม ก็สามารถเพิ่มข้อมูลที่วาย{\displaystyle Y}ประกอบด้วยประมาณX{\displaystyle X}โดยใช้ข้อมูลร่วมกันสามารถเขียนได้ดังนี้ :

ฉัน(X;วาย)ฉัน(X;),{\displaystyle I(X;Y)\geqslant I(X;Z),}

ด้วยความเท่าเทียมกันฉัน(X;วาย)=ฉัน(X;){\displaystyle I(X;Y)=I(X;Z)}ก็ต่อเมื่อฉัน(X;วาย)=0{\displaystyle I(X;Y\mid Z)=0}นั่นคือ{\displaystyle Z}และวาย{\displaystyle Y}มีข้อมูลเดียวกันเกี่ยวกับX{\displaystyle X}, และXวาย{\displaystyle X\rightarrow Z\rightarrow Y}ยังก่อให้เกิดห่วงโซ่มาร์คอฟอีกด้วย[ 2 ]

การพิสูจน์

เราสามารถใช้กฎลูกโซ่สำหรับข้อมูลร่วมกันเพื่อหาการแยกส่วนที่แตกต่างกันสองแบบของฉัน(X;วาย,){\displaystyle I(X;Y,Z)}:

ฉัน(X;)+ฉัน(X;วาย)=ฉัน(X;วาย,)=ฉัน(X;วาย)+ฉัน(X;วาย){\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}

โดยความสัมพันธ์Xวาย{\displaystyle X\rightarrow Y\rightarrow Z}เราทราบว่าX{\displaystyle X}และ{\displaystyle Z}มีความเป็นอิสระต่อกันแบบมีเงื่อนไข เมื่อกำหนดวาย{\displaystyle Y}ซึ่งหมายถึงข้อมูลร่วมกันแบบมีเงื่อนไขฉัน(X;วาย)=0{\displaystyle I(X;Z\mid Y)=0}อสมการการประมวลผลข้อมูลจึงเป็นผลมาจากการที่ค่าไม่เป็นลบของฉัน(X;วาย)0{\displaystyle I(X;Y\mid Z)\geq 0}.

ดูเพิ่มเติม

  • http://www.scholarpedia.org/article/Mutual_information

ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Data_processing_inequality&oldid=1241690086 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ความไม่เท่าเทียมกันในการประมวลผลข้อมูล

ความไม่เท่าเทียมกัน ของการประมวลผลข้อมูลเป็น แนวคิด ทางทฤษฎีสารสนเทศที่ระบุว่าเนื้อหาสารสนเทศของสัญญาณไม่สามารถเพิ่มขึ้นได้ผ่านการดำเนินการทางกายภาพเฉพาะที่...

คำแถลง

ให้ตัวแปรสุ่มสามตัวสร้างเป็น ห่วงโซ่มาร์คอฟ X → วาย → ซ {\displaystyle X\rightarrow Y\rightarrow Z} ซึ่งหมายความว่าการแจกแจงแบบมีเงื่อนไขของ ซ {\displaystyle Z} ขึ้นอยู่กับเท่านั้น วาย {\displaystyle Y} และเป็น อิสระแบบมีเงื่อนไข จาก X {\displaystyle X}...

การพิสูจน์

เราสามารถใช้ กฎลูกโซ่สำหรับข้อมูลร่วมกัน เพื่อหาการแยกส่วนที่แตกต่างกันสองแบบของ ฉัน ( X ; วาย , ซ ) {\displaystyle I(X;Y,Z)} :

ลิงก์ภายนอก

http://www.scholarpedia.org/article/Mutual_information บทความ วิทยาการคอมพิวเตอร์ นี้ ยัง ไม่สมบูรณ์คุณสามารถช่วยวิกิพีเดียได้โดยการเพิ่มข้อมูลที่ขาดหายไป วี ที อี ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?