${\displaystyle \mathrm {H} (Y|X)=0}$ก็ต่อเมื่อค่าของ${\displaystyle Y}$ถูกกำหนดโดยสมบูรณ์ด้วยค่าของ${\displaystyle X}$.

ในทางกลับกัน${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ก็ต่อเมื่อ${\displaystyle Y}$และ${\displaystyle X}$เป็นตัวแปรสุ่มอิสระ

สมมติว่าระบบรวมถูกกำหนดโดยตัวแปรสุ่มสองตัว${\displaystyle X}$และ${\displaystyle Y}$มีเอนโทรปีร่วม${\displaystyle \mathrm {H} (X,Y)}$นั่นคือ เราต้องการ${\displaystyle \mathrm {H} (X,Y)}$โดยเฉลี่ยแล้ว ข้อมูลจำนวนหนึ่งถูกใช้เพื่ออธิบายสถานะที่แน่นอนของมัน ทีนี้ ถ้าเรารู้ค่าของข้อมูลนั้นก่อน${\displaystyle X}$เราได้รับ${\displaystyle \mathrm {H} (X)}$ข้อมูลเล็กๆ น้อยๆ ครั้งหนึ่ง${\displaystyle X}$เมื่อทราบแล้ว เราแค่ต้องการ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$บิตที่ใช้อธิบายสถานะของระบบทั้งหมด ปริมาณนี้มีค่าเท่ากับ...${\displaystyle \mathrm {H} (Y|X)}$ซึ่งนำไปสู่กฎลูกโซ่ของเอนโทรปีแบบมีเงื่อนไข:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^{[ 3 ] : 17}

กฎลูกโซ่เป็นผลมาจากนิยามของเอนโทรปีแบบมีเงื่อนไขข้างต้น:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

โดยทั่วไป กฎลูกโซ่สำหรับตัวแปรสุ่มหลายตัวมีดังนี้:

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^{[ 3 ] : 22}

มันมีรูปแบบคล้ายกับกฎลูกโซ่ในทฤษฎีความน่าจะเป็นเพียงแต่ใช้การบวกแทนการคูณ

กฎของเบย์สสำหรับสถานะเอนโทรปีแบบมีเงื่อนไข

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

การพิสูจน์.${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$และ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$ความสมมาตรหมายถึง...${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$การลบสมการทั้งสองทำให้ได้กฎของเบย์ส

ถ้า${\displaystyle Y}$เป็นอิสระแบบมีเงื่อนไขจาก${\displaystyle Z}$ที่ให้ไว้${\displaystyle X}$เรามี:

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

สำหรับใดๆ${\displaystyle X}$และ${\displaystyle Y}$:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

ที่ไหน${\displaystyle \operatorname {I} (X;Y)}$คือข้อมูลร่วมกันระหว่าง${\displaystyle X}$และ${\displaystyle Y}$.

เพื่อความเป็นอิสระ${\displaystyle X}$และ${\displaystyle Y}$:

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$และ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

แม้ว่าเอนโทรปีแบบมีเงื่อนไขเฉพาะเจาะจงก็ตาม${\displaystyle \mathrm {H} (X|Y=y)}$อาจน้อยกว่าหรือมากกว่าก็ได้${\displaystyle \mathrm {H} (X)}$สำหรับตัวแปรสุ่ม ที่กำหนด${\displaystyle y}$ของ${\displaystyle Y}$,${\displaystyle \mathrm {H} (X|Y)}$ไม่สามารถเกินกว่านี้ได้${\displaystyle \mathrm {H} (X)}$.

นิยามข้างต้นใช้สำหรับตัวแปรสุ่มแบบไม่ต่อเนื่อง ส่วนเอนโทรปีแบบมีเงื่อนไขแบบไม่ต่อเนื่องในรูปแบบต่อเนื่องเรียกว่าเอนโทรปีเชิงอนุพันธ์แบบมีเงื่อนไข (หรือแบบต่อเนื่อง)ให้${\displaystyle X}$และ${\displaystyle Y}$เป็นตัวแปรสุ่มต่อเนื่องที่มีฟังก์ชันความหนาแน่นความน่าจะเป็นร่วม${\displaystyle f(x,y)}$เอนโทรปีแบบมีเงื่อนไขเชิงอนุพันธ์${\displaystyle h(X|Y)}$ถูกกำหนดเป็น^{[ 3 ] : 249}

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$.

ตรงกันข้ามกับเอนโทรปีแบบมีเงื่อนไขสำหรับตัวแปรสุ่มแบบไม่ต่อเนื่อง เอนโทรปีเชิงอนุพันธ์แบบมีเงื่อนไขอาจมีค่าเป็นลบได้

เช่นเดียวกับในกรณีแบบไม่ต่อเนื่อง มีกฎลูกโซ่สำหรับเอนโทรปีเชิงอนุพันธ์:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^{[ 3 ] : 253}

อย่างไรก็ตาม โปรดสังเกตว่ากฎนี้อาจไม่เป็นจริงหากเอนโทรปีเชิงอนุพันธ์ที่เกี่ยวข้องไม่มีอยู่จริงหรือมีค่าเป็นอนันต์

เอนโทรปีเชิงอนุพันธ์ร่วมยังถูกนำมาใช้ในการกำหนดข้อมูลร่วมกันระหว่างตัวแปรสุ่มต่อเนื่องด้วย:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$ด้วยความเท่าเทียมกันก็ต่อเมื่อ${\displaystyle X}$และ${\displaystyle Y}$เป็นอิสระ^{[ 3 ] : 253}

เอนโทรปีเชิงอนุพันธ์แบบมีเงื่อนไขให้ค่าขอบล่างของค่าความคลาดเคลื่อนกำลังสองที่คาดหวังของตัวประมาณค่าสำหรับตัวแปรสุ่มแบบเกาส์เซียนใดๆ${\displaystyle X}$การสังเกต${\displaystyle Y}$และผู้ประมาณค่า${\displaystyle {\widehat {X}}}$ต่อไปนี้ถือว่า: ^{[ 3 ] : 255}

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

สิ่งนี้เกี่ยวข้องกับหลักการความไม่แน่นอนจากกลศาสตร์ควอนตัม