ข้อมูลร่วมของตัวแปรสุ่มแบบไม่ต่อเนื่องสองตัวร่วมกัน${\displaystyle X}$และ${\displaystyle Y}$คำนวณเป็นผลรวมสองเท่า: ^{[ 3 ] : 20}

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{P_{(X,Y)}(x,y)\log \left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}$,

ที่ไหน${\displaystyle P_{(X,Y)}}$คือฟังก์ชัน ความน่าจะ เป็นร่วมของ${\displaystyle X}$และ${\displaystyle Y}$, และ${\displaystyle P_{X}}$และ${\displaystyle P_{Y}}$คือ ฟังก์ชันมวล ความน่าจะเป็นส่วนชายขอบของ${\displaystyle X}$และ${\displaystyle Y}$ตามลำดับ

ในกรณีของตัวแปรสุ่มต่อเนื่องร่วมกัน ผลรวมสองชั้นจะถูกแทนที่ด้วยปริพันธ์สองชั้น : ^{[ 3 ] : 251}

${\displaystyle \operatorname {I} (X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}{P_{(X,Y)}(x,y)\log {\left({\frac {P_{(X,Y)}(x,y)}{P_{X}(x)\,P_{Y}(y)}}\right)}}\;dx\,dy}$,

ที่ไหน${\displaystyle P_{(X,Y)}}$ขณะนี้คือ ฟังก์ชัน ความหนาแน่น ความน่าจะเป็นร่วม ของ${\displaystyle X}$และ${\displaystyle Y}$, และ${\displaystyle P_{X}}$และ${\displaystyle P_{Y}}$คือฟังก์ชันความหนาแน่นความน่าจะเป็นส่วนชายขอบของ${\displaystyle X}$และ${\displaystyle Y}$ตามลำดับ

โดยใช้ความไม่เท่าเทียมกันของเจนเซ่นในนิยามของข้อมูลร่วมกัน เราสามารถแสดงได้ว่า${\displaystyle \operatorname {I} (X;Y)}$ไม่เป็นลบ เช่น^{[ 3 ] : 28}

${\displaystyle \ชื่อผู้ดำเนินการ {I} (X;Y)\geq 0}$

${\displaystyle \operatorname {I} (X;Y)=\operatorname {I} (Y;X)}$

การพิสูจน์นี้พิจารณาความสัมพันธ์กับเอนโทรปี ดังแสดงด้านล่าง

ถ้า${\displaystyle C}$เป็นอิสระจาก${\displaystyle (A,B)}$, แล้ว

${\displaystyle \operatorname {I} (Y;A,B,C)-\operatorname {I} (Y;A,B)\geq \operatorname {I} (Y;A,C)-\operatorname {I} (Y;A)}$[ ^{4 ]​}

ข้อมูลร่วมกันสามารถแสดงได้ในรูปแบบที่เทียบเท่ากันดังนี้:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X\mid Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{aligned}}}$

ที่ไหน${\displaystyle \คณิตศาสตร์ {H} (X)}$และ${\displaystyle \คณิตศาสตร์ {H} (Y)}$เอน โทรปีส่วนเพิ่มคือ...${\displaystyle \mathrm {H} (X\กลาง Y)}$และ${\displaystyle \mathrm {H} (Y\กลาง X)}$คือเอนโทรปีแบบมีเงื่อนไขและ${\displaystyle \mathrm {H} (X,Y)}$คือเอนโทรปีร่วมของ${\displaystyle X}$และ${\displaystyle Y}$.

โปรดสังเกตความคล้ายคลึงกับการรวมกัน การลบ และการตัดกันของเซตสองเซต ในแง่นี้ สูตรทั้งหมดที่กล่าวมาข้างต้นนั้นปรากฏชัดเจนจากแผนภาพเวนน์ที่กล่าวถึงในตอนต้นของบทความ

ในแง่ของช่องทางการสื่อสารซึ่งผลลัพธ์นั้น${\displaystyle Y}$เป็นเวอร์ชันที่มีเสียงรบกวนของข้อมูลป้อนเข้า${\displaystyle X}$ความสัมพันธ์เหล่านี้สรุปได้ในรูปภาพ:

เพราะ${\displaystyle \operatorname {I} (X;Y)}$มีค่าไม่เป็นลบ ดังนั้น${\displaystyle \mathrm {H} (X)\geq \mathrm {H} (X\mid Y)}$ต่อไปนี้คือคำอธิบายโดยละเอียดเกี่ยวกับการหักล้าง${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (Y)-\mathrm {H} (Y\mid X)}$สำหรับกรณีของตัวแปรสุ่มแบบไม่ต่อเนื่องร่วมกัน:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x\in {\mathcal {X}}}p_{(X,Y)}(x,y)\right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p_{X}(x)\mathrm {H} (Y\mid X=x)-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\mid X).\\\end{aligned}}}$

การพิสูจน์เอกลักษณ์อื่นๆ ข้างต้นก็คล้ายกัน การพิสูจน์กรณีทั่วไป (ไม่ใช่แค่กรณีไม่ต่อเนื่อง) ก็คล้ายกัน โดยใช้ปริพันธ์แทนผลบวก

โดยสัญชาตญาณแล้ว ถ้าเอนโทรปี${\displaystyle \mathrm {H} (Y)}$ถือเป็นมาตรวัดความไม่แน่นอนเกี่ยวกับตัวแปรสุ่ม${\displaystyle \mathrm {H} (Y\mid X)}$เป็นการวัดอะไร${\displaystyle X}$ไม่ได้กล่าวถึงเรื่องนั้น${\displaystyle Y}$นี่คือ "ปริมาณความไม่แน่นอนที่ยังคงเหลืออยู่เกี่ยวกับ"${\displaystyle Y}$หลังจาก${\displaystyle X}$เป็นที่ทราบกันดี" ดังนั้นด้านขวาของสมการที่สองนี้จึงสามารถตีความได้ว่า "ปริมาณความไม่แน่นอนใน"${\displaystyle Y}$ลบด้วยปริมาณความไม่แน่นอนใน${\displaystyle Y}$ซึ่งยังคงเหลืออยู่หลังจากนั้น${\displaystyle X}$เป็นที่ทราบกันดี" ซึ่งเทียบเท่ากับ "ปริมาณความไม่แน่นอนใน"${\displaystyle Y}$ซึ่งถูกกำจัดออกไปโดยการรับรู้${\displaystyle X}$"สิ่งนี้ยืนยันความหมายโดยสัญชาตญาณของข้อมูลร่วมกัน ซึ่งก็คือปริมาณข้อมูล (กล่าวคือ การลดความไม่แน่นอน) ที่ได้จากการทราบตัวแปรใดตัวแปรหนึ่งเกี่ยวกับอีกตัวแปรหนึ่ง"

โปรดทราบว่าในกรณีแบบไม่ต่อเนื่อง${\displaystyle \mathrm {H} (Y\mid Y)=0}$และด้วยเหตุนี้${\displaystyle \mathrm {H} (Y)=\operatorname {I} (Y;Y)}$. ดังนั้น${\displaystyle \operatorname {I} (Y;Y)\geq \operatorname {I} (X;Y)}$และเราสามารถกำหนดหลักการพื้นฐานได้ว่า ตัวแปรหนึ่งๆ จะมีข้อมูลเกี่ยวกับตัวมันเองอย่างน้อยก็มากเท่ากับที่ตัวแปรอื่นๆ สามารถให้ได้

สำหรับคู่ข้อมูลแบบแยกส่วนร่วมกันหรือแบบต่อเนื่องร่วมกัน${\displaystyle (X,Y)}$ข้อมูลร่วม (mutual information) คือค่าความแตกต่างแบบ Kullback–Leiblerจากผลคูณของการกระจายความน่าจะเป็นแบบมาร์จินัล (marginal distributions )${\displaystyle p_{X}\cdot p_{Y}}$ของการแจกแจงร่วม${\displaystyle p_{(X,Y)}}$นั่นคือ

${\displaystyle \operatorname {I} (X;Y)=D_{\text{KL}}\left(p_{(X,Y)}\parallel p_{X}p_{Y}\right)}$

นอกจากนี้ ให้${\displaystyle p_{(X,Y)}(x,y)=p_{X\mid Y=y}(x)*p_{Y}(y)}$ให้เป็นฟังก์ชันมวลหรือความหนาแน่นแบบมีเงื่อนไข จากนั้นเราจะได้เอกลักษณ์

${\displaystyle \operatorname {I} (X;Y)=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right]}$

การพิสูจน์สำหรับตัวแปรสุ่มแบบแยกส่วนร่วมกันมีดังนี้:

${\displaystyle {\begin{aligned}\operatorname {I} (X;Y)&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\&=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{aligned}}}$

ในทำนองเดียวกัน เอกลักษณ์นี้สามารถนำไปใช้กับตัวแปรสุ่มต่อเนื่องร่วมกันได้เช่นกัน

โปรดสังเกตว่าในที่นี้ ความแตกต่างของ Kullback–Leibler เกี่ยวข้องกับการอินทิเกรตเหนือค่าของตัวแปรสุ่ม${\displaystyle X}$เท่านั้น และการแสดงออก${\displaystyle D_{\text{KL}}(p_{X\mid Y}\parallel p_{X})}$ยังคงหมายถึงตัวแปรสุ่มเพราะ${\displaystyle Y}$เป็นการสุ่ม ดังนั้น ข้อมูลร่วมกันจึงสามารถเข้าใจได้ว่าเป็นความคาดหวังเหนือ${\displaystyle Y}$ของการเบี่ยงเบน Kullback–Leibler ของการแจกแจงแบบมีเงื่อนไข${\displaystyle p_{X\mid Y}}$ของ${\displaystyle X}$ที่ให้ไว้${\displaystyle Y}$จากการกระจายแบบเอกตัวแปร${\displaystyle p_{X}}$ของ${\displaystyle X}$ยิ่งการกระจายตัวแตกต่างกันมากเท่าไร${\displaystyle p_{X\mid Y}}$และ${\displaystyle p_{X}}$โดยเฉลี่ยแล้ว ยิ่งได้รับข้อมูล มากเท่าไร ก็ยิ่งมากขึ้น เท่านั้น

หากมีตัวอย่างจากการกระจายร่วม สามารถใช้แนวทางแบบเบย์เซียนเพื่อประมาณข้อมูลร่วมของการกระจายนั้นได้ งานแรกที่ทำเช่นนี้ ซึ่งยังแสดงวิธีการประมาณค่าแบบเบย์เซียนของคุณสมบัติทางทฤษฎีสารสนเทศอื่นๆ อีกมากมายนอกเหนือจากข้อมูลร่วม คือ^{[ 5 ]}นักวิจัยรุ่นต่อมาได้ทำการพิสูจน์ใหม่^{[ 6 ]}และขยาย^{[ 7 ]} การวิเคราะห์นี้ ดู^{[ 8 ]}สำหรับบทความล่าสุดที่อิงตามไพรเออร์ที่ปรับแต่งมาโดยเฉพาะสำหรับการประมาณค่าข้อมูลร่วมโดยเฉพาะ นอกจากนี้ วิธีการประมาณค่าที่คำนึงถึงผลลัพธ์แบบต่อเนื่องและหลายตัวแปรเมื่อเร็วๆ นี้ ${\displaystyle Y}$ได้รับการเสนอใน^{[ 9 ]}

สูตรการเบี่ยงเบนของ Kullback-Leibler สำหรับข้อมูลร่วมกันนั้นตั้งอยู่บนพื้นฐานที่ว่าเราสนใจที่จะเปรียบเทียบ${\displaystyle p(x,y)}$สำหรับผลิตภัณฑ์ภายนอก ที่แยกตัวประกอบอย่างสมบูรณ์${\displaystyle p(x)\cdot p(y)}$ในหลายๆ ปัญหา เช่นการแยกตัวประกอบเมทริกซ์ที่ไม่เป็นลบเรามักสนใจการแยกตัวประกอบที่ไม่สุดโต่งมากนัก โดยเฉพาะอย่างยิ่ง เราต้องการเปรียบเทียบ${\displaystyle p(x,y)}$ไปสู่การประมาณเมทริกซ์อันดับต่ำในตัวแปรที่ไม่ทราบค่าบางตัว${\displaystyle w}$กล่าวคือ ในระดับใดที่บุคคลอาจมี

${\displaystyle p(x,y)\approx \sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}$

อีกทางเลือกหนึ่งคือ บางคนอาจสนใจที่จะทราบว่ามีข้อมูลเพิ่มเติมอีกเท่าใด${\displaystyle p(x,y)}$การนำการแยกตัวประกอบมาใช้ ในกรณีเช่นนี้ ข้อมูลส่วนเกินที่การแจกแจงแบบเต็ม${\displaystyle p(x,y)}$การนำการแยกตัวประกอบเมทริกซ์มาใช้จะได้รับจากความแตกต่างแบบ Kullback-Leibler

${\displaystyle \operatorname {I} _{LRMA}=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p(x,y)\log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}}\right)}},}$

นิยามดั้งเดิมของข้อมูลร่วมกันจะถูกเรียกคืนในกรณีสุดขั้วที่กระบวนการ${\displaystyle W}$มีค่าเพียงค่าเดียวสำหรับ${\displaystyle w}$.

แอปพลิเคชันจำนวนมากต้องการเมตริกซึ่งก็คือการวัดระยะห่างระหว่างจุดสองจุด ปริมาณดังกล่าว

${\displaystyle {\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-\operatorname {I} (X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2\operatorname {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\\&=2\mathrm {H} (X,Y)-\mathrm {H} (X)-\mathrm {H} (Y)\end{aligned}}}$

ตรงตามคุณสมบัติของเมตริก ( อสมการสามเหลี่ยม , ค่าไม่เป็นลบ , ความ ไม่สามารถแยกแยะได้และความสมมาตร) สำหรับตัวแปรสุ่มแบบไม่ต่อเนื่อง${\displaystyle X}$และ${\displaystyle Y}$ที่ซึ่งความเท่าเทียมกัน${\displaystyle X=Y}$เข้าใจได้ว่าหมายความว่า${\displaystyle X}$สามารถกำหนดได้อย่างสมบูรณ์จาก${\displaystyle Y}$[ ^{10 ]​}

ตัวชี้วัดระยะทางนี้เรียกอีกอย่างว่าความแปรผันของข้อมูล

ถ้า${\displaystyle X,Y}$ถ้าตัวแปรสุ่มเป็นแบบไม่ต่อเนื่อง ค่าเอนโทรปีทั้งหมดจะไม่เป็นลบ ดังนั้น${\displaystyle 0\leq d(X,Y)\leq \mathrm {H} (X,Y)}$และสามารถกำหนดระยะทางมาตรฐานได้

${\displaystyle D(X,Y)={\frac {d(X,Y)}{\mathrm {H} (X,Y)}}\leq 1.}$

เมื่อแทนค่าคำจำกัดความลงไป จะเห็นว่า

${\displaystyle D(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}.}$

สิ่งนี้เรียกว่าระยะทาง Rajski ^{[ 11 ]}ในการตีความข้อมูลเชิงทฤษฎีเซต (ดูรูปสำหรับเอนโทรปีแบบมีเงื่อนไข ) นี่คือระยะทาง Jaccardระหว่าง${\displaystyle X}$และ${\displaystyle Y}$.

ในที่สุด,

${\displaystyle D^{\prime }(X,Y)=1-{\frac {\operatorname {I} (X;Y)}{\max \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}}}$

ก็เป็นตัวชี้วัดอย่างหนึ่งเช่นกัน

บางครั้ง การแสดงข้อมูลร่วมกันของตัวแปรสุ่มสองตัวโดยมีตัวแปรสุ่มตัวที่สามเป็นตัวกำหนดเงื่อนไขนั้น อาจเป็นประโยชน์

${\displaystyle \operatorname {I} (X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}$

สำหรับตัวแปรสุ่มแบบไม่ต่อ เนื่องร่วมกัน รูปแบบจะเป็นดังนี้

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},}$

ซึ่งสามารถทำให้ง่ายขึ้นได้ดังนี้

${\displaystyle \operatorname {I} (X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

สำหรับตัวแปรสุ่มต่อเนื่อง ร่วมกัน รูปแบบจะเป็นดังนี้

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,}$

ซึ่งสามารถทำให้ง่ายขึ้นได้ดังนี้

${\displaystyle \operatorname {I} (X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}dxdydz.}$

การพิจารณาตัวแปรสุ่มตัวที่สามอาจทำให้ข้อมูลร่วมกันเพิ่มขึ้นหรือลดลง แต่ความจริงก็คือ

${\displaystyle \operatorname {I} (X;Y|Z)\geq 0}$

สำหรับตัวแปรสุ่มแบบไม่ต่อเนื่องที่มีการแจกแจงร่วมกัน${\displaystyle X,Y,Z}$ผลลัพธ์นี้ถูกนำมาใช้เป็นพื้นฐานในการพิสูจน์อสมการอื่นๆ ในทฤษฎีสารสนเทศ

มีการเสนอแนวคิดทั่วไปหลายประการเกี่ยวกับข้อมูลร่วมกันสำหรับตัวแปรสุ่มมากกว่าสองตัว เช่นความสัมพันธ์โดยรวม (หรือข้อมูลหลายตัว) และความสัมพันธ์โดยรวมแบบคู่การแสดงออกและการศึกษาข้อมูลร่วมกันระดับสูงหลายตัวแปรเกิดขึ้นในงานสองชิ้นที่ดูเหมือนจะเป็นอิสระต่อกัน ได้แก่ McGill (1954) ^{[ 12 ]}ซึ่งเรียกฟังก์ชันเหล่านี้ว่า " ข้อมูลปฏิสัมพันธ์ " และ Hu Kuo Ting (1962) ^{[ 13 ]}ข้อมูลปฏิสัมพันธ์ถูกกำหนดสำหรับตัวแปรหนึ่งตัวดังนี้:

${\displaystyle \operatorname {I} (X_{1})=\mathrm {H} (X_{1})}$

และสำหรับ${\displaystyle n>1,}$

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n})=\operatorname {I} (X_{1};\,...\,;X_{n-1})-\operatorname {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}),}$

โดยที่เรากำหนด (ดังที่กล่าวมาข้างต้น)

${\displaystyle \operatorname {I} (X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\bigl [}\operatorname {I} (X_{1};\,...\,;X_{n-1})|X_{n}{\bigr ]}.}$

ผู้เขียนบางคนสลับลำดับของพจน์ทางด้านขวามือของสมการข้างต้น ซึ่งจะเปลี่ยนเครื่องหมายเมื่อจำนวนตัวแปรสุ่มเป็นเลขคี่ (และในกรณีนี้ นิพจน์ตัวแปรเดียวจะกลายเป็นค่าลบของเอนโทรปี)

ข้อมูลปฏิสัมพันธ์อาจเป็นบวก ลบ หรือศูนย์^{[ 13 ]}ความเป็นบวกสอดคล้องกับความสัมพันธ์ที่สรุปความสัมพันธ์แบบคู่ ความเป็นศูนย์สอดคล้องกับแนวคิดที่ละเอียดขึ้นของความเป็นอิสระ และความเป็นลบตรวจจับความสัมพันธ์ "ที่เกิดขึ้นใหม่" ที่มีมิติสูงและจุดข้อมูลที่รวมกลุ่มกัน^{[ 14 ]} )

ข้อมูลที่ส่งตรงไปยังกลุ่มเป้าหมาย${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)}$วัดปริมาณข้อมูลที่ไหลออกจากกระบวนการ${\displaystyle X^{n}}$ถึง${\displaystyle Y^{n}}$, ที่ไหน${\displaystyle X^{n}}$หมายถึงเวกเตอร์${\displaystyle X_{1},X_{2},...,X_{n}}$และ${\displaystyle Y^{n}}$หมายถึง${\displaystyle Y_{1},Y_{2},...,Y_{n}}$คำว่า " ข้อมูลที่กำหนดทิศทาง" (Directed Information)ถูกบัญญัติโดยเจมส์ แมสซีย์และมีความหมายว่า

${\displaystyle \operatorname {I} \left(X^{n}\to Y^{n}\right)=\sum _{i=1}^{n}\operatorname {I} \left(X^{i};Y_{i}\mid Y^{i-1}\right)}$.

โปรดทราบว่าหาก${\displaystyle n=1}$ข้อมูลที่มีทิศทางจะกลายเป็นข้อมูลร่วมกัน ข้อมูลที่มีทิศทางมีการใช้งานมากมายในปัญหาที่ความเป็นเหตุเป็นผลมีบทบาทสำคัญ เช่นความจุของช่องสัญญาณที่มีการป้อนกลับ^{[ 22 ] [ 23 ]}

ตัวแปรมาตรฐานของข้อมูลร่วมกันนั้นได้มาจาก^{สัมประสิทธิ์}ของข้อจำกัด [ ^{24 ]}สัมประสิทธิ์ความไม่แน่นอน^{[ 25 ]}หรือความเชี่ยวชาญ: ^{[ 26 ]}

${\displaystyle C_{XY}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)}}.}$

สัมประสิทธิ์ทั้งสองมีค่าอยู่ในช่วง [0, 1] แต่ไม่จำเป็นต้องเท่ากัน มาตรวัดนี้ไม่สมมาตร หากต้องการมาตรวัดที่สมมาตร อาจพิจารณา มาตรวัด ความซ้ำซ้อนต่อ ไปนี้ :

${\displaystyle R={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

ซึ่งจะมีค่าต่ำสุดเป็นศูนย์เมื่อตัวแปรเป็นอิสระต่อกัน และมีค่าสูงสุดเท่ากับ

${\displaystyle R_{\max }={\frac {\min \left\{\mathrm {H} (X),\mathrm {H} (Y)\right\}}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

เมื่อตัวแปรหนึ่งกลายเป็นสิ่งที่ไม่จำเป็นโดยสิ้นเชิงเมื่อทราบข้อมูลของตัวแปรอื่นแล้ว ดูเพิ่มเติมที่ ความซ้ำซ้อน (ทฤษฎีสารสนเทศ )

มาตรวัดสมมาตรอีกประการหนึ่งคือความไม่แน่นอนแบบสมมาตร( Witten & Frank 2005 )ซึ่งกำหนดโดย

${\displaystyle U(X,Y)=2R=2{\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}}$

ซึ่งแสดงถึงค่าเฉลี่ยฮาร์มอนิกของสัมประสิทธิ์ความไม่แน่นอนทั้งสอง${\displaystyle C_{XY},C_{YX}}$[ ^{25 ]​}

หากเราพิจารณาข้อมูลร่วมกันเป็นกรณีพิเศษของความสัมพันธ์โดยรวมหรือความสัมพันธ์โดยรวมแบบคู่ ค่า ที่ได้ จากการปรับให้เป็นมาตรฐานจะเป็นดังนี้

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}}$และ${\displaystyle {\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}\;.}$

เวอร์ชันมาตรฐานนี้ยังเป็นที่รู้จักในชื่ออัตราส่วนคุณภาพข้อมูล (IQR)และระบุปริมาณข้อมูลของตัวแปรตามตัวแปรอื่นเทียบกับความไม่แน่นอนทั้งหมด: ^{[ 27 ]}

${\displaystyle IQR(X,Y)=\operatorname {E} [\operatorname {I} (X;Y)]={\frac {\operatorname {I} (X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1}$

มีการทำให้เป็นมาตรฐาน^{[ 28 ]}ซึ่งได้มาจากการคิดถึงข้อมูลร่วมกันในตอนแรกว่าเป็นสิ่งที่คล้ายคลึงกับความแปรปรวนร่วม (ดังนั้นเอนโทรปีของแชนนอนจึงคล้ายคลึงกับความแปรปรวน ) จากนั้นจึงคำนวณข้อมูลร่วมกันที่เป็นมาตรฐานในลักษณะเดียวกับสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน

${\displaystyle {\frac {\operatorname {I} (X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.}$

การทำให้เป็นมาตรฐานแบบง่ายๆ อาจนำไปสู่การตีความที่ลำเอียงและทำให้เกิดความสัมพันธ์ที่ไม่ถูกต้อง^{[ 29 ]}

ในการกำหนดข้อมูลร่วมกันแบบดั้งเดิม

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

แต่ละเหตุการณ์หรือวัตถุ ที่ระบุโดย${\displaystyle (x,y)}$จะถูกถ่วงน้ำหนักด้วยความน่าจะเป็นที่สอดคล้องกัน${\displaystyle p(x,y)}$ข้อสมมติฐานนี้ถือว่าวัตถุหรือเหตุการณ์ทั้งหมดมีความเท่าเทียมกันยกเว้นในแง่ของความน่าจะเป็นของการเกิดขึ้น อย่างไรก็ตาม ในบางแอปพลิเคชัน อาจมีกรณีที่วัตถุหรือเหตุการณ์บางอย่างมีความสำคัญมากกว่าอย่างอื่น หรือรูปแบบความสัมพันธ์บางอย่างมีความสำคัญทางความหมายมากกว่ารูปแบบอื่นๆ

ตัวอย่างเช่น การแมปแบบกำหนดได้${\displaystyle \{(1,1),(2,2),(3,3)\}}$อาจถูกมองว่ามีความแข็งแกร่งกว่าการแมปแบบกำหนดได้${\displaystyle \{(1,3),(2,1),(3,2)\}}$แม้ว่าความสัมพันธ์เหล่านี้จะให้ข้อมูลร่วมกันที่เหมือนกันก็ตาม เนื่องจากข้อมูลร่วมกันนั้นไม่ไวต่อลำดับที่แท้จริงของค่าตัวแปรเลย ( Cronbach 1954 , Coombs, Dawes & Tversky 1970 , Lockhead 1970 ) และด้วยเหตุนี้จึงไม่ไวต่อรูปแบบของการแมปความสัมพันธ์ระหว่างตัวแปรที่เกี่ยวข้องเลย หากต้องการให้ความสัมพันธ์แบบแรก—ที่แสดงถึงความสอดคล้องกันในค่าตัวแปรทั้งหมด—ได้รับการพิจารณาว่าแข็งแกร่งกว่าความสัมพันธ์แบบหลัง ก็สามารถใช้ข้อมูลร่วมกันแบบถ่วงน้ำหนัก ต่อไปนี้ได้ ( Guiasu 1977 )

${\displaystyle \operatorname {I} (X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},}$

ซึ่งเป็นการวางน้ำหนัก${\displaystyle w(x,y)}$เกี่ยวกับความน่าจะเป็นของการเกิดร่วมกันของค่าตัวแปรแต่ละค่า${\displaystyle p(x,y)}$วิธีนี้ทำให้ความน่าจะเป็นบางอย่างอาจมีความสำคัญมากหรือน้อยกว่าความน่าจะเป็นอื่นๆ ซึ่งช่วยให้สามารถวัดปริมาณ ปัจจัย แบบองค์รวมหรือ ปัจจัย Prägnanz ที่เกี่ยวข้องได้ ในตัวอย่างข้างต้น การใช้ค่าน้ำหนักสัมพัทธ์ที่มากขึ้นสำหรับ${\displaystyle w(1,1)}$,${\displaystyle w(2,2)}$, และ${\displaystyle w(3,3)}$จะมีผลทำให้สามารถประเมินข้อมูลที่มี คุณค่ามากขึ้น สำหรับความสัมพันธ์นั้นได้ ${\displaystyle \{(1,1),(2,2),(3,3)\}}$มากกว่าความสัมพันธ์${\displaystyle \{(1,3),(2,1),(3,2)\}}$ซึ่งอาจเป็นที่ต้องการในบางกรณีของการจดจำรูปแบบและอื่นๆ ข้อมูลร่วมถ่วงน้ำหนักนี้เป็นรูปแบบหนึ่งของ KL-Divergence ถ่วงน้ำหนัก ซึ่งทราบกันว่ามีค่าเป็นลบสำหรับอินพุตบางอย่าง^{[ 30 ]}และมีตัวอย่างที่ข้อมูลร่วมถ่วงน้ำหนักมีค่าเป็นลบด้วย^{[ 31 ]}

การแจกแจงความน่าจะเป็นสามารถมองได้ว่าเป็นการแบ่งส่วนของเซตดังนั้นจึงอาจมีคำถามว่า ถ้าเซตถูกแบ่งแบบสุ่ม การแจกแจงความน่าจะเป็นจะเป็นอย่างไร? ค่าคาดหวังของข้อมูลร่วมจะเป็นเท่าใด? ข้อมูลร่วมที่ปรับแล้วหรือ AMI คือค่าที่ลบด้วยค่าคาดหวังของ MI ดังนั้น AMI จะเป็นศูนย์เมื่อการแจกแจงสองแบบที่แตกต่างกันเป็นการสุ่ม และจะเป็นหนึ่งเมื่อการแจกแจงสองแบบเหมือนกัน AMI ถูกกำหนดขึ้นโดยเปรียบเทียบกับดัชนี Rand ที่ปรับแล้วของการแบ่งเซตสองแบบที่แตกต่างกัน

โดยใช้แนวคิดของความซับซ้อนของ Kolmogorovเราสามารถพิจารณาข้อมูลร่วมกันของลำดับสองลำดับโดยไม่ขึ้นอยู่กับการแจกแจงความน่าจะเป็นใดๆ ได้:

${\displaystyle \operatorname {I} _{K}(X;Y)=K(X)-K(X\mid Y).}$

เพื่อพิสูจน์ว่าปริมาณนี้มีความสมมาตรจนถึงพจน์ลอการิทึมบวก (${\displaystyle \operatorname {I} _{K}(X;Y)\approx \operatorname {I} _{K}(Y;X)}$) จำเป็นต้องใช้กฎลูกโซ่สำหรับความซับซ้อนของ Kolmogorov ( Li & Vitányi 1997 )การประมาณค่าปริมาณนี้ผ่านการบีบอัดสามารถใช้เพื่อกำหนดมาตรวัดระยะทางเพื่อทำการจัดกลุ่มลำดับชั้นโดยไม่ต้องมีความรู้เกี่ยวกับลำดับเหล่านั้น( Cilibrasi & Vitányi 2005 )

แตกต่างจากสัมประสิทธิ์สหสัมพันธ์ เช่นสัมประสิทธิ์สหสัมพันธ์แบบผลคูณโมเมนต์ข้อมูลร่วม (mutual information) ประกอบด้วยข้อมูลเกี่ยวกับการพึ่งพาอาศัยกันทุกรูปแบบ ทั้งเชิงเส้นและไม่เชิงเส้น ไม่ใช่แค่การพึ่งพาอาศัยกันเชิงเส้นอย่างที่สัมประสิทธิ์สหสัมพันธ์วัด อย่างไรก็ตาม ในกรณีเฉพาะที่การแจกแจงร่วมสำหรับ${\displaystyle X}$และ${\displaystyle Y}$หากเป็นการแจกแจงปกติแบบสองตัวแปร (โดยเฉพาะอย่างยิ่งหมายความว่าการแจกแจงแบบมาร์จินัลทั้งสองเป็นการแจกแจงปกติ) จะมีความสัมพันธ์ที่แน่นอนระหว่าง${\displaystyle \operatorname {I} }$และค่าสัมประสิทธิ์สหสัมพันธ์${\displaystyle \rho }$( เกลฟานด์และ ยาโก ลม1957 )

${\displaystyle \operatorname {I} =-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

สมการข้างต้นสามารถหาได้ดังต่อไปนี้สำหรับตัวแปรสุ่มแบบเกาส์เซียน:

${\displaystyle {\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1-\rho ^{2}\right)\\\end{aligned}}}$

ดังนั้น,

${\displaystyle \operatorname {I} \left(X_{1};X_{2}\right)=\mathrm {H} \left(X_{1}\right)+\mathrm {H} \left(X_{2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)}$

เมื่อไร${\displaystyle X}$และ${\displaystyle Y}$ เนื่องจากข้อมูลการสังเกตถูกจำกัดให้อยู่ในจำนวนรัฐที่กำหนดไว้ ข้อมูลการสังเกตจึงถูกสรุปไว้ในตารางความสัมพันธ์โดยมีตัวแปรแถว${\displaystyle X}$(หรือ${\displaystyle i}$) และตัวแปรคอลัมน์${\displaystyle Y}$(หรือ${\displaystyle j}$ข้อมูลร่วม (Mutual information) เป็นหนึ่งในมาตรวัดความสัมพันธ์หรือความเกี่ยวโยงกันระหว่างตัวแปรแถวและตัวแปรคอลัมน์

มาตรวัดความสัมพันธ์อื่นๆ ได้แก่สถิติการทดสอบไคกำลังสองของเพียร์สัน สถิติ การทดสอบ Gเป็นต้น ที่จริงแล้ว หากใช้ฐานลอการิทึมเดียวกัน ข้อมูลร่วมจะเท่ากับค่าสถิติความน่าจะเป็นลอการิทึมของการทดสอบ G หาร ด้วย${\displaystyle 2N}$, ที่ไหน${\displaystyle N}$คือขนาดของกลุ่มตัวอย่าง