กลับไปหน้าบทความ

อ่าน 8 นาที

ข้อมูลการโต้ตอบ

ทฤษฎีสารสนเทศ

ในทฤษฎีความน่าจะเป็นและทฤษฎีสารสนเทศ ข้อมูลปฏิสัมพันธ์เป็นการขยายความของข้อมูลร่วมกัน สำหรับ ตัวแปรมากกว่าสองตัว

ข้อมูลการโต้ตอบ

แผนภาพข้อมูลแสดงมาตรวัดทางทฤษฎีสารสนเทศสำหรับตัวแปรสามตัว x, y และ z ซึ่งแทนด้วยวงกลมด้านล่างซ้าย ด้านล่างขวา และด้านบน ตามลำดับ ข้อมูลปฏิสัมพันธ์แสดงด้วยพื้นที่สีเทา และเป็นข้อมูลเดียวที่มีค่าเป็นลบได้

ในทฤษฎีความน่าจะเป็นและทฤษฎีสารสนเทศ ข้อมูลปฏิสัมพันธ์เป็นการขยายความของข้อมูลร่วมกัน สำหรับ ตัวแปรมากกว่าสองตัว

มีชื่อเรียกมากมายสำหรับข้อมูลปฏิสัมพันธ์ รวมถึงปริมาณข้อมูล [ 1 ] ความ สัมพันธ์ ของข้อมูล[ 2 ] ข้อมูลร่วม[ 3 ]และเรียกง่ายๆ ว่าข้อมูลร่วมกัน[ 4 ]ข้อมูลปฏิสัมพันธ์แสดงถึงปริมาณข้อมูล (ความซ้ำซ้อนหรือการทำงานร่วมกัน) ที่ผูกติดอยู่กับชุดของตัวแปรนอกเหนือจากที่มีอยู่ในชุดย่อยใดๆ ของตัวแปรเหล่านั้น แตกต่างจากข้อมูลร่วมกัน ข้อมูลปฏิสัมพันธ์สามารถเป็นได้ทั้งค่าบวกหรือค่าลบ ฟังก์ชันเหล่านี้ ความเป็นลบ และค่าต่ำสุดของฟังก์ชันเหล่านี้มีการตีความโดยตรงในโทโพโลยีเชิงพีชคณิต[ 5 ]

คำนิยาม

ข้อมูลร่วมแบบมีเงื่อนไขสามารถนำมาใช้กำหนดข้อมูลปฏิสัมพันธ์แบบอุปนัยสำหรับตัวแปรจำนวนจำกัดใดๆ ได้ดังนี้:

ฉัน(X1;;Xn+1)=ฉัน(X1;;Xn)ฉัน(X1;;XnXn+1),{\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}),}

ที่ไหน

ฉัน(X1;;XnXn+1)=อีXn+1(ฉัน(X1;;Xn)Xn+1).{\displaystyle I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.}

ผู้เขียนบางคน[ 6 ]กำหนดข้อมูลปฏิสัมพันธ์แตกต่างกัน โดยสลับสองเทอมที่ถูกลบในสมการก่อนหน้า ซึ่งมีผลทำให้เครื่องหมายกลับกันสำหรับจำนวนตัวแปรคี่

สำหรับตัวแปรสามตัว{X,วาย,}{\displaystyle \{X,Y,Z\}}ข้อมูลการโต้ตอบฉัน(X;วาย;){\displaystyle I(X;Y;Z)}ได้รับจาก

ฉัน(X;วาย;)=ฉัน(X;วาย)ฉัน(X;วาย){\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}

ที่ไหนฉัน(X;วาย){\displaystyle I(X;Y)}คือข้อมูลร่วมกันระหว่างตัวแปรX{\displaystyle X}และวาย{\displaystyle Y}, และฉัน(X;วาย){\displaystyle I(X;Y\mid Z)}คือข้อมูลร่วมแบบมีเงื่อนไขระหว่างตัวแปรX{\displaystyle X}และวาย{\displaystyle Y}ที่ให้ไว้{\displaystyle Z}ข้อมูลปฏิสัมพันธ์มีความสมมาตรดังนั้นจึงไม่สำคัญว่าตัวแปรใดเป็นตัวกำหนดเงื่อนไข สามารถเห็นได้ง่ายเมื่อเขียนข้อมูลปฏิสัมพันธ์ในรูปของเอนโทรปีและเอนโทรปีร่วมดังนี้:

ฉัน(X;วาย;)=(ชม(X)+ชม(วาย)+ชม())(ชม(X,วาย)+ชม(X,)+ชม(วาย,))+ชม(X,วาย,){\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}

โดยทั่วไป สำหรับชุดตัวแปรวี={X1,X2,,Xn}{\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}ข้อมูลการปฏิสัมพันธ์สามารถเขียนได้ในรูปแบบต่อไปนี้ (เปรียบเทียบกับการประมาณค่าของ Kirkwood ):

ฉัน(วี)=ทีวี(1)|ที|1ชม(ที){\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}

สำหรับตัวแปรสามตัว ข้อมูลปฏิสัมพันธ์จะวัดอิทธิพลของตัวแปรนั้น ๆ{\displaystyle Z}ขึ้นอยู่กับปริมาณข้อมูลที่แบ่งปันระหว่างกันX{\displaystyle X}และวาย{\displaystyle Y}เพราะว่าคำนั้นฉัน(X;วาย){\displaystyle I(X;Y\mid Z)}อาจมีขนาดใหญ่กว่าฉัน(X;วาย){\displaystyle I(X;Y)}ข้อมูลการปฏิสัมพันธ์อาจเป็นได้ทั้งด้านลบและด้านบวก ตัวอย่างเช่น จะเกิดขึ้นเมื่อX{\displaystyle X}และวาย{\displaystyle Y}เป็นอิสระต่อกัน แต่ไม่ใช่เป็นอิสระต่อกันแบบมีเงื่อนไขเมื่อกำหนด{\displaystyle Z}ข้อมูลปฏิสัมพันธ์เชิงบวกบ่งชี้ว่าตัวแปรนั้น{\displaystyle Z}ยับยั้ง (กล่าวคืออธิบายหรือชี้แจงบางส่วนของ) ความสัมพันธ์ระหว่างX{\displaystyle X}และวาย{\displaystyle Y}ในขณะที่ข้อมูลปฏิสัมพันธ์เชิงลบบ่งชี้ว่าตัวแปรนั้น{\displaystyle Z}ช่วยส่งเสริมหรือเสริมสร้างความสัมพันธ์นั้นให้ดียิ่งขึ้น

คุณสมบัติ

ข้อมูลปฏิสัมพันธ์มีขอบเขตจำกัด ในกรณีสามตัวแปร จะมีขอบเขตจำกัดโดย[ 4 ​​]

นาที{ฉัน(X;วาย),ฉัน(วาย;X),ฉัน(X;วาย)}ฉัน(X;วาย;)นาที{ฉัน(X;วาย),ฉัน(วาย;),ฉัน(X;)}{\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(X;Z\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}

ถ้าตัวแปรสามตัวก่อให้เกิดห่วงโซ่มาร์คอฟXวาย{\displaystyle X\to Y\to Z}, แล้วฉัน(X;วาย)=0{\displaystyle I(X;Z\mid Y)=0}, แต่ฉัน(X;)0{\displaystyle I(X;Z)\geq 0}. ดังนั้น

ฉัน(X;วาย;)=ฉัน(X;)ฉัน(X;วาย)=ฉัน(X;)0.{\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}

ตัวอย่าง

ข้อมูลปฏิสัมพันธ์เชิงบวก

ข้อมูลปฏิสัมพันธ์เชิงบวกดูเป็นธรรมชาติมากกว่าข้อมูลปฏิสัมพันธ์เชิงลบ ในแง่ที่ว่า ผลกระทบเชิง อธิบาย ดังกล่าว เป็นลักษณะเฉพาะของโครงสร้างสาเหตุร่วม ตัวอย่างเช่น เมฆทำให้เกิดฝนและยังบดบังแสงแดด ดังนั้น ความสัมพันธ์ระหว่างฝนและความมืดจึงอธิบายได้บางส่วนจากการมีอยู่ของเมฆฉัน(ฝน;มืดคลาวด์)<ฉัน(ฝน;มืด){\displaystyle I({\text{rain}};{\text{dark}}\mid {\text{cloud}})<I({\text{rain}};{\text{dark}})}ผลลัพธ์ที่ได้คือข้อมูลปฏิสัมพันธ์เชิงบวกฉัน(ฝน;มืด;คลาวด์){\displaystyle I({\text{rain}};{\text{dark}};{\text{cloud}})}.

ข้อมูลการโต้ตอบเชิงลบ

เครื่องยนต์ของรถยนต์อาจสตาร์ทไม่ติดเนื่องจากแบตเตอรี่หมดหรือปั๊มน้ำมันอุดตัน โดยปกติแล้ว เรามักคิดว่าแบตเตอรี่หมดและการอุดตันของปั๊มน้ำมันเป็นเหตุการณ์ที่เกิดขึ้นแยกจากกันฉัน(เชื้อเพลิงอุดตัน;แบตเตอรี่หมด)=0{\displaystyle I({\text{blocked fuel}};{\text{dead battery}})=0}แต่เมื่อทราบว่ารถสตาร์ทไม่ติด หากตรวจสอบแล้วพบว่าแบตเตอรี่อยู่ในสภาพดี เราสามารถสรุปได้ว่าปั๊มน้ำมันเชื้อเพลิงน่าจะอุดตัน ดังนั้นฉัน(เชื้อเพลิงอุดตัน;แบตเตอรี่หมดเครื่องยนต์ขัดข้อง)>0{\displaystyle I({\text{blocked fuel}};{\text{dead battery}}\mid {\text{engine fails}})>0}และผลลัพธ์ที่ได้คือข้อมูลปฏิสัมพันธ์เชิงลบ

ความยากในการตีความ

ความเป็นไปได้ที่ข้อมูลปฏิสัมพันธ์จะเป็นลบอาจเป็นสาเหตุของความสับสนบางประการ[ 3 ]ผู้เขียนหลายคนถือว่าข้อมูลปฏิสัมพันธ์เป็นศูนย์เป็นสัญญาณว่าตัวแปรสุ่มสามตัวขึ้นไปไม่มีปฏิสัมพันธ์กัน แต่การตีความนี้ผิด[ 7 ]

เพื่อให้เห็นภาพว่าการตีความนั้นยากเพียงใด ลองพิจารณาชุดตัวแปรไบนารี อิสระแปดตัว{X1,X2,X3,X4,X5,X6,X7,X8}{\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}รวบรวมตัวแปรเหล่านี้เข้าด้วยกันดังนี้:

วาย1={X1,X2,X3,X4,X5,X6,X7}วาย2={X4,X5,X6,X7}วาย3={X5,X6,X7,X8}{\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}

เพราะว่าวายฉัน{\displaystyle Y_{i}}ค่าต่างๆ เหล่านั้นทับซ้อนกัน (ซ้ำซ้อน) ในตัวแปรไบนารีทั้งสามตัว{X5,X6,X7}{\displaystyle \{X_{5},X_{6},X_{7}\}}เราคาดหวังว่าจะได้รับข้อมูลการโต้ตอบฉัน(วาย1;วาย2;วาย3){\displaystyle I(Y_{1};Y_{2};Y_{3})}เท่ากับ3{\displaystyle 3}บิต ซึ่งมันก็ทำได้ อย่างไรก็ตาม ลองพิจารณาตัวแปรที่รวมกันแล้วดู

วาย1={X1,X2,X3,X4,X5,X6,X7}วาย2={X4,X5,X6,X7}วาย3={X5,X6,X7,X8}วาย4={X7,X8}{\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}

ตัวแปรเหล่านี้เหมือนกับก่อนหน้านี้ แต่เพิ่มเติมเข้ามาคือวาย4={X7,X8}{\displaystyle Y_{4}=\{X_{7},X_{8}\}}. อย่างไรก็ตาม,ฉัน(วาย1;วาย2;วาย3;วาย4){\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})}ในกรณีนี้ เท่ากับ+1{\displaystyle +1}บิต ซึ่งบ่งชี้ถึงความซ้ำซ้อนที่น้อยลง นี่ถูกต้องในแง่ที่ว่า

ฉัน(วาย1;วาย2;วาย3;วาย4)=ฉัน(วาย1;วาย2;วาย3)ฉัน(วาย1;วาย2;วาย3|วาย4)=32=1{\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}

แต่ก็ยังคงตีความได้ยากอยู่ดี

การใช้งาน

  • Jakulin และ Bratko (2003b) นำเสนอ อัลกอริทึม การเรียนรู้ของเครื่องที่ใช้ข้อมูลปฏิสัมพันธ์
  • Killian, Kravitz และ Gilson (2007) ใช้การขยายข้อมูลร่วมกันเพื่อดึงค่าประมาณเอนโทรปีจากการจำลองโมเลกุล[ 8 ]
  • LeVine และ Weinstein (2014) ใช้ข้อมูลปฏิสัมพันธ์และมาตรวัดข้อมูล N-body อื่นๆ เพื่อหาปริมาณการเชื่อมโยงแบบอัลโลสเตอริกในการจำลองโมเลกุล[ 9 ]
  • Moore et al. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) และ Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) แสดงให้เห็นถึงการใช้ข้อมูลปฏิสัมพันธ์ในการวิเคราะห์ปฏิสัมพันธ์ระหว่างยีนกับยีนและยีนกับสิ่งแวดล้อมที่เกี่ยวข้องกับโรคที่ซับซ้อน
  • Pandey และ Sarkar (2017) ใช้ข้อมูลปฏิสัมพันธ์ในจักรวาลวิทยาเพื่อศึกษาอิทธิพลของสภาพแวดล้อมขนาดใหญ่ที่มีต่อคุณสมบัติของกาแล็กซี
  • มี แพ็กเกจ Python สำหรับคำนวณข้อมูลปฏิสัมพันธ์หรือข้อมูลร่วมกันแบบหลายตัวแปร ข้อมูลร่วมกันแบบมีเงื่อนไข เอนโทรปีร่วม ความสัมพันธ์ทั้งหมดระยะทางข้อมูลในชุดข้อมูลที่มีตัวแปร n ตัว[ 10 ]

ดูเพิ่มเติม

ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Interaction_information&oldid=1341008343 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ข้อมูลการโต้ตอบ

ในทฤษฎีความน่าจะเป็นและทฤษฎีสารสนเทศ ข้อมูลปฏิสัมพันธ์เป็นการขยายความของข้อมูลร่วมกัน สำหรับ ตัวแปรมากกว่าสองตัว

คำนิยาม

ข้อมูล ร่วมแบบมีเงื่อนไข สามารถนำมาใช้กำหนดข้อมูลปฏิสัมพันธ์แบบอุปนัยสำหรับตัวแปรจำนวนจำกัดใดๆ ได้ดังนี้:

คุณสมบัติ

ข้อมูลปฏิสัมพันธ์มีขอบเขตจำกัด ในกรณีสามตัวแปร จะมีขอบเขตจำกัดโดย [ 4 ​​]

ตัวอย่าง

ข้อมูลปฏิสัมพันธ์เชิงบวกดูเป็นธรรมชาติมากกว่าข้อมูลปฏิสัมพันธ์เชิงลบ ในแง่ที่ว่า ผลกระทบเชิง อธิบาย ดังกล่าว เป็นลักษณะเฉพาะของโครงสร้างสาเหตุร่วม ตัวอย่างเช่น เมฆทำให้เกิดฝนและยังบดบังแสงแดด ดังนั้น...