กลับไปหน้าบทความ

อ่าน 3 นาที

สัมประสิทธิ์ข้อมูลสูงสุด

ความแปรปรวนร่วมและความสัมพันธ์/ทฤษฎีสารสนเทศ

ในทางสถิติค่าสัมประสิทธิ์ข้อมูลสูงสุด ( MIC ) เป็นตัววัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นหรือไม่เชิงเส้นระหว่างตัวแปรสองตัวXและY

สัมประสิทธิ์ข้อมูลสูงสุด

ในทางสถิติค่าสัมประสิทธิ์ข้อมูลสูงสุด ( MIC ) เป็นตัววัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นหรือไม่เชิงเส้นระหว่างตัวแปรสองตัวXและY 

MIC จัดอยู่ในกลุ่มสถิติการสำรวจแบบไม่ใช้พารามิเตอร์ตามข้อมูลสูงสุด (MINE) [ 1 ] ในการศึกษาจำลอง MIC มีประสิทธิภาพเหนือกว่าการทดสอบกำลังต่ำบางรายการที่เลือกไว้[ 1 ]อย่างไรก็ตาม มีข้อกังวลเกิดขึ้นเกี่ยวกับกำลังทางสถิติ ที่ลดลง ในการตรวจจับความสัมพันธ์บางอย่างในสถานการณ์ที่มีขนาดตัวอย่างน้อย เมื่อเปรียบเทียบกับวิธีการที่มีประสิทธิภาพ เช่นการหาความสัมพันธ์ระยะทางและ Heller–Heller– Gorfine (HHG) [ 2 ]การเปรียบเทียบกับวิธีการเหล่านี้ ซึ่ง MIC มีประสิทธิภาพเหนือกว่า ได้ทำขึ้นใน Simon และ Tibshirani [ 3 ]และใน Gorfine, Heller และ Heller [ 4 ]มีการกล่าวอ้าง[ 1 ]ว่า MIC มีคุณสมบัติที่เรียกว่าความเท่าเทียม กันโดยประมาณ ซึ่งแสดงให้เห็นโดยการศึกษาจำลองที่เลือกไว้[ 1 ]ต่อมาได้มีการพิสูจน์แล้วว่าไม่มีสัมประสิทธิ์ที่ไม่สำคัญใดๆ ที่สามารถตอบสนอง คุณสมบัติ ความเท่าเทียมกัน ได้อย่างแม่นยำ ตามที่ Reshef et al. กำหนดไว้[ 1 ] [ 5 ]แม้ว่าผลลัพธ์นี้จะถูกท้าทายก็ตาม[ 6 ] Reshef et al. ได้กล่าวถึงข้อวิจารณ์บางประการของ MIC ในการศึกษาเพิ่มเติมที่เผยแพร่บนarXiv [ 7 ]

ภาพรวม

สัมประสิทธิ์ข้อมูลสูงสุด (Maximal Information Coefficient: MIC) ใช้การแบ่งกลุ่ม (binning)เป็นวิธีการในการประยุกต์ ใช้ ข้อมูลร่วมกัน (mutual information) กับตัวแปรสุ่มต่อเนื่อง การแบ่งกลุ่มถูกนำมาใช้เป็นเวลานานแล้วในฐานะวิธีการประยุกต์ใช้ข้อมูลร่วมกันกับตัวแปรสุ่มต่อเนื่อง สิ่งที่ MIC เพิ่มเข้ามาคือระเบียบวิธีในการเลือกจำนวนกลุ่มและเลือกค่าสูงสุดจากตารางที่เป็นไปได้หลายตาราง

เหตุผลก็คือ ควรเลือกช่วงข้อมูลสำหรับตัวแปรทั้งสองในลักษณะที่ทำให้ข้อมูลร่วมกันระหว่างตัวแปรมีค่าสูงสุด ซึ่งจะเกิดขึ้นได้ก็ต่อเมื่อ...ชม(X)=ชม(วาย)=ชม(X,วาย){\displaystyle \mathrm {H} \left(X_{b}\right)=\mathrm {H} \left(Y_{b}\right)=\mathrm {H} \left(X_{b},Y_{b}\right)}[หมายเหตุ 1 ]ดังนั้นเมื่อข้อมูลร่วมกันมีค่าสูงสุดเหนือการแบ่งกลุ่มข้อมูล เราควรคาดหวังว่าคุณสมบัติสองประการต่อไปนี้จะเป็นจริง เท่าที่จะเป็นไปได้ตามธรรมชาติของข้อมูลเอง ประการแรก กลุ่มข้อมูลจะมีขนาดใกล้เคียงกัน เนื่องจากเอนโทรปีชม(X){\displaystyle \mathrm {H} (X_{b})}และชม(วาย){\displaystyle \mathrm {H} (Y_{b})}จะได้ค่าสูงสุดโดยการแบ่งกลุ่มที่มีขนาดเท่ากัน และประการที่สอง แต่ละกลุ่มของXจะสอดคล้องกับกลุ่มหนึ่งในY โดย ประมาณ

เนื่องจากตัวแปร X และ Y เป็นจำนวนจริงจึงแทบเป็นไปไม่ได้เลยที่จะสร้างช่อง (bin) เพียงช่องเดียวสำหรับแต่ละจุดข้อมูล ( x , y ) ซึ่งจะทำให้ค่า MI สูงมาก เพื่อหลีกเลี่ยงการแบ่งส่วนที่ไม่สำคัญเช่นนี้ ผู้เขียนบทความจึงเสนอให้ใช้ช่องจำนวนหนึ่งnx{\displaystyle n_{x}}สำหรับXและny{\displaystyle n_{y}}ซึ่งผลคูณมีขนาดค่อนข้างเล็กเมื่อเทียบกับขนาด N ของตัวอย่างข้อมูลกล่าวคือ พวกเขาเสนอว่า:

nx×nyเอ็น0.6{\displaystyle n_{x}\times n_{y}\leq \mathrm {N} ^{0.6}}

ในบางกรณี สามารถสร้างความสัมพันธ์ที่ดีระหว่างกันได้X{\displaystyle X_{b}}และวาย{\displaystyle Y_{b}}โดยมีจำนวนต่ำสุดอยู่ที่nx=2{\displaystyle n_{x}=2}และny=2{\displaystyle n_{y}=2}ในขณะที่ในบางกรณีจำนวนถังที่ต้องการอาจสูงกว่า ค่าสูงสุดสำหรับฉัน(X;วาย){\displaystyle \mathrm {I} (X_{b};Y_{b})}ถูกกำหนดโดย H(X) ซึ่งถูกกำหนดโดยจำนวนช่องในแต่ละแกน ดังนั้นค่าข้อมูลร่วมจะขึ้นอยู่กับจำนวนช่องที่เลือกสำหรับแต่ละตัวแปร เพื่อเปรียบเทียบค่าข้อมูลร่วมที่ได้จากการแบ่งส่วนที่มีขนาดต่างกัน ค่าข้อมูลร่วมจะถูกทำให้เป็นมาตรฐานโดยการหารด้วยค่าสูงสุดที่สามารถทำได้สำหรับขนาดการแบ่งส่วนที่กำหนด ควรสังเกตว่าขั้นตอนการแบ่งช่องแบบปรับได้ที่คล้ายกันสำหรับการประมาณค่าข้อมูลร่วมได้รับการเสนอไว้ก่อนหน้านี้แล้ว[ 8 ] เอนโทรปีจะสูงสุดโดยการกระจายความน่าจะเป็นแบบสม่ำเสมอ หรือในกรณีนี้ ช่องที่มีจำนวนองค์ประกอบเท่ากัน นอกจากนี้เอนโทรปีร่วมจะลดลงเหลือน้อยที่สุดโดยการมีการจับคู่แบบหนึ่งต่อหนึ่งระหว่างช่อง หากเราแทนค่าดังกล่าวลงในสูตร ฉัน(X;วาย)=ชม(X)+ชม(วาย)ชม(X,วาย){\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)}เราจะเห็นได้ว่าค่าสูงสุดที่ MI สามารถทำได้สำหรับคู่ที่กำหนดนั้นคือค่าสูงสุดnx,ny{\displaystyle n_{x},n_{y}}จำนวนถังคือบันทึกนาที(nx,ny){\displaystyle \log \min \left(n_{x},n_{y}\right)}ดังนั้น ค่านี้จึงถูกใช้เป็นตัวหารปรับค่ามาตรฐานสำหรับจำนวนนับในแต่ละคู่

สุดท้าย ค่าข้อมูลร่วมสูงสุดที่ปรับให้เป็นมาตรฐานสำหรับชุดค่าผสมต่างๆ ของnx{\displaystyle n_{x}}และny{\displaystyle n_{y}}ค่าที่ได้จะถูกรวบรวมเป็นตาราง และค่าสูงสุดในตารางจะถูกเลือกเป็นค่าสถิติ

สิ่งสำคัญคือต้องสังเกตว่าได้ลองใช้รูปแบบการจัดกลุ่มข้อมูลที่เป็นไปได้ทั้งหมดที่ตรงตามเงื่อนไขแล้ว nx×nyเอ็น0.6{\displaystyle n_{x}\times n_{y}\leq \mathrm {N} ^{0.6}} การคำนวณด้วยวิธีนี้เป็นไปไม่ได้ในทางปฏิบัติ แม้แต่สำหรับค่า n เล็กๆ ดังนั้น ในทางปฏิบัติ ผู้เขียนจึงใช้วิธีฮิวริสติกซึ่งอาจพบหรือไม่พบค่าสูงสุดที่แท้จริงก็ได้

หมายเหตุ

  1. ตัวอักษร "b" ที่อยู่ด้านล่างใช้เพื่อเน้นว่าข้อมูลร่วม (mutual information) คำนวณโดยใช้ช่วงข้อมูล (bins)
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Maximal_information_coefficient&oldid=1345017524 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ สัมประสิทธิ์ข้อมูลสูงสุด

ในทางสถิติค่าสัมประสิทธิ์ข้อมูลสูงสุด ( MIC ) เป็นตัววัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นหรือไม่เชิงเส้นระหว่างตัวแปรสองตัวXและY

ภาพรวม

สัมประสิทธิ์ข้อมูลสูงสุด (Maximal Information Coefficient: MIC) ใช้ การแบ่งกลุ่ม (binning) เป็นวิธีการในการประยุกต์ ใช้ ข้อมูลร่วมกัน (mutual information) กับตัวแปรสุ่มต่อเนื่อง...

หมายเหตุ

↑ ตัวอักษร "b" ที่อยู่ด้านล่างใช้เพื่อเน้นว่าข้อมูลร่วม (mutual information) คำนวณโดยใช้ช่วงข้อมูล (bins) ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Maximal_information_coefficient&oldid=1345017524 "