สัมประสิทธิ์ข้อมูลสูงสุด
ในทางสถิติค่าสัมประสิทธิ์ข้อมูลสูงสุด ( MIC ) เป็นตัววัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นหรือไม่เชิงเส้นระหว่างตัวแปรสองตัวXและY
MIC จัดอยู่ในกลุ่มสถิติการสำรวจแบบไม่ใช้พารามิเตอร์ตามข้อมูลสูงสุด (MINE) [ 1 ] ในการศึกษาจำลอง MIC มีประสิทธิภาพเหนือกว่าการทดสอบกำลังต่ำบางรายการที่เลือกไว้[ 1 ]อย่างไรก็ตาม มีข้อกังวลเกิดขึ้นเกี่ยวกับกำลังทางสถิติ ที่ลดลง ในการตรวจจับความสัมพันธ์บางอย่างในสถานการณ์ที่มีขนาดตัวอย่างน้อย เมื่อเปรียบเทียบกับวิธีการที่มีประสิทธิภาพ เช่นการหาความสัมพันธ์ระยะทางและ Heller–Heller– Gorfine (HHG) [ 2 ]การเปรียบเทียบกับวิธีการเหล่านี้ ซึ่ง MIC มีประสิทธิภาพเหนือกว่า ได้ทำขึ้นใน Simon และ Tibshirani [ 3 ]และใน Gorfine, Heller และ Heller [ 4 ]มีการกล่าวอ้าง[ 1 ]ว่า MIC มีคุณสมบัติที่เรียกว่าความเท่าเทียม กันโดยประมาณ ซึ่งแสดงให้เห็นโดยการศึกษาจำลองที่เลือกไว้[ 1 ]ต่อมาได้มีการพิสูจน์แล้วว่าไม่มีสัมประสิทธิ์ที่ไม่สำคัญใดๆ ที่สามารถตอบสนอง คุณสมบัติ ความเท่าเทียมกัน ได้อย่างแม่นยำ ตามที่ Reshef et al. กำหนดไว้[ 1 ] [ 5 ]แม้ว่าผลลัพธ์นี้จะถูกท้าทายก็ตาม[ 6 ] Reshef et al. ได้กล่าวถึงข้อวิจารณ์บางประการของ MIC ในการศึกษาเพิ่มเติมที่เผยแพร่บนarXiv [ 7 ]
ภาพรวม
สัมประสิทธิ์ข้อมูลสูงสุด (Maximal Information Coefficient: MIC) ใช้การแบ่งกลุ่ม (binning)เป็นวิธีการในการประยุกต์ ใช้ ข้อมูลร่วมกัน (mutual information) กับตัวแปรสุ่มต่อเนื่อง การแบ่งกลุ่มถูกนำมาใช้เป็นเวลานานแล้วในฐานะวิธีการประยุกต์ใช้ข้อมูลร่วมกันกับตัวแปรสุ่มต่อเนื่อง สิ่งที่ MIC เพิ่มเข้ามาคือระเบียบวิธีในการเลือกจำนวนกลุ่มและเลือกค่าสูงสุดจากตารางที่เป็นไปได้หลายตาราง
เหตุผลก็คือ ควรเลือกช่วงข้อมูลสำหรับตัวแปรทั้งสองในลักษณะที่ทำให้ข้อมูลร่วมกันระหว่างตัวแปรมีค่าสูงสุด ซึ่งจะเกิดขึ้นได้ก็ต่อเมื่อ...[หมายเหตุ 1 ]ดังนั้นเมื่อข้อมูลร่วมกันมีค่าสูงสุดเหนือการแบ่งกลุ่มข้อมูล เราควรคาดหวังว่าคุณสมบัติสองประการต่อไปนี้จะเป็นจริง เท่าที่จะเป็นไปได้ตามธรรมชาติของข้อมูลเอง ประการแรก กลุ่มข้อมูลจะมีขนาดใกล้เคียงกัน เนื่องจากเอนโทรปีและจะได้ค่าสูงสุดโดยการแบ่งกลุ่มที่มีขนาดเท่ากัน และประการที่สอง แต่ละกลุ่มของXจะสอดคล้องกับกลุ่มหนึ่งในY โดย ประมาณ
เนื่องจากตัวแปร X และ Y เป็นจำนวนจริงจึงแทบเป็นไปไม่ได้เลยที่จะสร้างช่อง (bin) เพียงช่องเดียวสำหรับแต่ละจุดข้อมูล ( x , y ) ซึ่งจะทำให้ค่า MI สูงมาก เพื่อหลีกเลี่ยงการแบ่งส่วนที่ไม่สำคัญเช่นนี้ ผู้เขียนบทความจึงเสนอให้ใช้ช่องจำนวนหนึ่งสำหรับXและซึ่งผลคูณมีขนาดค่อนข้างเล็กเมื่อเทียบกับขนาด N ของตัวอย่างข้อมูลกล่าวคือ พวกเขาเสนอว่า:
ในบางกรณี สามารถสร้างความสัมพันธ์ที่ดีระหว่างกันได้และโดยมีจำนวนต่ำสุดอยู่ที่และในขณะที่ในบางกรณีจำนวนถังที่ต้องการอาจสูงกว่า ค่าสูงสุดสำหรับถูกกำหนดโดย H(X) ซึ่งถูกกำหนดโดยจำนวนช่องในแต่ละแกน ดังนั้นค่าข้อมูลร่วมจะขึ้นอยู่กับจำนวนช่องที่เลือกสำหรับแต่ละตัวแปร เพื่อเปรียบเทียบค่าข้อมูลร่วมที่ได้จากการแบ่งส่วนที่มีขนาดต่างกัน ค่าข้อมูลร่วมจะถูกทำให้เป็นมาตรฐานโดยการหารด้วยค่าสูงสุดที่สามารถทำได้สำหรับขนาดการแบ่งส่วนที่กำหนด ควรสังเกตว่าขั้นตอนการแบ่งช่องแบบปรับได้ที่คล้ายกันสำหรับการประมาณค่าข้อมูลร่วมได้รับการเสนอไว้ก่อนหน้านี้แล้ว[ 8 ] เอนโทรปีจะสูงสุดโดยการกระจายความน่าจะเป็นแบบสม่ำเสมอ หรือในกรณีนี้ ช่องที่มีจำนวนองค์ประกอบเท่ากัน นอกจากนี้เอนโทรปีร่วมจะลดลงเหลือน้อยที่สุดโดยการมีการจับคู่แบบหนึ่งต่อหนึ่งระหว่างช่อง หากเราแทนค่าดังกล่าวลงในสูตร เราจะเห็นได้ว่าค่าสูงสุดที่ MI สามารถทำได้สำหรับคู่ที่กำหนดนั้นคือค่าสูงสุดจำนวนถังคือดังนั้น ค่านี้จึงถูกใช้เป็นตัวหารปรับค่ามาตรฐานสำหรับจำนวนนับในแต่ละคู่
สุดท้าย ค่าข้อมูลร่วมสูงสุดที่ปรับให้เป็นมาตรฐานสำหรับชุดค่าผสมต่างๆ ของและค่าที่ได้จะถูกรวบรวมเป็นตาราง และค่าสูงสุดในตารางจะถูกเลือกเป็นค่าสถิติ
สิ่งสำคัญคือต้องสังเกตว่าได้ลองใช้รูปแบบการจัดกลุ่มข้อมูลที่เป็นไปได้ทั้งหมดที่ตรงตามเงื่อนไขแล้ว การคำนวณด้วยวิธีนี้เป็นไปไม่ได้ในทางปฏิบัติ แม้แต่สำหรับค่า n เล็กๆ ดังนั้น ในทางปฏิบัติ ผู้เขียนจึงใช้วิธีฮิวริสติกซึ่งอาจพบหรือไม่พบค่าสูงสุดที่แท้จริงก็ได้
หมายเหตุ
- ↑ตัวอักษร "b" ที่อยู่ด้านล่างใช้เพื่อเน้นว่าข้อมูลร่วม (mutual information) คำนวณโดยใช้ช่วงข้อมูล (bins)