อินโฟแม็กซ์
'อินโฟแม็กซ์'หรือหลักการรักษาข้อมูลให้คงอยู่สูงสุดเป็นหลักการเพิ่มประสิทธิภาพสำหรับโครงข่ายประสาทเทียมและระบบประมวลผลข้อมูลอื่นๆ โดยกำหนดฟังก์ชันที่แมปชุดค่าอินพุตไปยังชุดค่าเอาต์พุตควรเลือกหรือเรียนรู้เพื่อให้ได้ค่าเฉลี่ยของข้อมูลร่วมของแชนนอน ระหว่างกัน ให้สูงสุดและโดยขึ้นอยู่กับข้อจำกัดที่กำหนดไว้และ/หรือกระบวนการรบกวน อัลกอริทึมอินโฟแม็กซ์เป็นอัลกอริทึมการ เรียนรู้ ที่ดำเนินการกระบวนการเพิ่มประสิทธิภาพนี้ หลักการนี้ได้รับการอธิบายโดยลินสเกอร์ในปี 1988 [ 1 ]ฟังก์ชันวัตถุประสงค์เรียกว่าวัตถุประสงค์อินโฟแม็กซ์
เนื่องจากเป็นการยากที่จะคำนวณค่าเป้าหมายของ InfoMax ได้อย่างแม่นยำ แนวคิดที่เกี่ยวข้องจึงใช้โมเดลสองแบบที่ให้ผลลัพธ์สองค่าและเพิ่มข้อมูลร่วมกันระหว่างสิ่งเหล่านี้ให้สูงสุด วัตถุประสงค์ InfoMax เชิงเปรียบเทียบนี้เป็นขอบเขตล่างของวัตถุประสงค์ InfoMax [ 2 ]
Infomax ในขีดจำกัดของสัญญาณรบกวนเป็นศูนย์นั้นเกี่ยวข้องกับหลักการลดความซ้ำซ้อนที่เสนอสำหรับการประมวลผลทางประสาทสัมผัสทางชีวภาพโดยHorace Barlowในปี พ.ศ. 2504 [ 3 ]และนำไปใช้ในเชิงปริมาณกับการประมวลผลเรตินาโดย Atick และ Redlich [ 4 ]
แอปพลิเคชัน
(Becker and Hinton, 1992) [ 2 ]แสดงให้เห็นว่าวัตถุประสงค์ InfoMax เชิงเปรียบเทียบช่วยให้เครือข่ายประสาทสามารถเรียนรู้ที่จะระบุพื้นผิวในสเตอริโอแกรมจุดสุ่ม (ในมิติเดียว)
หนึ่งในการประยุกต์ใช้อินโฟแม็กซ์คือ อัลก อริธึมการวิเคราะห์ส่วนประกอบ อิสระ ที่ค้นหาสัญญาณอิสระโดยการเพิ่มเอนโทรปี ให้สูงสุด อินโฟแม็กซ์-based ICA ได้รับการอธิบายโดย (Bell and Sejnowski , 1995) [ 5 ]และ (Nadal and Parga, 1995) [ 6 ]