อัลกอริทึม MMเป็น วิธี การหาค่าเหมาะสม ที่สุดแบบวนซ้ำ ซึ่งใช้ประโยชน์จากคุณสมบัติความนูนของฟังก์ชันเพื่อค้นหาค่าสูงสุดหรือค่าต่ำสุด MM ย่อมาจาก “Majorize-Minimization” หรือ “Minorize-Maximization” ขึ้นอยู่กับว่าการหาค่าเหมาะสมที่สุดที่ต้องการนั้นเป็นการหาค่าต่ำสุดหรือค่าสูงสุด แม้จะมีชื่อว่า MM แต่จริงๆ แล้ว MM ไม่ใช่อัลกอริทึม แต่เป็นกลุ่มของอัลกอริทึมการหาค่าเหมาะสมที่สุดที่ใช้รูปแบบการสร้างเดียวกัน

อัลกอริทึมความคาดหวัง-การเพิ่มค่าสูงสุดสามารถถือได้ว่าเป็นกรณีพิเศษของอัลกอริทึม MM ^{[ 1 ] [ 2 ]} อย่างไรก็ตาม ในอัลกอริทึม EM มักจะเกี่ยวข้องกับ ความคาดหวังแบบมีเงื่อนไขในขณะที่ในอัลกอริทึม MM ความนูนและความไม่เท่าเทียมกันเป็นจุดสนใจหลัก และเข้าใจและนำไปใช้ได้ง่ายกว่าในกรณีส่วนใหญ่^{[ 3 ]}

พื้นฐานทางประวัติศาสตร์ของอัลกอริทึม MM สามารถย้อนกลับไปได้อย่างน้อยถึงปี 1970 เมื่อ Ortega และ Rheinboldt ทำการศึกษาที่เกี่ยวข้องกับวิธีการค้นหาเส้น^{[ 4 ]}แนวคิดเดียวกันนี้ยังคงปรากฏขึ้นอีกครั้งในสาขาต่างๆ ในรูปแบบที่แตกต่างกัน ในปี 2000 Hunter และ Lange ได้นำเสนอ "MM" เป็นกรอบงานทั่วไป^{[ 5 ]}การศึกษาล่าสุดได้นำวิธีการนี้ไปใช้ในหลากหลายสาขา เช่นคณิตศาสตร์สถิติการ เรียน ^รู้ของเครื่องและวิศวกรรม [ ^{6 ]}

อัลกอริทึม MM ทำงานโดยการหาฟังก์ชันตัวแทนที่ทำให้ฟังก์ชันเป้าหมายมีค่าน้อยลงหรือมากขึ้น การปรับฟังก์ชันตัวแทนให้เหมาะสมที่สุดจะช่วยเพิ่มค่าของฟังก์ชันเป้าหมายหรือทำให้ค่าของฟังก์ชันเป้าหมายไม่เปลี่ยนแปลง

เมื่อใช้เวอร์ชันลดค่าและเพิ่มค่าสูงสุด ให้เป็นฟังก์ชันเว้าเป้าหมายที่ต้องการเพิ่มค่าสูงสุด ใน ขั้นตอนที่ mของอัลกอริธึมฟังก์ชันที่สร้างขึ้นจะเรียกว่าเวอร์ชันลดค่าของฟังก์ชันเป้าหมาย (ฟังก์ชันตัวแทน) ที่ถ้า ${\displaystyle f(\theta )}$${\displaystyle m=0,1...}$${\displaystyle g(\theta |\theta _{m})}$${\displaystyle \theta _{m}}$

${\displaystyle g(\theta |\theta _{m})\leq f(\theta ){\text{ สำหรับทุก }}\theta }$

${\displaystyle g(\theta _{m}|\theta _{m})=f(\theta _{m})}$

จากนั้น ให้เพิ่มค่าสูงสุดแทนและปล่อยให้ ${\displaystyle g(\theta |\theta _{m})}$${\displaystyle f(\theta )}$

${\displaystyle \theta _{m+1}=\arg \max _{\theta }g(\theta |\theta _{m})}$

วิธีการวนซ้ำข้างต้นจะรับประกันว่าจะลู่เข้าสู่ค่าเหมาะสมเฉพาะที่หรือจุดอานม้าเมื่อmเข้าสู่ค่าอนันต์^{[ 7 ]}โดยการสร้างข้างต้น ${\displaystyle f(\theta _{m})}$

${\displaystyle f(\theta _{m+1})\geq g(\theta _{m+1}|\theta _{m})\geq g(\theta _{m}|\theta _{m})=f(\theta _{m})}$

การเคลื่อนที่ของฟังก์ชันและฟังก์ชันตัวแทนที่สัมพันธ์กับฟังก์ชันเป้าหมายแสดงอยู่ในรูป ${\displaystyle \theta _{m}}$

Majorize-Minimization คือกระบวนการเดียวกัน แต่ใช้กับฟังก์ชันเป้าหมายที่เป็นฟังก์ชันนูนที่ต้องการลดค่าให้เหลือน้อยที่สุด

เราสามารถใช้ความไม่เท่าเทียมกันใดๆ ก็ได้ในการสร้างเวอร์ชันที่เพิ่มค่าสูงสุด/ลดค่าต่ำสุดของฟังก์ชันเป้าหมายตามที่ต้องการ ตัวเลือกทั่วไปได้แก่

• ความไม่เท่าเทียมกันของเจนเซ่น
• อสมการความนูน
• อสมการโคชี-ชวาร์ซ
• ความไม่เท่ากันของค่าเฉลี่ยเลขคณิตและค่าเฉลี่ยเรขาคณิต
• การหาค่าสูงสุด/ต่ำสุดกำลังสองโดยใช้การกระจายอนุกรมเทย์เลอร์ อันดับสอง ของฟังก์ชันที่หาอนุพันธ์ได้สองครั้งและมีส่วนโค้งจำกัด