แบบจำลองเงื่อนไขแบบมีข้อจำกัด (Constrained Conditional Model : CCM) เป็น กรอบการทำงานด้าน การเรียนรู้ของเครื่องและการอนุมานที่เพิ่มประสิทธิภาพการเรียนรู้ของแบบจำลองเงื่อนไข (แบบความน่าจะเป็นหรือแบบจำแนก) ด้วยข้อจำกัดเชิงประกาศ ข้อจำกัดนี้สามารถใช้เป็นวิธีในการรวมความรู้เบื้องต้นที่แสดงออกได้เข้าสู่แบบจำลอง และชี้นำการกำหนดค่าที่ทำโดยแบบจำลองที่เรียนรู้แล้วให้เป็นไปตามข้อจำกัดเหล่านี้ กรอบการทำงานนี้สามารถใช้เพื่อสนับสนุนการตัดสินใจในพื้นที่เอาต์พุตที่แสดงออกได้ ในขณะที่ยังคงรักษาความเป็นโมดูลาร์และความสามารถในการจัดการของการฝึกอบรมและการอนุมาน

โมเดลประเภทนี้ได้รับความสนใจอย่างมากในวงการประมวลผลภาษาธรรมชาติ ( NLP ) เมื่อไม่นานมานี้ การกำหนดปัญหาให้เป็น ปัญหา การหาค่าเหมาะสมที่สุดแบบมีข้อจำกัดเหนือผลลัพธ์ของโมเดลที่เรียนรู้มานั้นมีข้อดีหลายประการ ช่วยให้สามารถมุ่งเน้นไปที่การสร้างแบบจำลองของปัญหาโดยเปิดโอกาสให้รวมความรู้เฉพาะด้านเข้าไว้เป็นข้อจำกัดโดยรวมโดยใช้ภาษาลำดับที่หนึ่ง การใช้กรอบงานเชิงประกาศนี้ช่วยให้นักพัฒนาไม่ต้องเสียเวลาไปกับการสร้างคุณลักษณะ ระดับต่ำ ในขณะที่ยังคงจับคุณสมบัติเฉพาะด้านของปัญหาและรับประกันการอนุมานที่แม่นยำ จากมุมมองของการเรียนรู้ของเครื่อง ช่วยให้สามารถแยกขั้นตอนการสร้างแบบจำลอง (การเรียนรู้) ออกจากขั้นตอนการอนุมานแบบมีข้อจำกัด ซึ่งช่วยลดความซับซ้อนของขั้นตอนการเรียนรู้ในขณะที่ปรับปรุงคุณภาพของโซลูชัน ตัวอย่างเช่น ในกรณีของการสร้างประโยคที่บีบอัด แทนที่จะพึ่งพาโมเดลภาษาเพื่อคง n-gram ที่ใช้บ่อยที่สุดในประโยคไว้ ข้อจำกัดสามารถใช้เพื่อรับประกันว่าหากเก็บคำขยายไว้ในประโยคที่บีบอัดแล้ว ประธานของประโยคก็จะถูกเก็บไว้ด้วย

การตัดสินใจในหลายสาขา (เช่น การประมวลผลภาษาธรรมชาติและ ปัญหา ด้านคอมพิวเตอร์วิชั่น ) มักเกี่ยวข้องกับการกำหนดค่าให้กับชุดของตัวแปรที่พึ่งพาซึ่งกันและกัน โดยที่โครงสร้างการพึ่งพาเชิงแสดงออกสามารถส่งผลกระทบ หรือแม้กระทั่งกำหนดว่าการกำหนดค่าใดบ้างที่เป็นไปได้ สถานการณ์เหล่านี้ไม่เพียงแต่ใช้ได้กับปัญหาการเรียนรู้แบบมีโครงสร้าง เช่น การติดป้ายบทบาททางความหมาย แต่ยังใช้ได้กับกรณีที่ต้องใช้ส่วนประกอบที่เรียนรู้ไว้ล่วงหน้าหลายส่วน เช่น การสรุปการอนุมานข้อความและการตอบคำถามในทุกกรณีเหล่านี้ เป็นเรื่องปกติที่จะกำหนดปัญหาการตัดสินใจเป็นปัญหาการหาค่าเหมาะสมที่สุดแบบมีข้อจำกัด โดยมีฟังก์ชันเป้าหมายที่ประกอบด้วยแบบจำลองที่เรียนรู้แล้ว ซึ่งอยู่ภายใต้ข้อจำกัดเฉพาะสาขาหรือเฉพาะปัญหา

แบบจำลองเงื่อนไขแบบมีข้อจำกัดก่อให้เกิดกรอบการเรียนรู้และการอนุมานที่เสริมการเรียนรู้ของแบบจำลองเงื่อนไข (ความน่าจะเป็นหรือการจำแนก) ด้วยข้อจำกัดเชิงประกาศ (เขียนโดยใช้การแสดงลำดับแรกเป็นต้น) เป็นวิธีสนับสนุนการตัดสินใจในพื้นที่เอาต์พุตที่แสดงออกได้ ในขณะที่ยังคงรักษาความเป็นโมดูลาร์และความสามารถในการจัดการของการฝึกอบรมและการอนุมาน ข้อจำกัดเหล่านี้สามารถแสดงข้อจำกัดที่เข้มงวด ซึ่งห้ามการกำหนดค่าบางอย่างโดยสิ้นเชิง หรือข้อจำกัดที่ยืดหยุ่น ซึ่งลงโทษการกำหนดค่าที่ไม่น่าจะเป็นไปได้ ในแอปพลิเคชันส่วนใหญ่ของกรอบงานนี้ใน NLP ดังต่อไปนี้^{[ 1 ]}การเขียนโปรแกรมเชิงเส้นจำนวนเต็ม(ILP) ถูกใช้เป็นกรอบการอนุมาน แม้ว่าอัลกอริทึมอื่น ๆ สามารถใช้เพื่อจุดประสงค์นั้นได้

เมื่อกำหนดชุดฟังก์ชันคุณลักษณะและชุดข้อจำกัดซึ่งกำหนดไว้บนโครงสร้างอินพุตและโครงสร้างเอาต์พุตแล้ว แบบจำลองเงื่อนไขข้อจำกัดจะถูกกำหนดโดยเวกเตอร์น้ำหนักสองตัว คือ w และและถูกกำหนดให้เป็นคำตอบของปัญหาการหาค่าเหมาะสมที่สุดต่อไปนี้: ${\displaystyle \{\phi _{i}(x,y)\}}$${\displaystyle \{C_{i}(x,y)\}}$${\displaystyle x\in X}$${\displaystyle y\in Y}$${\displaystyle \rho }$

${\displaystyle argmax_{y}\sum _{i}w_{i}\phi _{i}(x,y)-\sum \rho _{i}C_{i}(x,y)}$.

ข้อจำกัดแต่ละข้อ เป็นการแมปแบบบูลีนที่ระบุว่าการกำหนดร่วมกันนั้นละเมิดข้อจำกัดหรือไม่ และเป็นค่าปรับที่เกิดขึ้นจากการละเมิดข้อจำกัด ข้อจำกัดที่กำหนดค่าปรับเป็นอนันต์เรียกว่าข้อจำกัดที่เข้มงวด และแสดงถึงการกำหนดที่ไม่สามารถทำได้ในปัญหาการหาค่าเหมาะสมที่สุด ${\displaystyle C_{i}\in C}$${\displaystyle (x,y)}$${\displaystyle \rho }$

ฟังก์ชันวัตถุประสงค์ที่ใช้โดย CCM สามารถแยกย่อยและเรียนรู้ได้หลายวิธี ตั้งแต่การฝึกโมเดลร่วมกันอย่างสมบูรณ์พร้อมกับข้อจำกัด ไปจนถึงการแยกขั้นตอนการเรียนรู้และการอนุมานออกจากกันอย่างสมบูรณ์ ในกรณีหลังนี้ จะมีการเรียนรู้โมเดลท้องถิ่นหลายโมเดลอย่างอิสระ และจะพิจารณาความสัมพันธ์ระหว่างโมเดลเหล่านี้เฉพาะในเวลาตัดสินใจผ่านกระบวนการตัดสินใจแบบทั่วโลก ข้อดีของแต่ละแนวทางจะกล่าวถึงใน^{[ 2 ]}ซึ่งศึกษาแบบแผนการฝึกอบรมสองแบบ: (1) โมเดลท้องถิ่น: L+I (การเรียนรู้ + การอนุมาน) และ (2) โมเดลทั่วโลก: IBT (การฝึกอบรมตามการอนุมาน) และแสดงให้เห็นทั้งในเชิงทฤษฎีและเชิงทดลองว่า ในขณะที่ IBT (การฝึกอบรมร่วมกัน) นั้นดีที่สุดในขีดจำกัด ภายใต้เงื่อนไขบางประการ (โดยพื้นฐานแล้วคือส่วนประกอบ "ที่ดี") L+I สามารถสรุปได้ดีกว่า

ความสามารถของ CCM ในการรวมโมเดลท้องถิ่นเข้าด้วยกันนั้นมีประโยชน์อย่างยิ่งในกรณีที่การเรียนรู้ร่วมกันทำได้ยากในเชิงคำนวณ หรือเมื่อไม่มีข้อมูลฝึกฝนสำหรับการเรียนรู้ร่วมกัน ความยืดหยุ่นนี้ทำให้ CCM แตกต่างจากเฟรมเวิร์กการเรียนรู้อื่นๆ ที่รวมข้อมูลทางสถิติเข้ากับข้อจำกัดเชิงประกาศ เช่นเครือข่ายตรรกะมาร์คอฟซึ่งเน้นการฝึกฝนร่วมกัน

CCM สามารถช่วยลดการกำกับดูแลโดยใช้ความรู้ในโดเมน (แสดงเป็นข้อจำกัด) เพื่อขับเคลื่อนการเรียนรู้ การตั้งค่าเหล่านี้ได้รับการศึกษาใน ^{[ 3 ]}และ^{[ 4 ]}งานเหล่านี้แนะนำการเรียนรู้แบบขับเคลื่อนด้วยข้อจำกัดแบบกึ่งกำกับดูแล (CODL) และแสดงให้เห็นว่าการรวมความรู้ในโดเมนทำให้ประสิทธิภาพของแบบจำลองที่เรียนรู้ดีขึ้นอย่างมีนัยสำคัญ

CCM ยังถูกนำไปใช้กับเฟรมเวิร์กการเรียนรู้แฝง ซึ่งปัญหาการเรียนรู้ถูกกำหนดไว้เหนือเลเยอร์การแสดงแทนแฝง เนื่องจากแนวคิดของการแสดงแทนที่ถูกต้องนั้นไม่ชัดเจนโดยเนื้อแท้ จึงไม่มีข้อมูลมาตรฐานที่มีการติดป้ายกำกับเกี่ยวกับการตัดสินใจในการแสดงแทนให้ผู้เรียนใช้ การระบุการแสดงแทนการเรียนรู้ที่ถูกต้อง (หรือเหมาะสมที่สุด) ถือเป็น กระบวนการ ทำนายที่มีโครงสร้างและจึงถูกจำลองเป็น CCM ปัญหานี้ได้รับการกล่าวถึงในเอกสารหลายฉบับ ทั้งในรูปแบบที่มีผู้กำกับดูแล^{[ 5 ]} และแบบไม่มีผู้กำกับดูแล^{[ 6 ]}ในทุกกรณี งานวิจัยแสดงให้เห็นว่าการจำลองความสัมพันธ์ระหว่างการตัดสินใจในการแสดงแทนอย่างชัดเจนผ่านข้อจำกัดส่งผลให้ประสิทธิภาพดีขึ้น

ข้อดีของการกำหนดสูตรเชิงประกาศของ CCM และความพร้อมใช้งานของตัวแก้ปัญหาสำเร็จรูป ส่งผลให้มี การกำหนดงาน ประมวลผลภาษาธรรมชาติ ที่หลากหลาย ภายในกรอบงาน รวมถึงการติดป้ายบทบาททางความหมาย^{[ 7 ]}การวิเคราะห์ไวยากรณ์^{[ 8 ]} การแก้ปัญหาการอ้างอิงร่วม^{[ 9 ]}การสรุป^{[ 10 ] [ 11 ] [ 12 ]}การถอดเสียง [ ^{13 ] การ}สร้างภาษาธรรมชาติ^{[ 14 ]}และการสกัดข้อมูลร่วม^{[ 15 ] [ 16 ]}

งานส่วนใหญ่เหล่านี้ใช้ตัวแก้ปัญหาการเขียนโปรแกรมเชิงเส้นจำนวนเต็ม (ILP) เพื่อแก้ปัญหาการตัดสินใจ แม้ว่าในทางทฤษฎี การแก้ปัญหาการเขียนโปรแกรมเชิงเส้นจำนวนเต็มจะเป็นแบบเลขชี้กำลังตามขนาดของปัญหาการตัดสินใจ แต่ในทางปฏิบัติ การใช้ตัวแก้ปัญหาที่ทันสมัยและเทคนิคการอนุมานโดยประมาณ^{[ 17 ]}สามารถแก้ปัญหาขนาดใหญ่ได้อย่างมีประสิทธิภาพ

ข้อได้เปรียบที่สำคัญของการใช้ตัวแก้ปัญหา ILP ในการแก้ปัญหาการหาค่าเหมาะสมที่สุดที่กำหนดโดยแบบจำลองเงื่อนไขที่มีข้อจำกัด คือ การกำหนดสูตรแบบประกาศที่ใช้เป็นข้อมูลป้อนเข้าสำหรับตัวแก้ปัญหา ILP ซึ่งประกอบด้วยฟังก์ชันเป้าหมายเชิงเส้นและชุดของข้อจำกัดเชิงเส้น

• บทช่วยสอน CCM การทำนายโครงสร้างใน NLP: แบบจำลองเงื่อนไขแบบมีข้อจำกัดและการเขียนโปรแกรมเชิงเส้นจำนวนเต็มใน NLP

• กลุ่มวิจัยการคำนวณเชิงปัญญา มหาวิทยาลัยอิลลินอยส์
• การประชุมเชิงปฏิบัติการเรื่องการเขียนโปรแกรมเชิงเส้นจำนวนเต็มสำหรับการประมวลผลภาษาธรรมชาติ, NAACL-2009