ใน การเรียนรู้ ของเครื่องการเรียนรู้แบบมีผู้กำกับดูแล ( SL ) เป็นรูปแบบหนึ่งของการเรียนรู้ของเครื่องที่อัลกอริทึมเรียนรู้ที่จะจับคู่ข้อมูลอินพุตกับเอาต์พุตเฉพาะโดยอาศัยคู่ข้อมูลอินพุต-เอาต์พุตตัวอย่าง กระบวนการนี้เกี่ยวข้องกับการฝึกแบบจำลองทางสถิติโดยใช้ข้อมูลที่มีป้ายกำกับ ซึ่งหมายความว่าข้อมูลอินพุตแต่ละส่วนจะได้รับเอาต์พุตที่ถูกต้อง คำว่า "มีผู้กำกับดูแล" หมายถึงบทบาทของครูหรือผู้กำกับดูแลที่ให้ข้อมูลการฝึกอบรมนี้ เพื่อชี้นำอัลกอริทึมไปสู่การทำนายที่ถูกต้อง^{[ 1 ]}ตัวอย่างเช่น หากคุณต้องการให้แบบจำลองระบุแมวในภาพ การเรียนรู้แบบมีผู้กำกับดูแลจะเกี่ยวข้องกับการป้อนภาพแมวจำนวนมาก (อินพุต) ที่มีป้ายกำกับ "แมว" อย่างชัดเจน (เอาต์พุต)

เป้าหมายของการเรียนรู้แบบมีผู้กำกับดูแลคือการที่แบบจำลองที่ได้รับการฝึกฝนจะสามารถทำนายผลลัพธ์สำหรับข้อมูลใหม่ที่ไม่เคยเห็นมาก่อนได้อย่างแม่นยำ^{[ 2 ]}ซึ่งต้องอาศัยอัลกอริทึมในการสรุปผลจากตัวอย่างการฝึกอบรมอย่างมีประสิทธิภาพ ซึ่งเป็นคุณภาพที่วัดได้จากข้อผิดพลาดในการสรุปผลการเรียนรู้แบบมีผู้กำกับดูแลมักใช้สำหรับงานต่างๆ เช่นการจำแนกประเภท (การทำนายหมวดหมู่ เช่น สแปมหรือไม่สแปม) และการถดถอย (การทำนายค่าต่อเนื่อง เช่น ราคาบ้าน)

ในการแก้ปัญหาการเรียนรู้แบบมีผู้กำกับดูแลที่กำหนดไว้ จะต้องดำเนินการตามขั้นตอนต่อไปนี้:

1. กำหนดประเภทของตัวอย่างการฝึกอบรม ก่อนที่จะทำสิ่งอื่นใด ผู้ใช้ควรตัดสินใจว่าข้อมูลประเภทใดที่จะใช้เป็นชุดข้อมูลสำหรับการฝึกอบรม ตัวอย่างเช่น ในกรณีของการวิเคราะห์ลายมืออาจเป็นตัวอักษรที่เขียนด้วยลายมือเพียงตัวเดียว คำที่เขียนด้วยลายมือทั้งคำ ประโยคที่เขียนด้วยลายมือทั้งประโยค หรือย่อหน้าที่เขียนด้วยลายมือทั้งย่อหน้า
2. รวบรวมชุดข้อมูลฝึกฝน ชุดข้อมูลฝึกฝนต้องเป็นตัวแทนของการใช้งานฟังก์ชันในโลกแห่งความเป็นจริง ดังนั้นจึงมีการรวบรวมชุดข้อมูลป้อนเข้าพร้อมกับข้อมูลส่งออกที่สอดคล้องกัน ไม่ว่าจะเป็นจากผู้เชี่ยวชาญหรือจากการวัดผล
3. กำหนดรูป แบบการแสดง คุณลักษณะ ของอินพุต สำหรับฟังก์ชันที่เรียนรู้ ความแม่นยำของฟังก์ชันที่เรียนรู้ขึ้นอยู่กับวิธีการแสดงวัตถุอินพุตเป็นอย่างมาก โดยทั่วไป วัตถุอินพุตจะถูกแปลงเป็นเวกเตอร์คุณลักษณะซึ่งประกอบด้วยคุณลักษณะจำนวนหนึ่งที่อธิบายถึงวัตถุนั้น จำนวนคุณลักษณะไม่ควรมากเกินไป เนื่องจากปัญหาความซับซ้อนของมิติแต่ควรมีข้อมูลเพียงพอที่จะทำนายผลลัพธ์ได้อย่างแม่นยำ
4. กำหนดโครงสร้างของฟังก์ชันที่เรียนรู้และอัลกอริธึมการเรียนรู้ที่เกี่ยวข้อง ตัวอย่างเช่น อาจเลือกใช้เครื่องสนับสนุนเวกเตอร์ (Support Vector Machines)หรือต้นไม้ตัดสินใจ (Decision Trees )
5. ออกแบบให้เสร็จสมบูรณ์ เรียกใช้อัลกอริธึมการเรียนรู้กับชุดข้อมูลฝึกฝนที่รวบรวมไว้ อัลกอริธึมการเรียนรู้แบบมีผู้กำกับดูแลบางตัวต้องการให้ผู้ใช้กำหนดพารามิเตอร์ควบคุม บางอย่าง พารามิเตอร์เหล่านี้สามารถปรับได้โดยการเพิ่มประสิทธิภาพบนชุดย่อย (เรียกว่าชุดข้อมูลตรวจสอบ ) ของชุดข้อมูลฝึกฝน หรือผ่าน การตรวจ สอบแบบไขว้
6. ประเมินความถูกต้องของฟังก์ชันที่เรียนรู้ หลังจากปรับพารามิเตอร์และทำการเรียนรู้แล้ว ควรวัดประสิทธิภาพของฟังก์ชันที่ได้บนชุดข้อมูลทดสอบที่แยกต่างหากจากชุดข้อมูลฝึกฝน

มีอัลกอริธึมการเรียนรู้แบบมีผู้กำกับดูแลให้เลือกมากมาย แต่ละแบบมีจุดแข็งและจุดอ่อนแตกต่างกัน ไม่มีอัลกอริธึมการเรียนรู้ใดที่ทำงานได้ดีที่สุดกับปัญหาการเรียนรู้แบบมีผู้กำกับดูแลทุกประเภท (ดูทฤษฎีบท "ไม่มีอาหารกลางวันฟรี" )

ในการเรียนรู้แบบมีผู้กำกับดูแล มีประเด็นสำคัญสี่ประการที่ต้องพิจารณา:

ประเด็นแรกคือการแลกเปลี่ยนระหว่างอคติและความแปรปรวน^{[ 3 ]}ลองนึกภาพว่าเรามีชุดข้อมูลฝึกฝนที่แตกต่างกันหลายชุด แต่ดีเท่ากัน อัลกอริทึมการเรียนรู้จะมีอคติสำหรับอินพุตเฉพาะหากเมื่อฝึกฝนกับชุดข้อมูลแต่ละชุดแล้ว อัลกอริทึมจะทำนายเอาต์พุตที่ถูกต้องผิดพลาดอย่างเป็นระบบอัลกอริทึมการเรียนรู้มีความแปรปรวนสูงสำหรับอินพุตเฉพาะหากทำนายค่าเอาต์พุตที่แตกต่างกันเมื่อฝึกฝนกับชุดฝึกฝนที่แตกต่างกัน ข้อผิดพลาดในการทำนายของตัวจำแนกที่เรียนรู้แล้วนั้นเกี่ยวข้องกับผลรวมของอคติและความแปรปรวนของอัลกอริทึมการเรียนรู้^{[ 4 ]}โดยทั่วไปแล้ว จะมีการแลกเปลี่ยนระหว่างอคติและความแปรปรวน อัลกอริทึมการเรียนรู้ที่มีอคติต่ำจะต้อง "ยืดหยุ่น" เพื่อให้สามารถปรับให้เข้ากับข้อมูลได้ดี แต่ถ้าอัลกอริทึมการเรียนรู้มีความยืดหยุ่นมากเกินไป มันจะปรับให้เข้ากับชุดข้อมูลฝึกฝนแต่ละชุดแตกต่างกัน และด้วยเหตุนี้จึงมีความแปรปรวนสูง ลักษณะสำคัญอย่างหนึ่งของวิธีการเรียนรู้แบบมีผู้กำกับดูแลหลายวิธี คือ ความสามารถในการปรับสมดุลระหว่างอคติและความแปรปรวน (ไม่ว่าจะโดยอัตโนมัติหรือโดยการกำหนดพารามิเตอร์อคติ/ความแปรปรวนที่ผู้ใช้สามารถปรับได้) ${\displaystyle x}$${\displaystyle x}$${\displaystyle x}$

ประเด็นที่สองคือปริมาณข้อมูลฝึกฝนที่มีอยู่เมื่อเทียบกับความซับซ้อนของฟังก์ชัน "จริง" (ฟังก์ชันจำแนกหรือฟังก์ชันถดถอย) หากฟังก์ชันจริงนั้นง่าย อัลกอริทึมการเรียนรู้แบบ "ไม่ยืดหยุ่น" ที่มีอคติสูงและความแปรปรวนต่ำจะสามารถเรียนรู้ได้จากข้อมูลจำนวนเล็กน้อย แต่หากฟังก์ชันจริงมีความซับซ้อนสูง (เช่น เนื่องจากเกี่ยวข้องกับการปฏิสัมพันธ์ที่ซับซ้อนระหว่างคุณลักษณะอินพุตที่แตกต่างกันมากมายและมีพฤติกรรมที่แตกต่างกันในส่วนต่างๆ ของพื้นที่อินพุต) ฟังก์ชันนั้นจะสามารถเรียนรู้ได้ด้วยข้อมูลฝึกฝนจำนวนมากควบคู่กับอัลกอริทึมการเรียนรู้แบบ "ยืดหยุ่น" ที่มีอคติต่ำและความแปรปรวนสูงเท่านั้น

ประเด็นที่สามคือ มิติของพื้นที่ข้อมูลป้อนเข้า หากเวกเตอร์คุณลักษณะป้อนเข้ามีมิติขนาดใหญ่ การเรียนรู้ฟังก์ชันอาจทำได้ยาก แม้ว่าฟังก์ชันที่แท้จริงจะขึ้นอยู่กับคุณลักษณะเพียงไม่กี่อย่างก็ตาม เนื่องจากมิติ "พิเศษ" จำนวนมากอาจทำให้ขั้นตอนวิธีเรียนรู้สับสนและทำให้มีความแปรปรวนสูง ดังนั้น ข้อมูลป้อนเข้าที่มีมิติขนาดใหญ่จึงมักต้องปรับแต่งตัวจำแนกเพื่อให้มีความแปรปรวนต่ำและมีอคติสูง ในทางปฏิบัติ หากวิศวกรสามารถลบคุณลักษณะที่ไม่เกี่ยวข้องออกจากข้อมูลป้อนเข้าได้ด้วยตนเอง ก็มีแนวโน้มที่จะปรับปรุงความแม่นยำของฟังก์ชันที่เรียนรู้ได้ นอกจากนี้ยังมีอัลกอริทึมการเลือกคุณลักษณะ มากมาย ที่พยายามระบุคุณลักษณะที่เกี่ยวข้องและกำจัดคุณลักษณะที่ไม่เกี่ยวข้อง นี่เป็นตัวอย่างหนึ่งของกลยุทธ์ทั่วไปของการลดมิติซึ่งพยายามแมปข้อมูลป้อนเข้าไปยังพื้นที่ที่มีมิติต่ำกว่าก่อนที่จะเรียกใช้ขั้นตอนวิธีเรียนรู้แบบมีผู้กำกับดูแล

ประเด็นที่สี่คือระดับของสัญญาณรบกวนในค่าเอาต์พุตที่ต้องการ ( ตัวแปรเป้าหมายใน การกำกับดูแล ) หากค่าเอาต์พุตที่ต้องการมักไม่ถูกต้อง (เนื่องจากข้อผิดพลาดของมนุษย์หรือข้อผิดพลาดของเซ็นเซอร์) อัลกอริทึมการเรียนรู้ไม่ควรพยายามหาฟังก์ชันที่ตรงกับตัวอย่างการฝึกอบรมอย่างแม่นยำ การพยายามปรับให้เข้ากับข้อมูลอย่างระมัดระวังมากเกินไปจะนำไปสู่การโอเวอร์ฟิตคุณอาจโอเวอร์ฟิตได้แม้ว่าจะไม่มีข้อผิดพลาดในการวัด (สัญญาณรบกวนแบบสุ่ม) หากฟังก์ชันที่คุณพยายามเรียนรู้นั้นซับซ้อนเกินไปสำหรับแบบจำลองการเรียนรู้ของคุณ ในสถานการณ์เช่นนี้ ส่วนของฟังก์ชันเป้าหมายที่ไม่สามารถสร้างแบบจำลองได้จะ "ทำให้เสียหาย" ข้อมูลการฝึกอบรมของคุณ ปรากฏการณ์นี้เรียกว่าสัญญาณรบกวนแบบกำหนดได้เมื่อมีสัญญาณรบกวนประเภทใดประเภทหนึ่ง ควรเลือกใช้ตัวประมาณค่าที่มีอคติสูงกว่าและค่าความแปรปรวนต่ำกว่า

ในทางปฏิบัติ มีแนวทางหลายประการในการลดสัญญาณรบกวนในค่าเอาต์พุต เช่นการหยุดก่อนกำหนดเพื่อป้องกันการโอเวอร์ฟิตติ้ง รวมถึงการตรวจ จับ และกำจัดตัวอย่างการฝึกอบรมที่มีสัญญาณรบกวนก่อนการฝึกอัลกอริธึมการเรียนรู้แบบมีผู้กำกับดูแล มีอัลกอริธึมหลายตัวที่ระบุตัวอย่างการฝึกอบรมที่มีสัญญาณรบกวน และการกำจัดตัวอย่างการฝึกอบรมที่สงสัยว่ามีสัญญาณรบกวนก่อนการฝึกอบรมได้ลดข้อผิดพลาดในการวางนัยทั่วไป ลง อย่าง มีนัย สำคัญทางสถิติ^{[ 5 ] [ 6 ]}

ปัจจัยอื่นๆ ที่ควรพิจารณาเมื่อเลือกและใช้งานอัลกอริธึมการเรียนรู้ ได้แก่:

• ความไม่สม่ำเสมอของข้อมูล หากเวกเตอร์คุณลักษณะประกอบด้วยคุณลักษณะหลายประเภทที่แตกต่างกัน (แบบไม่ต่อเนื่อง แบบไม่ต่อเนื่องเรียงลำดับ จำนวนนับ ค่าต่อเนื่อง) อัลกอริทึมบางอย่างจะใช้งานได้ง่ายกว่าอัลกอริทึมอื่นๆ อัลกอริทึมหลายอย่าง รวมถึงเครื่องสนับสนุนเวกเตอร์การถดถอยเชิงเส้น การถดถอยโลจิสติกโครงข่ายประสาท เทียม และวิธีการเพื่อนบ้านที่ใกล้ที่สุดต้องการให้คุณลักษณะอินพุตเป็นตัวเลขและปรับขนาดให้อยู่ในช่วงที่คล้ายกัน (เช่น ช่วง [-1,1]) วิธีการที่ใช้ฟังก์ชันระยะทาง เช่น วิธีการเพื่อนบ้านที่ใกล้ที่สุดและเครื่องสนับสนุนเวกเตอร์ที่มีเคอร์เนลแบบเกาส์เซียนจะมีความไวต่อสิ่งนี้เป็นพิเศษ ข้อดีของต้นไม้ตัดสินใจคือสามารถจัดการกับข้อมูลที่ไม่สม่ำเสมอได้อย่างง่ายดาย
• ความซ้ำซ้อนในข้อมูล หากคุณลักษณะอินพุตมีข้อมูลที่ซ้ำซ้อน (เช่น คุณลักษณะที่มีความสัมพันธ์กันสูง) อัลกอริทึมการเรียนรู้บางอย่าง (เช่นการถดถอยเชิงเส้นการถดถอยโลจิสติกและวิธีการตามระยะทาง ) จะทำงานได้ไม่ดีเนื่องจากความไม่เสถียรทางตัวเลข ปัญหาเหล่านี้มักแก้ไขได้โดยการใช้ การปรับค่า แบบ ใดแบบหนึ่ง
• การมีปฏิสัมพันธ์และความไม่เป็นเชิงเส้น หากแต่ละคุณลักษณะมีส่วนร่วมอย่างอิสระต่อผลลัพธ์ อัลกอริทึมที่ใช้ฟังก์ชันเชิงเส้น (เช่นการถดถอยเชิงเส้นการถดถอยโลจิสติกเครื่องสนับสนุนเวกเตอร์เบย์แบบง่าย ) และฟังก์ชันระยะทาง (เช่น วิธีเพื่อนบ้านที่ใกล้ที่สุดเครื่องสนับสนุนเวกเตอร์ที่มีเคอร์เนลแบบเกาส์เซียน ) โดยทั่วไปจะทำงานได้ดี อย่างไรก็ตาม หากมีปฏิสัมพันธ์ที่ซับซ้อนระหว่างคุณลักษณะ อัลกอริทึมเช่นต้นไม้ตัดสินใจและโครงข่ายประสาทเทียมจะทำงานได้ดีกว่า เนื่องจากได้รับการออกแบบมาโดยเฉพาะเพื่อค้นหาปฏิสัมพันธ์เหล่านี้ วิธีการเชิงเส้นก็สามารถนำมาใช้ได้เช่นกัน แต่ผู้ออกแบบจะต้องระบุปฏิสัมพันธ์ด้วยตนเองเมื่อใช้งาน

เมื่อพิจารณาแอปพลิเคชันใหม่ วิศวกรสามารถเปรียบเทียบอัลกอริธึมการเรียนรู้หลายแบบและทดลองเพื่อหาว่าอัลกอริธึมใดทำงานได้ดีที่สุดกับปัญหาที่กำลังเผชิญอยู่ (ดูการตรวจสอบแบบไขว้ ) การปรับแต่งประสิทธิภาพของอัลกอริธึมการเรียนรู้นั้นอาจใช้เวลานานมาก เมื่อมีทรัพยากรจำกัด การใช้เวลามากขึ้นในการรวบรวมข้อมูลการฝึกอบรมเพิ่มเติมและคุณลักษณะที่มีประโยชน์มากขึ้นมักจะดีกว่าการใช้เวลาเพิ่มเติมในการปรับแต่งอัลกอริธึมการเรียนรู้

อัลกอริทึมการเรียนรู้ที่ใช้กันอย่างแพร่หลายที่สุด ได้แก่:

• เครื่องสนับสนุนเวกเตอร์
• การถดถอยเชิงเส้น
• การถดถอยโลจิสติก
• เนฟเบย์ส
• การวิเคราะห์จำแนกเชิงเส้น
• ต้นไม้ตัดสินใจ
• อัลกอริทึมเพื่อนบ้านที่ใกล้ที่สุดk ตัว
• โครงข่ายประสาทเทียม (เช่นเพอร์เซปตรอนหลายชั้น )
• การเรียนรู้ความคล้ายคลึงกัน

เมื่อกำหนดชุดตัวอย่างการฝึกฝนในรูปแบบที่เป็นเวกเตอร์คุณลักษณะของตัวอย่างที่ และเป็นป้ายกำกับ (เช่น คลาส) ของมัน อัลกอริทึมการเรียนรู้จะค้นหาฟังก์ชันโดยที่เป็นพื้นที่อินพุตและเป็นพื้นที่เอาต์พุต ฟังก์ชันเป็นสมาชิกของพื้นที่ของฟังก์ชันที่เป็นไปได้ซึ่งโดยทั่วไปเรียกว่าพื้นที่สมมติฐานบางครั้งอาจสะดวกที่จะแสดงโดยใช้ฟังก์ชันการให้คะแนนเช่น ซึ่งกำหนดให้เป็นค่าที่ให้คะแนนสูงสุด: ให้แทนพื้นที่ของฟังก์ชันการให้คะแนน ${\displaystyle N}$${\displaystyle \{(x_{1},y_{1}),...,(x_{N},\;y_{N})\}}$${\displaystyle x_{i}}$${\displaystyle i}$${\displaystyle y_{i}}$${\displaystyle g:X\to Y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle g}$${\displaystyle G}$${\displaystyle g}$${\displaystyle f:X\times Y\to \mathbb {R} }$${\displaystyle g}$${\displaystyle y}$${\displaystyle g(x)={\underset {y}{\arg \max }}\;f(x,y)}$${\displaystyle F}$

แม้ว่าและจะเป็นปริภูมิของฟังก์ชันใดๆ ก็ได้ แต่อัลกอริทึมการเรียนรู้จำนวนมากเป็นแบบจำลองความน่าจะเป็น โดยที่จะอยู่ในรูปแบบของแบบจำลองความน่าจะเป็นแบบมีเงื่อนไขหรือจะอยู่ในรูปแบบของแบบจำลองความน่าจะเป็นร่วมตัวอย่างเช่นวิธีเบย์แบบง่ายและวิธีวิเคราะห์จำแนกเชิงเส้นเป็นแบบจำลองความน่าจะเป็นร่วม ในขณะที่การถดถอยโลจิสติกเป็นแบบจำลองความน่าจะเป็นแบบมีเงื่อนไข ${\displaystyle G}$${\displaystyle F}$${\displaystyle g}$${\displaystyle g(x)={\underset {y}{\arg \max }}\;P(y|x)}$${\displaystyle f}$${\displaystyle f(x,y)=P(x,y)}$

มีแนวทางพื้นฐานสองประการในการเลือกหรือ: การลดความเสี่ยงเชิงประจักษ์และการลดความเสี่ยงเชิงโครงสร้าง [ ^{7 ] การ}ลดความเสี่ยงเชิงประจักษ์จะแสวงหาฟังก์ชันที่เหมาะสมกับข้อมูลการฝึกอบรมมากที่สุด การลดความเสี่ยงเชิงโครงสร้างจะรวมฟังก์ชันการลงโทษที่ควบคุมการแลกเปลี่ยนระหว่างอคติ/ความแปรปรวน ${\displaystyle f}$${\displaystyle g}$

ในทั้งสองกรณี ถือว่าชุดข้อมูลฝึกฝนประกอบด้วยตัวอย่าง คู่ ที่เป็นอิสระและมีการกระจายเหมือนกันเพื่อวัดว่าฟังก์ชันเหมาะสมกับข้อมูลฝึกฝนได้ดีเพียงใด จึง มีการกำหนด ฟังก์ชันความสูญเสียขึ้นสำหรับ ตัวอย่างการฝึกฝนความสูญเสียของการทำนายค่าคือ${\displaystyle (x_{i},\;y_{i})}$${\displaystyle L:Y\times Y\to \mathbb {R} ^{\geq 0}}$${\displaystyle (x_{i},\;y_{i})}$${\displaystyle {\hat {y}}}$${\displaystyle L(y_{i},{\hat {y}})}$

ความเสี่ยง ของการทำงานถูกกำหนดให้เป็นการสูญเสียที่คาดการณ์ไว้ซึ่งสามารถประมาณได้จากข้อมูลการฝึกอบรมดังนี้ ${\displaystyle R(g)}$${\displaystyle g}$${\displaystyle g}$

${\displaystyle R_{emp}(g)={\frac {1}{N}}\sum _{i}L(y_{i},g(x_{i}))}$.

ในการลดความเสี่ยงเชิงประจักษ์ อัลกอริทึมการเรียนรู้แบบมีผู้กำกับดูแลจะค้นหาฟังก์ชันที่ทำให้ค่าต่ำสุดดังนั้น อัลกอริทึมการเรียนรู้แบบมีผู้กำกับดูแลจึงสามารถสร้างขึ้นได้โดยการใช้อัลกอริทึมการหาค่าเหมาะสมที่สุดเพื่อค้นหาค่า ${\displaystyle g}$${\displaystyle R(g)}$${\displaystyle g}$

เมื่อเป็นการแจกแจงความน่าจะเป็นแบบมีเงื่อนไขและฟังก์ชันความสูญเสียคือลอการิทึมลบของความน่าจะเป็นสูงสุด: การ ลดความเสี่ยงเชิงประจักษ์จะเทียบเท่ากับการประมาณค่าความน่าจะเป็นสูงสุด${\displaystyle g}$${\displaystyle P(y|x)}$${\displaystyle L(y,{\hat {y}})=-\log P(y|x)}$

เมื่อมีฟังก์ชันผู้สมัครจำนวนมาก หรือชุดข้อมูลฝึกฝนมีขนาดไม่ใหญ่พอ การลดความเสี่ยงเชิงประจักษ์จะนำไปสู่ความแปรปรวนสูงและการวางนัยทั่วไปที่ไม่ดี อัลกอริทึมการเรียนรู้สามารถจดจำตัวอย่างการฝึกฝนได้โดยไม่สามารถวางนัยทั่วไปได้ดี (โอเวอร์ฟิตติ้ง) ${\displaystyle G}$

การลดความเสี่ยงเชิงโครงสร้างมุ่งป้องกันการเกิดภาวะโอเวอร์ฟิตติ้งโดยการรวมเอาบทลงโทษการปรับค่า (regularization penalty ) เข้าไปในการปรับค่าให้เหมาะสม บทลงโทษการปรับค่านี้สามารถมองได้ว่าเป็นการนำหลักการของอ็อกแคม (Occam's razor) มาใช้ ซึ่งให้ความสำคัญกับฟังก์ชันที่เรียบง่ายกว่าฟังก์ชันที่ซับซ้อนกว่า

มีการใช้บทลงโทษที่หลากหลายซึ่งสอดคล้องกับคำจำกัดความของความซับซ้อนที่แตกต่างกัน ตัวอย่างเช่น พิจารณากรณีที่ฟังก์ชันเป็นฟังก์ชันเชิงเส้นในรูปแบบ ${\displaystyle g}$

${\displaystyle g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}}$.

ค่าปรับลดที่นิยมใช้คือซึ่งเป็นค่ากำลังสอง ของ นอร์มยุคลิดของน้ำหนัก หรือที่รู้จักกันในชื่อนอร์ม นอร์มอื่นๆ ได้แก่นอร์มและ"นอร์ม"ซึ่งเป็นจำนวนของค่าที่ไม่เป็นศูนย์ ค่าปรับลดนี้จะใช้ สัญลักษณ์ แทน${\displaystyle \sum _{j}\beta _{j}^{2}}$${\displaystyle L_{2}}$${\displaystyle L_{1}}$${\displaystyle \sum _{j}|\beta _{j}|}$${\displaystyle L_{0}}$${\displaystyle \beta _{j}}$${\displaystyle C(g)}$

ปัญหาการหาค่าเหมาะสมที่สุดของการเรียนรู้แบบมีผู้กำกับดูแล คือ การหาฟังก์ชันที่ทำให้ค่าต่ำสุด ${\displaystyle g}$

${\displaystyle J(g)=R_{emp}(g)+\lambda C(g).}$

พารามิเตอร์นี้ควบคุมความสมดุลระหว่างอคติและความแปรปรวน เมื่อค่า มีค่าน้อย จะทำให้ได้การลดความเสี่ยงเชิงประจักษ์โดยมีอคติต่ำและความแปรปรวนสูง เมื่อค่า มีค่ามาก อัลกอริทึมการเรียนรู้จะมีอคติสูงและความแปรปรวนต่ำสามารถเลือกค่า ได้โดยวิธีเชิงประจักษ์ผ่านการตรวจสอบแบบไขว้ (cross-validation ) ${\displaystyle \lambda }$${\displaystyle \lambda =0}$${\displaystyle \lambda }$${\displaystyle \lambda }$

ค่าปรับความซับซ้อนมีการตีความแบบเบย์เซียนเป็นค่าลบของลอการิทึมของความน่าจะเป็นก่อนหน้าของ, , ซึ่งในกรณีนี้คือความน่าจะเป็นภายหลังของ${\displaystyle g}$${\displaystyle -\log P(g)}$${\displaystyle J(g)}$${\displaystyle g}$

วิธีการฝึกอบรมที่อธิบายไว้ข้างต้นเป็น วิธี การฝึกอบรมแบบจำแนกเนื่องจากวิธีการเหล่านี้มุ่งหาฟังก์ชันที่สามารถจำแนกความแตกต่างระหว่างค่าเอาต์พุตที่แตกต่างกันได้อย่างดี (ดูแบบจำลองจำแนก ) สำหรับกรณีพิเศษที่เป็นการแจกแจงความน่าจะเป็นร่วมและฟังก์ชันความสูญเสียคือลอการิทึมความน่าจะเป็นลบ อัลกอริทึมการลดความเสี่ยงจะถูกเรียกว่าทำการฝึกอบรมแบบสร้างเนื่องจากสามารถมองได้ว่าเป็นแบบจำลองสร้างที่อธิบายว่าข้อมูลถูกสร้างขึ้นมาได้อย่างไร อัลกอริทึมการฝึกอบรมแบบสร้างมักจะง่ายกว่าและมีประสิทธิภาพในการคำนวณมากกว่าอัลกอริทึมการฝึกอบรมแบบจำแนก ในบางกรณี วิธีแก้ปัญหาสามารถคำนวณได้ในรูปแบบปิด เช่นเดียวกับในวิธีเบย์แบบง่ายและวิธีวิเคราะห์จำแนกเชิงเส้น ${\displaystyle g}$${\displaystyle f(x,y)=P(x,y)}$${\displaystyle -\sum _{i}\log P(x_{i},y_{i}),}$${\displaystyle f}$

มีหลายวิธีที่สามารถขยายปัญหาการเรียนรู้แบบมีผู้กำกับดูแลมาตรฐานให้เป็นรูปแบบทั่วไปได้:

• การเรียนรู้แบบกึ่งกำกับดูแลหรือการกำกับดูแลแบบอ่อน : ค่าผลลัพธ์ที่ต้องการจะถูกกำหนดไว้สำหรับข้อมูลฝึกฝนเพียงบางส่วนเท่านั้น ข้อมูลที่เหลือจะไม่มีป้ายกำกับหรือมีป้ายกำกับที่ไม่แม่นยำ
• การเรียนรู้เชิงรุก : แทนที่จะสมมติว่าตัวอย่างการฝึกอบรมทั้งหมดมีให้ตั้งแต่เริ่มต้น อัลกอริทึมการเรียนรู้เชิงรุกจะรวบรวมตัวอย่างใหม่แบบโต้ตอบ โดยทั่วไปจะทำโดยการสอบถามผู้ใช้ที่เป็นมนุษย์ บ่อยครั้งที่การสอบถามนั้นอิงจากข้อมูลที่ไม่มีป้ายกำกับ ซึ่งเป็นสถานการณ์ที่ผสมผสานการเรียนรู้แบบกึ่งกำกับดูแลเข้ากับการเรียนรู้เชิงรุก
• การทำนายแบบมีโครงสร้าง : เมื่อค่าผลลัพธ์ที่ต้องการเป็นวัตถุที่ซับซ้อน เช่นแผนผังการวิเคราะห์ไวยากรณ์หรือกราฟที่มีป้ายกำกับ วิธีการมาตรฐานจะต้องได้รับการปรับปรุงเพิ่มเติม
• การเรียนรู้วิธีจัดอันดับ : เมื่อข้อมูลนำเข้าเป็นชุดของวัตถุ และผลลัพธ์ที่ต้องการคือการจัดอันดับของวัตถุเหล่านั้น วิธีการมาตรฐานจะต้องได้รับการปรับปรุงเพิ่มเติมอีกครั้ง

• การเรียนรู้เชิงวิเคราะห์
• เครือข่ายประสาทเทียม
• การแพร่กระจายย้อนกลับ
• การเพิ่มประสิทธิภาพ (เมตาอัลกอริธึม)
• สถิติแบบเบย์เซียน
• การให้เหตุผลโดยอิงจากกรณีศึกษา
• การเรียนรู้ต้นไม้ตัดสินใจ
• การเขียนโปรแกรมเชิงตรรกะแบบอุปนัย
• การถดถอยกระบวนการเกาส์เซียน
• การโปรแกรมทางพันธุกรรม
• วิธีการจัดการข้อมูลแบบกลุ่ม
• ตัวประมาณเคอร์เนล
• ออโตมาตาการเรียนรู้
• ระบบการเรียนรู้การจำแนกประเภท
• การเรียนรู้การหาปริมาณเวกเตอร์
• ความยาวข้อความขั้นต่ำ ( แผนผังการตัดสินใจ , กราฟการตัดสินใจ ฯลฯ)
• การเรียนรู้ซับสเปซเชิงเส้นหลายตัว
• ตัวจำแนกแบบ Naive Bayes
• ตัวจำแนกเอนโทรปีสูงสุด
• สนามสุ่มแบบมีเงื่อนไข
• อัลกอริทึมเพื่อนบ้านที่ใกล้ที่สุด
• การเรียนรู้ที่ถูกต้องโดยประมาณ (PAC)
• กฎการส่งต่อแบบลูกโซ่ : วิธีการได้มาซึ่งความรู้
• อัลกอริทึมการเรียนรู้ของเครื่องจักรเชิงสัญลักษณ์
• อัลกอริทึมการเรียนรู้ของเครื่องแบบซับสัญลักษณ์
• เครื่องสนับสนุนเวกเตอร์
• เครื่องจักรที่มีความซับซ้อนน้อยที่สุด (MCM)
• ป่าสุ่ม
• ชุดของตัวจำแนกประเภท
• การจำแนกประเภทตามลำดับ
• การประมวลผลข้อมูลเบื้องต้น
• การจัดการกับชุดข้อมูลที่ไม่สมดุล
• การเรียนรู้เชิงสัมพันธ์ทางสถิติ
• Proaftnคืออัลกอริทึมการจำแนกประเภทแบบหลายเกณฑ์

• ชีวสารสนเทศ
• เคมีสารสนเทศ
  • ความสัมพันธ์เชิงปริมาณระหว่างโครงสร้างและกิจกรรม
• การตลาดฐานข้อมูล
• การจดจำลายมือ
• การค้นหาข้อมูล
  • การเรียนรู้การจัดอันดับ
• การสกัดข้อมูล
• การจดจำวัตถุในวิทยาการคอมพิวเตอร์
• การรู้จำอักขระด้วยแสง
• การตรวจจับสแปม
• การจดจำรูปแบบ
• การรู้จำเสียงพูด
• การเรียนรู้แบบมีผู้กำกับดูแลเป็นกรณีพิเศษของการเกิดเหตุและผลจากบนลงล่างในระบบชีวภาพ
• การจำแนกประเภทภูมิประเทศโดยใช้ภาพถ่ายดาวเทียม^{[ 8 ]}
• การจำแนกประเภทการใช้จ่ายในกระบวนการจัดซื้อจัดจ้าง^{[ 9 ]}

• ทฤษฎีการเรียนรู้เชิงคำนวณ
• อคติเชิงเหนี่ยวนำ
• โอเวอร์ฟิตติ้ง
• ความน่าจะเป็นของการเป็นสมาชิกกลุ่ม (ที่ยังไม่ได้ปรับเทียบ)
• พื้นที่เวอร์ชัน

• รายชื่อชุดข้อมูลสำหรับการวิจัยด้านการเรียนรู้ของเครื่อง
• การเรียนรู้แบบไม่มีผู้กำกับดูแล

• ซอฟต์แวร์โอเพนซอร์สสำหรับการเรียนรู้ของเครื่อง (MLOSS)