กลับไปหน้าบทความ

อ่าน 12 นาที

การปรับเสถียรภาพของแมนิโฟลด์

ใน แมชชีนเลิร์นนิง การ ปรับเสถียรด้วยแมนิโฟลด์ (Manifold Regularization) เป็นเทคนิคที่ใช้รูปร่างของชุดข้อมูลเพื่อจำกัดฟังก์ชันที่ควรเรียนรู้จากชุดข้อมูลนั้น...

การปรับเสถียรภาพของแมนิโฟลด์

การปรับความเรียบของแมนิโฟลด์สามารถจำแนกข้อมูลได้เมื่อข้อมูลที่มีป้ายกำกับ (วงกลมสีดำและสีขาว) มีจำนวนน้อย โดยใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับ (วงกลมสีเทา) หากไม่มีจุดข้อมูลที่มีป้ายกำกับจำนวนมาก อัลกอริทึม การเรียนรู้แบบมีผู้กำกับดูแลจะสามารถเรียนรู้ได้เพียงขอบเขตการตัดสินใจที่ง่ายมากเท่านั้น (แผงด้านบน) การเรียนรู้แบบแมนิโฟลด์สามารถวาดขอบเขตการตัดสินใจระหว่างคลาสตามธรรมชาติของข้อมูลที่ไม่มีป้ายกำกับ ภายใต้สมมติฐานที่ว่าจุดที่อยู่ใกล้กันน่าจะอยู่ในคลาสเดียวกัน ดังนั้นขอบเขตการตัดสินใจควรหลีกเลี่ยงพื้นที่ที่มีจุดที่ไม่มีป้ายกำกับจำนวนมาก นี่คือรูปแบบหนึ่งของ การเรียน รู้แบบกึ่งมีผู้กำกับดูแล

ในแมชชีนเลิร์นนิงการปรับเสถียรด้วยแมนิโฟลด์ (Manifold Regularization)เป็นเทคนิคที่ใช้รูปร่างของชุดข้อมูลเพื่อจำกัดฟังก์ชันที่ควรเรียนรู้จากชุดข้อมูลนั้น ในปัญหาแมชชีนเลิร์นนิงหลายๆ ปัญหา ข้อมูลที่จะเรียนรู้ไม่ได้ครอบคลุมพื้นที่อินพุตทั้งหมด ตัวอย่างเช่นระบบจดจำใบหน้าอาจไม่จำเป็นต้องจำแนกภาพที่เป็นไปได้ทั้งหมด แต่เฉพาะชุดย่อยของภาพที่มีใบหน้าเท่านั้น เทคนิคการเรียนรู้ด้วยแมนิโฟลด์นั้นตั้งอยู่บนสมมติฐานว่าชุดย่อยของข้อมูลที่เกี่ยวข้องมาจากแมนิโฟลด์ซึ่งเป็นโครงสร้างทางคณิตศาสตร์ที่มีคุณสมบัติที่เป็นประโยชน์ เทคนิคนี้ยังตั้งอยู่บนสมมติฐานว่าฟังก์ชันที่จะเรียนรู้นั้นราบเรียบ กล่าวคือ ข้อมูลที่มีป้ายกำกับต่างกันไม่น่าจะอยู่ใกล้กัน ดังนั้นฟังก์ชันการติดป้ายกำกับจึงไม่ควรเปลี่ยนแปลงอย่างรวดเร็วในบริเวณที่มีจุดข้อมูลจำนวนมาก เนื่องจากสมมติฐานนี้ อัลกอริทึมการปรับเสถียรด้วยแมนิโฟลด์จึงสามารถใช้ข้อมูลที่ไม่มีป้ายกำกับเพื่อบอกว่าฟังก์ชันที่เรียนรู้นั้นสามารถเปลี่ยนแปลงได้อย่างรวดเร็วในบริเวณใด และบริเวณใดที่ไม่ควรเปลี่ยนแปลง โดยใช้การขยายเทคนิคการปรับเสถียรแบบทิโคนอฟ (Tikhonov regularization ) อัลกอริทึมการปรับเสถียรภาพแบบแมนิโฟลด์สามารถขยาย อัลกอริทึม การเรียนรู้แบบมีผู้กำกับดูแลไปสู่การเรียนรู้แบบกึ่งมีผู้กำกับ ดูแล และการเรียนรู้แบบถ่ายทอดความรู้ได้ โดยเฉพาะอย่างยิ่งในกรณีที่มีข้อมูลที่ไม่มีป้ายกำกับ เทคนิคนี้ถูกนำไปใช้ในแอปพลิเคชันต่างๆ เช่น การถ่ายภาพทางการแพทย์ การถ่ายภาพทางภูมิศาสตร์ และการจดจำวัตถุ

ตัวปรับความเรียบของท่อร่วม

แรงจูงใจ

การปรับเสถียรภาพแบบแม นิโฟลด์ (Manifold regularization) เป็นประเภทหนึ่งของการปรับเสถียรภาพ (Regularization) ซึ่งเป็นกลุ่มเทคนิคที่ช่วยลด ปัญหาการโอเวอร์ฟิตติ้ง (Overfitting) และทำให้มั่นใจได้ว่าปัญหาที่กำหนดนั้นมีความถูกต้อง (Well -posed problem) โดยการลงโทษคำตอบที่ซับซ้อน โดยเฉพาะอย่างยิ่ง การปรับเสถียรภาพแบบแมนิโฟลด์เป็นการขยายเทคนิคการปรับเสถียรภาพ แบบทิ โคนอฟ (Tikhonov regularization) ที่ใช้กับปริภูมิฮิล เบิร์ตแบบเคอร์เนลที่สร้างซ้ำได้ (Reproducing kernel Hilbert spaces: RKHSs) ภายใต้การปรับเสถียรภาพแบบทิโคนอฟ มาตรฐานบน RKHSs อัลกอริทึมการเรียนรู้จะพยายามเรียนรู้ฟังก์ชันจากปริภูมิสมมติฐานของฟังก์ชันต่างๆ ปริภูมิ สมมติฐาน นี้เป็น RKHS ซึ่งหมายความว่ามันเกี่ยวข้องกับเคอร์เนลดังนั้นฟังก์ชันผู้สมัครแต่ละฟังก์ชันจึงมีนอร์ม (norm ) ซึ่งแสดงถึงความซับซ้อนของฟังก์ชันผู้สมัครในปริภูมิสมมติฐาน เมื่ออัลกอริทึมพิจารณาฟังก์ชันผู้สมัคร มันจะคำนึงถึงนอร์มของฟังก์ชันนั้นเพื่อลงโทษฟังก์ชันที่ซับซ้อน

ตามหลักการแล้ว เมื่อกำหนดชุดข้อมูลฝึกฝนที่มี ป้ายกำกับ และฟังก์ชันความสูญเสียแล้ว อัลกอริทึมการเรียนรู้ที่ใช้การปรับค่าแบบ Tikhonov จะพยายามแก้สมการดังกล่าว

โดยที่เป็นไฮเปอร์พารามิเตอร์ที่ควบคุมว่าอัลกอริทึมจะเลือกใช้ฟังก์ชันที่เรียบง่ายกว่ามากน้อยเพียงใด เมื่อเทียบกับฟังก์ชันที่เหมาะสมกับข้อมูลได้ดีกว่า

ภาพด้านซ้ายคือ ระนาบสองมิติที่ฝังอยู่ในปริภูมิสามมิติ ส่วนภาพด้านขวาคือการปรับระนาบเพื่อเรียนรู้ฟังก์ชันที่เรียบเนียนบนระนาบที่คลี่ออก

การทำให้เป็นระเบียบแบบแมนิโฟลด์จะเพิ่มเทอมการทำให้เป็นระเบียบที่สอง ซึ่งก็คือตัวทำให้เป็นระเบียบ ภายใน ให้กับตัวทำให้เป็นระเบียบโดยรอบที่ใช้ในการทำให้เป็นระเบียบแบบทิโคนอฟมาตรฐาน ภายใต้สมมติฐานแมนิโฟลด์ในการเรียนรู้ของเครื่อง ข้อมูลที่กล่าวถึงไม่ได้มาจากพื้นที่อินพุตทั้งหมดแต่มาจากแมนิโฟลด์ ที่ไม่เป็นเชิง เส้น เรขาคณิตของแมนิโฟลด์นี้ พื้นที่ภายใน จะถูกใช้เพื่อกำหนดบรรทัดฐานการทำให้เป็นระเบียบ[ 1 ]

บรรทัดฐานลาปลาเซียน

มีตัวเลือกมากมายสำหรับตัวควบคุมความเรียบภายใน (intrinsic regularizer ) ตัวเลือกที่เป็นธรรมชาติหลายอย่างเกี่ยวข้องกับเกรเดียนต์บนแมนิโฟลด์ซึ่งสามารถให้การวัดว่าฟังก์ชันเป้าหมายเรียบแค่ไหนฟังก์ชันที่เรียบควรเปลี่ยนแปลงช้าๆ ในบริเวณที่ข้อมูลอินพุตหนาแน่น กล่าวคือ เกรเดียนต์ควรมีค่าน้อยในบริเวณที่ความหนาแน่นของความน่าจะเป็นแบบมาร์จินัล (marginal probability density ) ซึ่งเป็นความหนาแน่น ของความน่าจะเป็นของจุดข้อมูลที่สุ่มเลือกมาปรากฏที่จุดนั้นมีค่ามาก นี่จึงให้ตัวเลือกที่เหมาะสมหนึ่งอย่างสำหรับตัวควบคุมความเรียบภายใน:

ในทางปฏิบัติ ค่ามาตรฐานนี้ไม่สามารถคำนวณได้โดยตรง เนื่องจากไม่ทราบการกระจายแบบมาร์จินัล แต่สามารถประมาณได้จากข้อมูลที่ให้มา

แนวทางเชิงกราฟของบรรทัดฐานลาปลาเซียน

เมื่อระยะห่างระหว่างจุดอินพุตถูกตีความว่าเป็นกราฟเมทริกซ์ลาปลาเซียนของกราฟสามารถช่วยประมาณการการกระจายแบบมาร์จินั ล ได้ สมมติว่าข้อมูลอินพุตประกอบด้วยตัวอย่างที่มีป้ายกำกับ (คู่ของอินพุตและป้ายกำกับ) และตัวอย่างที่ไม่มีป้ายกำกับ (อินพุตที่ไม่มีป้ายกำกับที่เกี่ยวข้อง) กำหนดให้เป็นเมทริกซ์ของน้ำหนักขอบสำหรับกราฟ โดยที่เป็นค่าความคล้ายคลึงที่สร้างขึ้นจากการวัดระยะห่างระหว่างจุดข้อมูลและ(ดังนั้นยิ่งใกล้กันมากเท่าไหร่ ก็ยิ่งหมายถึงค่า สูงขึ้นเท่านั้น) กำหนดให้เป็นเมทริกซ์แนวทแยงที่มีและให้เป็นเมทริกซ์ลาปลาเซียนจากนั้น เมื่อจำนวนจุดข้อมูลเพิ่มขึ้นจะลู่เข้าสู่ตัวดำเนินการลาปลาเซียน-เบลทรามีซึ่งเป็นการล divergenceของ gradient [ 2 ] [ 3 ]จากนั้น ถ้าเป็นเวกเตอร์ของค่าของที่ข้อมูลค่าบรรทัดฐานภายในสามารถประมาณได้:

เมื่อจำนวนจุดข้อมูลเพิ่มขึ้น คำจำกัดความเชิงประจักษ์นี้จะลู่เข้าสู่คำจำกัดความเมื่อทราบ[ 1 ]

การแก้ปัญหาการทำให้เป็นระเบียบด้วยวิธีการแบบกราฟ

เมื่อใช้ค่าน้ำหนักสำหรับตัวควบคุมความสม่ำเสมอของสภาพแวดล้อมและภายในแล้ว สมการสุดท้ายที่จะต้องแก้จะเป็นดังนี้:

เช่นเดียวกับวิธีการเคอร์เนล อื่นๆ อาจเป็นพื้นที่มิติอนันต์ ดังนั้นหากไม่สามารถแก้สมการการปรับค่าให้เป็นระเบียบได้อย่างชัดเจน ก็เป็นไปไม่ได้ที่จะค้นหาคำตอบในพื้นที่ทั้งหมด ในทางกลับกัน ทฤษฎีบทตัวแทนแสดงให้เห็นว่าภายใต้เงื่อนไขบางประการเกี่ยวกับการเลือกค่ามาตรฐานคำตอบที่เหมาะสมที่สุดจะต้องเป็นการรวมเชิงเส้นของเคอร์เนลที่อยู่ตรงกลางจุดอินพุตแต่ละจุด: สำหรับน้ำหนักบางค่า

โดยใช้ผลลัพธ์นี้ สามารถค้นหาวิธีแก้ปัญหาที่เหมาะสมที่สุดได้โดยการค้นหาในพื้นที่มิติจำกัดที่กำหนดโดยตัวเลือกที่เป็นไปได้ของ[ 1 ]

แนวทางเชิงฟังก์ชันของบรรทัดฐานลาปลาเซียน

แนวคิดที่นอกเหนือไปจากกราฟลาปลาเซียนคือการใช้เพื่อนบ้านเพื่อประมาณค่าลาปลาเซียน วิธีนี้คล้ายกับวิธีการหาค่าเฉลี่ยเฉพาะที่ซึ่งเป็นที่ทราบกันดีว่าปรับขนาดได้ไม่ดีในปัญหาที่มีมิติสูง อันที่จริง กราฟลาปลาเซียนเป็นที่ทราบกันดีว่าประสบปัญหาจาก คำ สาปแห่งมิติ[ 2 ] โชคดีที่สามารถใช้ประโยชน์จากความเรียบที่คาดหวังของฟังก์ชันเพื่อประมาณค่าได้ด้วยการวิเคราะห์ฟังก์ชันขั้นสูง วิธีนี้ประกอบด้วยการประมาณค่าตัวดำเนินการลาปลาเซียนโดยใช้อนุพันธ์ของเคอร์เนลที่อ่านว่าโดยที่แสดงถึงอนุพันธ์ย่อยตาม พิกัดที่ jของตัวแปรแรก[ 4 ] แนวทางที่สองสำหรับบรรทัดฐานลาปลาเซียนนี้คือการสร้างความสัมพันธ์กับวิธีการแบบไร้ตาข่ายซึ่งแตกต่างจากวิธีการผลต่างจำกัดใน PDE

แอปพลิเคชัน

การปรับค่าแมนิโฟลด์สามารถขยายอัลกอริธึมต่างๆ ที่สามารถแสดงได้โดยใช้การปรับค่าทิโคนอฟ โดยการเลือกฟังก์ชันการสูญเสียและพื้นที่สมมติฐานที่ เหมาะสม ตัวอย่างที่ใช้กันทั่วไปสองตัวอย่างคือตระกูลของเครื่องเวกเตอร์สนับสนุนและ อัลกอริ ธึมกำลังสองน้อยที่สุดแบบปรับค่า (กำลังสองน้อยที่สุดแบบปรับค่ารวมถึงอัลกอริธึมการถดถอยแบบริดจ์ อัลกอริธึมที่เกี่ยวข้องของ LASSO และการปรับค่าแบบอีลาสติกเน็ตสามารถแสดงเป็นเครื่องเวกเตอร์สนับสนุนได้[ 5 ] [ 6 ] ) เวอร์ชันที่ขยายของอัลกอริธึมเหล่านี้เรียกว่ากำลังสองน้อยที่สุดแบบปรับค่าลาปลาเซียน (ย่อว่า LapRLS) และเครื่องเวกเตอร์สนับสนุนลาปลาเซียน (LapSVM) ตามลำดับ[ 1 ]

วิธีการปรับค่ากำลังสองน้อยที่สุดแบบลาปลาเซียน (LapRLS)

การถดถอยกำลังสองน้อยที่สุดแบบปรับค่า (Regularized Least Squares: RLS) เป็นกลุ่มของอัลกอริธึมการถดถอย : อัลกอริธึมที่ทำนายค่าสำหรับอินพุตโดยมีเป้าหมายเพื่อให้ค่าที่ทำนายได้ใกล้เคียงกับค่าจริงของข้อมูล โดยเฉพาะอย่างยิ่ง RLS ถูกออกแบบมาเพื่อลดค่าความคลาดเคลื่อนกำลังสองเฉลี่ยระหว่างค่าที่ทำนายได้และค่าจริง ภายใต้การปรับค่า การถดถอยแบบ Ridge เป็นรูปแบบหนึ่งของ RLS โดยทั่วไปแล้ว RLS ก็เหมือนกับการถดถอยแบบ Ridge ที่รวมกับวิธี การ เคอร์เนล ปัญหาของ RLS เกิดจากการเลือกฟังก์ชันความสูญเสียในการปรับค่าแบบ Tikhonov ให้เป็นค่าความคลาดเคลื่อนกำลังสองเฉลี่ย:

ด้วยทฤษฎีตัวแทน (representer theorem)ทำให้สามารถเขียนคำตอบได้ในรูปผลรวมถ่วงน้ำหนักของเคอร์เนลที่ประเมิน ณ จุดข้อมูลต่างๆ:

และเมื่อแก้สมการจะได้ผลลัพธ์ดังนี้:

โดยที่ถูกกำหนดให้เป็นเมทริกซ์เคอร์เนล โดยมีและเป็นเวกเตอร์ของป้ายกำกับข้อมูล

การเพิ่มเทอมลาปลาเซียนสำหรับการปรับเสถียรภาพของแมนิโฟลด์ทำให้ได้ข้อความ RLS แบบลาปลาเซียน:

ทฤษฎีตัวแทนสำหรับการทำให้เรียบของแมนิโฟลด์ให้ผลลัพธ์อีกครั้ง

และผลลัพธ์ที่ได้คือนิพจน์สำหรับเวกเตอร์โดยให้เป็นเมทริกซ์เคอร์เนลดังข้างต้นให้ เป็นเวกเตอร์ของป้ายกำกับข้อมูล และให้ เป็นเมทริกซ์บล็อก:

ด้วยวิธีแก้ปัญหาของ

[ 1 ]

LapRLS ได้ถูกนำไปประยุกต์ใช้กับปัญหาต่างๆ รวมถึงเครือข่ายเซ็นเซอร์[ 7 ]การถ่ายภาพทางการแพทย์ [ 8 ] [ 9 ] การตรวจจับวัตถุ[ 10 ]สเปกโทรสโก ปี [ 11 ] การจำแนกเอกสาร[ 12 ] ปฏิสัมพันธ์ ระหว่าง ยาและโปรตีน[ 13 ] และการบีบอัดรูปภาพและวิดีโอ[ 14 ]

เครื่องสนับสนุนเวกเตอร์แบบลาปลาเซียน (LapSVM)

เครื่องสนับสนุนเวกเตอร์ (SVM) เป็นกลุ่มของอัลกอริธึมที่มักใช้ในการจำแนกข้อมูลออกเป็นสองกลุ่มหรือมากกว่า หรือหลายคลาสโดยทั่วไปแล้ว SVM จะลากเส้นแบ่งระหว่างคลาสเพื่อให้ตัวอย่างที่มีป้ายกำกับที่อยู่ใกล้เส้นแบ่งมากที่สุดอยู่ห่างออกไปให้มากที่สุดเท่าที่จะเป็นไปได้ ซึ่งสามารถแสดงได้โดยตรงในรูปของโปรแกรมเชิงเส้นแต่ก็เทียบเท่ากับการปรับค่าแบบ Tikhonov ด้วยฟังก์ชันการสูญเสียแบบบานพับ :

[ 15 ] [ 16 ]

การเพิ่มเทอมการปรับค่าภายใน (intrinsic regularization term) เข้าไปในนิพจน์นี้ จะได้คำอธิบายปัญหาของ LapSVM ดังนี้:

กล่าวอีกนัยหนึ่ง ทฤษฎีตัวแทนช่วยให้สามารถแสดงคำตอบได้ในรูปของเคอร์เนลที่ประเมินค่า ณ จุดข้อมูล:

สามารถหาคำตอบได้โดยการเขียนปัญหาเป็นโปรแกรมเชิงเส้นและแก้ปัญหาคู่ขนาน โดยให้เป็นเมทริกซ์เคอร์เนล และเป็นเมทริกซ์บล็อกจะสามารถแสดงคำตอบได้ว่า

ทางออกของปัญหาสองประการนี้อยู่ ที่ไหน

และถูกกำหนดโดย

[ 1 ]

LapSVM ได้ถูกนำไปใช้กับปัญหาต่างๆ รวมถึงการสร้างภาพทางภูมิศาสตร์[ 17 ] [ 18 ] [ 19 ] การสร้างภาพทางการแพทย์[ 20 ] [ 21 ] [ 22 ] การจดจำใบหน้า[ 23 ] การบำรุงรักษาเครื่องจักร[ 24 ] และ อินเทอร์เฟซระหว่างสมอง กับคอมพิวเตอร์[ 25 ]

ข้อจำกัด

  • การปรับความสม่ำเสมอของแมนิโฟลด์ถือว่าข้อมูลที่มีป้ายกำกับต่างกันไม่น่าจะอยู่ใกล้กัน ข้อสมมตินี้ทำให้เทคนิคนี้สามารถดึงข้อมูลจากข้อมูลที่ไม่มีป้ายกำกับได้ แต่ใช้ได้เฉพาะกับโดเมนปัญหาบางประเภทเท่านั้น ขึ้นอยู่กับโครงสร้างของข้อมูล อาจจำเป็นต้องใช้อัลกอริธึมการเรียนรู้แบบกึ่งกำกับดูแลหรือแบบทรานสดักทีฟที่แตกต่างกัน[ 26 ]
  • ในชุดข้อมูลบางชุด ค่าบรรทัดฐานภายในของฟังก์ชันอาจใกล้เคียงกับค่าบรรทัดฐานโดยรอบมากตัวอย่างเช่น หากข้อมูลประกอบด้วยสองคลาสที่อยู่บนเส้นตั้งฉาก ค่าบรรทัดฐานภายในจะเท่ากับค่าบรรทัดฐานโดยรอบ ในกรณีนี้ ข้อมูลที่ไม่มีป้ายกำกับจะไม่มีผลต่อโซลูชันที่เรียนรู้โดยการปรับค่าแบบแมนิโฟลด์ แม้ว่าข้อมูลจะตรงกับสมมติฐานของอัลกอริทึมที่ว่าตัวแยกควรเรียบก็ตาม แนวทางที่เกี่ยวข้องกับการฝึกร่วมกันได้รับการเสนอเพื่อแก้ไขข้อจำกัดนี้[ 27 ]
  • หากมีตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก เมทริกซ์เคอร์เนลจะมีขนาดใหญ่มาก และอัลกอริทึมการปรับความเรียบของแมนิโฟลด์อาจช้าเกินไปจนไม่สามารถคำนวณได้ อัลกอริทึมออนไลน์และการประมาณค่าแบบเบาบางของแมนิโฟลด์อาจช่วยได้ในกรณีนี้[ 28 ]

ดูเพิ่มเติม

ซอฟต์แวร์

  • ไลบรารีManifoldLearnและไลบรารี Primal LapSVMนำเสนอ LapRLS และ LapSVM ในMATLAB
  • ไลบรารีDlibสำหรับC++มีฟังก์ชันการปรับเสถียรภาพของแมนิโฟลด์เชิงเส้นอยู่ด้วย
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Manifold_regularization&oldid=1324932296 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ การปรับเสถียรภาพของแมนิโฟลด์

ใน แมชชีนเลิร์นนิง การ ปรับเสถียรด้วยแมนิโฟลด์ (Manifold Regularization) เป็นเทคนิคที่ใช้รูปร่างของชุดข้อมูลเพื่อจำกัดฟังก์ชันที่ควรเรียนรู้จากชุดข้อมูลนั้น...

แรงจูงใจ

การปรับเสถียรภาพแบบแม นิโฟลด์ (Manifold regularization) เป็นประเภทหนึ่งของ การปรับ เสถียรภาพ (Regularization) ซึ่งเป็นกลุ่มเทคนิคที่ช่วยลด ปัญหาการโอเวอร์ฟิตติ้ง (Overfitting) และทำให้มั่นใจได้ว่าปัญหาที่กำหนดนั้นมี ความถูกต้อง (Well -posed problem)...

บรรทัดฐานลาปลาเซียน

มีตัวเลือกมากมายสำหรับตัวควบคุมความเรียบภายใน (intrinsic regularizer ) ตัวเลือกที่เป็นธรรมชาติหลายอย่างเกี่ยวข้องกับ เกรเดียนต์บนแมนิโฟลด์ ซึ่งสามารถให้การวัดว่าฟังก์ชันเป้าหมายเรียบแค่ไหน ฟังก์ชันที่เรียบ ควรเปลี่ยนแปลงช้าๆ ในบริเวณที่ข้อมูลอินพุตหนาแน่น...

แนวทางเชิงกราฟของบรรทัดฐานลาปลาเซียน

เมื่อระยะห่างระหว่างจุดอินพุตถูกตีความว่าเป็นกราฟ เมทริกซ์ลาปลาเซียน ของกราฟสามารถช่วยประมาณการ การกระจายแบบมาร์จินั ล ได้ สมมติว่าข้อมูลอินพุตประกอบด้วยตัวอย่างที่มีป้ายกำกับ (คู่ของอินพุตและป้ายกำกับ) และตัวอย่างที่ไม่มีป้ายกำกับ...