อ่าน 5 นาที
เคอร์เนลพหุนาม
ในแมชชีนเลิร์ นนิง ฟังก์ชัน เคอร์เนลพหุนามเป็นฟังก์ชันเคอร์เนลที่ใช้กันทั่วไปในเครื่องสนับสนุนเวกเตอร์ (SVM) และ โมเดล เคอร์เนล อื่นๆ ซึ่งแสดงถึงความคล้ายคลึงกันของเวกเตอร์...
เคอร์เนลพหุนาม
ในแมชชีนเลิร์ นนิง ฟังก์ชัน เคอร์เนลพหุนามเป็นฟังก์ชันเคอร์เนลที่ใช้กันทั่วไปในเครื่องสนับสนุนเวกเตอร์ (SVM) และ โมเดล เคอร์เนล อื่นๆ ซึ่งแสดงถึงความคล้ายคลึงกันของเวกเตอร์ (ตัวอย่างการฝึกอบรม) ในพื้นที่คุณลักษณะเหนือพหุนามของตัวแปรดั้งเดิม ทำให้สามารถเรียนรู้โมเดลที่ไม่เป็นเชิงเส้นได้
โดยสัญชาตญาณแล้ว เคอร์เนลพหุนามไม่เพียงแต่พิจารณาคุณลักษณะที่กำหนดของตัวอย่างอินพุตเพื่อกำหนดความคล้ายคลึงกันเท่านั้น แต่ยังรวมถึงการรวมกันของคุณลักษณะเหล่านั้นด้วย ในบริบทของการวิเคราะห์การถดถอย การรวมกันดังกล่าวเรียกว่าคุณลักษณะปฏิสัมพันธ์ พื้นที่คุณลักษณะ (โดยปริยาย) ของเคอร์เนลพหุนามเทียบเท่ากับพื้นที่คุณลักษณะของการถดถอยพหุนามแต่ไม่มีการเพิ่มขึ้นแบบทวีคูณในจำนวนพารามิเตอร์ที่จะเรียนรู้ เมื่อคุณลักษณะอินพุตเป็นค่าไบนารี (บูลีน) คุณลักษณะเหล่านั้นจะสอดคล้องกับการเชื่อมโยงเชิงตรรกะของคุณลักษณะอินพุต[ 1 ]
คำนิยาม
สำหรับพหุนามดีกรีdเคอร์เนลพหุนามจะถูกกำหนดเป็น[ 2 ]
โดยที่xและyเป็นเวกเตอร์ขนาดnในพื้นที่อินพุต กล่าวคือ เวกเตอร์ของคุณลักษณะที่คำนวณจากตัวอย่างการฝึกอบรมหรือการทดสอบ และc ≥ 0เป็นพารามิเตอร์อิสระที่แลกเปลี่ยนอิทธิพลของพจน์ลำดับสูงกว่ากับพจน์ลำดับต่ำกว่าในพหุนาม เมื่อc = 0เคอร์เนลจะเรียกว่าเป็นเอกพันธุ์[ 3 ] (โพลีเคอร์เนลทั่วไปเพิ่มเติมจะหารx T y ด้วยพารามิเตอร์สเกลา ร์ aที่ผู้ใช้กำหนด[ 4 ] )
ในฐานะเคอร์เนลKสอดคล้องกับผลคูณภายในในพื้นที่คุณลักษณะโดยอิงจากการแมปφ บางอย่าง :
ลักษณะของφสามารถมองเห็นได้จากตัวอย่าง ให้d = 2ดังนั้นเราจะได้กรณีพิเศษของเคอร์เนลกำลังสอง หลังจากใช้ทฤษฎีพหุนาม (สองครั้ง—การประยุกต์ใช้ภายนอกสุดคือทฤษฎีทวินาม ) และจัดกลุ่มใหม่
จากนี้จึงสรุปได้ว่าแผนที่ลักษณะเฉพาะ (feature map) กำหนดโดย:
โดยสรุปสำหรับโดยที่และใช้ทฤษฎีบทพหุนาม :
ผลรวมสุดท้ายมีองค์ประกอบดังนี้:
ที่ไหนและ
การใช้งานจริง
แม้ว่าเคอร์เนล RBFจะเป็นที่นิยมมากกว่าในการจำแนกประเภท SVM มากกว่าเคอร์เนลพหุนาม แต่เคอร์เนลพหุนามก็เป็นที่นิยมมากในการประมวลผลภาษาธรรมชาติ (NLP) [ 1 ] [ 5 ] ระดับที่พบมากที่สุดคือd = 2 (กำลังสอง) เนื่องจากระดับที่สูงกว่ามักจะทำให้เกิดการโอเวอร์ฟิตในปัญหา NLP
มีการคิดค้นวิธีการต่างๆ ในการคำนวณเคอร์เนลพหุนาม (ทั้งแบบแม่นยำและแบบประมาณ) เพื่อใช้เป็นทางเลือกแทนอัลกอริธึมการฝึก SVM แบบไม่เชิงเส้นทั่วไป ซึ่งรวมถึง:
- การขยายเคอร์เนลอย่างเต็มรูปแบบก่อนการฝึก/ทดสอบด้วย SVM เชิงเส้น[ 5 ]กล่าวคือ การคำนวณการแมปφ อย่างเต็มรูปแบบ เช่นเดียวกับการถดถอยพหุนาม
- การขุดตะกร้า (โดยใช้ อัลกอริธึม aprioriเวอร์ชันหนึ่ง) สำหรับการรวมคุณลักษณะที่เกิดขึ้นบ่อยที่สุดในชุดฝึกอบรมเพื่อสร้างการขยายโดยประมาณ[ 6 ]
- การจัดทำดัชนีแบบผกผันของเวกเตอร์สนับสนุน[ 6 ] [ 1 ]
ปัญหาหนึ่งของเคอร์เนลพหุนามคืออาจเกิดความไม่เสถียรเชิงตัวเลขได้ : เมื่อx T y + c < 1 , K ( x , y ) = ( x T y + c ) dมีแนวโน้มเข้าใกล้ศูนย์เมื่อd เพิ่มขึ้น ในขณะที่เมื่อx T y + c > 1 , K ( x , y )มีแนวโน้มเข้าใกล้อนันต์[ 4 ]
สรุปเนื้อหา
ข้อมูลสำคัญจากบทความ
ข้อมูลสำคัญเกี่ยวกับ เคอร์เนลพหุนาม
ในแมชชีนเลิร์ นนิง ฟังก์ชัน เคอร์เนลพหุนามเป็นฟังก์ชันเคอร์เนลที่ใช้กันทั่วไปในเครื่องสนับสนุนเวกเตอร์ (SVM) และ โมเดล เคอร์เนล อื่นๆ ซึ่งแสดงถึงความคล้ายคลึงกันของเวกเตอร์...
คำนิยาม
สำหรับพหุนามดีกรี d เคอร์เนลพหุนามจะถูกกำหนดเป็น [ 2 ]
การใช้งานจริง
แม้ว่า เคอร์เนล RBF จะเป็นที่นิยมมากกว่าในการจำแนกประเภท SVM มากกว่าเคอร์เนลพหุนาม แต่เคอร์เนลพหุนามก็เป็นที่นิยมมากใน การประมวลผลภาษาธรรมชาติ (NLP) [ 1 ] [ 5 ] ระดับที่พบมากที่สุดคือ d = 2 (กำลังสอง) เนื่องจากระดับที่สูงกว่ามักจะทำให้เกิด การโอเวอร์ฟิต...