ทฤษฎีการเรียนรู้เชิงสถิติเป็นกรอบสำหรับการเรียนรู้ของเครื่องจักรที่ดึงมาจากสาขาสถิติและการวิเคราะห์เชิงฟังก์ชัน [ ^{1 ] [ 2 ] [ 3 ] ทฤษฎี}การเรียนรู้เชิงสถิติเกี่ยวข้องกับ ปัญหา การอนุมานเชิงสถิติของการค้นหาฟังก์ชันทำนายโดยอาศัยข้อมูล ทฤษฎีการเรียนรู้เชิงสถิตินำไปสู่การประยุกต์ใช้ที่ประสบความสำเร็จในสาขาต่างๆ เช่นคอมพิวเตอร์วิชั่นการรู้จำเสียงพูดและชีวสารสนเทศ

เป้าหมายของการเรียนรู้คือการทำความเข้าใจและการทำนาย การเรียนรู้แบ่งออกเป็นหลายประเภท ได้แก่การเรียนรู้แบบมีผู้กำกับดูแลการเรียนรู้แบบไม่มีผู้กำกับดูแลการเรียนรู้แบบออนไลน์และการเรียนรู้แบบเสริมแรงจากมุมมองของทฤษฎีการเรียนรู้ทางสถิติ การเรียนรู้แบบมีผู้กำกับดูแลนั้นเข้าใจได้ดีที่สุด^{[ 4 ]}การเรียนรู้แบบมีผู้กำกับดูแลเกี่ยวข้องกับการเรียนรู้จากชุดข้อมูลฝึกฝน ทุกจุดในการฝึกฝนเป็นคู่ข้อมูลเข้า-ข้อมูลออก โดยที่ข้อมูลเข้าจะแมปไปยังข้อมูลออก ปัญหาการเรียนรู้ประกอบด้วยการอนุมานฟังก์ชันที่แมประหว่างข้อมูลเข้าและข้อมูลออก เพื่อให้ฟังก์ชันที่เรียนรู้แล้วสามารถใช้ในการทำนายข้อมูลออกจากการป้อนข้อมูลในอนาคตได้

ขึ้นอยู่กับประเภทของผลลัพธ์ ปัญหาการเรียนรู้แบบมีผู้กำกับดูแลจะเป็นได้ทั้งปัญหาการถดถอยหรือปัญหาการจำแนกประเภทหากผลลัพธ์มีช่วงค่าต่อเนื่อง จะเป็นปัญหาการถดถอย ยก ตัวอย่างเช่น กฎของโอห์ม เราสามารถทำการถดถอยได้โดยใช้แรงดันไฟฟ้าเป็นอินพุตและกระแสไฟฟ้าเป็นเอาต์พุต การถดถอยจะหาความสัมพันธ์เชิงฟังก์ชันระหว่างแรงดันไฟฟ้าและกระแสไฟฟ้า${\displaystyle R}$โดยที่ $${\displaystyle V=IR}$$ ปัญหาการจำแนกประเภทคือปัญหาที่ผลลัพธ์จะเป็นองค์ประกอบจากชุดป้ายกำกับที่ไม่ต่อเนื่อง การจำแนกประเภทพบได้บ่อยมากในแอปพลิเคชันการเรียนรู้ของเครื่อง ตัวอย่างเช่น ในการจดจำใบหน้าภาพใบหน้าของบุคคลจะเป็นข้อมูลป้อนเข้า และป้ายกำกับผลลัพธ์จะเป็นชื่อของบุคคลนั้น ข้อมูลป้อนเข้าจะถูกแทนด้วยเวกเตอร์หลายมิติขนาดใหญ่ซึ่งองค์ประกอบต่างๆ แทนพิกเซลในภาพ

หลังจากเรียนรู้ฟังก์ชันโดยใช้ข้อมูลจากชุดข้อมูลฝึกฝนแล้ว ฟังก์ชันนั้นจะถูกตรวจสอบความถูกต้องบนชุดข้อมูลทดสอบ ซึ่งเป็นข้อมูลที่ไม่ได้อยู่ในชุดข้อมูลฝึกฝน

เอา${\displaystyle X}$ให้เป็นปริมาณเวกเตอร์ของอินพุตที่เป็นไปได้ทั้งหมด และ${\displaystyle Y}$ให้เป็นปริมาณเวกเตอร์ของผลลัพธ์ที่เป็นไปได้ทั้งหมด ทฤษฎีการเรียนรู้เชิงสถิติใช้มุมมองว่ามีการกระจายความน่าจะ เป็นที่ไม่ทราบค่า อยู่เหนือปริมาณผลคูณนั้น${\displaystyle Z=X\times Y}$กล่าวคือ มีบางสิ่งที่ไม่รู้จักอยู่${\displaystyle p(z)=p(\mathbf {x} ,y)}$ชุดข้อมูลฝึกฝนประกอบด้วย${\displaystyle n}$ตัวอย่างจากความน่าจะเป็นนี้ และมีสัญลักษณ์กำกับไว้ว่า $${\displaystyle S=\{(\mathbf {x} _{1},y_{1}),\dots ,(\mathbf {x} _{n},y_{n})\}=\{\mathbf {z} _{1},\dots ,\mathbf {z} _{n}\}}$$ ทั้งหมด${\displaystyle \mathbf {x} _{i}}$เป็นเวกเตอร์อินพุตจากข้อมูลการฝึกอบรม และ${\displaystyle y_{i}}$คือผลลัพธ์ที่สอดคล้องกับสิ่งนั้น

ในรูปแบบนี้ ปัญหาการอนุมานประกอบด้วยการค้นหาฟังก์ชัน${\displaystyle f:X\to Y}$โดยที่${\displaystyle f(\mathbf {x} )\sim y}$. อนุญาต${\displaystyle {\mathcal {H}}}$เป็นพื้นที่ของฟังก์ชัน${\displaystyle f:X\to Y}$เรียกว่าปริภูมิสมมติฐาน ปริภูมิสมมติฐานคือปริภูมิของฟังก์ชันที่อัลกอริทึมจะค้นหา สมมติ${\displaystyle V(f(\mathbf {x} ),y)}$โดยที่ คือฟังก์ชันความสูญเสียซึ่งเป็นตัวชี้วัดความแตกต่างระหว่างค่าที่ทำนายได้กับค่าที่คาดการณ์ไว้${\displaystyle f(\mathbf {x} )}$และมูลค่าที่แท้จริง${\displaystyle y}$ความเสี่ยงที่คาดการณ์ไว้ถูกกำหนดให้เป็น $${\displaystyle I[f]=\int _{X\times Y}V(f(\mathbf {x} ),y)\,p(\mathbf {x} ,y)\,d\mathbf {x} \,dy}$$ ฟังก์ชันเป้าหมาย ฟังก์ชันที่ดีที่สุดที่เป็นไปได้${\displaystyle f}$ที่สามารถเลือกได้นั้น ถูกกำหนดโดย${\displaystyle f}$ที่ทำให้พึงพอใจ $${\displaystyle f=\mathop {\operatorname {argmin} } _{h\in {\mathcal {H}}}I[h]}$$

เนื่องจากการกระจายความน่าจะเป็น${\displaystyle p(\mathbf {x} ,y)}$เนื่องจากไม่ทราบค่าที่แน่นอน จึงต้องใช้ตัวชี้วัดแทนความเสี่ยงที่คาดการณ์ไว้ ตัวชี้วัดนี้อิงจากชุดข้อมูลฝึกฝน ซึ่งเป็นตัวอย่างจาก1การแจกแจงความน่าจะเป็นที่ไม่ทราบค่านี้ เรียกว่าความเสี่ยงเชิงประจักษ์$${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})}$$ อัลกอริทึมการเรียนรู้ที่เลือกฟังก์ชัน${\displaystyle f_{S}}$วิธีการที่ช่วยลดความเสี่ยงเชิงประจักษ์ให้เหลือน้อยที่สุด เรียกว่าการลดความเสี่ยงเชิงประจักษ์

การเลือกฟังก์ชันความสูญเสียเป็นปัจจัยสำคัญในการกำหนดฟังก์ชันนั้น${\displaystyle f_{S}}$ซึ่งจะถูกเลือกโดยอัลกอริธึมการเรียนรู้ ฟังก์ชันการสูญเสียยังส่งผลต่ออัตราการบรรจบกันของอัลกอริธึมด้วย สิ่งสำคัญคือฟังก์ชันการสูญเสียต้องเป็นแบบนูน^{[ 5 ]}

ฟังก์ชันความสูญเสียที่ใช้จะแตกต่างกันไป ขึ้นอยู่กับว่าปัญหาดังกล่าวเป็นปัญหาการถดถอยหรือปัญหาการจำแนกประเภท

ในปัญหาการเรียนรู้ของเครื่องจักร ปัญหาสำคัญที่เกิดขึ้นคือปัญหาการโอเวอร์ฟิตติ้ง (overfitting ) เนื่องจากการเรียนรู้เป็นปัญหาการทำนาย เป้าหมายจึงไม่ใช่การหาฟังก์ชันที่เหมาะสมกับข้อมูล (ที่สังเกตได้ก่อนหน้านี้) มากที่สุด แต่เป็นการหาฟังก์ชันที่จะทำนายผลลัพธ์จากข้อมูลป้อนเข้าในอนาคตได้อย่างแม่นยำที่สุดการลดความเสี่ยงเชิงประจักษ์ (Empirical risk minimization ) มีความเสี่ยงที่จะเกิดการโอเวอร์ฟิตติ้ง กล่าวคือ การหาฟังก์ชันที่ตรงกับข้อมูลอย่างแม่นยำ แต่ไม่สามารถทำนายผลลัพธ์ในอนาคตได้ดี

การโอเวอร์ฟิตติ้งเป็นอาการของโซลูชันที่ไม่เสถียร การรบกวนเล็กน้อยในข้อมูลชุดฝึกอบรมจะทำให้เกิดการเปลี่ยนแปลงอย่างมากในฟังก์ชันที่เรียนรู้ สามารถแสดงได้ว่าหากสามารถรับประกันความเสถียรของโซลูชันได้ การวางนัยทั่วไปและความสอดคล้องก็จะได้รับการรับประกันเช่นกัน^{[ 6 ] [ 7 ]}การทำให้เป็นระเบียบสามารถแก้ปัญหาการโอเวอร์ฟิตติ้งและทำให้ปัญหามีความเสถียรได้

การทำให้เป็นระเบียบสามารถทำได้โดยการจำกัดขอบเขตของสมมติฐาน${\displaystyle {\mathcal {H}}}$ตัวอย่างที่พบได้ทั่วไปคือการจำกัด${\displaystyle {\mathcal {H}}}$สำหรับฟังก์ชันเชิงเส้น: สามารถมองได้ว่าเป็นการลดรูปไปสู่ปัญหามาตรฐานของการถดถอยเชิงเส้น${\displaystyle {\mathcal {H}}}$อาจจำกัดเฉพาะพหุนามดีกรี 1 ก็ได้${\displaystyle p}$ฟังก์ชันเอกซ์โปเนนเชียล หรือฟังก์ชันที่มีขอบเขตบนL1การจำกัดพื้นที่สมมติฐานช่วยหลีกเลี่ยงการโอเวอร์ฟิตติ้ง เนื่องจากรูปแบบของฟังก์ชันศักยภาพมีข้อจำกัด จึงไม่อนุญาตให้เลือกฟังก์ชันที่ให้ความเสี่ยงเชิงประจักษ์ใกล้เคียงศูนย์อย่างไม่จำกัด

ตัวอย่างหนึ่งของการทำให้เป็นระเบียบ (Regularization) คือการทำให้เป็นระเบียบแบบทิโคนอฟ (Tikhonov regularization ) ซึ่งประกอบด้วยการลดค่าให้น้อยที่สุด $${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})+\gamma \left\|f\right\|_{\mathcal {H}}^{2}}$$ ที่ไหน${\displaystyle \gamma }$เป็นพารามิเตอร์คงที่และเป็นบวก ซึ่งก็คือพารามิเตอร์การปรับเสถียรภาพ การปรับเสถียรภาพแบบ Tikhonov ช่วยให้มั่นใจได้ว่าคำตอบมีอยู่จริง มีเอกลักษณ์ และมีเสถียรภาพ^{[ 8 ]}

พิจารณาตัวจำแนกแบบไบนารี${\displaystyle f:{\mathcal {X}}\to \{0,1\}}$เราสามารถใช้ความไม่เท่าเทียมของ Hoeffdingเพื่อกำหนดขอบเขตของความน่าจะเป็นที่ความเสี่ยงเชิงประจักษ์จะเบี่ยงเบนจากความเสี่ยงที่แท้จริงไปเป็นการกระจายแบบ Sub-Gaussianได้ $${\displaystyle \mathbb {P} (|{\hat {R}}(f)-R(f)|\geq \epsilon )\leq 2e^{-2n\epsilon ^{2}}}$$ แต่โดยทั่วไปแล้ว เมื่อเราทำการลดความเสี่ยงเชิงประจักษ์ เราจะไม่ได้รับตัวจำแนกประเภทมาให้ เราต้องเลือกมันเอง ดังนั้น ผลลัพธ์ที่มีประโยชน์มากกว่าคือการกำหนดขอบเขตความน่าจะเป็นของค่าสูงสุดของความแตกต่างเหนือคลาสทั้งหมด $${\displaystyle \mathbb {P} {\bigg (}\sup _{f\in {\mathcal {F}}}|{\hat {R}}(f)-R(f)|\geq \epsilon {\bigg )}\leq 2S({\mathcal {F}},n)e^{-n\epsilon ^{2}/8}\approx n^{d}e^{-n\epsilon ^{2}/8}}$$ ที่ไหน${\displaystyle S({\mathcal {F}},n)}$เป็นตัวเลขที่น่าตกใจและ${\displaystyle n}$คือจำนวนตัวอย่างในชุดข้อมูลของคุณ พจน์เลขชี้กำลังมาจาก Hoeffding แต่มีค่าใช้จ่ายเพิ่มเติมในการหาค่าสูงสุดของทั้งคลาส ซึ่งก็คือจำนวนที่ทำให้เกิดการแตกกระจาย (shattering number)

• ปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำได้เป็นตัวเลือกที่มีประโยชน์สำหรับ${\displaystyle {\mathcal {H}}}$.
• วิธีการไล่ระดับใกล้เคียงสำหรับการเรียนรู้
• ความซับซ้อนของราเดมาเคอร์
• มิติวัปนิค–เชอร์โวเนนคิส