การเรียนรู้ของเครื่อง ( ML ) เป็นสาขาการศึกษาในปัญญาประดิษฐ์ที่เกี่ยวข้องกับการพัฒนาและการศึกษาอัลกอริธึมทางสถิติที่สามารถเรียนรู้จาก ข้อมูลและสรุปผลไปยังข้อมูลที่ไม่เคยเห็นมาก่อน และด้วยเหตุนี้จึงสามารถทำงานต่างๆ ได้ โดยไม่ต้องมีการเขียนโปรแกรมอย่าง ชัดเจน ^{[ 1 ]}ความก้าวหน้าในสาขาการเรียนรู้เชิงลึกทำให้เครือข่ายประสาทเทียมซึ่งเป็นอัลกอริธึมทางสถิติประเภทหนึ่ง สามารถก้าวข้ามวิธีการเรียนรู้ของเครื่องก่อนหน้านี้หลายวิธีในด้านประสิทธิภาพ

สถิติและ วิธี การเพิ่มประสิทธิภาพทางคณิตศาสตร์เป็นรากฐานของการเรียนรู้ของเครื่องการขุดข้อมูลเป็นสาขาการศึกษาที่เกี่ยวข้อง โดยมุ่งเน้นที่การวิเคราะห์ข้อมูลเชิงสำรวจ (EDA) ผ่าน การเรียนรู้ แบบไม่กำกับดูแล^{[ 3 ] [ 4 ]}

จากมุมมองทางทฤษฎีการเรียนรู้ที่ถูกต้องโดยประมาณนั้นเป็นกรอบทางคณิตศาสตร์และสถิติสำหรับการอธิบายการเรียนรู้ของเครื่องจักร อัลกอริทึมการเรียนรู้ของเครื่องจักรแบบดั้งเดิมและการเรียนรู้เชิงลึกส่วนใหญ่สามารถอธิบายได้ว่าเป็นการลดความเสี่ยงเชิงประจักษ์ภายใต้กรอบนี้

คำว่าการเรียนรู้ของเครื่องจักรถูกบัญญัติขึ้นในปี พ.ศ. 2492 โดยอาร์เธอร์ ซามูเอลพนักงานของ IBM และ ผู้บุกเบิกในด้านเกมคอมพิวเตอร์และปัญญาประดิษฐ์^{[ 5 ] [ 6 ]}คำว่าคอมพิวเตอร์ที่เรียนรู้ด้วยตนเองก็ถูกใช้ในช่วงเวลานี้เช่นกัน^{[ 7 ] [ 8 ]}

โปรแกรมการเรียนรู้ของเครื่องจักรที่เก่าแก่ที่สุดถูกนำมาใช้ในช่วงทศวรรษ 1950 เมื่อซามูเอลคิดค้นโปรแกรมคอมพิวเตอร์ที่คำนวณโอกาสในการชนะหมากรุกสำหรับแต่ละฝ่าย แต่ประวัติศาสตร์ของการเรียนรู้ของเครื่องจักรนั้นมีรากฐานมาจากความพยายามหลายทศวรรษในการศึกษาเกี่ยวกับกระบวนการทางปัญญาของมนุษย์^{[ 9 ]}ในปี 1949 โดนัลด์ เฮบบ์ นักจิตวิทยาชาวแคนาดา ได้ตีพิมพ์หนังสือThe Organization of Behaviorซึ่งเขาได้นำเสนอโครงสร้างประสาทเชิงทฤษฎีที่เกิดจากการปฏิสัมพันธ์บางอย่างระหว่างเซลล์ประสาท [ ^{10 ] ทฤษฎี}ปฏิสัมพันธ์ของเซลล์ประสาทของเฮบบ์ได้วางรากฐานสำหรับวิธีการทำงานของอัลกอริธึมการเรียนรู้ของเครื่องจักรจำนวนมาก โดยเซลล์ประสาทเทียม ที่เชื่อมต่อกัน จะเปลี่ยนความแข็งแรงของการเชื่อมต่อตามข้อมูล^{[ 9 ]}นักวิจัยคนอื่นๆ ที่ศึกษา เกี่ยวกับ ระบบการรับรู้ ของมนุษย์ ก็มีส่วนร่วมในเทคโนโลยีการเรียนรู้ของเครื่องจักรสมัยใหม่เช่นกัน รวมถึง วอลเตอร์ พิตต์สและวอร์เรน แมคคัลล็อกซึ่งเสนอแบบจำลองทางคณิตศาสตร์แรกของเครือข่ายประสาท รวมถึงอัลกอริธึมที่สะท้อนกระบวนการคิดของมนุษย์^{[ 9 ]}

ในช่วงต้นทศวรรษ 1960 บริษัท Raytheonได้พัฒนา“เครื่องจักรเรียนรู้” ทดลองที่มี หน่วยความจำ เทปเจาะรู เรียกว่า Cybertron เพื่อวิเคราะห์สัญญาณโซนาร์คลื่นไฟฟ้าหัวใจและรูปแบบการพูดโดยใช้การเรียนรู้แบบเสริมแรงขั้น พื้นฐาน โดยผู้ควบคุม/ครูที่เป็นมนุษย์จะ “ฝึกฝน” เครื่องจักรนี้ซ้ำๆ เพื่อให้จดจำรูปแบบต่างๆ และมีปุ่ม “ ผิดพลาด ” เพื่อให้เครื่องจักรประเมินการตัดสินใจที่ไม่ถูกต้องใหม่^{[ 11 ]}หนังสือที่เป็นตัวแทนของการวิจัยเกี่ยวกับการเรียนรู้ของเครื่องจักรในช่วงทศวรรษ 1960 คือ หนังสือ “Learning Machines” ของ Nils Nilsson ซึ่งส่วนใหญ่เกี่ยวข้องกับการ เรียนรู้ของเครื่องจักรสำหรับการจำแนก รูปแบบ ^{[ 12 ]}ความสนใจที่เกี่ยวข้องกับการจดจำรูปแบบยังคงดำเนินต่อไปในช่วงทศวรรษ 1970 ดังที่ Duda และ Hart ได้อธิบายไว้ในปี 1973 ^{[ 13 ]}ในปี 1981 มีรายงานเกี่ยวกับการใช้กลยุทธ์การสอนเพื่อให้เครือข่ายประสาทเทียมเรียนรู้ที่จะจดจำอักขระ 40 ตัว (ตัวอักษร 26 ตัว ตัวเลข 10 ตัว และสัญลักษณ์พิเศษ 4 ตัว) จากเทอร์มินัลคอมพิวเตอร์^{[ 14 ]}

Tom M. Mitchellได้ให้คำจำกัดความที่เป็นทางการมากขึ้นของอัลกอริทึมที่ศึกษาในสาขาการเรียนรู้ของเครื่อง ซึ่งมีการอ้างอิงอย่างกว้างขวางว่า "โปรแกรมคอมพิวเตอร์จะเรียนรู้จากประสบการณ์Eเกี่ยวกับงานT บางประเภท และการวัดประสิทธิภาพPหากประสิทธิภาพของโปรแกรมในการทำงานในTซึ่งวัดโดยPดีขึ้นตามประสบการณ์E " ^{[ 15 ]}คำจำกัดความของงานที่เกี่ยวข้องกับการเรียนรู้ของเครื่องนี้เป็นไปในเชิงปฏิบัติมากกว่าการกำหนดสาขาในแง่ของความรู้ความเข้าใจ ซึ่งเป็นไปตามข้อเสนอของAlan Turing ในบทความของเขาเรื่อง " Computing Machinery and Intelligence " ซึ่งคำถามที่ว่า "เครื่องจักรคิดได้หรือไม่" ถูกแทนที่ด้วยการถามว่าเครื่องจักรสามารถเลียนแบบมนุษย์ได้ อย่างน่าเชื่อถือ ในการตอบคำถามที่มนุษย์ตั้งขึ้นหรือ ไม่ ^{[ 16 ] [ 17 ]}

ในปี 2014 Ian Goodfellowและคนอื่นๆ ได้แนะนำเครือข่ายปฏิปักษ์เชิงสร้างสรรค์ (GANs) ซึ่งสามารถสร้างข้อมูลสังเคราะห์ที่สมจริงได้^{[ 18 ]}ในปี 2016 AlphaGoได้เอาชนะผู้เล่นโกะระดับท็อป ของมนุษย์ โดยใช้เทคนิคการเรียนรู้แบบเสริมแรง^{[ 19 ]}

ในฐานะที่เป็นความพยายามทางวิทยาศาสตร์ การเรียนรู้ของเครื่องจักรเติบโตขึ้นจากการแสวงหาปัญญาประดิษฐ์ (AI) ในช่วงแรกๆ ของ AI ในฐานะสาขาวิชาการนักวิจัยบางคนสนใจที่จะให้เครื่องจักรเรียนรู้จากข้อมูล พวกเขาพยายามแก้ปัญหาด้วยวิธีการเชิงสัญลักษณ์ต่างๆ รวมถึงสิ่งที่เรียกว่า " เครือข่ายประสาท " ในขณะนั้น ซึ่งส่วนใหญ่เป็นเพอร์เซปตรอนและแบบจำลองอื่นๆที่ต่อมาพบว่าเป็นการคิดค้นใหม่ของแบบจำลองเชิงเส้นทั่วไปของสถิติ^{[ 21 ]}การให้เหตุผลเชิงความน่าจะเป็นก็ถูกนำมาใช้เช่นกัน โดยเฉพาะอย่างยิ่งใน การวินิจฉัยทางการ แพทย์อัตโนมัติ^{[ 22 ] : 488}

อย่างไรก็ตาม การเน้นย้ำที่เพิ่มมากขึ้นในแนวทางเชิงตรรกะและความรู้ทำให้เกิดความแตกแยกขึ้นระหว่าง AI และการเรียนรู้ของเครื่อง ระบบความน่าจะเป็นประสบปัญหามากมายทั้งในเชิงทฤษฎีและเชิงปฏิบัติเกี่ยวกับการได้มาและการนำเสนอข้อมูล^{[ 22 ] : 488} ภายในปี 1980 ระบบผู้เชี่ยวชาญได้เข้ามามีบทบาทสำคัญใน AI และสถิติก็ไม่เป็นที่นิยมอีกต่อไป^{[ 23 ]}งานวิจัยเกี่ยวกับการเรียนรู้เชิงสัญลักษณ์/ความรู้ยังคงดำเนินต่อไปภายใน AI ซึ่งนำไปสู่การเขียนโปรแกรมเชิงตรรกะแบบอุปนัย (ILP) แต่แนวทางการวิจัยเชิงสถิติที่มากขึ้นนั้นอยู่นอกขอบเขตของ AI อย่างแท้จริงแล้ว ในการจดจำรูปแบบและการดึงข้อมูล^{[ 22 ] : 708–710, 755} งานวิจัยเกี่ยวกับเครือข่ายประสาทเทียมถูกละทิ้งโดย AI และวิทยาศาสตร์คอมพิวเตอร์ในช่วงเวลาเดียวกัน สาขาย่อยนี้เรียกว่า " การเชื่อมต่อ " ซึ่งยังคงดำเนินต่อไปโดยนักวิจัยจากสาขาวิชาอื่น ๆ รวมถึงJohn Hopfield , David RumelhartและGeoffrey Hinton ความสำเร็จหลักของพวกเขาเกิดขึ้นในช่วงกลางทศวรรษ 1980 ด้วยการคิดค้นการแพร่กระจายย้อนกลับขึ้น ใหม่ ^{[ 22 ] : 25}

การเรียนรู้ของเครื่อง (ML) ซึ่งได้รับการจัดระเบียบใหม่และได้รับการยอมรับว่าเป็นสาขาเฉพาะ เริ่มเฟื่องฟูในช่วงทศวรรษ 1990 สาขานี้เปลี่ยนเป้าหมายจากการบรรลุปัญญาประดิษฐ์ไปสู่การแก้ปัญหาที่สามารถแก้ไขได้ในเชิงปฏิบัติ โดยเปลี่ยนจุดสนใจจากแนวทางเชิงสัญลักษณ์ที่ได้รับสืบทอดมาจาก AI ไปสู่แนวทางและแบบจำลองที่ยืมมาจากสถิติตรรกะคลุมเครือและทฤษฎีความน่าจะเป็น^{[ 23 ]}

การเรียนรู้ของเครื่องและการขุดข้อมูลมักใช้วิธีการเดียวกันและทับซ้อนกันอย่างมาก แต่ในขณะที่การเรียนรู้ของเครื่องมุ่งเน้นไปที่การทำนายโดยอาศัย คุณสมบัติ ที่ทราบซึ่งเรียนรู้จากข้อมูลฝึกฝน การขุดข้อมูลจะมุ่งเน้นไปที่การค้นพบ คุณสมบัติ ที่ไม่เคยรู้จักมาก่อนในข้อมูล (นี่คือขั้นตอนการวิเคราะห์ของการค้นพบความรู้ในฐานข้อมูล) การขุดข้อมูลใช้วิธีการเรียนรู้ของเครื่องหลายวิธี แต่มีเป้าหมายที่แตกต่างกัน ในทางกลับกัน การเรียนรู้ของเครื่องก็ใช้วิธีการเรียนรู้แบบขุดข้อมูลเช่นกันในฐานะ " การเรียนรู้แบบไม่กำกับดูแล " หรือเป็นขั้นตอนการประมวลผลล่วงหน้าเพื่อปรับปรุงความแม่นยำของผู้เรียน ความสับสนส่วนใหญ่ระหว่างสองชุมชนวิจัยนี้มาจากการสมมติฐานพื้นฐานที่พวกเขาใช้: ในการเรียนรู้ของเครื่อง ประสิทธิภาพมักจะถูกประเมินโดยพิจารณาจากความสามารถในการสร้างความรู้ที่ทราบแล้วในขณะที่ในการค้นพบความรู้และการขุดข้อมูล (KDD) งานหลักคือการค้นพบ ความรู้ ที่ไม่เคยรู้จัก มาก่อน เมื่อประเมินโดยพิจารณาจากความรู้ที่ทราบแล้ว วิธีการที่ไม่ได้รับข้อมูล (ไม่กำกับดูแล) จะมีประสิทธิภาพด้อยกว่าวิธีการกำกับดูแลอื่นๆ ได้ง่าย ในขณะที่ในงาน KDD ทั่วไป วิธีการกำกับดูแลไม่สามารถใช้ได้เนื่องจากไม่มีข้อมูลฝึกฝน

การเรียนรู้ของเครื่องยังมีความสัมพันธ์อย่างใกล้ชิดกับการเพิ่มประสิทธิภาพด้วย: ปัญหาการเรียนรู้หลายอย่างถูกกำหนดให้เป็นการลดฟังก์ชันการสูญเสีย บางอย่าง บนชุดตัวอย่างการฝึกอบรม ฟังก์ชันการสูญเสียแสดงถึงความแตกต่างระหว่างการคาดการณ์ของแบบจำลองที่กำลังฝึกฝนกับอินสแตนซ์ปัญหาจริง (ตัวอย่างเช่น ในการจำแนกประเภท เราต้องการกำหนดป้ายกำกับให้กับอินสแตนซ์ และแบบจำลองจะถูกฝึกฝนให้คาดการณ์ป้ายกำกับที่กำหนดไว้ล่วงหน้าของชุดตัวอย่างได้อย่างถูกต้อง) ^{[ 34 ]}

การระบุลักษณะการวางนัยทั่วไปของอัลกอริธึมการเรียนรู้ต่างๆ เป็นหัวข้อการวิจัยที่กำลังได้รับความสนใจอย่างมากในปัจจุบัน โดยเฉพาะอย่างยิ่งสำหรับอัลกอริธึม การเรียนรู้เชิงลึก

การเรียนรู้ของเครื่องและสถิติเป็นสาขาที่เกี่ยวข้องกันอย่างใกล้ชิดในแง่ของวิธีการ แต่แตกต่างกันในเป้าหมายหลัก: สถิติจะอนุมาน ประชากร จากตัวอย่างในขณะที่การเรียนรู้ของเครื่องจะค้นหารูปแบบการทำนายที่สามารถสรุปได้ทั่วไป^{[ 35 ]}

การวิเคราะห์ทางสถิติแบบดั้งเดิมจำเป็นต้องเลือกแบบจำลองที่เหมาะสมที่สุดสำหรับชุดข้อมูลการศึกษาไว้ล่วงหน้า นอกจากนี้ จะมีการรวมเฉพาะตัวแปรที่มีนัยสำคัญหรือมีความเกี่ยวข้องทางทฤษฎีตามประสบการณ์ก่อนหน้านี้สำหรับการวิเคราะห์ ในทางตรงกันข้าม การเรียนรู้ของเครื่องไม่ได้สร้างขึ้นจากแบบจำลองที่มีโครงสร้างไว้ล่วงหน้า แต่ข้อมูลจะเป็นตัวกำหนดแบบจำลองโดยการตรวจจับรูปแบบพื้นฐาน ยิ่งใช้ตัวแปร (อินพุต) มากเท่าใดในการฝึกแบบจำลอง แบบจำลองสุดท้ายก็จะยิ่งแม่นยำมากขึ้นเท่านั้น^{[ 36 ]}

Leo Breimanแยกแยะกระบวนทัศน์การสร้างแบบจำลองทางสถิติสองแบบ ได้แก่ แบบจำลองข้อมูลและแบบจำลองอัลกอริทึม^{[ 37 ]} โดยที่ "แบบจำลองอัลกอริทึม" หมายถึงอัลกอริทึมการเรียนรู้ของเครื่อง เช่น Random forestมากหรือน้อย

นักสถิติบางคนได้นำวิธีการจากการเรียนรู้ของเครื่องมาใช้ ทำให้เกิดสาขาการเรียนรู้ทางสถิติขึ้น^{[ 38 ]}

เทคนิคการวิเคราะห์และการคำนวณที่ได้มาจากฟิสิกส์เชิงลึกของระบบที่ไม่เป็นระเบียบสามารถขยายไปสู่ปัญหาขนาดใหญ่ได้ รวมถึงการเรียนรู้ของเครื่อง เช่น การวิเคราะห์พื้นที่น้ำหนักของ เครือข่ายประสาท เทียมเชิงลึก^{[ 39 ]}ดังนั้นฟิสิกส์เชิงสถิติจึงพบการประยุกต์ใช้ในด้านการวินิจฉัยทางการแพทย์^{[ 40 ]}

วัตถุประสงค์หลักของผู้เรียนคือการสรุปจากประสบการณ์^{[ 2 ] [ 41 ]}การสรุปในบริบทนี้คือความสามารถของเครื่องจักรการเรียนรู้ในการทำงานได้อย่างแม่นยำกับตัวอย่าง/งานใหม่ที่ไม่เคยเห็นมาก่อน หลังจากได้รับประสบการณ์จากชุดข้อมูลการเรียนรู้ ตัวอย่างการฝึกอบรมมาจากความน่าจะเป็นที่ไม่ทราบแน่ชัด (ถือว่าเป็นตัวแทนของพื้นที่ของการเกิดขึ้น) และผู้เรียนต้องสร้างแบบจำลองทั่วไปเกี่ยวกับพื้นที่นี้ ซึ่งช่วยให้สามารถสร้างการคาดการณ์ที่แม่นยำเพียงพอในกรณีใหม่ ๆ

การวิเคราะห์เชิงคำนวณของอัลกอริธึมการเรียนรู้ของเครื่องและประสิทธิภาพของอัลกอริธึมเหล่านั้น เป็นสาขาหนึ่งของวิทยาการคอมพิวเตอร์ เชิงทฤษฎี ที่เรียกว่าทฤษฎีการเรียนรู้เชิงคำนวณกรอบการทำงานหลักอย่างหนึ่งคือ แบบจำลอง การเรียนรู้ที่ถูกต้องโดยประมาณ (probably approximately correct learning model) เนื่องจากชุดข้อมูลฝึกฝนมีจำนวนจำกัดและอนาคตไม่แน่นอน ทฤษฎีการเรียนรู้จึงมักไม่รับประกันประสิทธิภาพของอัลกอริธึม แต่โดยทั่วไปแล้ว การกำหนดขอบเขตเชิงความน่าจะเป็นของประสิทธิภาพมักเป็นเรื่องปกติ การแยกส่วนความเอนเอียง-ความแปรปรวน (bias–variance decomposition)เป็น วิธีหนึ่งในการวัดปริมาณข้อผิดพลาด ในการวางนัยทั่วไป

เพื่อให้ได้ประสิทธิภาพที่ดีที่สุดในบริบทของการสรุปผลทั่วไป ความซับซ้อนของสมมติฐานควรตรงกับความซับซ้อนของฟังก์ชันที่อยู่เบื้องหลังข้อมูล หากสมมติฐานมีความซับซ้อนน้อยกว่าฟังก์ชัน แสดงว่าแบบจำลองนั้นไม่เหมาะสมกับข้อมูล หากความซับซ้อนของแบบจำลองเพิ่มขึ้นตามไปด้วย ข้อผิดพลาดในการฝึกอบรมจะลดลง แต่หากสมมติฐานมีความซับซ้อนมากเกินไป แบบจำลองก็จะเกิดการโอเวอร์ฟิตติ้งและการสรุปผลทั่วไปก็จะแย่ลง^{[ 42 ]}

นอกเหนือจากข้อจำกัดด้านประสิทธิภาพแล้ว นักทฤษฎีการเรียนรู้ยังศึกษาความซับซ้อนด้านเวลาและความเป็นไปได้ของการเรียนรู้ด้วย ในทฤษฎีการเรียนรู้เชิงคำนวณ การคำนวณจะถือว่ามีความเป็นไปได้หากสามารถทำได้ในเวลาพหุนาม ผลลัพธ์ ด้านความซับซ้อนด้านเวลามีสองประเภท: ผลลัพธ์เชิงบวกแสดงว่าฟังก์ชันบางประเภทสามารถเรียนรู้ได้ในเวลาพหุนาม ผลลัพธ์เชิงลบแสดงว่าฟังก์ชันบางประเภทไม่สามารถเรียนรู้ได้ในเวลาพหุนาม

โดยทั่วไปแล้ว แนวทางการเรียนรู้ของเครื่องจักรจะแบ่งออกเป็นสามประเภทใหญ่ๆ ซึ่งสอดคล้องกับกระบวนทัศน์การเรียนรู้ ขึ้นอยู่กับลักษณะของ "สัญญาณ" หรือ "ข้อมูลป้อนกลับ" ที่ระบบการเรียนรู้ได้รับ:

• การเรียนรู้แบบมีผู้กำกับดูแล : คอมพิวเตอร์จะได้รับข้อมูลป้อนเข้าตัวอย่างและข้อมูลส่งออกที่ต้องการจาก "ครู" โดยมีเป้าหมายคือการเรียนรู้กฎทั่วไปที่เชื่อมโยงข้อมูลป้อนเข้ากับข้อมูลส่งออก
• การเรียนรู้แบบไร้ผู้กำกับดูแล : ไม่มีการกำหนดป้ายกำกับให้กับอัลกอริธึมการเรียนรู้ ปล่อยให้มันค้นหาโครงสร้างในข้อมูลป้อนเข้าด้วยตัวเอง การเรียนรู้แบบไร้ผู้กำกับดูแลอาจเป็นเป้าหมายในตัวเอง (เช่น การค้นพบรูปแบบที่ซ่อนอยู่ในข้อมูล) หรือเป็นวิธีการเพื่อให้บรรลุเป้าหมาย ( เช่น การเรียนรู้คุณลักษณะ )
• การเรียนรู้แบบเสริมแรง : โปรแกรมคอมพิวเตอร์โต้ตอบกับสภาพแวดล้อมแบบไดนามิกซึ่งต้องดำเนินการตามเป้าหมายที่กำหนด (เช่นการขับรถหรือเล่นเกมกับคู่ต่อสู้) ในขณะที่โปรแกรมสำรวจพื้นที่ปัญหา โปรแกรมจะได้รับรางวัลเป็นข้อมูลป้อนกลับ ซึ่งโปรแกรมจะพยายามทำให้สูงสุด ส่งผลให้โปรแกรมเรียนรู้จากประสบการณ์^{[ 2 ]}

แม้ว่าแต่ละอัลกอริทึมจะมีข้อดีและข้อจำกัด แต่ไม่มีอัลกอริทึมใดอัลกอริทึมเดียวที่ใช้ได้กับทุกปัญหา^{[ 43 ] [ 44 ] [ 45 ]}

อัลกอริทึมการเรียนรู้แบบมีผู้กำกับดูแลสร้างแบบจำลองทางคณิตศาสตร์ของชุดข้อมูลที่มีทั้งอินพุตและเอาต์พุตที่ต้องการ^{[ 46 ]}ข้อมูลที่เรียกว่าข้อมูลการฝึกอบรมประกอบด้วยชุดตัวอย่างการฝึกอบรม แต่ละตัวอย่างการฝึกอบรมมีอินพุตอย่างน้อยหนึ่งรายการและเอาต์พุตที่ต้องการ หรือที่เรียกว่าสัญญาณกำกับดูแล ในแบบจำลองทางคณิตศาสตร์ แต่ละตัวอย่างการฝึกอบรมจะถูกแทนด้วยอาร์เรย์หรือเวกเตอร์ ซึ่งบางครั้งเรียกว่าเวกเตอร์คุณลักษณะและข้อมูลการฝึกอบรมจะถูกแทนด้วยเมทริกซ์ผ่านการเพิ่มประสิทธิภาพแบบวนซ้ำของฟังก์ชันเป้าหมาย อัลกอริทึมการเรียนรู้แบบมีผู้กำกับดูแลจะเรียนรู้ฟังก์ชันที่สามารถใช้ในการทำนายเอาต์พุตที่เกี่ยวข้องกับอินพุตใหม่^{[ 47 ]}ฟังก์ชันที่เหมาะสมที่สุดช่วยให้อัลกอริทึมสามารถกำหนดเอาต์พุตสำหรับอินพุตที่ไม่ได้เป็นส่วนหนึ่งของข้อมูลการฝึกอบรมได้อย่างถูกต้อง อัลกอริทึมที่ปรับปรุงความแม่นยำของเอาต์พุตหรือการทำนายเมื่อเวลาผ่านไปกล่าวได้ว่าได้เรียนรู้ที่จะทำงานนั้น^{[ 15 ]}

ประเภทของอัลกอริธึมการเรียนรู้แบบมีผู้กำกับดูแล ได้แก่การเรียนรู้แบบ แอคที ฟการจำแนกประเภทและการถดถอย^{[ 48 ]}อัลกอริธึมการจำแนกประเภทใช้เมื่อผลลัพธ์ถูกจำกัดไว้ที่ชุดค่าที่จำกัด ในขณะที่อัลกอริธึมการถดถอยใช้เมื่อผลลัพธ์สามารถรับค่าตัวเลขใดก็ได้ภายในช่วง ตัวอย่างเช่น ในอัลกอริธึมการจำแนกประเภทที่กรองอีเมล อินพุตคืออีเมลขาเข้า และเอาต์พุตคือโฟลเดอร์ที่จะจัดเก็บอีเมล ในทางตรงกันข้าม การถดถอยใช้สำหรับงานต่างๆ เช่น การทำนายความสูงของบุคคลโดยพิจารณาจากปัจจัยต่างๆ เช่น อายุและพันธุกรรม หรือการพยากรณ์อุณหภูมิในอนาคตโดยพิจารณาจากข้อมูลในอดีต^{[ 49 ]}

การเรียนรู้ความคล้ายคลึง (Similarity learning)เป็นสาขาหนึ่งของแมชชีนเลิร์นนิงแบบมีผู้กำกับดูแล (supervised machine learning) ที่เกี่ยวข้องอย่างใกล้ชิดกับการถดถอย (regression) และการจำแนกประเภท (classification) แต่เป้าหมายคือการเรียนรู้จากตัวอย่างโดยใช้ฟังก์ชันความคล้ายคลึงที่วัดว่าวัตถุสองชิ้นมีความคล้ายคลึงหรือเกี่ยวข้องกันมากน้อยเพียงใด มีการประยุกต์ใช้ในด้านการจัดอันดับระบบแนะนำการติดตามตัวตนด้วยภาพ การตรวจสอบใบหน้า และการตรวจสอบผู้พูด

อัลกอริทึมการเรียนรู้แบบไม่กำกับดูแลจะค้นหาโครงสร้างในข้อมูลที่ยังไม่ได้ติดป้ายกำกับ จัดประเภท หรือจัดหมวดหมู่ แทนที่จะตอบสนองต่อข้อเสนอแนะ อัลกอริทึมการเรียนรู้แบบไม่กำกับดูแลจะระบุความเหมือนกันในข้อมูลและตอบสนองตามการมีอยู่หรือไม่มีอยู่ของความเหมือนกันดังกล่าวในข้อมูลใหม่แต่ละชิ้น การประยุกต์ใช้หลักของการเรียนรู้ของเครื่องแบบไม่กำกับดูแล ได้แก่ การจัดกลุ่มการลดมิติ^{[ 4 ]}และการประมาณความหนาแน่น^{[ 50 ]}

การวิเคราะห์คลัสเตอร์คือการจัดกลุ่มชุดข้อมูลสังเกตการณ์ออกเป็นกลุ่มย่อย (เรียกว่าคลัสเตอร์ ) โดยที่ข้อมูลสังเกตการณ์ภายในคลัสเตอร์เดียวกันจะมีความคล้ายคลึงกันตามเกณฑ์ที่กำหนดไว้ล่วงหน้าอย่างน้อยหนึ่งข้อ ในขณะที่ข้อมูลสังเกตการณ์จากคลัสเตอร์ที่แตกต่างกันจะมีความแตกต่างกัน เทคนิคการจัดคลัสเตอร์ที่แตกต่างกันจะตั้งสมมติฐานที่แตกต่างกันเกี่ยวกับโครงสร้างของข้อมูล ซึ่งมักกำหนดโดยตัวชี้วัดความคล้ายคลึงกัน บางอย่าง และประเมินผล เช่น โดยความกะทัดรัดภายในหรือความคล้ายคลึงกันระหว่างสมาชิกในคลัสเตอร์เดียวกัน และการแยกออกจากกันหรือความแตกต่างระหว่างคลัสเตอร์ วิธีการอื่นๆ ขึ้นอยู่กับความหนาแน่นที่ประมาณไว้และ การเชื่อมต่อ ของ กราฟ

การเรียนรู้แบบไม่กำกับดูแลประเภทพิเศษที่เรียกว่าการเรียนรู้แบบกำกับดูแลตนเองเกี่ยวข้องกับการฝึกโมเดลโดยการสร้างสัญญาณกำกับดูแลจากข้อมูลเอง^{[ 51 ] [ 52 ]}

การลดมิติเป็นกระบวนการลดจำนวนตัวแปรสุ่มที่พิจารณาโดยการได้รับชุดของตัวแปรหลัก^{[ 53 ]}กล่าวอีกนัยหนึ่งคือเป็นกระบวนการลดมิติของ ชุด คุณลักษณะหรือที่เรียกว่า "จำนวนคุณลักษณะ" เทคนิคการลดมิติส่วนใหญ่สามารถพิจารณาได้ว่าเป็นการกำจัดคุณลักษณะหรือการสกัด คุณลักษณะ วิธี การลดมิติที่เป็นที่นิยมวิธีหนึ่งคือการวิเคราะห์ส่วนประกอบหลัก (PCA) PCA เกี่ยวข้องกับการเปลี่ยนข้อมูลที่มีมิติสูง (เช่น 3 มิติ) ให้เป็นพื้นที่ที่เล็กลง (เช่น 2 มิติ) สมมติฐานของแมนิโฟลด์ เสนอว่าชุดข้อมูลที่มีมิติสูงจะอยู่บน แมนิโฟลด์ที่มีมิติต่ำและเทคนิคการลดมิติหลายอย่างใช้สมมติฐานนี้ นำไปสู่สาขาการเรียนรู้แมนิโฟลด์และการควบคุมแมนิโฟลด์

การเรียนรู้แบบกึ่งกำกับดูแล (Semi-supervised learning) อยู่ระหว่างการเรียนรู้แบบไม่กำกับดูแล ( Unsupervised learning) (โดยไม่มีข้อมูลฝึกฝนที่มีป้ายกำกับ) และการเรียนรู้แบบกำกับดูแล (Supervised learning) (โดยมีข้อมูลฝึกฝนที่มีป้ายกำกับครบถ้วน) แม้ว่าตัวอย่างการฝึกฝนบางส่วนจะขาดป้ายกำกับ แต่ผู้เชี่ยวชาญด้านการเรียนรู้ของเครื่องหลายคนพบว่า ข้อมูลที่ไม่มีป้ายกำกับ เมื่อใช้ร่วมกับข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อย สามารถเพิ่มความแม่นยำในการเรียนรู้ได้อย่างมาก

ในการเรียนรู้แบบกำกับดูแลอย่างอ่อนป้ายกำกับการฝึกอบรมจะมีสัญญาณรบกวน จำกัด หรือไม่แม่นยำ อย่างไรก็ตาม ป้ายกำกับเหล่านี้มักจะได้มาในราคาที่ถูกกว่า ส่งผลให้ชุดฝึกอบรมที่มีประสิทธิภาพมีขนาดใหญ่ขึ้น^{[ 54 ]}

การเรียนรู้แบบเสริมแรงเป็นสาขาหนึ่งของการเรียนรู้ของเครื่องที่เกี่ยวข้องกับวิธีที่ตัวแทนซอฟต์แวร์ควรดำเนินการในสภาพแวดล้อมเพื่อเพิ่มรางวัลสะสมให้สูงสุด เนื่องจากความทั่วไปของสาขานี้ จึงมีการศึกษาในสาขาวิชาอื่นๆ อีกมากมาย เช่นทฤษฎีเกมทฤษฎีการควบคุมการวิจัยเชิงปฏิบัติการทฤษฎีสารสนเทศการเพิ่มประสิทธิภาพโดยใช้การจำลองระบบหลายตัวแทนปัญญาแบบฝูงสถิติและอัลกอริธึมทางพันธุกรรมในการเรียนรู้แบบเสริมแรง สภาพแวดล้อมมักจะแสดงเป็นกระบวนการตัดสินใจแบบมาร์คอฟ (MDP) อัลกอริธึมการเรียนรู้แบบเสริมแรงจำนวนมากใช้เทคนิคการเขียนโปรแกรมแบบไดนามิก^{[ 55 ]}อัลกอริธึมการเรียนรู้แบบเสริมแรงไม่ได้สมมติความรู้เกี่ยวกับแบบจำลองทางคณิตศาสตร์ที่แน่นอนของ MDP และใช้เมื่อแบบจำลองที่แน่นอนเป็นไปไม่ได้ อัลกอริธึมการเรียนรู้แบบเสริมแรงใช้ในยานพาหนะอัตโนมัติหรือในการเรียนรู้ที่จะเล่นเกมกับคู่ต่อสู้ที่เป็นมนุษย์

มีการพัฒนาแนวทางอื่นๆ ที่ไม่เข้ากับหมวดหมู่สามประเภทนี้อย่างลงตัว และบางครั้งระบบการเรียนรู้ของเครื่องเดียวกันก็ใช้มากกว่าหนึ่งวิธี ตัวอย่างเช่นการสร้างแบบจำลองหัวข้อ การเรียน รู้แบบเมตา^{[ 56 ]}

การเรียนรู้ด้วยตนเอง ซึ่งเป็นกระบวนทัศน์การเรียนรู้ของเครื่องจักร ได้รับการแนะนำในปี 1982 พร้อมกับโครงข่ายประสาทเทียมที่สามารถเรียนรู้ด้วยตนเองได้ ซึ่งเรียกว่าCrossbar Adaptive Array (CAA) ^{[ 57 ] [ 58 ]}โดยให้วิธีแก้ปัญหาการเรียนรู้โดยไม่ต้องมีรางวัลภายนอก ด้วยการนำอารมณ์มาใช้เป็นรางวัลภายใน อารมณ์ถูกใช้เป็นตัวประเมินสถานะของตัวแทนการเรียนรู้ด้วยตนเอง อัลกอริทึมการเรียนรู้ด้วยตนเองของ CAA จะคำนวณทั้งการตัดสินใจเกี่ยวกับการกระทำและอารมณ์ (ความรู้สึก) เกี่ยวกับสถานการณ์ผลลัพธ์ในลักษณะ Crossbar ระบบนี้ขับเคลื่อนด้วยปฏิสัมพันธ์ระหว่างการรับรู้และอารมณ์^{[ 59 ]} อัลกอริทึมการเรียนรู้ด้วยตนเองจะอัปเดตเมทริกซ์หน่วยความจำ W =||w(a,s)|| โดยในแต่ละรอบการทำงานจะดำเนินการตามขั้นตอนการเรียนรู้ของเครื่องจักรดังต่อไปนี้:

1. ในสถานการณ์ต่างๆการกระทำ
2. ได้รับผลที่ตามมา สถานการณ์s '
3. คำนวณอารมณ์ของการอยู่ในสถานการณ์ที่เป็นผลv(s')
4. อัปเดตหน่วยความจำครอสบาร์ w'(a,s) = w(a,s) + v(s')

เป็นระบบที่มีอินพุตเดียวคือสถานการณ์ และมีเอาต์พุตเดียวคือการกระทำ (หรือพฤติกรรม) ก. ไม่มีอินพุตการเสริมแรงแยกต่างหากหรืออินพุตคำแนะนำจากสภาพแวดล้อม ค่าที่แพร่กระจายกลับ (การเสริมแรงรอง) คืออารมณ์ที่มีต่อสถานการณ์ผลลัพธ์ CAA ดำรงอยู่ในสองสภาพแวดล้อม สภาพแวดล้อมหนึ่งคือสภาพแวดล้อมทางพฤติกรรมที่มันแสดงพฤติกรรม และอีกสภาพแวดล้อมหนึ่งคือสภาพแวดล้อมทางพันธุกรรม ซึ่งในตอนแรกและเพียงครั้งเดียวมันจะได้รับอารมณ์เริ่มต้นเกี่ยวกับสถานการณ์ที่จะพบในสภาพแวดล้อมทางพฤติกรรม หลังจากได้รับเวกเตอร์จีโนม (สายพันธุ์) จากสภาพแวดล้อมทางพันธุกรรม CAA จะเรียนรู้พฤติกรรมการแสวงหาเป้าหมายในสภาพแวดล้อมที่มีทั้งสถานการณ์ที่พึงประสงค์และไม่พึงประสงค์^{[ 60 ]}

อัลกอริทึมการเรียนรู้หลายอย่างมุ่งเป้าไปที่การค้นหาการแสดงแทนที่ดีกว่าของอินพุตที่ให้ไว้ระหว่างการฝึกอบรม^{[ 61 ]}ตัวอย่างคลาสสิก ได้แก่การวิเคราะห์ส่วนประกอบหลักและการวิเคราะห์คลัสเตอร์ อัลกอริทึมการเรียนรู้คุณลักษณะ หรือที่เรียกว่าอัลกอริทึมการเรียนรู้การแสดงแทน มักพยายามรักษาข้อมูลในอินพุต แต่ยังแปลงข้อมูลนั้นในลักษณะที่ทำให้มีประโยชน์ ซึ่งมักจะเป็นขั้นตอนการประมวลผลล่วงหน้าก่อนที่จะทำการจำแนกประเภทหรือทำนาย เทคนิคนี้ช่วยให้สามารถสร้างอินพุตขึ้นใหม่ที่มาจากการกระจายการสร้างข้อมูลที่ไม่รู้จัก ในขณะที่ไม่จำเป็นต้องซื่อสัตย์ต่อการกำหนดค่าที่ไม่น่าเป็นไปได้ภายใต้การกระจายนั้น สิ่งนี้แทนที่การสร้างคุณลักษณะ ด้วยตนเอง และช่วยให้เครื่องจักรสามารถเรียนรู้คุณลักษณะและใช้คุณลักษณะเหล่านั้นเพื่อทำงานเฉพาะอย่างได้

การเรียนรู้คุณลักษณะสามารถทำได้ทั้งแบบมีผู้กำกับดูแลและแบบไม่มีผู้กำกับดูแล ในการเรียนรู้คุณลักษณะแบบมีผู้กำกับดูแล คุณลักษณะจะถูกเรียนรู้โดยใช้ข้อมูลอินพุตที่มีป้ายกำกับ ตัวอย่างเช่นโครงข่ายประสาทเทียมเพอร์เซปตรอนหลายชั้นและการเรียนรู้พจนานุกรม แบบมีผู้กำกับดูแล ในการเรียนรู้คุณลักษณะแบบไม่มีผู้กำกับดูแล คุณลักษณะจะถูกเรียนรู้โดยใช้ข้อมูลอินพุตที่ไม่มีป้ายกำกับ ตัวอย่างเช่น การเรียนรู้พจนานุกรมการวิเคราะห์ส่วนประกอบอิสระออโตเอนโคเดอร์การแยกตัวประกอบเมทริกซ์^{[ 62 ]}และการจัดกลุ่มใน รูปแบบต่างๆ ^{[ 63 ] [ 64 ] [ 65 ]}

อัลกอริทึม การเรียนรู้แบบแมนิโฟลด์พยายามทำเช่นนั้นภายใต้ข้อจำกัดที่ว่าการแสดงผลที่เรียนรู้มีมิติต่ำอัลกอริทึมการเข้ารหัสแบบเบาบางพยายามทำเช่นนั้นภายใต้ข้อจำกัดที่ว่าการแสดงผลที่เรียนรู้มีความเบาบาง ซึ่งหมายความว่าแบบจำลองทางคณิตศาสตร์มีค่าศูนย์จำนวนมาก อัลกอริทึม การเรียนรู้ซับสเปซเชิงเส้นหลายตัวมีเป้าหมายที่จะเรียนรู้การแสดงผลที่มีมิติต่ำโดยตรงจาก การแสดงผล เทนเซอร์สำหรับข้อมูลหลายมิติ โดยไม่ต้องปรับรูปร่างให้เป็นเวกเตอร์ที่มีมิติสูงกว่า^{[ 66 ]} อัลกอริทึมการเรียนรู้เชิง ลึกค้นพบการแสดงผลหลายระดับ หรือลำดับชั้นของคุณลักษณะ โดยมีคุณลักษณะระดับสูงกว่าที่เป็นนามธรรมมากขึ้น ซึ่งกำหนดในแง่ของ (หรือสร้าง) คุณลักษณะระดับต่ำกว่า มีการโต้แย้งว่าเครื่องจักรที่ชาญฉลาดเรียนรู้การแสดงผลที่แยกแยะปัจจัยพื้นฐานของการเปลี่ยนแปลงที่อธิบายข้อมูลที่สังเกตได้^{[ 67 ]}

การเรียนรู้คุณลักษณะเกิดขึ้นจากข้อเท็จจริงที่ว่า งานการเรียนรู้ของเครื่องจักร เช่น การจำแนกประเภท มักต้องการข้อมูลป้อนเข้าที่สะดวกต่อการประมวลผลทางคณิตศาสตร์และการคำนวณ อย่างไรก็ตาม ข้อมูลจากโลกแห่งความเป็นจริง เช่น ภาพ วิดีโอ และข้อมูลจากเซ็นเซอร์ ยังไม่เคยมีการพยายามกำหนดคุณลักษณะเฉพาะโดยใช้อัลกอริทึมมาก่อน ทางเลือกอื่นคือการค้นพบคุณลักษณะหรือการแสดงผลดังกล่าวผ่านการตรวจสอบ โดยไม่ต้องพึ่งพาอัลกอริทึมที่ชัดเจน

การเรียนรู้พจนานุกรมแบบเบาบางเป็นวิธีการเรียนรู้คุณลักษณะที่ตัวอย่างการฝึกอบรมถูกแทนด้วยการรวมเชิงเส้นของฟังก์ชันพื้นฐานและถือว่าเป็นเมทริกซ์แบบเบาบางวิธีนี้เป็นปัญหาNP-hard อย่างมากและยากที่จะแก้ไขโดยประมาณ^{[ 68 ]} วิธี การฮิวริสติกที่เป็นที่นิยมสำหรับการเรียนรู้พจนานุกรมแบบเบาบางคือ อัลกอริทึม k -SVDการเรียนรู้พจนานุกรมแบบเบาบางถูกนำไปใช้ในหลายบริบท ในการจำแนกประเภท ปัญหาคือการกำหนดคลาสที่ตัวอย่างการฝึกอบรมที่ไม่เคยเห็นมาก่อนเป็นของ สำหรับพจนานุกรมที่แต่ละคลาสถูกสร้างขึ้นแล้ว ตัวอย่างการฝึกอบรมใหม่จะเชื่อมโยงกับคลาสที่แสดงได้ดีที่สุดแบบเบาบางโดยพจนานุกรมที่เกี่ยวข้อง การเรียนรู้พจนานุกรมแบบเบาบางยังถูกนำไปใช้ในการลดสัญญาณรบกวนของภาพแนวคิดหลักคือแพทช์ภาพที่สะอาดสามารถแสดงได้อย่างเบาบางโดยพจนานุกรมภาพ แต่สัญญาณรบกวนไม่สามารถทำได้^{[ 69 ]}

ในการทำเหมืองข้อมูลการตรวจจับความผิดปกติ หรือที่เรียกว่าการตรวจจับค่าผิดปกติ คือการระบุรายการ เหตุการณ์ หรือการสังเกตที่หายากซึ่งก่อให้เกิดความสงสัยเนื่องจากแตกต่างอย่างมีนัยสำคัญจากข้อมูลส่วนใหญ่^{[ 70 ]}โดยทั่วไป รายการที่ผิดปกติแสดงถึงปัญหา เช่นการฉ้อโกงธนาคารข้อบกพร่องทางโครงสร้าง ปัญหาทางการแพทย์ หรือข้อผิดพลาดในข้อความ ความผิดปกติเหล่านี้เรียกว่าค่าผิดปกติสิ่งแปลกใหม่ สัญญาณรบกวน ความเบี่ยงเบน และข้อยกเว้น^{[ 71 ]}

โดยเฉพาะอย่างยิ่งในบริบทของการตรวจจับการละเมิดและการบุกรุกเครือข่าย วัตถุที่น่าสนใจมักจะไม่ใช่สิ่งที่หายาก แต่เป็นการหยุดทำงานอย่างกะทันหันที่ไม่คาดคิด รูปแบบนี้ไม่สอดคล้องกับคำจำกัดความทางสถิติทั่วไปของค่าผิดปกติว่าเป็นวัตถุที่หายาก วิธีการตรวจจับค่าผิดปกติหลายวิธี (โดยเฉพาะอัลกอริธึมแบบไม่กำกับดูแล) จะล้มเหลวกับข้อมูลดังกล่าว เว้นแต่จะมีการรวมข้อมูลอย่างเหมาะสม ในทางกลับกัน อัลกอริธึมการวิเคราะห์คลัสเตอร์อาจสามารถตรวจจับไมโครคลัสเตอร์ที่เกิดจากรูปแบบเหล่านี้ได้^{[ 72 ]}

เทคนิคการตรวจจับความผิดปกติแบ่งออกเป็น 3 ประเภทหลัก^{[ 73 ]}เทคนิคการตรวจจับความผิดปกติแบบไม่ใช้การกำกับดูแลจะตรวจจับความผิดปกติในชุดข้อมูลทดสอบที่ไม่มีป้ายกำกับ โดยตั้งสมมติฐานว่าอินสแตนซ์ส่วนใหญ่ในชุดข้อมูลเป็นปกติ โดยการมองหาอินสแตนซ์ที่ดูเหมือนจะไม่เข้ากับส่วนที่เหลือของชุดข้อมูลมากที่สุด เทคนิคการตรวจจับความผิดปกติแบบใช้การกำกับดูแลต้องใช้ชุดข้อมูลที่มีป้ายกำกับว่าเป็น "ปกติ" และ "ผิดปกติ" และเกี่ยวข้องกับการฝึกตัวจำแนก (ความแตกต่างที่สำคัญจากปัญหาการจำแนกทางสถิติอื่นๆ คือลักษณะที่ไม่สมดุลโดยธรรมชาติของการตรวจจับค่าผิดปกติ) เทคนิคการตรวจจับความผิดปกติแบบกึ่งใช้การกำกับดูแลจะสร้างแบบจำลองที่แสดงถึงพฤติกรรมปกติจากชุดข้อมูลฝึกอบรมปกติที่กำหนด จากนั้นทดสอบความน่าจะเป็นของอินสแตนซ์ทดสอบที่ถูกสร้างขึ้นโดยแบบจำลอง

การเรียนรู้ของหุ่นยนต์ได้รับแรงบันดาลใจจากวิธีการเรียนรู้ของเครื่องจักรมากมาย โดยเริ่มจากการเรียนรู้แบบมีผู้กำกับดูแล การเรียนรู้แบบเสริมแรง^{[ 74 ] [ 75 ]}และสุดท้ายคือการเรียนรู้แบบเมตา (เช่น MAML)

การเรียนรู้กฎความสัมพันธ์เป็น วิธี การเรียนรู้ของเครื่องจักรแบบใช้กฎเพื่อค้นหาความสัมพันธ์ระหว่างตัวแปรในฐานข้อมูลขนาดใหญ่ มีจุดประสงค์เพื่อระบุกฎที่แข็งแกร่งที่ค้นพบในฐานข้อมูลโดยใช้การวัด "ความน่าสนใจ" บางอย่าง^{[ 76 ]}

การเรียนรู้ของเครื่องแบบใช้กฎเป็นคำทั่วไปสำหรับวิธีการเรียนรู้ของเครื่องใดๆ ที่ระบุ เรียนรู้ หรือพัฒนา "กฎ" เพื่อจัดเก็บ จัดการ หรือประยุกต์ใช้ความรู้ ลักษณะเฉพาะของอัลกอริทึมการเรียนรู้ของเครื่องแบบใช้กฎคือการระบุและการใช้ชุดของกฎเชิงสัมพันธ์ที่แสดงถึงความรู้ที่ระบบรวบรวมไว้โดยรวม ซึ่งแตกต่างจากอัลกอริทึมการเรียนรู้ของเครื่องอื่นๆ ที่มักจะระบุแบบจำลองเดียวที่สามารถนำไปใช้กับอินสแตนซ์ใดๆ ก็ได้เพื่อทำการทำนาย^{[ 77 ]}แนวทางการเรียนรู้ของเครื่องแบบใช้กฎ ได้แก่ระบบจำแนกประเภทการเรียนรู้ การเรียนรู้กฎความสัมพันธ์ และระบบภูมิคุ้มกันเทียม

จากแนวคิดของกฎที่แข็งแกร่งRakesh Agrawal , Tomasz Imielińskiและ Arun Swami ได้นำเสนอกฎความสัมพันธ์เพื่อค้นหาความสม่ำเสมอระหว่างผลิตภัณฑ์ในข้อมูลธุรกรรมขนาดใหญ่ที่บันทึกโดย ระบบ จุดขาย (POS) ในซูเปอร์มาร์เก็ต^{[ 78 ]}ตัวอย่างเช่น กฎที่พบในข้อมูลการขายของซูเปอร์มาร์เก็ตจะบ่งชี้ว่าหากลูกค้าซื้อหัวหอมและมันฝรั่งพร้อมกัน พวกเขามีแนวโน้มที่จะซื้อเนื้อแฮมเบอร์เกอร์ด้วย ข้อมูลดังกล่าวสามารถใช้เป็นพื้นฐานสำหรับการตัดสินใจเกี่ยวกับกิจกรรมทางการตลาด เช่นการกำหนดราคา โปรโมชั่น หรือการจัดวางผลิตภัณฑ์นอกเหนือจากการวิเคราะห์ตะกร้าสินค้าแล้ว ปัจจุบันกฎความสัมพันธ์ยังถูกนำไปใช้ในด้านต่างๆ เช่น การขุดข้อมูล การใช้งานเว็บการตรวจจับการบุกรุกการผลิตอย่างต่อเนื่องและชีวสารสนเทศในทางตรงกันข้ามกับการขุดลำดับการเรียนรู้กฎความสัมพันธ์โดยทั่วไปจะไม่พิจารณาลำดับของรายการทั้งภายในธุรกรรมหรือระหว่างธุรกรรม ${\displaystyle \{\mathrm {หัวหอม,มันฝรั่ง} \}\ลูกศรขวา \{\mathrm {เบอร์เกอร์} \}}$

ระบบจำแนกประเภทการเรียนรู้ (LCS) เป็นกลุ่มของอัลกอริธึมการเรียนรู้ของเครื่องจักรแบบใช้กฎ ซึ่งรวมส่วนประกอบการค้นพบ โดยทั่วไปคืออั ลก อริธึมทางพันธุกรรมเข้ากับส่วนประกอบการเรียนรู้ โดยดำเนินการเรียนรู้แบบมีผู้กำกับดูแลการเรียนรู้แบบเสริมแรงหรือการเรียนรู้แบบไม่มีผู้กำกับดูแล โดยมุ่งที่จะระบุชุดของกฎที่ขึ้นอยู่กับบริบท ซึ่งจัดเก็บและประยุกต์ใช้ความรู้ร่วมกันใน ลักษณะ เป็นส่วนๆเพื่อทำการทำนาย^{[ 79 ]}

การเขียนโปรแกรมเชิงตรรกะแบบอุปนัย ( Inductive Logic Programming : ILP) เป็นวิธีการเรียนรู้กฎโดยใช้การเขียนโปรแกรมเชิงตรรกะเป็นตัวแทนที่เป็นเอกภาพสำหรับตัวอย่างอินพุต ความรู้พื้นฐาน และสมมติฐาน เมื่อกำหนดการเข้ารหัสของความรู้พื้นฐานที่ทราบและชุดตัวอย่างที่แสดงเป็นฐานข้อมูลเชิงตรรกะของข้อเท็จจริง ระบบ ILP จะสร้างโปรแกรมเชิงตรรกะตามสมมติฐานซึ่งประกอบด้วยตัวอย่างที่เป็นบวกทั้งหมดและไม่มีตัวอย่างที่เป็นลบการเขียนโปรแกรมแบบอุปนัย เป็นสาขาที่เกี่ยวข้องซึ่งพิจารณาภาษาการเขียนโปรแกรมทุกประเภทสำหรับการแสดงสมมติฐาน (และไม่ใช่เฉพาะการเขียนโปรแกรมเชิงตรรกะเท่านั้น ) เช่นโปรแกรมเชิงฟังก์ชัน

การเขียนโปรแกรมตรรกะแบบอุปนัยมีประโยชน์อย่างยิ่งในด้านชีวสารสนเทศและการประมวลผลภาษาธรรมชาติกอร์ดอน พล็อตคินและเอฮุด ชาปิโรได้วางรากฐานทางทฤษฎีเบื้องต้นสำหรับการเรียนรู้ของเครื่องแบบอุปนัยในบริบทเชิงตรรกะ^{[ 80 ] [ 81 ] [ 82 ]}ชาปิโรได้สร้างการใช้งานครั้งแรก (ระบบการอนุมานแบบจำลอง) ในปี 1981: โปรแกรม Prologที่อนุมานโปรแกรมตรรกะแบบอุปนัยจากตัวอย่างเชิงบวกและเชิงลบ^{[ 83 ]}คำว่าอุปนัยในที่นี้หมายถึง การอุปนัย เชิงปรัชญาซึ่งเสนอทฤษฎีเพื่ออธิบายข้อเท็จจริงที่สังเกตได้ มากกว่าการอุปนัยทางคณิตศาสตร์ซึ่งพิสูจน์คุณสมบัติสำหรับสมาชิกทั้งหมดของเซตที่มีลำดับที่ดี

เอแบบจำลองการเรียนรู้ของเครื่อง เป็น แบบจำลองทางคณิตศาสตร์ประเภทหนึ่งซึ่งเมื่อ "ฝึกฝน" บนชุดข้อมูลที่กำหนดแล้ว สามารถนำมาใช้ในการทำนายหรือจำแนกประเภทข้อมูลใหม่ได้ ในระหว่างการฝึกฝน อัลกอริทึมการเรียนรู้จะปรับพารามิเตอร์ภายในของแบบจำลองซ้ำๆ เพื่อลดข้อผิดพลาดในการทำนายให้น้อยที่สุด ^{[ 84 ]}โดยขยายความ คำว่า "แบบจำลอง" สามารถหมายถึงระดับความเฉพาะเจาะจงหลายระดับ ตั้งแต่แบบจำลองทั่วไปและอัลกอริทึมการเรียนรู้ที่เกี่ยวข้อง ไปจนถึงแบบจำลองที่ได้รับการฝึกฝนอย่างสมบูรณ์พร้อมพารามิเตอร์ภายในทั้งหมดที่ได้รับการปรับแต่ง ^{[ 85 ]}

มีการใช้และวิจัยโมเดลหลายประเภทในระบบการเรียนรู้ของเครื่องจักร การเลือกโมเดลที่ดีที่สุดสำหรับงานหนึ่งๆ เรียกว่าการ เลือกโมเดล

โครงข่ายประสาทเทียม (ANNs) หรือ ระบบ เชื่อมโยง (connectionist systems) คือระบบคอมพิวเตอร์ที่ได้รับแรงบันดาลใจอย่างคร่าวๆ จากโครงข่ายประสาททางชีววิทยาที่ประกอบขึ้นเป็นสมอง ของสัตว์ ระบบเหล่านี้ "เรียนรู้" ที่จะทำงานต่างๆ โดยพิจารณาจากตัวอย่าง โดยทั่วไปแล้วโดยไม่ต้องตั้งโปรแกรมด้วยกฎเฉพาะสำหรับงานนั้นๆ

โครงข่ายประสาทเทียม (ANN) เป็นแบบจำลองที่ประกอบด้วยหน่วยหรือโหนดที่เชื่อมต่อกันเรียกว่า " เซลล์ประสาทเทียม " ซึ่งจำลองเซลล์ประสาทในสมองทางชีววิทยาอย่างคร่าวๆ การเชื่อมต่อแต่ละจุด เช่นเดียวกับไซแนปส์ในสมองทางชีววิทยา สามารถส่งข้อมูลหรือ "สัญญาณ" จากเซลล์ประสาทเทียมหนึ่งไปยังอีกเซลล์หนึ่งได้ เซลล์ประสาทเทียมที่ได้รับสัญญาณสามารถประมวลผลและส่งสัญญาณไปยังเซลล์ประสาทเทียมอื่นๆ ที่เชื่อมต่ออยู่ ในการใช้งาน ANN ทั่วไป สัญญาณที่จุดเชื่อมต่อระหว่างเซลล์ประสาทเทียมจะเป็นจำนวนจริงและเอาต์พุตของเซลล์ประสาทเทียมแต่ละเซลล์จะคำนวณโดยฟังก์ชันที่ไม่เป็นเชิงเส้นของผลรวมของอินพุต การเชื่อมต่อระหว่างเซลล์ประสาทเทียมเรียกว่า "ขอบ" เซลล์ประสาทเทียมและขอบมักจะมีน้ำหนักที่ปรับเปลี่ยนไปตามกระบวนการเรียนรู้ น้ำหนักจะเพิ่มหรือลดความแรงของสัญญาณที่จุดเชื่อมต่อ เซลล์ประสาทเทียมอาจมีค่าเกณฑ์ที่ส่งสัญญาณก็ต่อเมื่อสัญญาณรวมเกินค่าเกณฑ์นั้น โดยทั่วไป เซลล์ประสาทเทียมจะถูกจัดกลุ่มเป็นชั้นๆ ชั้นต่างๆ อาจทำการแปลงข้อมูลอินพุตในรูปแบบต่างๆ กัน สัญญาณจะเดินทางจากชั้นแรก (ชั้นอินพุต) ไปยังชั้นสุดท้าย (ชั้นเอาต์พุต) โดยอาจต้องผ่านหลายชั้นซ้ำหลายครั้ง

เป้าหมายดั้งเดิมของแนวทางโครงข่ายประสาทเทียม (ANN) คือการแก้ปัญหาในลักษณะเดียวกับที่สมองมนุษย์ทำ อย่างไรก็ตาม เมื่อเวลาผ่านไป ความสนใจได้เปลี่ยนไปสู่การทำงานเฉพาะด้าน ทำให้เกิดความเบี่ยงเบนจากชีววิทยาโครงข่ายประสาทเทียมถูกนำไปใช้ในงานหลากหลายด้าน รวมถึง การประมวล ผลภาพการจดจำเสียงการ แปล ด้วยเครื่องการกรองเครือข่ายสังคมการเล่นเกมกระดานและวิดีโอเกมและการวินิจฉัยทางการแพทย์

การเรียนรู้เชิงลึกประกอบด้วยเลเยอร์ที่ซ่อนอยู่หลายชั้นในเครือข่ายประสาทเทียม แนวทางนี้พยายามจำลองวิธีการที่สมองมนุษย์ประมวลผลแสงและเสียงให้กลายเป็นภาพและการได้ยิน การประยุกต์ใช้การเรียนรู้เชิงลึกที่ประสบความสำเร็จบางส่วน ได้แก่ คอมพิวเตอร์วิชั่นและการรู้จำเสียงพูด^{[ 86 ]}

การเรียนรู้ด้วยต้นไม้ตัดสินใจใช้ต้นไม้ตัดสินใจเป็นแบบจำลอง การทำนาย เพื่อเปลี่ยนจากการสังเกตเกี่ยวกับรายการ (แสดงในกิ่ง) ไปสู่ข้อสรุปเกี่ยวกับค่าเป้าหมายของรายการ (แสดงในใบ) เป็นหนึ่งในวิธีการสร้างแบบจำลองการทำนายที่ใช้ในสถิติ การทำเหมืองข้อมูล และการเรียนรู้ของเครื่อง แบบจำลองต้นไม้ที่ตัวแปรเป้าหมายสามารถรับค่าได้หลายค่าเรียกว่าต้นไม้จำแนกประเภท ในโครงสร้างต้นไม้เหล่านี้ใบจะแสดงป้ายกำกับคลาส และกิ่งจะแสดงการรวมกันของคุณลักษณะที่นำไปสู่ป้ายกำกับคลาสเหล่านั้น ต้นไม้ตัดสินใจที่ตัวแปรเป้าหมายสามารถรับค่าต่อเนื่องได้ (โดยทั่วไปคือจำนวนจริง ) เรียกว่าต้นไม้ถดถอย ในการวิเคราะห์การตัดสินใจ ต้นไม้ตัดสินใจสามารถใช้เพื่อแสดงการตัดสินใจและกระบวนการตัดสินใจ ได้อย่างชัดเจนและเป็นรูปธรรม ในการทำเหมืองข้อมูล ต้นไม้ตัดสินใจอธิบายข้อมูล แต่ต้นไม้จำแนกประเภทที่ได้สามารถใช้เป็นข้อมูลป้อนเข้าสำหรับการตัดสินใจได้

การถดถอยป่าสุ่ม ( Random forest regression : RFR) จัดอยู่ในกลุ่มของแบบจำลองที่ใช้ต้นไม้ ตัดสินใจ RFR เป็นวิธีการเรียนรู้แบบกลุ่มที่สร้างต้นไม้ตัดสินใจหลายต้นและหาค่าเฉลี่ยของการทำนายเพื่อปรับปรุงความแม่นยำและหลีกเลี่ยงการโอเวอร์ฟิตติ้ง ในการสร้างต้นไม้ตัดสินใจ RFR ใช้การสุ่มตัวอย่างแบบบูตสแตรป ตัวอย่างเช่น ต้นไม้ตัดสินใจแต่ละต้นจะได้รับการฝึกฝนด้วยข้อมูลแบบสุ่มจากชุดข้อมูลฝึกฝน การเลือกแบบสุ่มของ RFR สำหรับการฝึกฝนช่วยให้แบบจำลองลดการทำนายที่มีอคติและบรรลุความแม่นยำที่สูงขึ้น RFR สร้างต้นไม้ตัดสินใจที่เป็นอิสระ และสามารถทำงานได้ทั้งกับข้อมูลเอาต์พุตเดียวและงานถดถอยหลายตัว ทำให้ RFR สามารถนำไปใช้ในแอปพลิเคชันต่างๆ ได้^{[ 87 ] [ 88 ]}

เครื่องสนับสนุนเวกเตอร์ (SVM) หรือที่รู้จักกันในชื่อเครือข่ายสนับสนุนเวกเตอร์ เป็นชุดของ วิธี การเรียนรู้แบบกำกับดูแล ที่เกี่ยวข้อง ซึ่งใช้สำหรับการจำแนกและการถดถอย เมื่อได้รับชุดตัวอย่างการฝึกอบรม โดยแต่ละตัวอย่างถูกทำเครื่องหมายว่าเป็นของหนึ่งในสองประเภท อัลกอริทึมการฝึกอบรม SVM จะสร้างแบบจำลองที่ทำนายว่าตัวอย่างใหม่จะตกอยู่ในประเภทใด^{[ 89 ]}อัลกอริทึมการฝึกอบรม SVM เป็นตัวจำแนกเชิงเส้นแบบไบนารีที่ ไม่ใช่ ความน่าจะเป็นแม้ว่าจะมีวิธีการต่างๆ เช่นการปรับขนาดของ Plattเพื่อใช้ SVM ในการตั้งค่าการจำแนกประเภทแบบความน่าจะเป็นก็ตาม นอกเหนือจากการจำแนกประเภทเชิงเส้นแล้ว SVM ยังสามารถจำแนกประเภทที่ไม่ใช่เชิงเส้นได้อย่างมีประสิทธิภาพโดยใช้สิ่งที่เรียกว่าเทคนิคเคอร์เนลโดยแมปอินพุตของพวกมันไปยังพื้นที่คุณลักษณะมิติสูงโดยปริยาย

การวิเคราะห์การถดถอยครอบคลุมวิธีการทางสถิติที่หลากหลายเพื่อประมาณความสัมพันธ์ระหว่างตัวแปรอินพุตและคุณลักษณะที่เกี่ยวข้อง รูปแบบที่พบได้บ่อยที่สุดคือการถดถอยเชิงเส้นโดยลากเส้นเดียวเพื่อให้เหมาะสมกับข้อมูลที่กำหนดมากที่สุดตามเกณฑ์ทางคณิตศาสตร์ เช่นกำลังสองน้อยที่สุดแบบธรรมดาซึ่งมักจะขยายด้วยวิธีการปรับค่า เพื่อลดการเกิดภาวะโอเวอร์ฟิตติ้งและอคติ เช่น ใน การถดถอยแบบริดจ์เมื่อต้องจัดการกับปัญหาที่ไม่เป็นเชิงเส้น โมเดลที่นิยมใช้ ได้แก่การถดถอยพหุนาม (ตัวอย่างเช่น ใช้สำหรับการปรับเส้นแนวโน้มใน Microsoft Excel ^{[ 90 ]} ) การถดถอยโลจิสติก (มักใช้ในการจำแนกประเภททางสถิติ ) หรือแม้แต่การถดถอยเคอร์เนลซึ่งนำเสนอความไม่เป็นเชิงเส้นโดยใช้ประโยชน์จากเทคนิคเคอร์เนลเพื่อแมปตัวแปรอินพุตไปยังพื้นที่มิติที่สูงกว่า โดยปริยาย

การถดถอยเชิงเส้นหลายตัวแปรขยายแนวคิดของการถดถอยเชิงเส้นเพื่อจัดการกับตัวแปรตามหลายตัวพร้อมกัน วิธีการนี้ประมาณความสัมพันธ์ระหว่างชุดของตัวแปรอินพุตและตัวแปรเอาต์พุตหลายตัวโดยการปรับ แบบจำลองเชิงเส้น หลายมิติ วิธีนี้ มีประโยชน์อย่างยิ่งในสถานการณ์ที่เอาต์พุตมีความสัมพันธ์กันหรือมีรูปแบบพื้นฐานร่วมกัน เช่น การทำนายตัวชี้วัดทางเศรษฐกิจหลายตัวหรือการสร้างภาพขึ้นใหม่^{[ 91 ]}ซึ่งโดยเนื้อแท้แล้วมีหลายมิติ

เครือข่ายเบย์เซียน (Bayesian network), เครือข่ายความเชื่อ (belief network) หรือแบบจำลองกราฟแบบไม่มีวงจร (directed acyclic graphical model) คือแบบจำลองกราฟเชิง ความน่า จะเป็นที่แสดงถึงชุดของตัวแปรสุ่มและความเป็นอิสระแบบมีเงื่อนไขด้วยกราฟแบบไม่มีวงจร (DAG) ตัวอย่างเช่น เครือข่ายเบย์เซียนสามารถแสดงความสัมพันธ์เชิงความน่าจะเป็นระหว่างโรคและอาการต่างๆ ได้ เมื่อทราบอาการแล้ว เครือข่ายสามารถใช้ในการคำนวณความน่าจะเป็นของการเกิดโรคต่างๆ ได้ มีอัลกอริธึมที่มีประสิทธิภาพในการอนุมานและการเรียนรู้ เครือข่ายเบย์เซียนที่จำลองลำดับของตัวแปร เช่นสัญญาณเสียงหรือลำดับโปรตีนเรียกว่าเครือข่ายเบย์เซียนแบบไดนามิก (dynamic Bayesian networks ) การวางนัยทั่วไปของเครือข่ายเบย์เซียนที่สามารถแสดงและแก้ปัญหาการตัดสินใจภายใต้ความไม่แน่นอนได้ เรียกว่าแผนภาพอิทธิพล (influence diagrams )

กระบวนการเกาส์เซียนเป็นกระบวนการสุ่มที่ชุดตัวแปรสุ่มจำนวนจำกัดในกระบวนการนั้นมีการกระจายแบบปกติหลายตัวแปรและอาศัยฟังก์ชันความแปรปรวนร่วมหรือเคอร์เนลที่กำหนดไว้ล่วงหน้า ซึ่งจำลองความสัมพันธ์ระหว่างจุดสองจุดโดยขึ้นอยู่กับตำแหน่งของจุดเหล่านั้น

เมื่อกำหนดชุดจุดที่สังเกตได้ หรือตัวอย่างข้อมูลเข้า-ออกแล้ว การกระจายของผลลัพธ์ (ที่ยังไม่ถูกสังเกต) ของจุดใหม่ ซึ่งเป็นฟังก์ชันของข้อมูลเข้า สามารถคำนวณได้โดยตรงโดยการพิจารณาจุดที่สังเกตได้ และค่าความแปรปรวนร่วมระหว่างจุดเหล่านั้นกับจุดใหม่ที่ยังไม่ถูกสังเกต

กระบวนการเกาส์เซียนเป็นแบบจำลองทดแทนที่นิยมใช้ ใน การหาค่าเหมาะสมที่สุดแบบเบย์เซียน (Bayesian optimization ) เพื่อ ปรับค่าพารามิเตอร์ให้เหมาะสมที่สุด

อัลกอริทึมทางพันธุกรรม (GA) เป็นอัลกอริทึมการค้นหาและ เทคนิค ฮิวริสติกที่เลียนแบบกระบวนการคัดเลือกโดยธรรมชาติโดยใช้วิธีการต่างๆ เช่นการกลายพันธุ์และการผสมข้าม เพื่อสร้าง จีโนไทป์ใหม่โดยหวังว่าจะพบวิธีแก้ปัญหาที่ดีสำหรับปัญหาที่กำหนด ในการเรียนรู้ของเครื่อง อัลกอริทึมทางพันธุกรรมถูกนำมาใช้ในช่วงทศวรรษ 1980 และ 1990 ^{[ 93 ] [ 94 ]} ในทางกลับกัน เทคนิคการเรียนรู้ของเครื่อง ถูกนำมาใช้เพื่อปรับปรุงประสิทธิภาพของอัลกอริทึมทางพันธุกรรมและวิวัฒนาการ^{[ 95 ]}

ทฤษฎีฟังก์ชันความเชื่อ หรือที่เรียกว่าทฤษฎีหลักฐานหรือทฤษฎี Dempster–Shafer เป็นกรอบการทำงานทั่วไปสำหรับการให้เหตุผลเกี่ยวกับความไม่แน่นอน โดยมีความเชื่อมโยงที่เข้าใจได้กับกรอบการทำงานอื่นๆ เช่น ทฤษฎี ความ น่าจะเป็น ความ เป็นไปได้และ ทฤษฎีความน่าจะเป็นที่ไม่แม่นยำกรอบการทำงานเชิงทฤษฎีเหล่านี้สามารถคิดได้ว่าเป็นผู้เรียนประเภทหนึ่ง และมีคุณสมบัติที่คล้ายคลึงกันบางประการเกี่ยวกับวิธีการรวมหลักฐาน (เช่น กฎการรวมของ Dempster) เช่นเดียวกับ วิธีการแบบเบย์เซียนที่ใช้ pmfในการรวมความน่าจะเป็น^{[ 96 ]}อย่างไรก็ตาม มีข้อควรระวังมากมายสำหรับฟังก์ชันความเชื่อเหล่านี้เมื่อเปรียบเทียบกับวิธีการแบบเบย์เซียนในการรวมความไม่รู้และการหาปริมาณความไม่แน่นอนวิธีการฟังก์ชันความเชื่อเหล่านี้ที่นำไปใช้ในโดเมนการเรียนรู้ของเครื่องมักจะใช้แนวทางการผสมผสานของวิธีการแบบกลุ่ม ต่างๆ เพื่อจัดการกับ ขอบเขตการตัดสินใจของผู้เรียนตัวอย่างจำนวนน้อย และปัญหาคลาสที่คลุมเครือ ซึ่งวิธีการเรียนรู้ของเครื่องมาตรฐานมักจะแก้ไขได้ยาก^{[ 97 ] [ 6 ]}อย่างไรก็ตาม ความซับซ้อนในการคำนวณของอัลกอริธึมเหล่านี้ขึ้นอยู่กับจำนวนข้อเสนอ (คลาส) และอาจนำไปสู่เวลาในการคำนวณที่สูงขึ้นมากเมื่อเปรียบเทียบกับวิธีการเรียนรู้ของเครื่องอื่นๆ

การเรียนรู้ของเครื่องแบบใช้กฎ (RBML) เป็นสาขาหนึ่งของการเรียนรู้ของเครื่องที่ค้นพบและเรียนรู้ 'กฎ' จากข้อมูลโดยอัตโนมัติ โดยให้แบบจำลองที่ตีความได้ ทำให้มีประโยชน์สำหรับการตัดสินใจในสาขาต่างๆ เช่น การดูแลสุขภาพ การตรวจจับการฉ้อโกง และความปลอดภัยทางไซเบอร์ เทคนิค RBML ที่สำคัญ ได้แก่^ระบบจำแนกประเภทการเรียนรู้ [ ^{98 ]}การเรียนรู้กฎความสัมพันธ์^{[ 99 ]}ระบบภูมิคุ้มกันเทียม [ ^{100 ] และแบบจำลองอื่นๆ ที่คล้ายกัน วิธีการเหล่านี้ดึงรูปแบบจากข้อมูลและพัฒนากฎไป เรื่อย}ๆ ตามเวลา

โดยทั่วไปแล้ว โมเดลการเรียนรู้ของเครื่องจักรต้องการข้อมูลที่เชื่อถือได้จำนวนมากเพื่อให้สามารถทำนายได้อย่างแม่นยำ เมื่อฝึกโมเดลการเรียนรู้ของเครื่องจักร วิศวกรการเรียนรู้ของเครื่องจักรจำเป็นต้องกำหนดเป้าหมายและรวบรวมตัวอย่างข้อมูลขนาดใหญ่และเป็นตัวแทน ข้อมูลจากชุดฝึกอบรมอาจมีความหลากหลาย เช่นชุดข้อความชุดรูปภาพ ข้อมูล จากเซ็นเซอร์และข้อมูลที่รวบรวมจากผู้ใช้บริการแต่ละรายการเกิดภาวะโอเวอร์ฟิตติ้งเป็นสิ่งที่ต้องระวังเมื่อฝึกโมเดลการเรียนรู้ของเครื่องจักร โมเดลที่ฝึกฝนจากข้อมูลที่มีอคติหรือไม่ได้รับการประเมินอาจส่งผลให้การทำนายผิดเพี้ยนหรือไม่พึงประสงค์ โมเดลที่มีอคติอาจส่งผลเสียต่อสังคมหรือเป้าหมาย ทำให้เกิดผลกระทบเชิงลบมากขึ้น อคติทางอัลกอริทึมเป็นผลลัพธ์ที่อาจเกิดขึ้นจากการที่ข้อมูลไม่ได้เตรียมพร้อมสำหรับการฝึกอบรมอย่างเต็มที่ จริยธรรมการเรียนรู้ของเครื่องจักรกำลังกลายเป็นสาขาการศึกษา และที่สำคัญคือกำลังถูกบูรณาการเข้ากับทีมวิศวกรรมการเรียนรู้ของเครื่องจักร

การเรียนรู้แบบเฟเดอเรตเป็นรูปแบบหนึ่งของปัญญาประดิษฐ์แบบกระจายศูนย์ที่ปรับปรุงแล้วเพื่อฝึกฝนโมเดลการเรียนรู้ของเครื่องที่กระจายศูนย์กระบวนการฝึกฝน ทำให้สามารถรักษาความเป็นส่วนตัวของผู้ใช้ได้โดยไม่จำเป็นต้องส่งข้อมูลของผู้ใช้ไปยังเซิร์ฟเวอร์ส่วนกลาง นอกจากนี้ยังเพิ่มประสิทธิภาพโดยการกระจายศูนย์กระบวนการฝึกฝนไปยังอุปกรณ์จำนวนมาก ตัวอย่างเช่นGboardใช้การเรียนรู้ของเครื่องแบบเฟเดอเรตเพื่อฝึกฝนโมเดลการทำนายคำค้นหาบนโทรศัพท์มือถือของผู้ใช้โดยไม่ต้องส่งการค้นหาแต่ละรายการกลับไปยังGoogle ^{[ 101 ]}

การเรียนรู้ของเครื่องจักรมีแอปพลิเคชันมากมาย รวมถึง:

ในปี 2549 Netflixผู้ให้บริการสื่อได้จัดการแข่งขัน " Netflix Prize " ครั้งแรก เพื่อค้นหาโปรแกรมที่สามารถคาดการณ์ความชอบของผู้ใช้ได้ดีขึ้น และปรับปรุงความแม่นยำของอัลกอริทึมการแนะนำภาพยนตร์ Cinematch ที่มีอยู่ให้ดีขึ้นอย่างน้อย 10% ทีมร่วมที่ประกอบด้วยนักวิจัยจากAT&T Labs -Research ร่วมกับทีม Big Chaos และ Pragmatic Theory ได้สร้างแบบจำลองแบบรวม (ensemble model)เพื่อคว้ารางวัลใหญ่ในปี 2552 ด้วยเงินรางวัล 1 ล้านดอลลาร์^{[ 105 ]}หลังจากได้รับรางวัลไม่นาน Netflix ก็ตระหนักว่าการให้คะแนนของผู้ดูไม่ใช่ตัวบ่งชี้ที่ดีที่สุดของรูปแบบการรับชมของพวกเขา ("ทุกอย่างเป็นการแนะนำ") และพวกเขาได้เปลี่ยนเครื่องมือแนะนำของตนให้เหมาะสม^{[ 106 ]}ในปี 2553 บทความในThe Wall Street Journalได้กล่าวถึงการใช้การเรียนรู้ของเครื่องโดย Rebellion Research เพื่อทำนายวิกฤตการณ์ทางการเงินในปี 2551 ^{[ 107 ]} ในปี 2012 Vinod Khoslaผู้ร่วมก่อตั้งSun Microsystemsได้ทำนายว่า 80% ของงานแพทย์จะหายไปในอีกสองทศวรรษข้างหน้าเนื่องจากซอฟต์แวร์วินิจฉัยทางการแพทย์อัตโนมัติโดยใช้การเรียนรู้ของเครื่อง^{[ 108 ]}ในปี 2014 มีรายงานว่าอัลกอริทึมการเรียนรู้ของเครื่องถูกนำไปใช้ในสาขาประวัติศาสตร์ศิลปะเพื่อศึกษาภาพวาดวิจิตรศิลป์ และอาจเปิดเผยอิทธิพลที่ไม่เคยรู้จักมาก่อนในหมู่ศิลปิน^{[ 109 ]}ในปี 2019 Springer Natureได้ตีพิมพ์หนังสือวิจัยเล่มแรกที่สร้างขึ้นโดยใช้การเรียนรู้ของเครื่อง^{[ 110 ]}ในปี 2020 เทคโนโลยีการเรียนรู้ของเครื่องถูกนำมาใช้เพื่อช่วยในการวินิจฉัยและช่วยเหลือนักวิจัยในการพัฒนายารักษาโรคโควิด-19 ^{[ 111 ]}เมื่อไม่นานมานี้ การเรียนรู้ของเครื่องถูกนำไปใช้เพื่อทำนายพฤติกรรมที่เป็นมิตรต่อสิ่งแวดล้อมของนักเดินทาง^{[ 112 ]}ล่าสุด เทคโนโลยีการเรียนรู้ของเครื่องยังถูกนำไปใช้เพื่อเพิ่มประสิทธิภาพการทำงานและพฤติกรรมทางความร้อนของสมาร์ทโฟนโดยอิงจากการโต้ตอบของผู้ใช้กับโทรศัพท์^{[ 113 ] [ 114 ] [ 115 ]}เมื่อนำไปใช้อย่างถูกต้อง อัลกอริทึมการเรียนรู้ของเครื่อง (MLAs) สามารถใช้ลักษณะของบริษัทที่หลากหลายเพื่อทำนายผลตอบแทนของหุ้นโดยไม่เกิดการโอเวอร์ฟิตติ้งด้วยการใช้การออกแบบคุณลักษณะที่มีประสิทธิภาพและการรวมการพยากรณ์ MLAs สามารถสร้างผลลัพธ์ที่เหนือกว่าผลลัพธ์ที่ได้จากเทคนิคเชิงเส้นพื้นฐาน เช่นOLS อย่าง มาก ^{[ 116 ]}

ความก้าวหน้าล่าสุดในการเรียนรู้ของเครื่องจักรได้ขยายไปสู่สาขาเคมีควอนตัม ซึ่งปัจจุบันอัลกอริทึมใหม่ช่วยให้สามารถทำนายผลของตัวทำละลายต่อปฏิกิริยาเคมีได้ จึงนำเสนอเครื่องมือใหม่สำหรับนักเคมีในการปรับแต่งเงื่อนไขการทดลองเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด^{[ 117 ]}

การเรียนรู้ของเครื่องกำลังกลายเป็นเครื่องมือที่มีประโยชน์ในการตรวจสอบและทำนายการตัดสินใจอพยพในภัยพิบัติขนาดใหญ่และขนาดเล็ก มีการทดสอบวิธีการต่างๆ เพื่อทำนายว่าเจ้าของบ้านจะตัดสินใจอพยพเมื่อใดและอย่างไรในระหว่างไฟป่าและพายุเฮอริเคน^{[ 118 ] [ 119 ] [ 120 ]}แอปพลิเคชันอื่นๆ มุ่งเน้นไปที่การตัดสินใจก่อนการอพยพในกรณีไฟไหม้อาคาร^{[ 121 ] [ 122 ]}

แม้ว่าการเรียนรู้ของเครื่องจะมีการเปลี่ยนแปลงอย่างมากในบางสาขา แต่โปรแกรมการเรียนรู้ของเครื่องมักไม่สามารถให้ผลลัพธ์ตามที่คาดหวังได้^{[ 123 ] [ 124 ] [ 125 ]}สาเหตุมีมากมาย ได้แก่ การขาดข้อมูล (ที่เหมาะสม) การเข้าถึงข้อมูลไม่เพียงพอ อคติของข้อมูล ปัญหาความเป็นส่วนตัว งานและอัลกอริทึมที่เลือกไม่ดี เครื่องมือและบุคลากรที่ไม่เหมาะสม การขาดทรัพยากร และปัญหาในการประเมิน^{[ 126 ]}

ทฤษฎี " กล่องดำ " ก่อให้เกิดความท้าทายที่สำคัญอีกประการหนึ่ง กล่องดำหมายถึงสถานการณ์ที่อัลกอริทึมที่สร้างผลลัพธ์นั้นไม่โปร่งใสโดยสิ้นเชิง ซึ่งหมายความว่าแม้แต่นักออกแบบแอปพลิเคชันก็ไม่สามารถตรวจสอบรูปแบบที่เครื่องจักรดึงออกมาจากข้อมูลได้^{[ 127 ]}คณะกรรมการคัดเลือกของสภาขุนนาง ซึ่งอ้างว่า "ระบบอัจฉริยะ" ดังกล่าวที่อาจมี "ผลกระทบอย่างมากต่อชีวิตของบุคคล" จะไม่ถือว่ายอมรับได้ เว้นแต่จะให้ "คำอธิบายที่ครบถ้วนและน่าพอใจสำหรับการตัดสินใจ" ที่ระบบนั้นทำ^{[ 127 ]}

ในปี 2018 รถยนต์ขับเคลื่อนอัตโนมัติของUberล้มเหลวในการตรวจจับคนเดินเท้า ทำให้คนเดินเท้าเสียชีวิตหลังจากการชน^{[ 128 ]}ความพยายามที่จะใช้การเรียนรู้ของเครื่องจักรในด้านการดูแลสุขภาพด้วย ระบบ IBM Watsonล้มเหลวในการให้ผลลัพธ์แม้หลังจากผ่านไปหลายปีและลงทุนไปหลายพันล้านดอลลาร์^{[ 129 ] [ 130 ]} มีรายงานว่าแชทบอ ท Bing Chatของ Microsoft แสดงการตอบสนองที่เป็นปรปักษ์และก้าวร้าวต่อผู้ใช้^{[ 131 ]}

การเรียนรู้ของเครื่องถูกนำมาใช้เป็นกลยุทธ์ในการปรับปรุงหลักฐานที่เกี่ยวข้องกับการทบทวนอย่างเป็นระบบและภาระของผู้ทบทวนที่เพิ่มขึ้นซึ่งเกี่ยวข้องกับการเติบโตของวรรณกรรมทางการแพทย์ชีวภาพ แม้ว่าจะมีการปรับปรุงด้วยชุดข้อมูลการฝึกอบรม แต่ก็ยังไม่พัฒนาเพียงพอที่จะลดภาระงานโดยไม่จำกัดความไวที่จำเป็นสำหรับการวิจัยการค้นพบ^{[ 132 ]}

ปัญญาประดิษฐ์ที่อธิบายได้ (XAI) หรือปัญญาประดิษฐ์ที่ตีความได้ หรือการเรียนรู้ของเครื่องที่อธิบายได้ (XML) คือปัญญาประดิษฐ์ (AI) ที่มนุษย์สามารถเข้าใจการตัดสินใจหรือการคาดการณ์ที่ AI สร้างขึ้น^{[ 133 ]}ซึ่งแตกต่างจากแนวคิด "กล่องดำ" ในการเรียนรู้ของเครื่องที่แม้แต่นักออกแบบก็ไม่สามารถอธิบายได้ว่าทำไม AI จึงตัดสินใจเช่นนั้น^{[ 134 ]}ด้วยการปรับปรุงแบบจำลองทางจิตของผู้ใช้ระบบที่ขับเคลื่อนด้วย AI และขจัดความเข้าใจผิดของพวกเขา XAI สัญญาว่าจะช่วยให้ผู้ใช้ทำงานได้อย่างมีประสิทธิภาพมากขึ้น XAI อาจเป็นการนำสิทธิทางสังคมในการอธิบายไปใช้

การยึดติดกับทฤษฎีที่ไม่ดีและซับซ้อนเกินไปซึ่งถูกปรับแต่งให้เข้ากับข้อมูลการฝึกอบรมในอดีตทั้งหมดเรียกว่าการโอเวอร์ฟิตติ้ง ระบบหลายระบบพยายามลดการโอเวอร์ฟิตติ้งโดยการให้รางวัลแก่ทฤษฎีตามความเหมาะสมกับข้อมูล แต่ลงโทษทฤษฎีตามความซับซ้อนของทฤษฎี^{[ 135 ]}

วิดีโอของสะพาน Glenfinnan Viaductในสกอตแลนด์ที่สร้างโดยSoraแสดงข้อผิดพลาดหลายอย่าง ได้แก่: รางรถไฟที่สอง , รถไฟวิ่งทางด้านขวาแทนที่จะเป็นด้านซ้าย , ปล่องไฟที่สองในวิดีโอที่แสดงรถไฟThe Jacobite , ความยาวของตู้โดยสารที่ไม่สอดคล้องกัน, สัญญาณรบกวนทางภาพที่ไม่เป็นธรรมชาติ และตู้โดยสารที่โค้งงอไปตามความยาวขณะเลี้ยวโค้ง

สะพานรถไฟเกลนฟินแนนของจริงที่มีรูปปั้นจาโคไบต์อยู่บนนั้น

ในสาขาปัญญาประดิษฐ์ (AI) ภาพลวงตาหรือภาพลวงตาเทียม (เรียกอีกอย่างว่าการพูดจาเหลวไหล^{[ 144 ] [ 145 ]}การสร้างเรื่อง เท็จ ^{[ 146 ]}หรือความหลงผิด^{[ 147 ]} ) คือการตอบสนองที่สร้างขึ้นโดย AI ซึ่งมีข้อมูลเท็จหรือทำให้เข้าใจผิดที่นำเสนอเป็นข้อเท็จจริง^{[ 148 ]}คำนี้มีความคล้ายคลึงกับจิตวิทยาของมนุษย์ ซึ่งโดยทั่วไปแล้วภาพลวงตามักเกี่ยวข้องกับการรับรู้ ที่ผิด พลาด

ตัวอย่างเช่นแชทบอทที่ขับเคลื่อนด้วยแบบจำลองภาษาขนาดใหญ่ (LLM) เช่นChatGPTอาจฝังข้อมูลเท็จแบบสุ่มที่ฟังดูน่าเชื่อถือไว้ในเนื้อหาที่สร้างขึ้น การตรวจจับและลดข้อผิดพลาดและภาพลวงตาเป็นความท้าทายอย่างมากสำหรับการใช้งานจริงและความน่าเชื่อถือของ LLM ในสถานการณ์ที่มีความเสี่ยงสูง เช่น การออกแบบชิป โลจิสติกส์ห่วงโซ่อุปทาน และการวินิจฉัยทางการแพทย์^{[ 149 ] [ 150 ] [ 151 ]}วิศวกรซอฟต์แวร์และนักสถิติบางคนวิพากษ์วิจารณ์คำว่า "ภาพลวงตาของ AI" ว่าเป็นการทำให้คอมพิวเตอร์มีลักษณะเหมือนมนุษย์อย่างไม่สมเหตุสมผล[ 152 ^{] [ 153 ]โดยทั่วไป} แล้วแบบจำลอง ปัญญาประดิษฐ์เชิงสัญลักษณ์จะไม่สร้างภาพลวงตา ซึ่งแตกต่างจากแบบจำลองภาษาขนาดใหญ่^{[ 154 ]}

ผู้เรียนอาจผิดหวังได้จากการ "เรียนรู้บทเรียนที่ผิด" ตัวอย่างง่ายๆ คือ ตัวจำแนกภาพที่ฝึกฝนเฉพาะกับภาพม้าสีน้ำตาลและแมวสีดำ อาจสรุปได้ว่าจุดสีน้ำตาลทั้งหมดน่าจะเป็นม้า^{[ 155 ]}ตัวอย่างในโลกแห่งความเป็นจริงคือ ต่างจากมนุษย์ ตัวจำแนกภาพในปัจจุบันมักไม่ได้ตัดสินจากความสัมพันธ์เชิงพื้นที่ระหว่างองค์ประกอบของภาพเป็นหลัก และพวกมันเรียนรู้ความสัมพันธ์ระหว่างพิกเซลที่มนุษย์ไม่รู้ แต่ยังคงมีความสัมพันธ์กับภาพของวัตถุจริงบางประเภท การปรับเปลี่ยนรูปแบบเหล่านี้บนภาพที่ถูกต้องอาจส่งผลให้เกิดภาพ "ต่อต้าน" ที่ระบบจำแนกผิด^{[ 156 ] [ 157 ]}

ช่องโหว่จากการโจมตีแบบ Adversarial ยังสามารถเกิดขึ้นได้ในระบบที่ไม่เป็นเชิงเส้นหรือจากการรบกวนที่ไม่เป็นไปตามรูปแบบ สำหรับบางระบบ เป็นไปได้ที่จะเปลี่ยนเอาต์พุตโดยการเปลี่ยนเพียงพิกเซลเดียวที่ถูกเลือกโดย Adversarial ^{[ 158 ]}โมเดลการเรียนรู้ของเครื่องมักมีความเสี่ยงต่อการจัดการหรือการหลีกเลี่ยงผ่าน การเรียนรู้ ของเครื่องแบบ Adversarial ^{[ 159 ]}

นักวิจัยได้แสดงให้เห็นว่าสามารถวางแบ็กดอร์ ไว้ในโมเดลการเรียนรู้ของเครื่องสำหรับการจำแนกประเภท (เช่น สำหรับหมวดหมู่ "สแปม" และ "ไม่ใช่สแปม" ของโพสต์) ซึ่งมักได้รับการพัฒนาหรือฝึกฝนโดยบุคคลที่สามได้อย่างไร บุคคลเหล่านั้นสามารถเปลี่ยนแปลงการจำแนกประเภทของข้อมูลป้อนเข้าใดๆ ได้ รวมถึงในกรณีที่ มีการให้ความโปร่งใสของข้อมูล/ซอฟต์แวร์ บางประเภท ซึ่งอาจรวมถึง การเข้าถึงแบบไวท์บ็อกซ์ด้วย^{[ 160 ] [ 161 ] [ 162 ]}

การจำแนกประเภทของแบบจำลองการเรียนรู้ของเครื่องสามารถตรวจสอบความถูกต้องได้ด้วยเทคนิคการประมาณความแม่นยำ เช่น วิธีการโฮ ลด์ เอาต์ ซึ่งแบ่งข้อมูลออกเป็นชุดฝึกอบรมและชุดทดสอบ (โดยทั่วไปคือชุดฝึกอบรม 2/3 และชุดทดสอบ 1/3) และประเมินประสิทธิภาพของแบบจำลองการฝึกอบรมบนชุดทดสอบ ในทางกลับกัน วิธี การครอสแวลิดเดชัน แบบ K-fold จะแบ่งข้อมูลแบบสุ่มออกเป็น K ชุดย่อย จากนั้นจะทำการทดลอง K ครั้ง โดยแต่ละครั้งจะพิจารณา 1 ชุดย่อยสำหรับการประเมิน และชุดย่อยที่เหลือ K-1 ชุดสำหรับการฝึกอบรมแบบจำลอง นอกจากวิธีการโฮลด์เอาต์และครอสแวลิด เดชันแล้ว ยังสามารถใช้บูต สแตรปซึ่งสุ่มตัวอย่าง n อินสแตนซ์โดยมีการแทนที่จากชุดข้อมูล เพื่อประเมินความแม่นยำของแบบจำลองได้^{[ 163 ]}

นอกเหนือจากความแม่นยำโดยรวมแล้ว นักวิจัยมักรายงานความไวและความจำเพาะซึ่งหมายถึงอัตราการตรวจพบที่ถูกต้อง (TPR) และอัตราการตรวจพบที่ไม่ถูกต้อง (TNR) ตามลำดับ ในทำนองเดียวกัน บางครั้งนักวิจัยก็รายงานอัตราการตรวจพบที่ผิดพลาด (FPR) เช่นเดียวกับอัตราการตรวจพบที่ไม่ถูกต้อง (FNR) อย่างไรก็ตาม อัตราเหล่านี้เป็นอัตราส่วนที่ไม่แสดงตัวเศษและตัวส่วน เส้นโค้งลักษณะการทำงานของผู้รับ (ROC) พร้อมกับพื้นที่ใต้เส้นโค้ง ROC (AUC) ที่เกี่ยวข้อง เป็นเครื่องมือเพิ่มเติมสำหรับการประเมินแบบจำลองการจำแนกประเภท ค่า AUC ที่สูงขึ้นสัมพันธ์กับแบบจำลองที่มีประสิทธิภาพดีขึ้น^{[ 164 ]}

วิธีการเรียนรู้ของเครื่องที่แตกต่างกันอาจประสบปัญหาจากอคติของข้อมูลที่แตกต่างกัน ระบบการเรียนรู้ของเครื่องที่ฝึกฝนเฉพาะกับลูกค้าปัจจุบันอาจไม่สามารถคาดการณ์ความต้องการของกลุ่มลูกค้าใหม่ที่ไม่ปรากฏในข้อมูลการฝึกฝนได้ เมื่อฝึกฝนด้วยข้อมูลที่มนุษย์สร้างขึ้น การเรียนรู้ของเครื่องมีแนวโน้มที่จะรับเอาอคติโดยกำเนิดและอคติโดยไม่รู้ตัวที่มีอยู่แล้วในสังคม^{[ 167 ]}

ระบบที่ได้รับการฝึกฝนจากชุดข้อมูลที่รวบรวมมาโดยมีอคติ อาจแสดงอคติเหล่านี้เมื่อนำไปใช้งาน (อคติเชิงอัลกอริทึม) ดังนั้นจึงแปลงอคติทางวัฒนธรรมให้เป็นดิจิทัล^{[ 168 ]}ตัวอย่างเช่น ในปี 1988 คณะกรรมการเพื่อความเสมอภาคทางเชื้อชาติ ของสหราชอาณาจักร พบว่าโรงเรียนแพทย์เซนต์จอร์จได้ใช้โปรแกรมคอมพิวเตอร์ที่ได้รับการฝึกฝนจากข้อมูลของเจ้าหน้าที่รับสมัครก่อนหน้านี้ และโปรแกรมนี้ได้ปฏิเสธผู้สมัครเกือบ 60 คนที่พบว่าเป็นผู้หญิงหรือมีชื่อที่ฟังดูไม่เหมือนชาวยุโรป^{[ 167 ]}การใช้ข้อมูลการจ้างงานจากบริษัทที่มีนโยบายการจ้างงานเหยียดเชื้อชาติอาจนำไปสู่ระบบการเรียนรู้ของเครื่องจักรที่ทำซ้ำอคติโดยการให้คะแนนผู้สมัครงานตามความคล้ายคลึงกับผู้สมัครที่ประสบความสำเร็จก่อนหน้านี้^{[ 169 ] [ 170 ]} อีกตัวอย่างหนึ่งคืออัลกอริทึมการคาดการณ์ของ Geoliticaบริษัทตำรวจที่ส่งผลให้เกิด "ระดับการบังคับใช้กฎหมายที่สูงเกินสัดส่วนในชุมชนที่มีรายได้น้อยและชนกลุ่มน้อย" หลังจากได้รับการฝึกฝนด้วยข้อมูลอาชญากรรมในอดีต^{[ 171 ]}

แม้ว่าการรวบรวมข้อมูล อย่างมีความรับผิดชอบ และการจัดทำเอกสารเกี่ยวกับกฎของอัลกอริทึมที่ระบบใช้ถือเป็นส่วนสำคัญของการเรียนรู้ของเครื่อง แต่ผู้วิจัยบางคนตำหนิการขาดการมีส่วนร่วมและการเป็นตัวแทนของประชากรกลุ่มน้อยในสาขา AI ว่าเป็นสาเหตุที่ทำให้การเรียนรู้ของเครื่องมีความเปราะบางต่ออคติ^{[ 172 ]}อันที่จริง จากการวิจัยที่ดำเนินการโดยสมาคมวิจัยคอมพิวเตอร์ในปี 2021 พบว่า "อาจารย์หญิงคิดเป็นเพียง 16.1%" ของอาจารย์ทั้งหมดที่มุ่งเน้นด้าน AI ในมหาวิทยาลัยหลายแห่งทั่วโลก^{[ 173 ]}ยิ่งไปกว่านั้น ในกลุ่ม "ผู้สำเร็จการศึกษาระดับปริญญาเอกด้าน AI ที่เป็นชาวสหรัฐฯ รายใหม่" 45% ระบุว่าเป็นคนผิวขาว 22.4% เป็นชาวเอเชีย 3.2% เป็นชาวฮิสแปนิก และ 2.4% เป็นชาวแอฟริกันอเมริกัน ซึ่งแสดงให้เห็นถึงการขาดความหลากหลายในสาขา AI มากยิ่งขึ้น^{[ 173 ]}

แบบจำลองภาษาที่เรียนรู้จากข้อมูลแสดงให้เห็นว่ามีอคติคล้ายมนุษย์^{[ 174 ] [ 175 ]}เนื่องจากภาษาของมนุษย์มีอคติ เครื่องจักรที่ฝึกฝนจากคลัง ข้อมูลภาษา จึงจำเป็นต้องเรียนรู้อคติเหล่านี้ด้วย^{[ 176 ] [ 177 ]}ในปี 2016 ไมโครซอฟต์ได้ทดสอบTayซึ่งเป็นแชทบอทที่เรียนรู้จากทวิตเตอร์ และมันก็เรียนรู้ภาษาเหยียดเชื้อชาติและเหยียดเพศได้อย่างรวดเร็ว^{[ 178 ]}

ในการทดลองที่ดำเนินการโดยProPublicaซึ่งเป็น องค์กร ข่าวสืบสวนสอบสวนอัลกอริทึมการเรียนรู้ของเครื่องได้ระบุอย่างผิดพลาดว่า "จำเลยผิวดำมีความเสี่ยงสูงกว่าจำเลยผิวขาวถึงสองเท่า" ^{[ 171 ]}ในปี 2015 Google Photos เคยติดแท็กคนผิวดำสองคนว่าเป็นกอริลลา ซึ่งก่อให้เกิดข้อโต้แย้ง ต่อมาป้ายกำกับกอริลลาถูกลบออก และในปี 2023 ก็ยังไม่สามารถจดจำกอริลลาได้^{[ 179 ]}พบปัญหาที่คล้ายกันในการจดจำคนที่ไม่ใช่คนผิวขาวในระบบอื่นๆ อีกมากมาย^{[ 180 ]}

เนื่องจากความท้าทายดังกล่าว การนำการเรียนรู้ของเครื่องไปใช้อย่างมีประสิทธิภาพอาจต้องใช้เวลานานขึ้นในโดเมนอื่นๆ^{[ 181 ]}ความกังวลเกี่ยวกับความยุติธรรมในการเรียนรู้ของเครื่อง กล่าวคือ การลดอคติในการเรียนรู้ของเครื่องและผลักดันการใช้งานเพื่อประโยชน์ของมนุษย์ ได้รับการแสดงออกมากขึ้นเรื่อยๆ โดยนักวิทยาศาสตร์ด้านปัญญาประดิษฐ์ รวมถึงFei-Fei Liซึ่งกล่าวว่า "[ไม่มีอะไรที่เป็นเทียมเกี่ยวกับ AI มันได้รับแรงบันดาลใจจากผู้คน มันถูกสร้างขึ้นโดยผู้คน และที่สำคัญที่สุดคือ มันส่งผลกระทบต่อผู้คน มันเป็นเครื่องมืออันทรงพลังที่เราเพิ่งเริ่มทำความเข้าใจ และนั่นเป็นความรับผิดชอบที่ยิ่งใหญ่" ^{[ 182 ]}

ผู้เชี่ยวชาญด้านการดูแลสุขภาพมีความกังวลว่าระบบเหล่านี้อาจไม่ได้ออกแบบมาเพื่อประโยชน์ของสาธารณชน แต่เพื่อเป็นเครื่องมือสร้างรายได้ โดยเฉพาะอย่างยิ่งในสหรัฐอเมริกา ซึ่งมีปัญหาทางจริยธรรมมายาวนานเกี่ยวกับการปรับปรุงการดูแลสุขภาพ แต่ในขณะเดียวกันก็ต้องเพิ่มผลกำไรด้วย ตัวอย่างเช่น อัลกอริทึมอาจถูกออกแบบมาเพื่อให้ผู้ป่วยได้รับการตรวจหรือยาที่ไม่จำเป็น ซึ่งเจ้าของกรรมสิทธิ์ของอัลกอริทึมนั้นมีส่วนได้ส่วนเสียอยู่ มีศักยภาพที่การเรียนรู้ของเครื่องจักรในด้านการดูแลสุขภาพจะช่วยให้ผู้เชี่ยวชาญมีเครื่องมือเพิ่มเติมในการวินิจฉัย ให้ยา และวางแผนเส้นทางการฟื้นตัวสำหรับผู้ป่วย แต่สิ่งนี้จำเป็นต้องลดอคติเหล่านี้ลง^{[ 183 ]}

นับตั้งแต่ทศวรรษ 2010 เป็นต้นมา ความก้าวหน้าทั้งในด้านอัลกอริธึมการเรียนรู้ของเครื่องและฮาร์ดแวร์คอมพิวเตอร์ได้นำไปสู่วิธีการที่มีประสิทธิภาพมากขึ้นสำหรับการฝึกอบรมโครงข่ายประสาทเทียมเชิงลึก (ซึ่งเป็นสาขาย่อยเฉพาะของการเรียนรู้ของเครื่อง) ที่มีหน่วยซ่อนเร้นแบบไม่เชิงเส้นหลายชั้น^{[ 184 ]}ภายในปี 2019 หน่วยประมวลผลกราฟิก ( GPU ) ซึ่งมักมีการปรับปรุงเฉพาะด้าน AI ได้เข้ามาแทนที่ CPU ในฐานะวิธีการหลักในการฝึกอบรม AI บนคลาวด์เชิงพาณิชย์ขนาดใหญ่^{[ 185 ]} OpenAIได้ประเมินการคำนวณฮาร์ดแวร์ที่ใช้ในโครงการเรียนรู้เชิงลึกที่ใหญ่ที่สุดตั้งแต่AlexNet (2012) ไปจนถึงAlphaZero (2017) และพบว่าปริมาณการคำนวณที่ต้องการเพิ่มขึ้นถึง 300,000 เท่า โดยมีแนวโน้มเวลาเพิ่มขึ้นเป็นสองเท่าที่ 3.4 เดือน^{[ 186 ] [ 187 ]}

หน่วยประมวลผลเทนเซอร์ (TPU)เป็นตัวเร่งฮาร์ดแวร์เฉพาะทางที่Google พัฒนาขึ้นโดยเฉพาะสำหรับงานด้านการเรียนรู้ของเครื่อง แตกต่างจาก GPUและFPGAทั่วไปTPU ได้รับการปรับให้เหมาะสมสำหรับการคำนวณเทนเซอร์ ทำให้มีประสิทธิภาพเป็นพิเศษสำหรับงานการเรียนรู้เชิงลึก เช่น การฝึกอบรมและการอนุมาน มีการใช้งานอย่างแพร่หลายในบริการ Google Cloud AI และโมเดลการเรียนรู้ของเครื่องขนาดใหญ่ เช่น DeepMind AlphaFold ของ Google และโมเดลภาษาขนาดใหญ่ TPU ใช้ หน่วย การคูณเมทริกซ์และหน่วยความจำแบนด์วิดท์สูงเพื่อเร่งการคำนวณในขณะที่ยังคงรักษาประสิทธิภาพการใช้พลังงาน^{[ 188 ]}นับตั้งแต่เปิดตัวในปี 2016 TPU ได้กลายเป็นส่วนประกอบสำคัญของโครงสร้างพื้นฐาน AI โดยเฉพาะในสภาพแวดล้อมบนคลาวด์

การคำนวณแบบนิวโรโมฟิกหมายถึง ระบบการคำนวณประเภทหนึ่งที่ออกแบบมาเพื่อจำลองโครงสร้างและฟังก์ชันการทำงานของเครือข่ายประสาททางชีววิทยา ระบบเหล่านี้สามารถนำไปใช้ผ่านการจำลองด้วยซอฟต์แวร์บนฮาร์ดแวร์ทั่วไป หรือผ่านสถาปัตยกรรมฮาร์ดแวร์เฉพาะทาง^{[ 189 ]}

เครือข่ายประสาททางกายภาพเป็นฮาร์ดแวร์นิวโรโมฟิกชนิดเฉพาะที่อาศัยวัสดุที่ปรับได้ทางไฟฟ้า เช่น เมมริสเตอร์ เพื่อจำลองการทำงานของไซแนปส์ประสาทคำว่า "เครือข่ายประสาททางกายภาพ" เน้นการใช้ฮาร์ดแวร์ทางกายภาพสำหรับการคำนวณ ตรงข้ามกับการใช้งานที่ใช้ซอฟต์แวร์ โดยทั่วไปหมายถึงเครือข่ายประสาทเทียมที่ใช้วัสดุที่มีความต้านทานที่ปรับได้เพื่อจำลองไซแนปส์ประสาท^{[ 190 ] [ 191 ]}

การเรียนรู้ของเครื่องแบบฝังตัว (Embedded machine learning) เป็นสาขาย่อยของการเรียนรู้ของเครื่อง (machine learning) โดยที่แบบจำลองจะถูกใช้งานบนระบบฝังตัวที่มีทรัพยากรการประมวลผลจำกัด เช่นคอมพิวเตอร์แบบสวมใส่อุปกรณ์ขอบ (edge ​​devices)และไมโครคอนโทรลเลอร์[ ^{192 ] [ 193 ] [ 194 ] [ 195 ] การ}รันแบบจำลองโดยตรงบนอุปกรณ์เหล่านี้ช่วยลดความจำเป็นในการถ่ายโอนและจัดเก็บข้อมูลบนเซิร์ฟเวอร์คลาวด์เพื่อการประมวลผลเพิ่มเติม ซึ่งจะช่วยลดความเสี่ยงของการละเมิดข้อมูล การรั่วไหลของข้อมูลส่วนตัว และการขโมยทรัพย์สินทางปัญญา ข้อมูลส่วนบุคคล และความลับทางธุรกิจ การเรียนรู้ของเครื่องแบบฝังตัวสามารถทำได้ผ่านเทคนิคต่างๆ เช่น^{การเร่งความเร็วฮาร์ดแวร์ [ 196 ] [ 197 ] การคำนวณโดยประมาณ [} 198 ] และ^{การเพิ่มประสิทธิภาพแบบจำลอง[} 199 ] ^{[ 200} ] ^{เทคนิคการเพิ่มประสิทธิภาพทั่วไปได้แก่}การตัดแต่งการหาปริมาณ การกลั่นความรู้การแยกตัวประกอบอันดับต่ำ การค้นหาสถาปัตยกรรมเครือข่าย และการแบ่งปันพารามิเตอร์

• ไนม์
• แรพิดไมเนอร์

• วารสารวิจัยการเรียนรู้ของเครื่องจักร
• การเรียนรู้ของเครื่อง
• ปัญญาประดิษฐ์เชิงธรรมชาติ
• การคำนวณทางประสาท
• วารสาร IEEE ว่าด้วยการวิเคราะห์รูปแบบและปัญญาประดิษฐ์

• การประชุม AAAI ว่าด้วยปัญญาประดิษฐ์
• สมาคมภาษาศาสตร์เชิงคำนวณ ( ACL )
• การประชุมวิชาการยุโรปด้านการเรียนรู้ของเครื่องจักรและหลักการและแนวปฏิบัติของการค้นพบความรู้ในฐานข้อมูล ( ECML PKDD )
• การประชุมวิชาการนานาชาติว่าด้วยวิธีการปัญญาประดิษฐ์เชิงคำนวณสำหรับชีวสารสนเทศและชีวสถิติ ( CIBB )
• การประชุมวิชาการนานาชาติว่าด้วยการเรียนรู้ของเครื่องจักร ( ICML )
• การประชุมวิชาการนานาชาติว่าด้วยการเรียนรู้การนำเสนอ ( ICLR )
• การประชุมนานาชาติว่าด้วยหุ่นยนต์และระบบอัจฉริยะ ( IROS )
• การประชุมวิชาการด้านการค้นพบองค์ความรู้และการทำเหมืองข้อมูล ( KDD )
• การประชุมระบบประมวลผลข้อมูลประสาท ( NeurIPS )

• การเรียนรู้ของเครื่องจักรแบบอัตโนมัติ  – กระบวนการทำให้การประยุกต์ใช้การเรียนรู้ของเครื่องจักรเป็นไปโดยอัตโนมัติ
• บิ๊กดาต้า  – ชุดข้อมูลขนาดใหญ่หรือซับซ้อนอย่างมาก
• การเรียนรู้เชิงลึก — สาขาหนึ่งของแมชชีนเลิร์นนิงที่เกี่ยวข้องกับโครงข่ายประสาทเทียม
• การเขียนโปรแกรมเชิงอนุพันธ์  – รูปแบบการเขียนโปรแกรม
• Google Colab – IDE ออนไลน์ที่ ไม่ต้องติดตั้ง สำหรับการเรียนรู้เครื่องด้วยภาษา PythonและJulia
• รายชื่อชุดข้อมูลสำหรับการวิจัยด้านการเรียนรู้ของเครื่อง
• รายชื่ออัลกอริธึมการเรียนรู้ของเครื่องและรายชื่ออัลกอริธึมสำหรับการเรียนรู้ของเครื่องและการจำแนกประเภททางสถิติ
• ทฤษฎี M (กรอบการเรียนรู้)  – กรอบการทำงานในด้านการเรียนรู้ของเครื่องจักร
• การเรียนรู้แบบย้อนกลับของเครื่องจักร  – สาขาการศึกษาหนึ่งในปัญญาประดิษฐ์
• ภาพรวมของการเรียนรู้ของเครื่องจักร
• ทฤษฎีการอนุมานแบบอุปนัยของโซโลมอนอฟ  – ทฤษฎีทางคณิตศาสตร์
• TinyML — การเรียนรู้ของเครื่องบน ระบบฝังตัวพลังงานต่ำ

• โดมิงโกส, เปโดร (22 กันยายน 2015). อัลกอริทึมหลัก: การแสวงหาเครื่องจักรการเรียนรู้ขั้นสูงสุดจะเปลี่ยนแปลงโลกของเราอย่างไร . สำนักพิมพ์เบสิกส์บุ๊คส์. ISBN 978-0-465-06570-7.
• นิลส์สัน, นิลส์ (1998). ปัญญาประดิษฐ์: การสังเคราะห์รูปแบบใหม่ . มอร์แกน คอฟแมนน์. ISBN 978-1-55860-467-4เก็บถาวรจากต้นฉบับเมื่อวันที่ 26 กรกฎาคม 2020 เรียกดูเมื่อวันที่ 18 พฤศจิกายน 2019
• พูล, เดวิด; แม็คเวิร์ธ, อลัน ; โกเบล, แรนดี (1998). ปัญญาประดิษฐ์เชิงคำนวณ: แนวทางเชิงตรรกะ . นิวยอร์ก: สำนักพิมพ์มหาวิทยาลัยออกซ์ฟอร์ด. ISBN 978-0-19-510270-3เก็บถาวรจากต้นฉบับเมื่อวันที่ 26 กรกฎาคม 2563 เรียกดูเมื่อวันที่ 22 สิงหาคม 2563
• Russell, Stuart J. ; Norvig, Peter (2003), ปัญญาประดิษฐ์: แนวทางสมัยใหม่ (ฉบับที่ 2), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.

• สมาคมการเรียนรู้เครื่องจักรนานาชาติ
• หน้า MLOSS ใน JMLR - ฐานข้อมูลทางวิชาการของซอฟต์แวร์การเรียนรู้ของเครื่องแบบโอเพนซอร์ส