ระบบแนะนำหรือเรียกอีกอย่างว่าอัลกอริทึมแนะนำเครื่องมือแนะนำหรือแพลตฟอร์มแนะนำ คือ ระบบกรองข้อมูลประเภทหนึ่งที่แนะนำรายการที่เกี่ยวข้องมากที่สุดกับผู้ใช้รายใดรายหนึ่ง^{[ 1 ] [ 2 ] [ 3 ]}คุณค่าของระบบเหล่านี้จะเห็นได้ชัดเจนเป็นพิเศษในสถานการณ์ที่ผู้ใช้ต้องเลือกจากตัวเลือกจำนวนมาก เช่น ผลิตภัณฑ์ สื่อ หรือเนื้อหา^{[ 1 ] [ 4 ]} แพลตฟอร์ม โซเชียลมีเดียและบริการสตรีมมิ่งหลักๆอาศัยระบบแนะนำที่ใช้การเรียนรู้ของเครื่องเพื่อวิเคราะห์พฤติกรรมและความชอบของผู้ใช้ ทำให้สามารถสร้างฟีดเนื้อหาแบบส่วนบุคคลได้^{[ 5 ] [ 6 ]}

โดยทั่วไป คำแนะนำจะอ้างอิงถึง กระบวนการตัดสินใจที่หลากหลายรวมถึงการเลือกผลิตภัณฑ์ การเลือกเพลง หรือแหล่งข่าวออนไลน์ที่จะอ่าน^{[ 1 ]}การนำระบบแนะนำไปใช้นั้นแพร่หลาย ตัวอย่างที่ได้รับการยอมรับโดยทั่วไป ได้แก่ การสร้างเพลย์ลิสต์สำหรับบริการวิดีโอและเพลง การให้คำแนะนำผลิตภัณฑ์สำหรับแพลตฟอร์มอีคอมเมิร์ซ และการแนะนำเนื้อหาบนแพลตฟอร์มโซเชียลมีเดียและเว็บเปิด^{[ 7 ] [ 8 ]}ระบบเหล่านี้สามารถทำงานได้โดยใช้ข้อมูลป้อนเข้าประเภทเดียว เช่น เพลง หรือข้อมูลป้อนเข้าหลายประเภทจากแพลตฟอร์มที่หลากหลาย รวมถึงข่าวสาร หนังสือ และคำค้นหา นอกจากนี้ ระบบแนะนำที่เป็นที่นิยมยังได้รับการพัฒนาสำหรับหัวข้อเฉพาะ เช่น ร้านอาหารและ บริการ หาคู่ทางออนไลน์ระบบแนะนำยังได้รับการพัฒนาเพื่อสำรวจบทความวิจัยและผู้เชี่ยวชาญ^{[ 9 ]}ผู้ร่วมงาน^{[ 10 ]}และบริการทางการเงิน^{[ 11 ]}

แพลตฟอร์มการค้นหาเนื้อหาคือแพลตฟอร์มซอฟต์แวร์แนะนำที่ใช้เครื่องมือระบบแนะนำ โดยใช้เมตาเดต้า ของผู้ใช้ เพื่อระบุและแนะนำเนื้อหาที่เกี่ยวข้อง พร้อมทั้งลดต้นทุนการบำรุงรักษาและการพัฒนาอย่างต่อเนื่อง แพลตฟอร์มการค้นหาเนื้อหาจะนำเสนอเนื้อหาที่ปรับแต่งเฉพาะบุคคลไปยังเว็บไซต์อุปกรณ์เคลื่อนที่และกล่องรับสัญญาณปัจจุบันมีแพลตฟอร์มการค้นหาเนื้อหาหลากหลายรูปแบบสำหรับเนื้อหาประเภทต่างๆ ตั้งแต่บทความข่าวและบทความวารสารวิชาการ^{[ 12 ]}ไปจนถึงโทรทัศน์^{[ 13 ]}เนื่องจากผู้ให้บริการต่างแข่งขันกันเพื่อเป็นประตูสู่ความบันเทิงภายในบ้าน โทรทัศน์ส่วนบุคคลจึงกลายเป็นตัวสร้างความแตกต่างที่สำคัญในการให้บริการ การค้นหาเนื้อหาทางวิชาการเพิ่งกลายเป็นอีกหนึ่งพื้นที่ที่น่าสนใจ โดยมีบริษัทจำนวนมากที่อุทิศตนเพื่อช่วยเหลือนักวิจัยทางวิชาการในการติดตามเนื้อหาทางวิชาการที่เกี่ยวข้องและอำนวยความสะดวกในการค้นพบเนื้อหาใหม่ๆ โดยบังเอิญ^{[ 12 ]}

ระบบแนะนำมักใช้การกรองแบบร่วมมือและการกรองตามเนื้อหา หรือทั้งสองอย่าง รวมถึงระบบอื่นๆ เช่นระบบฐานความรู้วิธีการกรองแบบร่วมมือจะสร้างแบบจำลองจากพฤติกรรมในอดีตของผู้ใช้ (เช่น รายการที่เคยซื้อหรือเลือก และ/หรือคะแนนตัวเลขที่ให้กับรายการเหล่านั้น) รวมถึงการตัดสินใจที่คล้ายคลึงกันของผู้ใช้รายอื่น จากนั้นจะใช้แบบจำลองนี้ในการคาดการณ์รายการ (หรือคะแนนสำหรับรายการ) ที่ผู้ใช้อาจสนใจ^{[ 14 ]}วิธีการกรองตามเนื้อหาจะใช้ลักษณะเฉพาะที่ติดแท็กไว้ล่วงหน้าของรายการต่างๆ เพื่อแนะนำรายการเพิ่มเติมที่มีคุณสมบัติคล้ายคลึงกัน^{[ 15 ]}

ความแตกต่างระหว่างการกรองแบบร่วมมือและการกรองตามเนื้อหา สามารถแสดงให้เห็นได้โดยการเปรียบเทียบระบบแนะนำเพลงยุคแรกสองระบบ ได้แก่Last.fmและPandora Radio

• Last.fm สร้าง "สถานี" เพลงแนะนำโดยสังเกตว่าผู้ใช้ฟังวงดนตรีและเพลงแต่ละเพลงใดเป็นประจำ และเปรียบเทียบกับพฤติกรรมการฟังของผู้ใช้รายอื่น Last.fm จะเล่นเพลงที่ไม่ปรากฏในคลังเพลงของผู้ใช้ แต่เป็นเพลงที่ผู้ใช้รายอื่นที่มีความสนใจคล้ายกันมักเล่น เนื่องจากวิธีการนี้ใช้ประโยชน์จากพฤติกรรมของผู้ใช้ จึงเป็นตัวอย่างของเทคนิคการกรองแบบร่วมมือ^{[ 16 ]}
• Pandora ใช้คุณสมบัติของเพลงหรือศิลปิน (ชุดย่อยของคุณลักษณะ 450 รายการที่ได้รับจากโครงการ Music Genome Project ^{[ 17 ]} ) เพื่อสร้าง "สถานี" ที่เล่นเพลงที่มีคุณสมบัติคล้ายกัน มีการใช้ความคิดเห็นของผู้ใช้เพื่อปรับปรุงผลลัพธ์ของสถานี โดยลดความสำคัญของคุณลักษณะบางอย่างเมื่อผู้ใช้ "ไม่ชอบ" เพลงใดเพลงหนึ่ง และเพิ่มความสำคัญของคุณลักษณะอื่นๆ เมื่อผู้ใช้ "ชอบ" เพลงนั้น นี่เป็นตัวอย่างของแนวทางที่อิงตามเนื้อหา

ระบบแต่ละประเภทมีจุดแข็งและจุดอ่อน ในตัวอย่างข้างต้น Last.fm ต้องการข้อมูลจำนวนมากเกี่ยวกับผู้ใช้เพื่อแนะนำเพลงได้อย่างแม่นยำ นี่เป็นตัวอย่างของ ปัญหา Cold Startซึ่งพบได้ทั่วไปในระบบการกรองแบบร่วมมือ^{[ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ]}ในขณะที่ Pandora ต้องการข้อมูลเพียงเล็กน้อยในการเริ่มต้น แต่ก็มีขอบเขตจำกัดมากกว่า (ตัวอย่างเช่น สามารถแนะนำเพลงที่คล้ายกับเพลงต้นฉบับเท่านั้น)

ระบบแนะนำเป็นทางเลือกที่มีประโยชน์แทนอัลกอริธึมการค้นหาเนื่องจากช่วยให้ผู้ใช้ค้นพบรายการที่พวกเขาอาจไม่พบหากไม่มีระบบแนะนำ ที่น่าสังเกตคือ ระบบแนะนำมักถูกนำไปใช้โดยใช้เครื่องมือค้นหาที่จัดทำดัชนีข้อมูลที่ไม่ใช่แบบดั้งเดิม ในบางกรณี เช่นใน คดี Gonzalez v. Googleศาลฎีกาอาจโต้แย้งว่าอัลกอริธึมการค้นหาและอัลกอริธึมการแนะนำเป็นเทคโนโลยีที่แตกต่างกัน^{[ 24 ]}

ระบบแนะนำได้รับความสนใจจากสิทธิบัตรหลายฉบับ^{[ 25 ] [ 26 ] [ 27 ] [ 28 ] [ 29 ]}และมีไลบรารีซอฟต์แวร์มากกว่า 50 รายการ^{[ 30 ]}ที่สนับสนุนการพัฒนาระบบแนะนำ รวมถึง LensKit ^{[ 31 ] [ 32 ]} RecBole ^{[ 33 ]} ReChorus ^{[ 34 ]}และ RecPack ^{[ 35 ]}

Elaine Richสร้างระบบแนะนำตัวแรกในปี 1979 ชื่อว่า Grundy ^{[ 36 ] [ 37 ]}เธอมองหาวิธีที่จะแนะนำหนังสือที่ผู้ใช้อาจชอบ แนวคิดของเธอคือการสร้างระบบที่ถามคำถามเฉพาะกับผู้ใช้และจัดประเภทพวกเขาเป็นกลุ่มตามความชอบหรือ "แบบแผน" ขึ้นอยู่กับคำตอบของพวกเขา จากนั้นขึ้นอยู่กับการเป็นสมาชิกแบบแผนของผู้ใช้ พวกเขาจะได้รับคำแนะนำสำหรับหนังสือที่พวกเขาอาจชอบ

ระบบแนะนำในช่วงแรกอีกระบบหนึ่งที่เรียกว่า "ชั้นวางหนังสือดิจิทัล" ได้รับการอธิบายไว้ในรายงานทางเทคนิคในปี 1990 โดยJussi Karlgrenที่มหาวิทยาลัยโคลัมเบีย ^{[ 38 ]} และได้รับการนำไปใช้งานในวงกว้างและดำเนินการผ่านรายงานทางเทคนิคและสิ่งพิมพ์ต่างๆ ตั้งแต่ปี 1994 เป็นต้นไปโดย^Jussi Karlgrenซึ่งขณะนั้นอยู่ที่SICS [ ^{39 ] [ 40 ]} และกลุ่มวิจัยที่นำโดยPattie Maesที่ MIT ^{[ 41 ]} Will Hill ที่ Bellcore ^{[ 42 ]}และPaul Resnickซึ่งอยู่ที่ MIT เช่นกัน^{[ 43 ] [ 4 ]}ซึ่งผลงานของเขากับ GroupLens ได้รับรางวัล ACM Software Systems Award ประจำปี 2010

Montaner ได้นำเสนอภาพรวมแรกของระบบแนะนำจากมุมมองของตัวแทนอัจฉริยะ^{[ 44 ]} Adomaviciusได้นำเสนอภาพรวมทางเลือกใหม่ของระบบแนะนำ^{[ 45 ]} Herlocker ได้นำเสนอภาพรวมเพิ่มเติมเกี่ยวกับเทคนิคการประเมินสำหรับระบบแนะนำ^{[ 46 ]}และBeel et al. ได้กล่าวถึงปัญหาของการประเมินแบบออฟไลน์^{[ 47 ]} Beel et al. ยังได้นำเสนอการสำรวจวรรณกรรมเกี่ยวกับงานวิจัยระบบแนะนำที่มีอยู่และความท้าทายที่มีอยู่^{[ 48 ] [ 49 ]}

ตัวอย่างการทำนายการให้คะแนนของผู้ใช้โดยใช้การกรองแบบร่วมมือ (collaborative filtering)

• ซ้าย:ในตอนแรก ผู้คนจะให้คะแนนสิ่งต่างๆ (เช่น วิดีโอ รูปภาพ เกม)
• ด้านขวา:หลังจากนั้น ระบบจะทำการคาดการณ์เกี่ยวกับการให้คะแนนของผู้ใช้สำหรับรายการที่ผู้ใช้ยังไม่ได้ให้คะแนนด้วยตนเอง การคาดการณ์เหล่านี้สร้างขึ้นจากคะแนนที่มีอยู่ของผู้ใช้รายอื่นที่มีคะแนนคล้ายคลึงกับผู้ใช้ที่กำลังใช้งานอยู่ ตัวอย่างเช่น ในกรณีของเรา ระบบได้คาดการณ์ว่าผู้ใช้ที่อยู่ด้านล่างซ้ายของเครือข่ายจะไม่ชอบวิดีโอ

แนวทางหนึ่งในการออกแบบระบบแนะนำที่ใช้กันอย่างแพร่หลายคือการกรองแบบร่วมมือ^{[ 50 ]}การกรองแบบร่วมมือตั้งอยู่บนสมมติฐานที่ว่าผู้คนที่เห็นด้วยกันในอดีตจะเห็นด้วยกันในอนาคต และพวกเขาจะชอบสิ่งของประเภทเดียวกันกับที่พวกเขาเคยชอบในอดีต ระบบจะสร้างคำแนะนำโดยใช้ข้อมูลเกี่ยวกับโปรไฟล์การให้คะแนนสำหรับผู้ใช้หรือสิ่งของต่างๆ เท่านั้น โดยการค้นหาผู้ใช้/สิ่งของในกลุ่มเดียวกันที่มีประวัติการให้คะแนนคล้ายกับผู้ใช้หรือสิ่งของปัจจุบัน ระบบจะสร้างคำแนะนำโดยใช้กลุ่มใกล้เคียงนี้

วิธีการกรองแบบร่วมมือกันไม่พึ่งพาเนื้อหาที่เครื่องจักรสามารถวิเคราะห์ได้ ดังนั้นจึงสามารถแนะนำรายการที่ซับซ้อน เช่น ภาพยนตร์ ได้อย่างแม่นยำโดยไม่ต้อง "เข้าใจ" ตัวรายการนั้นเอง มีการใช้อัลกอริธึมหลายตัวในการวัดความคล้ายคลึงของผู้ใช้หรือความคล้ายคลึงของรายการในระบบแนะนำ ตัวอย่างเช่น วิธีการ เพื่อนบ้านใกล้ที่สุด k ตัว (k-NN) ^{[ 51 ]}และความสัมพันธ์แบบเพียร์สันที่อัลเลนนำมาใช้เป็นครั้งแรก^{[ 52 ]}

วิธีการกรองแบบร่วมมือกันมักประสบปัญหา 3 ประการ ได้แก่การเริ่มต้นแบบเย็นความสามารถในการปรับขนาด และความเบาบาง^{[ 53 ]}

• การเริ่มต้นแบบเย็น : สำหรับผู้ใช้ใหม่หรือรายการใหม่ ข้อมูลไม่เพียงพอที่จะให้คำแนะนำที่แม่นยำ หมายเหตุ: วิธีแก้ปัญหาที่ใช้กันทั่วไปวิธีหนึ่งคือ อัลกอริ ทึมmulti-armed bandit ^{[ 54 ] [ 18 ] [ 19 ] [ 21 ] [ 23 ]}
• ความสามารถในการรองรับปริมาณงาน : ในสภาพแวดล้อมหลายแห่งที่ระบบเหล่านี้ให้คำแนะนำ มีผู้ใช้งานและผลิตภัณฑ์นับล้าน ดังนั้นจึงมักจำเป็นต้องใช้พลังการประมวลผลจำนวนมากในการคำนวณคำแนะนำ
• ความเบาบางของข้อมูล : จำนวนสินค้าที่ขายในเว็บไซต์อีคอมเมิร์ซขนาดใหญ่มีจำนวนมาก ผู้ใช้งานที่ใช้งานบ่อยที่สุดจะให้คะแนนเพียงส่วนน้อยของฐานข้อมูลทั้งหมดเท่านั้น ดังนั้น แม้แต่สินค้าที่ได้รับความนิยมมากที่สุดก็ยังมีคะแนนรีวิวเพียงไม่กี่รายการ

บริการเครือข่ายสังคมใช้การกรองแบบร่วมมือเพื่อแนะนำเพื่อนใหม่ กลุ่ม และการเชื่อมต่อทางสังคมอื่นๆ โดยการตรวจสอบเครือข่ายการเชื่อมต่อระหว่างผู้ใช้และเพื่อนของพวกเขา^{[ 1 ]}

แนวทางทั่วไปอีกประการหนึ่งในการออกแบบระบบแนะนำคือการกรองตามเนื้อหาวิธีการกรองตามเนื้อหาจะอิงตามคำอธิบายของรายการและโปรไฟล์ความชอบของผู้ใช้^{[ 55 ] [ 56 ]}วิธีการเหล่านี้เหมาะสมที่สุดสำหรับสถานการณ์ที่มีข้อมูลเกี่ยวกับรายการ (ชื่อ สถานที่ คำอธิบาย ฯลฯ) แต่ไม่มีข้อมูลเกี่ยวกับผู้ใช้ ระบบแนะนำตามเนื้อหาจะถือว่าการแนะนำเป็นปัญหาการจำแนกประเภทเฉพาะผู้ใช้ และเรียนรู้ตัวจำแนกประเภทสำหรับความชอบและความไม่ชอบของผู้ใช้โดยอิงจากคุณลักษณะของรายการ

ในระบบนี้ คำสำคัญจะถูกใช้เพื่ออธิบายสินค้า และ มีการสร้าง โปรไฟล์ผู้ใช้เพื่อระบุประเภทของสินค้าที่ผู้ใช้รายนั้นชื่นชอบ กล่าวอีกนัยหนึ่ง อัลกอริทึมเหล่านี้พยายามแนะนำสินค้าที่คล้ายคลึงกับสินค้าที่ผู้ใช้เคยชื่นชอบในอดีตหรือกำลังพิจารณาอยู่ในปัจจุบัน ระบบนี้ไม่จำเป็นต้องใช้กลไกการลงชื่อเข้าใช้ของผู้ใช้เพื่อสร้างโปรไฟล์ชั่วคราวนี้ โดยเฉพาะอย่างยิ่ง สินค้าที่อาจเป็นไปได้ต่างๆ จะถูกเปรียบเทียบกับสินค้าที่ผู้ใช้เคยให้คะแนนไว้ก่อนหน้านี้ และสินค้าที่ตรงกันมากที่สุดจะถูกแนะนำ วิธีการนี้มีรากฐานมาจากการวิจัยด้าน การค้นหาข้อมูลและการกรองข้อมูล

ในการสร้างโปรไฟล์ผู้ใช้ระบบจะเน้นข้อมูลสองประเภทหลักๆ ดังนี้:

1. แบบจำลองแสดงความชอบของผู้ใช้
2. ประวัติการโต้ตอบของผู้ใช้กับระบบแนะนำ

โดยพื้นฐานแล้ว วิธีการเหล่านี้ใช้โปรไฟล์รายการ (เช่น ชุดของคุณลักษณะและคุณสมบัติที่ไม่ต่อเนื่อง) ที่บ่งบอกลักษณะของรายการภายในระบบ เพื่อให้ได้คุณลักษณะที่เป็นนามธรรมของรายการในระบบ จึงมีการใช้อัลกอริธึมการนำเสนอรายการ อัลกอริธึมที่ใช้กันอย่างแพร่หลายคือ การแสดง tf–idf (เรียกอีกอย่างว่าการแสดงพื้นที่เวกเตอร์) ^{[ 57 ]}ระบบจะสร้างโปรไฟล์ผู้ใช้ตามเนื้อหาโดยอิงจากเวกเตอร์ถ่วงน้ำหนักของคุณลักษณะรายการ น้ำหนักแสดงถึงความสำคัญของแต่ละคุณลักษณะต่อผู้ใช้ และสามารถคำนวณได้จากเวกเตอร์เนื้อหาที่ให้คะแนนแต่ละรายการโดยใช้เทคนิคที่หลากหลาย วิธีการแบบง่ายใช้ค่าเฉลี่ยของเวกเตอร์รายการที่ให้คะแนน ในขณะที่วิธีการที่ซับซ้อนกว่านั้นใช้เทคนิคการเรียนรู้ของเครื่อง เช่นตัวจำแนกแบบเบย์เซียนการวิเคราะห์คลัสเตอร์ต้นไม้ตัดสินใจและโครงข่ายประสาทเทียมเพื่อประมาณความน่าจะเป็นที่ผู้ใช้จะชอบรายการนั้น^{[ 58 ]}

ประเด็นสำคัญอย่างหนึ่งของการกรองตามเนื้อหาคือ ระบบสามารถเรียนรู้ความชอบของผู้ใช้จากพฤติกรรมของผู้ใช้เกี่ยวกับแหล่งเนื้อหาหนึ่งๆ และนำไปใช้กับเนื้อหาประเภทอื่นๆ ได้หรือไม่ เมื่อระบบจำกัดการแนะนำเฉพาะเนื้อหาประเภทเดียวกับที่ผู้ใช้กำลังใช้งานอยู่แล้ว คุณค่าจากระบบแนะนำก็จะลดลงอย่างมากเมื่อเทียบกับการแนะนำเนื้อหาประเภทอื่นๆ จากบริการอื่นๆ ตัวอย่างเช่น การแนะนำบทความข่าวตามการเรียกดูข่าวเป็นสิ่งที่มีประโยชน์ แต่จะยิ่งมีประโยชน์มากขึ้นหากสามารถแนะนำเพลง วิดีโอ ผลิตภัณฑ์ การสนทนา ฯลฯ จากบริการต่างๆ ตามการเรียกดูข่าวได้ เพื่อแก้ไขปัญหานี้ ระบบแนะนำตามเนื้อหาส่วนใหญ่ในปัจจุบันจึงใช้ระบบไฮบริดในรูปแบบใดรูปแบบหนึ่ง

ระบบแนะนำตามเนื้อหายังสามารถรวมถึงระบบแนะนำตามความคิดเห็นได้อีกด้วย ในบางกรณี ผู้ใช้ได้รับอนุญาตให้แสดงความคิดเห็นหรือข้อเสนอแนะเกี่ยวกับสินค้า ข้อความที่สร้างโดยผู้ใช้เหล่านี้เป็นข้อมูลโดยนัยสำหรับระบบแนะนำ เนื่องจากอาจเป็นแหล่งข้อมูลที่อุดมสมบูรณ์ทั้งในด้านคุณลักษณะ/แง่มุมของสินค้าและการประเมิน/ความรู้สึกของผู้ใช้ที่มีต่อสินค้า คุณลักษณะที่สกัดจากรีวิวที่สร้างโดยผู้ใช้เป็นเมตาเดต้า ที่ได้รับการปรับปรุง ของสินค้า เนื่องจากคุณลักษณะที่สกัดออกมานั้นสะท้อนถึงแง่มุมของสินค้าเช่นเดียวกับเมตาเดต้า ดังนั้นคุณลักษณะที่สกัดออกมาจึงได้รับความสนใจจากผู้ใช้อย่างกว้างขวาง ความรู้สึกที่สกัดออกมาจากรีวิวสามารถมองได้ว่าเป็นคะแนนการให้คะแนนของผู้ใช้ในคุณลักษณะที่เกี่ยวข้อง แนวทางที่เป็นที่นิยมของระบบแนะนำตามความคิดเห็นใช้วิธีการต่างๆ รวมถึงการขุดข้อความการดึงข้อมูลการวิเคราะห์ความรู้สึก (ดูเพิ่มเติมที่การวิเคราะห์ความรู้สึกแบบหลายโมดอล ) และ การเรียนรู้ เชิงลึก^{[ 59 ]}

ระบบแนะนำส่วนใหญ่ในปัจจุบันใช้แนวทางแบบผสมผสาน โดยผสมผสานการกรองแบบร่วมมือการกรองตามเนื้อหา และแนวทางอื่นๆ แนวทางแบบผสมผสานสามารถนำไปใช้ได้หลายวิธี ได้แก่ การทำนายตามเนื้อหาและการทำนายแบบร่วมมือแยกกันแล้วจึงนำมารวมกัน การเพิ่มความสามารถตามเนื้อหาให้กับแนวทางแบบร่วมมือ (และในทางกลับกัน) หรือการรวมแนวทางต่างๆ เข้าไว้ในโมเดลเดียว^{[ 45 ]}มีการศึกษาหลายชิ้นที่เปรียบเทียบประสิทธิภาพของวิธีการแบบผสมผสานกับวิธีการแบบร่วมมือและแบบเนื้อหาล้วนๆ และแสดงให้เห็นว่าวิธีการแบบผสมผสานสามารถให้คำแนะนำที่แม่นยำกว่าวิธีการแบบบริสุทธิ์ วิธีการเหล่านี้ยังสามารถใช้เพื่อเอาชนะปัญหาทั่วไปบางอย่างในระบบแนะนำ เช่น ปัญหา cold start และปัญหา sparsity รวมถึงปัญหา คอขวด ด้านวิศวกรรมความรู้ในแนวทางที่ใช้ความรู้^{[ 60 ]}

Netflixใช้ระบบแนะนำแบบไฮบริดเพื่อแนะนำโดยการเปรียบเทียบพฤติกรรมการรับชมและการค้นหาของผู้ใช้ที่คล้ายคลึงกัน (เช่น การกรองแบบร่วมมือ) รวมถึงการนำเสนอภาพยนตร์ที่มีลักษณะร่วมกับภาพยนตร์ที่ผู้ใช้ให้คะแนนสูง (การกรองตามเนื้อหา) ^{[ 61 ]}

เทคนิคการผสมพันธุ์แบบไฮบริดบางส่วน ได้แก่:

• ถ่วงน้ำหนัก : การนำคะแนนขององค์ประกอบการแนะนำต่างๆ มาคำนวณรวมกันในเชิงตัวเลข
• การสลับ : การเลือกส่วนประกอบคำแนะนำและนำส่วนประกอบที่เลือกไปใช้
• แบบผสม : คำแนะนำจากผู้แนะนำหลายรายจะถูกนำเสนอร่วมกันเพื่อให้ได้คำแนะนำที่ดีที่สุด
• Cascade : ระบบแนะนำจะได้รับการจัดลำดับความสำคัญอย่างเคร่งครัด โดยระบบที่มีลำดับความสำคัญต่ำกว่าจะใช้เป็นตัวตัดสินในกรณีที่คะแนนเท่ากันกับระบบที่มีลำดับความสำคัญสูงกว่า
• ระดับเมตา : มีการใช้เทคนิคการแนะนำหนึ่งอย่างและสร้างแบบจำลองบางอย่าง ซึ่งจากนั้นจะเป็นข้อมูลป้อนเข้าที่ใช้โดยเทคนิคถัดไป^{[ 62 ]}

ระบบแนะนำเหล่านี้ใช้ปฏิสัมพันธ์ของผู้ใช้ภายในเซสชัน^{[ 63 ]}เพื่อสร้างคำแนะนำ ระบบแนะนำตามเซสชันถูกใช้ใน YouTube ^{[ 64 ]}และ Amazon ^{[ 65 ]}ซึ่งมีประโยชน์อย่างยิ่งเมื่อประวัติ (เช่น การคลิก การซื้อในอดีต) ของผู้ใช้ไม่พร้อมใช้งานหรือไม่เกี่ยวข้องกับเซสชันของผู้ใช้ในปัจจุบัน โดเมนที่คำแนะนำตามเซสชันมีความเกี่ยวข้องเป็นพิเศษ ได้แก่ วิดีโอ อีคอมเมิร์ซ การท่องเที่ยว เพลง และอื่นๆ ระบบแนะนำตามเซสชันส่วนใหญ่จะอาศัยลำดับของปฏิสัมพันธ์ล่าสุดภายในเซสชันโดยไม่จำเป็นต้องใช้รายละเอียดเพิ่มเติมใดๆ (ประวัติ ข้อมูลประชากร) ของผู้ใช้ เทคนิคสำหรับคำแนะนำตามเซสชันส่วนใหญ่จะอิงตามแบบจำลองลำดับแบบสร้าง เช่นเครือข่ายประสาทแบบวนซ้ำ [ ^{63 ] [ 66 ]} ทราน ส์ฟอร์เมอร์^{[ 67 ] และ}วิธีการอื่นๆ ที่ใช้การเรียนรู้เชิงลึก^{[ 68 ] [ 69 ]}

ปัญหาการแนะนำสามารถมองได้ว่าเป็นกรณีพิเศษของ ปัญหา การเรียนรู้แบบเสริมแรงโดยที่ผู้ใช้เป็นสภาพแวดล้อมที่ตัวแทน ระบบแนะนำ ดำเนินการเพื่อรับรางวัล เช่น การคลิกหรือการมีส่วนร่วมของผู้ใช้^{[ 64 ] [ 70 ] [ 71 ]}แง่มุมหนึ่งของการเรียนรู้แบบเสริมแรงที่มีประโยชน์เป็นพิเศษในด้านระบบแนะนำ คือ แบบจำลองหรือนโยบายสามารถเรียนรู้ได้โดยการให้รางวัลแก่ตัวแทนแนะนำ ซึ่งแตกต่างจากเทคนิคการเรียนรู้แบบดั้งเดิมที่อาศัยวิธีการเรียนรู้แบบมีผู้กำกับดูแลซึ่งมีความยืดหยุ่นน้อยกว่า เทคนิคการแนะนำแบบการเรียนรู้แบบเสริมแรงช่วยให้สามารถฝึกแบบจำลองที่สามารถปรับให้เหมาะสมได้โดยตรงจากตัวชี้วัดการมีส่วนร่วมและความสนใจของผู้ใช้^{[ 72 ]}

ระบบแนะนำแบบหลายเกณฑ์ (MCRS) สามารถนิยามได้ว่าเป็นระบบแนะนำที่รวมข้อมูลความชอบตามเกณฑ์หลายประการ แทนที่จะพัฒนาเทคนิคการแนะนำโดยอิงจากค่าเกณฑ์เดียว ซึ่งก็คือความชอบโดยรวมของผู้ใช้ u สำหรับรายการ i ระบบเหล่านี้พยายามทำนายการให้คะแนนสำหรับรายการที่ u ยังไม่เคยสำรวจ โดยใช้ประโยชน์จากข้อมูลความชอบตามเกณฑ์หลายประการที่ส่งผลต่อค่าความชอบโดยรวมนี้ นักวิจัยหลายคนมองว่า MCRS เป็นปัญหาการตัดสินใจแบบหลายเกณฑ์ (MCDM) และนำวิธีการและเทคนิค MCDM มาใช้ในการสร้างระบบ MCRS ^{[ 73 ]}ดูบทนี้^{[ 74 ]}สำหรับบทนำเพิ่มเติม

แนวทางที่มีอยู่ส่วนใหญ่สำหรับระบบแนะนำมุ่งเน้นไปที่การแนะนำเนื้อหาที่เกี่ยวข้องมากที่สุดให้กับผู้ใช้โดยใช้ข้อมูลบริบท แต่ไม่ได้คำนึงถึงความเสี่ยงที่จะรบกวนผู้ใช้ด้วยการแจ้งเตือนที่ไม่ต้องการ การพิจารณาความเสี่ยงที่จะทำให้ผู้ใช้ไม่พอใจด้วยการส่งคำแนะนำในบางสถานการณ์ เช่น ระหว่างการประชุมทางธุรกิจ ช่วงเช้าตรู่ หรือช่วงดึก เป็นสิ่งสำคัญ ดังนั้น ประสิทธิภาพของระบบแนะนำจึงขึ้นอยู่กับระดับที่ระบบได้รวมความเสี่ยงเข้าไว้ในกระบวนการแนะนำด้วย หนึ่งในทางเลือกในการจัดการปัญหานี้คือDRARSซึ่งเป็นระบบที่จำลองการแนะนำที่คำนึงถึงบริบทเป็นปัญหาแบนดิตระบบนี้รวมเทคนิคตามเนื้อหาและอัลกอริทึมแบนดิตตามบริบท^{[ 75 ]}

ระบบแนะนำบนมือถือใช้ สมา ร์ทโฟน ที่เข้าถึงอินเทอร์เน็ต เพื่อนำเสนอคำแนะนำส่วนบุคคลที่คำนึงถึงบริบท นี่เป็นพื้นที่การวิจัยที่ยากเป็นพิเศษ เนื่องจากข้อมูลมือถือมีความซับซ้อนมากกว่าข้อมูลที่ระบบแนะนำมักจะต้องจัดการ มันมีความหลากหลาย มีสัญญาณรบกวน ต้องการความสัมพันธ์อัตโนมัติเชิงพื้นที่และเวลา และมีปัญหาเกี่ยวกับการตรวจสอบความถูกต้องและความเป็นทั่วไป^{[ 76 ]}

มีปัจจัยสามประการที่อาจส่งผลกระทบต่อระบบแนะนำบนมือถือและความแม่นยำของผลการทำนาย ได้แก่ บริบท วิธีการแนะนำ และความเป็นส่วนตัว^{[ 77 ]}นอกจากนี้ ระบบแนะนำบนมือถือยังประสบปัญหาการถ่ายทอดไปยังพื้นที่อื่น – คำแนะนำอาจใช้ไม่ได้ในทุกภูมิภาค (ตัวอย่างเช่น การแนะนำสูตรอาหารในพื้นที่ที่ส่วนผสมทั้งหมดอาจไม่พร้อมใช้งานนั้นไม่เหมาะสม)

ตัวอย่างหนึ่งของระบบแนะนำบนมือถือคือแนวทางที่บริษัทต่างๆ เช่นUberและLyft ใช้ ในการสร้างเส้นทางการขับขี่สำหรับคนขับแท็กซี่ในเมือง^{[ 76 ]}ระบบนี้ใช้ข้อมูล GPS ของเส้นทางที่คนขับแท็กซี่ใช้ขณะทำงาน ซึ่งรวมถึงตำแหน่ง (ละติจูดและลองจิจูด) การประทับเวลา และสถานะการทำงาน (มีหรือไม่มีผู้โดยสาร) ระบบนี้ใช้ข้อมูลนี้เพื่อแนะนำรายการจุดรับผู้โดยสารตามเส้นทาง โดยมีเป้าหมายเพื่อเพิ่มประสิทธิภาพเวลาการใช้งานและผลกำไร

ระบบแนะนำแบบสร้าง (Generative recommenders หรือ GR) เป็นแนวทางที่แปลงงานแนะนำให้เป็นปัญหาการแปลงแบบลำดับ โดยที่การกระทำของผู้ใช้จะถูกมองว่าเป็นโทเค็นในกรอบงานการสร้างแบบจำลองแบบสร้าง ในวิธีหนึ่งที่เรียกว่า HSTU (Hierarchical Sequential Transduction Units) ^{[ 78 ]} ชุดข้อมูล ที่มีจำนวนมากไม่คงที่ และสตรีมมิ่ง จะถูกประมวลผลอย่างมีประสิทธิภาพเป็นลำดับ ทำให้แบบจำลองสามารถเรียนรู้จากพารามิเตอร์หลายล้านล้านตัวและจัดการประวัติการกระทำของผู้ใช้ได้ยาวนานกว่าเดิมหลายเท่า ด้วยการเปลี่ยนข้อมูลที่หลากหลายทั้งหมดของระบบให้เป็นสตรีมโทเค็นเดียวและใช้ แนวทาง self-attention แบบกำหนดเอง แทนเลเยอร์เครือข่ายประสาทแบบดั้งเดิมระบบแนะนำแบบสร้างจะทำให้แบบจำลองง่ายขึ้นและใช้หน่วยความจำน้อยลง ส่งผลให้สามารถปรับปรุงคุณภาพการแนะนำในการจำลองการทดสอบและการทดสอบในโลกแห่งความเป็นจริง ในขณะที่เร็วกว่า ระบบ Transformer รุ่นก่อนหน้า เมื่อจัดการรายการการกระทำของผู้ใช้ที่ยาว ท้ายที่สุดแล้ว แนวทางนี้จะช่วยให้ประสิทธิภาพของโมเดลเติบโตอย่างต่อเนื่องเมื่อใช้พลังการประมวลผลมากขึ้น ซึ่งเป็นการวางรากฐานสำหรับ “ โมเดลพื้นฐาน ” ที่มีประสิทธิภาพและปรับขนาดได้สำหรับการแนะนำ

หนึ่งในเหตุการณ์ที่กระตุ้นการวิจัยในระบบแนะนำคือรางวัล Netflix Prizeตั้งแต่ปี 2006 ถึง 2009 Netflix ได้สนับสนุนการแข่งขัน โดยมอบรางวัลใหญ่ 1,000,000 ดอลลาร์สหรัฐ ให้แก่ทีมที่สามารถนำชุดข้อมูลการให้คะแนนภาพยนตร์กว่า 100 ล้านรายการมาประมวลผลและให้คำแนะนำที่แม่นยำกว่าระบบแนะนำที่มีอยู่ของบริษัทถึง 10% การแข่งขันนี้กระตุ้นให้เกิดการค้นหาอัลกอริทึมใหม่ที่แม่นยำยิ่งขึ้น ในวันที่ 21 กันยายน 2009 รางวัลใหญ่ 1,000,000 ดอลลาร์สหรัฐ ตกเป็นของทีม Pragmatic Chaos ของ BellKor โดยใช้กฎการตัดสินกรณีคะแนนเท่ากัน^{[ 79 ]}

อัลกอริทึมที่แม่นยำที่สุดในปี 2550 ใช้ระเบียบวิธีแบบรวมกลุ่มของวิธีการอัลกอริทึมที่แตกต่างกัน 107 วิธี ผสมผสานเข้ากับการทำนายเพียงครั้งเดียว ตามที่ผู้ชนะระบุไว้ Bell et al.: ^{[ 80 ]}

ความแม่นยำในการทำนายดีขึ้นอย่างมากเมื่อผสมผสานตัวทำนายหลายตัวเข้าด้วยกันประสบการณ์ของเราชี้ให้เห็นว่าควรเน้นความพยายามไปที่การพัฒนาแนวทางที่แตกต่างกันอย่างสิ้นเชิงมากกว่าการปรับปรุงเทคนิคเดียว ดังนั้น วิธีแก้ปัญหาของเราจึงเป็นการผสมผสานของหลายวิธี

ประโยชน์มากมายเกิดขึ้นกับเว็บเนื่องจากโครงการ Netflix ทีมบางทีมได้นำเทคโนโลยีของตนไปประยุกต์ใช้ในตลาดอื่นๆ สมาชิกบางคนจากทีมที่ได้อันดับสองได้ก่อตั้งGravity R&Dซึ่งเป็นเครื่องมือแนะนำที่ใช้งานอยู่ในชุมชน RecSys [ ^{79 ] [ 81 ] 4-Tell, Inc.}ได้สร้างโซลูชันที่ได้มาจากโครงการ Netflix สำหรับเว็บไซต์อีคอมเมิร์ซ

มีปัญหาความเป็นส่วนตัวหลายประการเกิดขึ้นเกี่ยวกับชุดข้อมูลที่ Netflix นำเสนอสำหรับการแข่งขัน Netflix Prize แม้ว่าชุดข้อมูลจะถูกทำให้เป็นนิรนามเพื่อรักษาความเป็นส่วนตัวของลูกค้า แต่ในปี 2550 นักวิจัยสองคนจากมหาวิทยาลัยเท็กซัสสามารถระบุตัวผู้ใช้แต่ละรายได้โดยการจับคู่ชุดข้อมูลกับเรตติ้งภาพยนตร์ในฐานข้อมูลภาพยนตร์ทางอินเทอร์เน็ต (IMDb) [ ^{82 ] ส่ง}ผลให้ในเดือนธันวาคม 2552 ผู้ใช้ Netflix นิรนามรายหนึ่งได้ฟ้อง Netflix ในคดี Doe v. Netflix โดยกล่าวหาว่า Netflix ละเมิดกฎหมายการค้าที่เป็นธรรมของสหรัฐอเมริกาและพระราชบัญญัติคุ้มครองความเป็นส่วนตัวของวิดีโอโดยการเผยแพร่ชุดข้อมูล^{[ 83 ]}สิ่งนี้รวมถึงความกังวลจากคณะกรรมการการค้าของรัฐบาลกลางนำไปสู่การยกเลิกการแข่งขัน Netflix Prize ครั้งที่สองในปี 2553 ^{[ 84 ]}

การประเมินมีความสำคัญในการประเมินประสิทธิภาพของอัลกอริธึมการแนะนำ เพื่อวัดประสิทธิภาพของระบบแนะนำและเปรียบเทียบวิธีการต่างๆมีการประเมิน สามประเภท ได้แก่ การศึกษาผู้ใช้ การประเมินออนไลน์ (การทดสอบ A/B)และการประเมินแบบออฟไลน์^{[ 47 ]}

ตัวชี้วัดที่ใช้กันทั่วไปคือค่าความคลาดเคลื่อนกำลังสองเฉลี่ยและค่าความคลาดเคลื่อนกำลังสองเฉลี่ยรากซึ่งตัวชี้วัดหลังนี้ถูกนำมาใช้ในรางวัล Netflix Prize ตัวชี้วัดการค้นหาข้อมูล เช่นความแม่นยำและการเรียกคืนหรือกำไรสะสมที่ลดทอน (DCG)มีประโยชน์ในการประเมินคุณภาพของวิธีการแนะนำ ความหลากหลาย ความแปลกใหม่ และความครอบคลุมก็ถือเป็นแง่มุมที่สำคัญในการประเมินเช่นกัน^{[ 85 ]}อย่างไรก็ตาม มาตรการประเมินแบบคลาสสิกหลายอย่างถูก วิพากษ์วิจารณ์ อย่างมาก^{[ 86 ]}

การประเมินประสิทธิภาพของอัลกอริธึมการแนะนำบนชุดข้อมูลทดสอบที่กำหนดไว้จะเป็นเรื่องที่ท้าทายอย่างยิ่งเสมอ เนื่องจากเป็นไปไม่ได้ที่จะคาดการณ์ปฏิกิริยาของผู้ใช้จริงต่อคำแนะนำได้อย่างแม่นยำ ดังนั้น ตัวชี้วัดใดๆ ที่คำนวณประสิทธิภาพของอัลกอริธึมในข้อมูลออฟไลน์จึงจะไม่แม่นยำ

การศึกษาผู้ใช้มักเป็นการศึกษาในวงแคบ โดยมีผู้ใช้เพียงไม่กี่สิบหรือหลายร้อยคนได้รับคำแนะนำที่สร้างขึ้นจากวิธีการแนะนำที่แตกต่างกัน จากนั้นผู้ใช้จะตัดสินว่าคำแนะนำใดดีที่สุด

ในการทดสอบ A/B ระบบจะแสดงคำแนะนำให้กับผู้ใช้ผลิตภัณฑ์จริงหลายพันคน และระบบแนะนำจะสุ่มเลือกวิธีการแนะนำอย่างน้อยสองวิธีที่แตกต่างกันเพื่อสร้างคำแนะนำ ประสิทธิภาพจะวัดได้จากตัวชี้วัดประสิทธิภาพทางอ้อม เช่นอัตราการเปลี่ยนลูกค้าเป็นผู้ซื้อหรือ อัตรา การ คลิกผ่าน

การประเมินแบบออฟไลน์จะอิงตามข้อมูลในอดีต เช่น ชุดข้อมูลที่มีข้อมูลเกี่ยวกับวิธีที่ผู้ใช้เคยให้คะแนนภาพยนตร์มาก่อน^{[ 87 ]}

ประสิทธิภาพของวิธีการแนะนำจะถูกวัดโดยพิจารณาจากความสามารถในการทำนายการให้คะแนนของผู้ใช้ในชุดข้อมูล แม้ว่าการให้คะแนนจะเป็นการแสดงออกอย่างชัดเจนว่าผู้ใช้ชอบภาพยนตร์หรือไม่ แต่ข้อมูลดังกล่าวก็ไม่มีในทุกโดเมน ตัวอย่างเช่น ในโดเมนของระบบแนะนำการอ้างอิง ผู้ใช้มักจะไม่ให้คะแนนการอ้างอิงหรือบทความที่แนะนำ ในกรณีเช่นนี้ การประเมินแบบออฟไลน์อาจใช้การวัดประสิทธิภาพโดยนัย ตัวอย่างเช่น อาจสันนิษฐานได้ว่าระบบแนะนำที่มีประสิทธิภาพคือระบบที่สามารถแนะนำบทความได้มากที่สุดเท่าที่จะเป็นไปได้ซึ่งอยู่ในรายการอ้างอิงของบทความวิจัย อย่างไรก็ตาม นักวิจัยหลายคนมองว่าการประเมินแบบออฟไลน์ประเภทนี้มีข้อบกพร่อง^{[ 88 ] [ 89 ] [ 90 ] [ 47 ]}ตัวอย่างเช่น มีการแสดงให้เห็นว่าผลลัพธ์ของการประเมินแบบออฟไลน์มีความสัมพันธ์ต่ำกับผลลัพธ์จากการศึกษาผู้ใช้หรือการทดสอบ A/B ^{[ 90 ] [ 91 ]}ชุดข้อมูลที่นิยมใช้ในการประเมินแบบออฟไลน์พบว่ามีข้อมูลซ้ำซ้อน ซึ่งอาจนำไปสู่ข้อสรุปที่ผิดพลาดในการประเมินอัลกอริทึม^{[ 92 ]}บ่อยครั้งที่ผลลัพธ์ของการประเมินแบบออฟไลน์ที่เรียกว่านั้นไม่สอดคล้องกับความพึงพอใจของผู้ใช้ที่ประเมินจริง^{[ 93 ]}นี่อาจเป็นเพราะการฝึกอบรมแบบออฟไลน์มีอคติสูงต่อรายการที่เข้าถึงได้ง่าย และข้อมูลการทดสอบแบบออฟไลน์ได้รับอิทธิพลอย่างมากจากผลลัพธ์ของโมดูลแนะนำออนไลน์^{[ 88 ] [ 94 ]}นักวิจัยสรุปว่าผลลัพธ์ของการประเมินแบบออฟไลน์ควรได้รับการพิจารณาอย่างรอบคอบ^{[ 95 ]}

โดยทั่วไป การวิจัยเกี่ยวกับระบบแนะนำมักมุ่งเน้นไปที่การค้นหาอัลกอริธึมการแนะนำที่แม่นยำที่สุด อย่างไรก็ตาม ยังมีปัจจัยอื่นๆ อีกหลายประการที่สำคัญเช่นกัน

• ความหลากหลาย – ผู้ใช้มักจะพึงพอใจกับคำแนะนำมากขึ้นเมื่อมีความหลากหลายภายในรายการมากขึ้น เช่น รายการจากศิลปินที่แตกต่างกัน^{[ 96 ] [ 97 ]}

• ความคงทนของระบบแนะนำ – ในบางสถานการณ์ การแสดงคำแนะนำซ้ำ^{[ 98 ]}หรือการให้ผู้ใช้ให้คะแนนรายการซ้ำ^{[ 99 ]} จะมีประสิทธิภาพมากกว่า การแสดงรายการใหม่ มีหลายสาเหตุด้วยกัน เช่น ผู้ใช้อาจเพิกเฉยต่อรายการเมื่อแสดงเป็นครั้งแรก เนื่องจากไม่มีเวลาตรวจสอบคำแนะนำอย่างละเอียด
• ความเป็นส่วนตัว – ระบบแนะนำมักจะต้องจัดการกับข้อกังวลด้านความเป็นส่วนตัว^{[ 100 ]}เนื่องจากผู้ใช้ต้องเปิดเผยข้อมูลที่ละเอียดอ่อน การสร้างโปรไฟล์ผู้ใช้โดยใช้การกรองแบบร่วมมืออาจเป็นปัญหาจากมุมมองด้านความเป็นส่วนตัว หลายประเทศในยุโรปมีวัฒนธรรมความเป็นส่วนตัวของข้อมูล ที่เข้มแข็ง และความพยายามใดๆ ในการนำเสนอโปรไฟล์ ผู้ใช้ในระดับใดๆ ก็ตามอาจส่งผลให้เกิดการตอบสนองเชิงลบจากลูกค้า มีการวิจัยมากมายเกี่ยวกับปัญหาความเป็นส่วนตัวที่เกิดขึ้นอย่างต่อเนื่องในด้านนี้รางวัล Netflix Prizeโดดเด่นเป็นพิเศษเนื่องจากมีการเปิดเผยข้อมูลส่วนบุคคลโดยละเอียดในชุดข้อมูล Ramakrishnan และคณะได้ทำการสำรวจภาพรวมอย่างกว้างขวางเกี่ยวกับข้อแลกเปลี่ยนระหว่างการปรับแต่งส่วนบุคคลและความเป็นส่วนตัว และพบว่าการรวมกันของความสัมพันธ์ที่อ่อนแอ (การเชื่อมต่อที่ไม่คาดคิดซึ่งให้คำแนะนำโดยบังเอิญ) และแหล่งข้อมูลอื่นๆ สามารถใช้เพื่อเปิดเผยตัวตนของผู้ใช้ในชุดข้อมูลที่ไม่ระบุชื่อได้^{[ 101 ]}

• ข้อมูลประชากรของผู้ใช้ – Beel และคณะพบว่าข้อมูลประชากรของผู้ใช้อาจส่งผลต่อความพึงพอใจของผู้ใช้ต่อคำแนะนำ^{[ 102 ]}ในบทความของพวกเขา พวกเขาแสดงให้เห็นว่าผู้สูงอายุมีแนวโน้มที่จะสนใจคำแนะนำมากกว่าผู้ที่มีอายุน้อยกว่า
• ความแข็งแกร่ง – เมื่อผู้ใช้สามารถมีส่วนร่วมในระบบแนะนำได้ จะต้องจัดการกับปัญหาการฉ้อโกง^{[ 103 ]}
• ความบังเอิญ – ความบังเอิญคือการวัด “ความน่าประหลาดใจของคำแนะนำ” ^{[ 104 ] [ 97 ]}ตัวอย่างเช่น ระบบแนะนำที่แนะนำนมให้กับลูกค้าในร้านขายของชำอาจมีความแม่นยำอย่างสมบูรณ์ แต่ไม่ใช่คำแนะนำที่ดีเพราะเป็นสินค้าที่ลูกค้าควรซื้ออย่างชัดเจน “ความบังเอิญ” มีจุดประสงค์สองประการ ประการแรก โอกาสที่ผู้ใช้จะหมดความสนใจเนื่องจากชุดตัวเลือกมีความสม่ำเสมอมากเกินไปจะลดลง ประการที่สอง สิ่งเหล่านี้จำเป็นสำหรับอัลกอริทึมในการเรียนรู้และปรับปรุงตนเอง” ^{[ 105 ]}
• ความไว้วางใจ – ระบบแนะนำจะมีประโยชน์เพียงเล็กน้อยสำหรับผู้ใช้หากผู้ใช้ไม่ไว้วางใจระบบ^{[ 106 ]}ระบบแนะนำสามารถสร้างความไว้วางใจได้โดยการอธิบายว่าระบบสร้างคำแนะนำอย่างไร และทำไมจึงแนะนำสินค้า
• การติดฉลาก – ความพึงพอใจของผู้ใช้ต่อคำแนะนำอาจได้รับอิทธิพลจากการติดฉลากของคำแนะนำ^{[ 107 ]}ตัวอย่างเช่น ในการศึกษาที่อ้างถึงอัตราการคลิกผ่าน (CTR) สำหรับคำแนะนำที่ติดฉลากว่า "Sponsored" ต่ำกว่า (CTR=5.93%) เมื่อเทียบกับ CTR สำหรับคำแนะนำที่เหมือนกันซึ่งติดฉลากว่า "Organic" (CTR=8.86%) คำแนะนำที่ไม่มีฉลากมีประสิทธิภาพดีที่สุด (CTR=9.87%) ในการศึกษานั้น

ระบบแนะนำนั้นประเมินผลแบบออฟไลน์ได้ยากมาก โดยนักวิจัยบางคนอ้างว่านี่เป็นสาเหตุของวิกฤตการทำซ้ำได้ในงานวิจัยเกี่ยวกับระบบแนะนำ ประเด็นเรื่องการทำซ้ำได้ดูเหมือนจะเป็นปัญหาที่เกิดขึ้นซ้ำๆ ในวารสารด้านการเรียนรู้ของเครื่อง (Machine Learning) แต่ก็ไม่ได้มีผลกระทบมากนักนอกเหนือจากโลกของการตีพิมพ์ทางวิทยาศาสตร์ ในบริบทของระบบแนะนำ บทความวิจัยปี 2019 ที่สำรวจงานวิจัยที่คัดเลือกมาจำนวนเล็กน้อยซึ่งใช้การเรียนรู้เชิงลึก (Deep Learning) หรือวิธีการโครงข่ายประสาทเทียม (Neural Methods) ในการแก้ปัญหาการแนะนำอันดับต้นๆ (Top-k Recommendation Problem) ที่ตีพิมพ์ในงานประชุมวิชาการชั้นนำ (SIGIR, KDD, WWW, RecSys , IJCAI) พบว่าโดยเฉลี่ยแล้วผู้เขียนงานวิจัยสามารถทำซ้ำบทความได้น้อยกว่า 40% และบางงานประชุมมีเพียง 14% เท่านั้น บทความนี้พิจารณาปัญหาที่อาจเกิดขึ้นหลายประการในงานวิจัยในปัจจุบันและเสนอแนะแนวทางปฏิบัติทางวิทยาศาสตร์ที่ดีขึ้นในด้านนี้^{[ 108 ] [ 109 ] [ 110 ]} งานวิจัยล่าสุดเกี่ยวกับการเปรียบเทียบประสิทธิภาพของชุดวิธีการเดียวกันได้ผลลัพธ์ที่แตกต่างกันอย่างมากในเชิงคุณภาพ^{[ 111 ]}โดยพบว่าวิธีการโครงข่ายประสาทเทียมเป็นหนึ่งในวิธีการที่มีประสิทธิภาพดีที่สุด การเรียนรู้เชิงลึกและวิธีการโครงข่ายประสาทเทียมสำหรับระบบแนะนำได้ถูกนำมาใช้ในโซลูชันที่ชนะเลิศในการแข่งขันระบบแนะนำหลายรายการล่าสุด เช่น WSDM ^{[ 112 ]} RecSys Challenge ^{[ 113 ]} ยิ่งไปกว่านั้น วิธีการโครงข่ายประสาทเทียมและการเรียนรู้เชิงลึกยังถูกนำมาใช้กันอย่างแพร่หลายในอุตสาหกรรม ซึ่งมีการทดสอบอย่างกว้างขวาง^{[ 114 ] [ 64 ] [ 65 ]}หัวข้อเรื่องความสามารถในการทำซ้ำไม่ใช่เรื่องใหม่ในระบบแนะนำ ในปี 2011 Ekstrand , Konstanและคณะ ได้วิจารณ์ว่า "ปัจจุบันเป็นเรื่องยากที่จะทำซ้ำและขยายผลการวิจัยระบบแนะนำ" และการประเมิน "ไม่ได้ดำเนินการอย่างสม่ำเสมอ" ^{[ 115 ]} Konstan และ Adomavicius สรุปว่า "ชุมชนวิจัยระบบแนะนำกำลังเผชิญกับวิกฤตการณ์ที่เอกสารจำนวนมากนำเสนอผลลัพธ์ที่ก่อให้เกิดความรู้ร่วมกันเพียงเล็กน้อย [...] บ่อยครั้งเนื่องจากการวิจัยขาด [...] การประเมินที่จะได้รับการตัดสินอย่างเหมาะสม และด้วยเหตุนี้จึงไม่สามารถให้ประโยชน์ที่มีความหมายได้" ^{[ 116 ]}ผลที่ตามมาคือ การวิจัยเกี่ยวกับระบบแนะนำจำนวนมากอาจถือได้ว่าไม่สามารถทำซ้ำได้^{[ 117 ]}ดังนั้น ผู้ดำเนินการระบบแนะนำจึงพบคำแนะนำเพียงเล็กน้อยในการวิจัยปัจจุบันสำหรับการตอบคำถามว่าควรใช้วิธีการแนะนำแบบใดในระบบแนะนำSaidและBellogínได้ทำการศึกษาเอกสารที่ตีพิมพ์ในสาขานี้ รวมถึงเปรียบเทียบประสิทธิภาพของเฟรมเวิร์กการแนะนำที่เป็นที่นิยมที่สุดบางส่วน และพบความไม่สอดคล้องกันอย่างมากในผลลัพธ์ แม้ว่าจะใช้อัลกอริธึมและชุดข้อมูลเดียวกันก็ตาม^{[ 118 ]}นักวิจัยบางคนแสดงให้เห็นว่าการเปลี่ยนแปลงเล็กน้อยในอัลกอริธึมการแนะนำหรือสถานการณ์ต่างๆ นำไปสู่การเปลี่ยนแปลงอย่างมากในประสิทธิภาพของระบบแนะนำ พวกเขาสรุปว่าจำเป็นต้องดำเนินการเจ็ดประการเพื่อปรับปรุงสถานการณ์ปัจจุบัน: ^{[ 117 ]} “(1) สำรวจสาขาการวิจัยอื่นๆ และเรียนรู้จากสาขาเหล่านั้น (2) หาความเข้าใจร่วมกันเกี่ยวกับความสามารถในการทำซ้ำ (3) ระบุและทำความเข้าใจปัจจัยกำหนดที่ส่งผลต่อความสามารถในการทำซ้ำ (4) ดำเนินการทดลองที่ครอบคลุมมากขึ้น (5) ปรับปรุงแนวทางการเผยแพร่ให้ทันสมัย ​​(6) ส่งเสริมการพัฒนาและการใช้เฟรมเวิร์กการแนะนำ และ (7) กำหนดแนวทางปฏิบัติที่ดีที่สุดสำหรับการวิจัยระบบแนะนำ”

การประยุกต์ใช้ ปัญญาประดิษฐ์ (AI) ในระบบแนะนำเป็นวิธีการขั้นสูงที่ใช้ประโยชน์จากเทคโนโลยี AI เพื่อเพิ่มประสิทธิภาพของเครื่องมือแนะนำ ระบบแนะนำที่ใช้ AI สามารถวิเคราะห์ชุดข้อมูลที่ซับซ้อน เรียนรู้จากพฤติกรรม ความชอบ และการโต้ตอบของผู้ใช้ เพื่อสร้างเนื้อหาหรือคำแนะนำผลิตภัณฑ์ที่แม่นยำและเป็นส่วนตัวสูง^{[ 119 ]}การบูรณาการ AI ในระบบแนะนำถือเป็นการพัฒนาที่สำคัญจากวิธีการแนะนำแบบดั้งเดิม วิธีการแบบดั้งเดิมมักอาศัยอัลกอริทึมที่ไม่ยืดหยุ่นซึ่งสามารถแนะนำรายการตามแนวโน้มของผู้ใช้ทั่วไปหรือความคล้ายคลึงกันที่เห็นได้ชัดในเนื้อหา ในทางกลับกัน ระบบที่ขับเคลื่อนด้วย AI มีความสามารถในการตรวจจับรูปแบบและความแตกต่างเล็กน้อยที่อาจถูกมองข้ามโดยวิธีการแบบดั้งเดิม^{[ 120 ]}ระบบเหล่านี้สามารถปรับให้เข้ากับความชอบเฉพาะบุคคลได้ จึงนำเสนอคำแนะนำที่สอดคล้องกับความต้องการของผู้ใช้แต่ละคนมากขึ้น แนวทางนี้แสดงให้เห็นถึงการเปลี่ยนแปลงไปสู่คำแนะนำที่เป็นส่วนตัวและเน้นผู้ใช้เป็นศูนย์กลางมากขึ้น

ระบบแนะนำนำเทคนิค AI มาใช้กันอย่างแพร่หลาย เช่นการเรียนรู้ของเครื่อง การเรียนรู้เชิงลึกและ การประมวลผล ภาษาธรรมชาติ^{[ 121 ]}วิธีการขั้นสูงเหล่านี้ช่วยเพิ่มขีดความสามารถของระบบในการคาดการณ์ความชอบของผู้ใช้และส่งมอบเนื้อหาส่วนบุคคลได้อย่างแม่นยำยิ่งขึ้น แต่ละเทคนิคมีส่วนช่วยที่เป็นเอกลักษณ์ ส่วนต่อไปนี้จะแนะนำโมเดล AI เฉพาะที่ระบบแนะนำใช้ โดยอธิบายทฤษฎีและฟังก์ชันการทำงานของโมเดลเหล่านั้น

การกรองแบบร่วมมือ (CF) เป็นหนึ่งในอัลกอริธึมระบบแนะนำที่ใช้กันอย่างแพร่หลายที่สุด โดยจะสร้างคำแนะนำส่วนบุคคลให้กับผู้ใช้โดยอิงจากรูปแบบพฤติกรรมที่ชัดเจนหรือโดยนัยเพื่อสร้างการคาดการณ์^{[ 122 ]}โดยเฉพาะอย่างยิ่ง จะอาศัยข้อมูลป้อนกลับจากภายนอก เช่น การให้คะแนนดาว ประวัติการซื้อ และอื่นๆ เพื่อทำการตัดสิน CF จะทำการคาดการณ์เกี่ยวกับความชอบของผู้ใช้โดยอิงจากการวัดความคล้ายคลึงกัน โดยพื้นฐานแล้ว ทฤษฎีพื้นฐานคือ: "ถ้าผู้ใช้ A คล้ายกับผู้ใช้ B และถ้า A ชอบสินค้า C ก็มีแนวโน้มว่า B ก็จะชอบสินค้า C เช่นกัน"

มีโมเดลมากมายสำหรับการกรองแบบร่วมมือ (collaborative filtering) สำหรับการกรองแบบร่วมมือที่ประยุกต์ใช้กับ AI โมเดลที่นิยมใช้คือ โมเดลเพื่อนบ้านใกล้ที่สุด K ตัว (K-nearest neighbors ) แนวคิดมีดังนี้:

1. การนำเสนอข้อมูล : สร้างพื้นที่ n มิติ โดยแต่ละแกนแทนคุณลักษณะของผู้ใช้ (เช่น การให้คะแนน การซื้อ ฯลฯ) และแทนผู้ใช้ด้วยจุดในพื้นที่นั้น
2. ระยะห่างทางสถิติ : 'ระยะห่าง' คือค่าที่ใช้วัดระยะห่างระหว่างผู้ใช้ในพื้นที่นี้ ดูรายละเอียดการคำนวณได้ที่หัวข้อระยะห่างทางสถิติ
3. การระบุเพื่อนบ้าน : จากระยะทางที่คำนวณได้ ให้ค้นหาเพื่อนบ้านที่ใกล้ที่สุด k รายของผู้ใช้ที่เราต้องการให้คำแนะนำ
4. การสร้างคำแนะนำเชิงคาดการณ์ : ระบบจะวิเคราะห์ความชอบที่คล้ายคลึงกันของเพื่อนบ้าน k ราย ระบบจะสร้างคำแนะนำโดยอิงจากความคล้ายคลึงนั้น

เครือข่ายประสาทเทียม (ANN) เป็นโครงสร้างแบบจำลองการเรียนรู้เชิงลึกที่มีจุดมุ่งหมายเพื่อเลียนแบบสมองของมนุษย์ ประกอบด้วยเซลล์ประสาทหลายเซลล์ แต่ละเซลล์มีหน้าที่รับและประมวลผลข้อมูลที่ส่งมาจากเซลล์ประสาทอื่นที่เชื่อมต่อกัน^{[ 123 ]}เช่นเดียวกับสมองของมนุษย์ เซลล์ประสาทเหล่านี้จะเปลี่ยนสถานะการทำงานตามสัญญาณขาเข้า (อินพุตการฝึกและเอาต์พุตที่ส่งกลับ) ทำให้ระบบสามารถปรับน้ำหนักการทำงานในระหว่างขั้นตอนการเรียนรู้ของเครือข่ายได้ ANN มักถูกออกแบบให้เป็น แบบจำลอง กล่องดำซึ่งแตกต่างจากการเรียนรู้ของเครื่องจักรทั่วไปที่ส่วนประกอบทางทฤษฎีพื้นฐานมีความเป็นทางการและตายตัว ผลกระทบจากการทำงานร่วมกันของเซลล์ประสาทจึงไม่ชัดเจนทั้งหมด แต่การทดลองสมัยใหม่ได้แสดงให้เห็นถึงพลังในการทำนายของ ANN

ANN ถูกนำมาใช้กันอย่างแพร่หลายในระบบแนะนำเนื่องจากความสามารถในการใช้ข้อมูลที่หลากหลาย นอกเหนือจากข้อมูลการตอบรับแล้ว ANN ยังสามารถรวมข้อมูลที่ไม่ใช่การตอบรับซึ่งมีความซับซ้อนเกินกว่าที่การกรองแบบร่วมมือจะเรียนรู้ได้ และโครงสร้างที่เป็นเอกลักษณ์ทำให้ ANN สามารถระบุสัญญาณเพิ่มเติมจากข้อมูลที่ไม่ใช่การตอบรับเพื่อเพิ่มประสบการณ์ของผู้ใช้^{[ 121 ]}ตัวอย่างบางส่วนมีดังต่อไปนี้:

• เวลาและฤดูกาล : สิ่งใดที่ระบุเวลาและวันที่หรือฤดูกาลที่ผู้ใช้โต้ตอบกับแพลตฟอร์ม
• รูปแบบการนำทางของผู้ใช้ : ลำดับของหน้าที่เข้าชม เวลาที่ใช้ในส่วนต่างๆ ของเว็บไซต์ การเคลื่อนไหวของเมาส์ เป็นต้น
• กระแสสังคมภายนอก : ข้อมูลจากสื่อสังคมออนไลน์ภายนอก

โมเดล Two-Tower เป็นสถาปัตยกรรมโครงข่ายประสาท^{[ 124 ]}ที่ใช้กันทั่วไปในระบบแนะนำขนาดใหญ่ โดยเฉพาะอย่างยิ่งสำหรับภารกิจการค้นหาผู้สมัคร^{[ 125 ]}ประกอบด้วยโครงข่ายประสาทสองโครงข่าย:

• User Tower : ทำหน้าที่เข้ารหัสคุณลักษณะเฉพาะของผู้ใช้ เช่น ประวัติการโต้ตอบ หรือข้อมูลประชากร
• Item Tower : เข้ารหัสคุณลักษณะเฉพาะของแต่ละรายการ เช่นเมตาเดต้าหรือการฝังเนื้อหา

ผลลัพธ์จากหอคอยทั้งสองคือเวกเตอร์ฝังตัวที่มีความยาวคงที่ ซึ่งแสดงถึงผู้ใช้และรายการในพื้นที่เวกเตอร์ร่วมกัน ตัวชี้วัดความคล้ายคลึง เช่นผลคูณดอทหรือความคล้ายคลึงโคไซน์จะถูกใช้เพื่อวัดความเกี่ยวข้องระหว่างผู้ใช้และรายการ

โมเดลนี้มีประสิทธิภาพสูงสำหรับชุดข้อมูลขนาดใหญ่ เนื่องจากสามารถคำนวณเวกเตอร์ฝังตัวล่วงหน้าสำหรับรายการต่างๆ ได้ ทำให้สามารถดึงข้อมูลได้อย่างรวดเร็วในระหว่างการประมวลผล มักใช้ร่วมกับโมเดลการจัดอันดับสำหรับกระบวนการแนะนำแบบครบวงจร

การประมวลผลภาษาธรรมชาติเป็นชุดของอัลกอริธึม AI เพื่อทำให้ภาษาธรรมชาติของมนุษย์สามารถเข้าถึงและวิเคราะห์ได้โดยเครื่องจักร^{[ 126 ]}เป็นเทคนิคที่ค่อนข้างทันสมัยซึ่งได้รับแรงบันดาลใจจากปริมาณข้อมูลข้อความที่เพิ่มขึ้น สำหรับการประยุกต์ใช้ในระบบแนะนำ กรณีทั่วไปคือบทวิจารณ์ของลูกค้า Amazon Amazon จะวิเคราะห์ความคิดเห็นจากลูกค้าแต่ละรายและรายงานข้อมูลที่เกี่ยวข้องให้กับลูกค้ารายอื่นเพื่อเป็นข้อมูลอ้างอิง ในช่วงไม่กี่ปีที่ผ่านมาได้มีการพัฒนารูปแบบการวิเคราะห์ข้อความต่างๆ มากมาย รวมถึงการวิเคราะห์ความหมายแฝง (LSA) การแยกส่วนค่าเอกพจน์ (SVD) การจัดสรร Dirichlet แฝง (LDA) เป็นต้น การใช้งานของรูปแบบเหล่านี้มุ่งเน้นไปที่การให้คำแนะนำที่แม่นยำและเหมาะสมกับลูกค้ามากขึ้นอย่างต่อเนื่อง

หนังสือ

• คิม ฟอล์ค (เสียชีวิตปี 2019), ระบบแนะนำเชิงปฏิบัติ, สำนักพิมพ์แมนนิง, ISBN 9781617292705
• ภารัต บาสเกอร์; เค. ศรีกุมาร์ (2010) ระบบผู้แนะนำ ในอีคอมเมิร์ซถ้วย. ไอเอสบีเอ็น 978-0-07-068067-8เก็บถาวรจากต้นฉบับเมื่อวันที่ 1 กันยายน 2553
• ยานนัช, ดีทมาร์; มาร์คุส แซงเกอร์; อเล็กซานเดอร์ เฟลเฟอร์นิก; แกร์ฮาร์ด ฟรีดริช (2010) ระบบผู้แนะนำ: บทนำถ้วย. ไอเอสบีเอ็น 978-0-521-49336-9เก็บถาวรจากต้นฉบับเมื่อวันที่ 31 สิงหาคม 2558
• Seaver, Nick (2022). การประมวลผลรสนิยม: อัลกอริทึมและผู้สร้างระบบแนะนำเพลง . สำนักพิมพ์มหาวิทยาลัยชิคาโก.

บทความทางวิทยาศาสตร์

• Robert M. Bell; Jim Bennett; Yehuda Koren และ Chris Volinsky (พฤษภาคม 2009). "รางวัลการเขียนโปรแกรมมูลค่าล้านดอลลาร์" . IEEE Spectrum . เก็บถาวรจากต้นฉบับเมื่อวันที่ 11 พฤษภาคม 2009 . สืบค้นเมื่อ10 ธันวาคม 2018 .
• Prem Melville, Raymond J. Mooneyและ Ramadass Nagarajan (2002) การกรองแบบร่วมมือที่เสริมด้วยเนื้อหาเพื่อการแนะนำที่ดีขึ้นรายงานการประชุมวิชาการระดับชาติครั้งที่ 18 ด้านปัญญาประดิษฐ์ (AAAI-2002) หน้า 187–192 เอดมันตัน ประเทศแคนาดา กรกฎาคม 2002