รหัสแฟกทอเรียล
ชุดข้อมูลในโลกแห่งความเป็นจริงส่วนใหญ่ประกอบด้วยเวกเตอร์ข้อมูลซึ่งส่วนประกอบแต่ละส่วนไม่ได้เป็นอิสระทางสถิติกล่าวคือ การทราบค่าขององค์ประกอบหนึ่งจะให้ข้อมูลเกี่ยวกับค่าขององค์ประกอบอื่นๆ ในเวกเตอร์ข้อมูล เมื่อเกิดกรณีเช่นนี้ อาจเป็นที่พึงปรารถนาที่จะสร้างรหัสแฟกทอเรียล ของข้อมูล กล่าวคือ การแสดงผลแบบเวกเตอร์ค่าใหม่ของแต่ละเวกเตอร์ข้อมูลเพื่อให้ได้รับการเข้ารหัสที่ไม่ซ้ำกันโดยเวกเตอร์รหัสที่ได้ (การเข้ารหัสแบบไม่สูญเสียข้อมูล) แต่ส่วนประกอบของรหัสเป็นอิสระทางสถิติ
โดยทั่วไปแล้ว การเรียนรู้แบบมีผู้กำกับดูแลในภายหลังจะได้ผลดีกว่ามาก เมื่อข้อมูลดิบถูกแปลงเป็นรหัสแฟกทอเรียลก่อน ตัวอย่างเช่น สมมติว่าเป้าหมายสุดท้ายคือการจำแนกภาพที่มีพิกเซลซ้ำซ้อนสูง ตัวจำแนกแบบเบย์สแบบง่ายจะถือว่าพิกเซลเป็นตัวแปรสุ่มที่เป็นอิสระทางสถิติ ดังนั้นจึงไม่สามารถให้ผลลัพธ์ที่ดีได้ อย่างไรก็ตาม หากข้อมูลถูกเข้ารหัสในรูปแบบแฟกทอเรียลก่อน ตัวจำแนกแบบเบย์สแบบง่ายจะทำงานได้ดีที่สุด (เปรียบเทียบกับ Schmidhuber et al. 1996)
เพื่อสร้างรหัสแฟกทอเรียลฮอเรซ บาร์โลว์และเพื่อนร่วมงานเสนอให้ลดผลรวมของ เอนโทรปี บิตของส่วนประกอบรหัสของ รหัส ไบนารี ให้เหลือน้อยที่สุด (1989) เยอร์เกน ชมิดฮูเบอร์ (1992) ได้กำหนดปัญหาใหม่ในแง่ของตัวทำนายและ ตัวตรวจจับคุณลักษณะ ไบนารี โดยแต่ละตัวรับข้อมูลดิบเป็นอินพุต สำหรับแต่ละตัวตรวจจับจะมีตัวทำนายที่มองเห็นตัวตรวจจับอื่นๆ และเรียนรู้ที่จะทำนายเอาต์พุตของตัวตรวจจับของตนเองเพื่อตอบสนองต่อเวกเตอร์หรือภาพอินพุตต่างๆ แต่แต่ละตัวตรวจจับใช้ อัลกอริธึม การเรียนรู้ของเครื่องเพื่อให้คาดเดาได้ยากที่สุดเท่าที่จะเป็นไปได้ค่าเหมาะสมที่สุดทั่วโลก ของ ฟังก์ชันวัตถุประสงค์นี้สอดคล้องกับรหัสแฟกทอเรียลที่แสดงในลักษณะกระจายไปทั่วเอาต์พุตของตัวตรวจจับคุณลักษณะ
Painsky, Rosset และ Feder (2016, 2017) ได้ศึกษาปัญหานี้เพิ่มเติมในบริบทของการวิเคราะห์ส่วนประกอบอิสระบนขนาดตัวอักษรที่จำกัด พวกเขาแสดงให้เห็นผ่านทฤษฎีบทหลายชุดว่า ปัญหาการเข้ารหัสแฟกทอเรียลสามารถแก้ไขได้อย่างแม่นยำด้วยอัลกอริทึมการค้นหาแบบ Branch and Bound หรือประมาณค่าได้อย่างแม่นยำด้วยชุดของปัญหาเชิงเส้น นอกจากนี้ พวกเขายังแนะนำการแปลงอย่างง่าย (นั่นคือ การเรียงลำดับ) ซึ่งให้การประมาณค่าแบบโลภแต่มีประสิทธิภาพมากของคำตอบที่ดีที่สุด ในทางปฏิบัติ พวกเขาแสดงให้เห็นว่าด้วยการใช้งานอย่างระมัดระวัง คุณสมบัติที่ดีของการเรียงลำดับอาจบรรลุได้ด้วยความซับซ้อนในการคำนวณที่เหมาะสมที่สุดในเชิงอะซิมโทติก ที่สำคัญ พวกเขาให้การรับประกันทางทฤษฎี โดยแสดงให้เห็นว่า แม้ว่าเวกเตอร์สุ่มทุกตัวจะไม่สามารถแยกออกเป็นส่วนประกอบอิสระได้อย่างมีประสิทธิภาพ แต่เวกเตอร์ส่วนใหญ่จะแยกออกได้ดีมาก (นั่นคือ ด้วยต้นทุนคงที่เล็กน้อย) เมื่อมิติเพิ่มขึ้น นอกจากนี้ พวกเขายังสาธิตการใช้รหัสแฟกทอเรียลในการบีบอัดข้อมูลในหลายรูปแบบ (2017)