อ่าน 2 นาที
อัลกอริทึมการตื่น-หลับ
อั ลกอริทึม การตื่น-หลับเป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์...
อัลกอริทึมการตื่น-หลับ

อั ลกอริทึม การตื่น-หลับ[ 1 ]เป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์ [ 2 ] อัลกอริทึมนี้คล้ายกับอัลกอริทึมความคาดหวัง-การทำให้สูงสุด[ 3 ]และปรับความน่าจะเป็น ของแบบจำลองให้เหมาะสม กับข้อมูลที่สังเกตได้[ 4 ]ชื่อของอัลกอริทึมนี้มาจากการใช้สองขั้นตอนการเรียนรู้ คือ ขั้นตอน "ตื่น" และขั้นตอน "หลับ" ซึ่งดำเนินการสลับกัน[ 1 ]สามารถมองได้ว่าเป็นแบบจำลองสำหรับการเรียนรู้ในสมอง[ 5 ]แต่ก็ยังถูกนำไปประยุกต์ใช้กับการเรียนรู้ของเครื่องด้วย[ 6 ]
คำอธิบาย
เป้าหมายของอัลกอริทึมการตื่น-หลับคือการค้นหาการแสดงข้อมูลที่สังเกตได้ในรูปแบบ ลำดับชั้น [ 7 ]ในการแสดงอัลกอริทึมในรูปแบบกราฟิก ข้อมูลจะถูกนำไปใช้กับอัลกอริทึมที่ด้านล่าง ในขณะที่เลเยอร์ที่สูงขึ้นจะสร้างการแสดงที่เป็นนามธรรมมากขึ้นเรื่อยๆ ระหว่างแต่ละคู่ของเลเยอร์จะมีชุดน้ำหนักสองชุด ได้แก่ น้ำหนักการรับรู้ ซึ่งกำหนดวิธีการอนุมาน การแสดง จากข้อมูล และน้ำหนักการสร้าง ซึ่งกำหนดว่าการแสดงเหล่านี้เกี่ยวข้องกับข้อมูลอย่างไร[ 8 ]
การฝึกอบรม
การฝึกอบรมประกอบด้วยสองขั้นตอน ได้แก่ ขั้นตอน “ตื่น” และขั้นตอน “หลับ” ได้รับการพิสูจน์แล้วว่าอัลกอริธึมการเรียนรู้นี้ลู่เข้า[ 3 ]
ระยะ "ตื่น"
เซลล์ประสาทจะถูกกระตุ้นโดยการเชื่อมต่อการรับรู้ (จากสิ่งที่จะเป็นอินพุตไปยังสิ่งที่จะเป็นเอาต์พุต) จากนั้นการเชื่อมต่อการสร้าง (ที่นำจากเอาต์พุตไปยังอินพุต) จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในเลเยอร์ด้านล่าง – ใกล้เคียงกับข้อมูลจริงจากอินพุตทางประสาทสัมผัส[ 1 ]
ระยะ "นอนหลับ"
กระบวนการจะกลับกันในระยะ “หลับ” – เซลล์ประสาทจะถูกกระตุ้นด้วยการเชื่อมต่อแบบสร้าง ในขณะที่การเชื่อมต่อการรับรู้จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในชั้นด้านบนขึ้นมาใหม่ – โดยอ้างอิงจากข้อมูลจริงจากอินพุตทางประสาทสัมผัส[ 1 ]
ส่วนขยาย
เนื่องจากเครือข่ายการรับรู้มีความยืดหยุ่นจำกัด จึงอาจไม่สามารถประมาณการกระจายความน่าจะเป็นภายหลังของตัวแปรแฝงได้ดี[ 6 ]เพื่อให้สามารถประมาณการกระจายความน่าจะเป็นภายหลังได้ดีขึ้น สามารถใช้การสุ่มตัวอย่างความสำคัญโดยใช้เครือข่ายการรับรู้เป็นการกระจายแบบเสนอแนะ การประมาณการกระจายความน่าจะเป็นภายหลังที่ดีขึ้นนี้ยังช่วยปรับปรุงประสิทธิภาพโดยรวมของแบบจำลองอีกด้วย[ 6 ]
ดูเพิ่มเติม
- เครื่องจักรโบลต์ซมันน์แบบจำกัด (Restricted Boltzmann machine ) เป็นโครงข่ายประสาทเทียมชนิดหนึ่งที่ได้รับการฝึกฝนด้วยอัลกอริทึมที่มีหลักการคล้ายคลึงกัน
- เครื่องจักรเฮล์มโฮลทซ์ (Helmholtz machine)คือแบบจำลองเครือข่ายประสาทเทียมที่ได้รับการฝึกฝนโดยอัลกอริทึมการตื่น-หลับ (wake-sleep algorithm)
สรุปเนื้อหา
ข้อมูลสำคัญจากบทความ
ข้อมูลสำคัญเกี่ยวกับ อัลกอริทึมการตื่น-หลับ
อั ลกอริทึม การตื่น-หลับเป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์...
คำอธิบาย
เป้าหมายของอัลกอริทึมการตื่น-หลับคือการค้นหาการแสดงข้อมูลที่สังเกตได้ในรูปแบบ ลำดับชั้น [ 7 ] ในการแสดงอัลกอริทึมในรูปแบบกราฟิก ข้อมูลจะถูกนำไปใช้กับอัลกอริทึมที่ด้านล่าง ในขณะที่เลเยอร์ที่สูงขึ้นจะสร้างการแสดงที่เป็นนามธรรมมากขึ้นเรื่อยๆ...
การฝึกอบรม
การฝึกอบรมประกอบด้วยสองขั้นตอน ได้แก่ ขั้นตอน “ตื่น” และขั้นตอน “หลับ” ได้รับการพิสูจน์แล้วว่าอัลกอริธึมการเรียนรู้นี้ลู่เข้า [ 3 ]
ระยะ "ตื่น"
เซลล์ประสาทจะถูกกระตุ้นโดยการเชื่อมต่อการรับรู้ (จากสิ่งที่จะเป็นอินพุตไปยังสิ่งที่จะเป็นเอาต์พุต) จากนั้นการเชื่อมต่อการสร้าง (ที่นำจากเอาต์พุตไปยังอินพุต) จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในเลเยอร์ด้านล่าง –...