กลับไปหน้าบทความ

อ่าน 2 นาที

อัลกอริทึมการตื่น-หลับ

อั ลกอริทึม การตื่น-หลับเป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์...

อัลกอริทึมการตื่น-หลับ

ชั้นต่างๆ ของโครงข่ายประสาทเทียม R และ G คือค่าน้ำหนักที่ใช้โดยอัลกอริทึมการตื่น-หลับ เพื่อปรับเปลี่ยนข้อมูลภายในชั้นต่างๆ

อั ลกอริทึม การตื่น-หลับ[ 1 ]เป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์ [ 2 ] อัลกอริทึมนี้คล้ายกับอัลกอริทึมความคาดหวัง-การทำให้สูงสุด[ 3 ]และปรับความน่าจะเป็น ของแบบจำลองให้เหมาะสม กับข้อมูลที่สังเกตได้[ 4 ]ชื่อของอัลกอริทึมนี้มาจากการใช้สองขั้นตอนการเรียนรู้ คือ ขั้นตอน "ตื่น" และขั้นตอน "หลับ" ซึ่งดำเนินการสลับกัน[ 1 ]สามารถมองได้ว่าเป็นแบบจำลองสำหรับการเรียนรู้ในสมอง[ 5 ]แต่ก็ยังถูกนำไปประยุกต์ใช้กับการเรียนรู้ของเครื่องด้วย[ 6 ]

คำอธิบาย

เป้าหมายของอัลกอริทึมการตื่น-หลับคือการค้นหาการแสดงข้อมูลที่สังเกตได้ในรูปแบบ ลำดับชั้น [ 7 ]ในการแสดงอัลกอริทึมในรูปแบบกราฟิก ข้อมูลจะถูกนำไปใช้กับอัลกอริทึมที่ด้านล่าง ในขณะที่เลเยอร์ที่สูงขึ้นจะสร้างการแสดงที่เป็นนามธรรมมากขึ้นเรื่อยๆ ระหว่างแต่ละคู่ของเลเยอร์จะมีชุดน้ำหนักสองชุด ได้แก่ น้ำหนักการรับรู้ ซึ่งกำหนดวิธีการอนุมาน การแสดง จากข้อมูล และน้ำหนักการสร้าง ซึ่งกำหนดว่าการแสดงเหล่านี้เกี่ยวข้องกับข้อมูลอย่างไร[ 8 ]

การฝึกอบรม

การฝึกอบรมประกอบด้วยสองขั้นตอน ได้แก่ ขั้นตอน “ตื่น” และขั้นตอน “หลับ” ได้รับการพิสูจน์แล้วว่าอัลกอริธึมการเรียนรู้นี้ลู่เข้า[ 3 ]

ระยะ "ตื่น"

เซลล์ประสาทจะถูกกระตุ้นโดยการเชื่อมต่อการรับรู้ (จากสิ่งที่จะเป็นอินพุตไปยังสิ่งที่จะเป็นเอาต์พุต) จากนั้นการเชื่อมต่อการสร้าง (ที่นำจากเอาต์พุตไปยังอินพุต) จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในเลเยอร์ด้านล่าง – ใกล้เคียงกับข้อมูลจริงจากอินพุตทางประสาทสัมผัส[ 1 ]

ระยะ "นอนหลับ"

กระบวนการจะกลับกันในระยะ “หลับ” – เซลล์ประสาทจะถูกกระตุ้นด้วยการเชื่อมต่อแบบสร้าง ในขณะที่การเชื่อมต่อการรับรู้จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในชั้นด้านบนขึ้นมาใหม่ – โดยอ้างอิงจากข้อมูลจริงจากอินพุตทางประสาทสัมผัส[ 1 ]

ส่วนขยาย

เนื่องจากเครือข่ายการรับรู้มีความยืดหยุ่นจำกัด จึงอาจไม่สามารถประมาณการกระจายความน่าจะเป็นภายหลังของตัวแปรแฝงได้ดี[ 6 ]เพื่อให้สามารถประมาณการกระจายความน่าจะเป็นภายหลังได้ดีขึ้น สามารถใช้การสุ่มตัวอย่างความสำคัญโดยใช้เครือข่ายการรับรู้เป็นการกระจายแบบเสนอแนะ การประมาณการกระจายความน่าจะเป็นภายหลังที่ดีขึ้นนี้ยังช่วยปรับปรุงประสิทธิภาพโดยรวมของแบบจำลองอีกด้วย[ 6 ]

ดูเพิ่มเติม

ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Wake-sleep_algorithm&oldid=1192002807 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ อัลกอริทึมการตื่น-หลับ

อั ลกอริทึม การตื่น-หลับเป็น อัลกอริทึม การเรียนรู้แบบไม่กำกับดูแลสำหรับแบบจำลองเชิงสร้างสรรค์เชิง ลึก โดยเฉพาะอย่างยิ่งเครื่องจักรเฮล์มโฮลทซ์...

คำอธิบาย

เป้าหมายของอัลกอริทึมการตื่น-หลับคือการค้นหาการแสดงข้อมูลที่สังเกตได้ในรูปแบบ ลำดับชั้น [ 7 ] ในการแสดงอัลกอริทึมในรูปแบบกราฟิก ข้อมูลจะถูกนำไปใช้กับอัลกอริทึมที่ด้านล่าง ในขณะที่เลเยอร์ที่สูงขึ้นจะสร้างการแสดงที่เป็นนามธรรมมากขึ้นเรื่อยๆ...

การฝึกอบรม

การฝึกอบรมประกอบด้วยสองขั้นตอน ได้แก่ ขั้นตอน “ตื่น” และขั้นตอน “หลับ” ได้รับการพิสูจน์แล้วว่าอัลกอริธึมการเรียนรู้นี้ลู่เข้า [ 3 ]

ระยะ "ตื่น"

เซลล์ประสาทจะถูกกระตุ้นโดยการเชื่อมต่อการรับรู้ (จากสิ่งที่จะเป็นอินพุตไปยังสิ่งที่จะเป็นเอาต์พุต) จากนั้นการเชื่อมต่อการสร้าง (ที่นำจากเอาต์พุตไปยังอินพุต) จะถูกปรับเปลี่ยนเพื่อเพิ่มโอกาสที่พวกมันจะสร้างกิจกรรมที่ถูกต้องในเลเยอร์ด้านล่าง –...