กลับไปหน้าบทความ

อ่าน 2 นาที

ลีบรา

โครงข่ายประสาทเทียม/CS1 maint: หลายชื่อ: รายชื่อผู้แต่ง/อัลกอริธึมการเรียนรู้ของเครื่อง/ลิงก์ย้อนกลับเทมเพลต Webarchive

Leabraย่อมาจากlocal, error-driven and associative, biologically realistic algorithmซึ่งเป็นแบบจำลองการเรียนรู้ที่สมดุลระหว่าง การเรียนรู้ แบบ...

ลีบรา

Leabraย่อมาจากlocal, error-driven and associative, biologically realistic algorithmซึ่งเป็นแบบจำลองการเรียนรู้ที่สมดุลระหว่าง การเรียนรู้ แบบ Hebbianและการเรียนรู้แบบขับเคลื่อนด้วยข้อผิดพลาด พร้อมด้วยคุณลักษณะอื่นๆ ที่ได้มาจาก เครือข่ายแบบจำลองนี้ใช้ในการทำนายผลลัพธ์ทางคณิตศาสตร์โดยอาศัยข้อมูลนำเข้าและอิทธิพลของการเรียนรู้ก่อนหน้า Leabra ได้รับอิทธิพลอย่างมากและมีส่วนช่วยในการออกแบบและแบบจำลองเครือข่ายประสาทเทียม รวมถึงเครือข่ายประสาทเทียมแบบเกิดใหม่ (emergent network )

พื้นหลัง

เป็นอัลกอริธึมเริ่มต้นในemergent (รุ่นต่อจาก PDP++) เมื่อสร้างโปรเจกต์ใหม่ และมีการใช้งานอย่างแพร่หลายในการจำลองต่างๆ

การเรียนรู้แบบ Hebbianดำเนินการโดยใช้ อัลกอริธึม การวิเคราะห์ส่วนประกอบหลักแบบมีเงื่อนไข (CPCA) พร้อมปัจจัยแก้ไขสำหรับระดับกิจกรรมที่คาดหวังแบบเบาบาง

การเรียนรู้แบบขับเคลื่อนด้วยข้อผิดพลาดดำเนินการโดยใช้GeneRecซึ่งเป็นการขยายผลของอัลกอริธึมการหมุนเวียนและประมาณค่าการแพร่กระจายย้อนกลับแบบวนซ้ำของ Almeida–Pinedaใช้ GeneRec เวอร์ชันสมมาตรแบบจุดกึ่งกลาง ซึ่งเทียบเท่ากับ อัลกอริธึม การเรียนรู้แบบ Hebbian เชิงเปรียบเทียบ (CHL) ดูรายละเอียดเพิ่มเติมได้ที่ O'Reilly (1996; Neural Computation)

ฟังก์ชันการกระตุ้นเป็นการประมาณค่าเซลล์ประสาทแบบจุด โดยมีทั้งการส่งสัญญาณ แบบไม่ต่อเนื่อง และการส่งออกรหัสอัตราแบบต่อเนื่อง

การยับยั้งระดับชั้นหรือกลุ่มหน่วยสามารถคำนวณได้โดยตรงโดยใช้ ฟังก์ชัน k-winners-take-all (KWTA) ซึ่งสร้างการแสดงแทนแบบกระจายที่เบาบาง ปัจจุบันรูปแบบการยับยั้งแบบส่งต่อและป้อนกลับ (FFFB) ได้เข้ามาแทนที่รูปแบบการยับยั้ง KWTA แล้ว การยับยั้ง FFFB สามารถนำไปใช้ได้อย่างมีประสิทธิภาพโดยใช้ค่าเฉลี่ยของอินพุตกระตุ้นและระดับกิจกรรมในชั้นที่กำหนด[ 1 ]

ปริมาณอินพุตสุทธิคำนวณจากค่าเฉลี่ย ไม่ใช่ผลรวม โดยอิงจากค่าน้ำหนักที่แปลงด้วยฟังก์ชันซิกมอยด์และทำให้เป็นมาตรฐาน ซึ่งจะถูกปรับขนาดในระดับกลุ่มการเชื่อมต่อเพื่อเปลี่ยนแปลงสัดส่วนการมีส่วนร่วม มีการปรับขนาดอัตโนมัติเพื่อชดเชยความแตกต่างของระดับกิจกรรมที่คาดหวังในแต่ละการฉายภาพ

เอกสารเกี่ยวกับอัลกอริธึมนี้สามารถพบได้ในหนังสือ "Computational Explorations in Cognitive Neuroscience: Understanding the Mind by Simulating the Brain" ที่ตีพิมพ์โดยสำนักพิมพ์ MIT [ 2 ]และในเอกสาร Emergent Documentation Archived 2009-04-16 ที่Wayback Machine

ภาพรวมของอัลกอริทึม Leabra

นี่คือรหัสเทียมของ Leabra ซึ่งแสดงให้เห็นอย่างชัดเจนว่าส่วนประกอบต่างๆ ของอัลกอริธึมที่อธิบายรายละเอียดเพิ่มเติมในส่วนถัดไปนั้นประกอบเข้าด้วยกันอย่างไร

ดำเนินการวนซ้ำในขั้นตอนการปรับตัวทั้งด้านลบและด้านบวกสำหรับแต่ละเหตุการณ์ o ในช่วงเริ่มต้นของการตั้งถิ่นฐาน สำหรับทุกหน่วย: - กำหนดค่าเริ่มต้นให้กับตัวแปรสถานะทั้งหมด (activation, v_m เป็นต้น) - ใช้รูปแบบภายนอก (จำกัดค่าอินพุตเป็นลบ, อินพุตและเอาต์พุตเป็นค่าลบ) (บวก) - คำนวณค่าคงที่ที่คำนวณได้และค่าการปรับขนาดอินพุตสุทธิ (ตรงนี้เพื่อให้สามารถปรับเปลี่ยนเครือข่ายได้แบบไดนามิก) - การปรับปรุงประสิทธิภาพ: คำนวณอินพุตสุทธิเพียงครั้งเดียวจากค่าแอคติเวชันคงที่ทั้งหมด (เช่น อินพุตภายนอกที่มีการจำกัดอย่างแน่นหนา) o ในแต่ละรอบของการปรับตัว สำหรับหน่วยที่ไม่ถูกยึดทั้งหมด: - คำนวณอินพุตสุทธิกระตุ้น (g_e(t) หรือเรียกอีกอย่างว่า eta_j หรือ net) -- การเพิ่มประสิทธิภาพตามผู้ส่ง โดยไม่สนใจอีเมลที่ไม่ใช้งาน - คำนวณค่า การยับยั้ง kWTAสำหรับแต่ละชั้น โดยอิงจาก g_i^Q: * จัดเรียงหน่วยออกเป็นสองกลุ่มตามค่า g_i^Q: กลุ่ม k สูงสุด และ ที่เหลือ k+1 -> n. * ถ้าเป็นค่าพื้นฐาน ให้หาค่า k และค่าสูงสุดลำดับที่ k+1 ถ้าเป็นการคำนวณโดยใช้ค่าเฉลี่ย ให้คำนวณค่าเฉลี่ยของ 1 -> k และ k+1 -> n * กำหนดค่าการนำไฟฟ้าแบบยับยั้ง g_i จาก g^Q_k และ g^Q_k+1 - คำนวณการกระตุ้นเซลล์ประสาทแบบจุดโดยการรวมอินพุตกระตุ้นและ การยับยั้ง o หลังจากกระบวนการปรับสมดุลเสร็จสิ้นแล้ว ให้บันทึกค่าการเปิดใช้งานการปรับสมดุลขั้นสุดท้ายสำหรับทุกหน่วย ทั้งในเฟสลบหรือเฟสบวก (y^-_j หรือ y^+_j) หลังจากทั้งสองขั้นตอน ให้ทำการอัปเดตน้ำหนัก (โดยอิงจากกระแสไฟฟ้าเชิงเส้น) ค่าน้ำหนัก) สำหรับการเชื่อมต่อทั้งหมด: o คำนวณการเปลี่ยนแปลงน้ำหนักที่เกิดจากข้อผิดพลาด ด้วย CHLโดยใช้การจำกัดน้ำหนักแบบอ่อน o คำนวณการเปลี่ยนแปลงน้ำหนักแบบ Hebbian ด้วย CPCAจากการกระตุ้นเฟสบวก o คำนวณการเปลี่ยนแปลงน้ำหนักสุทธิโดยใช้ผลรวมถ่วงน้ำหนักของการเปลี่ยนแปลงที่เกิดจากข้อผิดพลาดและการเปลี่ยนแปลงตามหลักการของ Hebbian เพิ่มน้ำหนักตามการเปลี่ยนแปลงของน้ำหนักสุทธิ 

การนำไปใช้

Emergent ( เก็บถาวรเมื่อวันที่ 3 ตุลาคม 2015 ในWayback Machine)คือการใช้งาน Leabra เวอร์ชันแรกสุด เวอร์ชันล่าสุดเขียนด้วยภาษาGoโดยส่วนใหญ่เขียนโดยดร. โอ'ไรลีย์แต่เมื่อไม่นานมานี้ได้มีการว่าจ้างวิศวกรซอฟต์แวร์มืออาชีพมาปรับปรุงโค้ดที่มีอยู่ นี่คือการใช้งานที่เร็วที่สุด เหมาะสำหรับการสร้างเครือข่ายขนาดใหญ่ แม้ว่าEmergentจะมีส่วนติดต่อผู้ใช้แบบกราฟิก แต่ก็มีความซับซ้อนมากและต้องใช้เวลาเรียนรู้ค่อนข้างนาน

หากคุณต้องการทำความเข้าใจอัลกอริทึมอย่างละเอียด การอ่านโค้ดที่ยังไม่ได้ปรับแต่งจะช่วยให้เข้าใจได้ง่ายขึ้น สำหรับจุดประสงค์นี้ ลองดูเวอร์ชัน MATLABนอกจากนี้ยังมีเวอร์ชัน Rที่สามารถติดตั้งได้ง่ายผ่านinstall.packages("leabRa")ทาง R และมีคำแนะนำสั้นๆเกี่ยวกับวิธีการใช้งานแพ็กเกจ เวอร์ชัน MATLAB และ R ไม่เหมาะสำหรับการสร้างเครือข่ายขนาดใหญ่มาก แต่สามารถติดตั้งได้อย่างรวดเร็วและใช้งานง่าย (หากมีพื้นฐานการเขียนโปรแกรมบ้าง) ยิ่งไปกว่านั้น ยังสามารถปรับเปลี่ยนได้ง่ายอีกด้วย

อัลกอริทึมพิเศษ

  • ข้อมูลเกี่ยวกับ Leabra ที่ถูกเก็บถาวรเมื่อวันที่ 16 เมษายน 2552 ในWayback Machine
  • PDP++ เกี่ยวกับ Leabra
  • O'Reilly, RC (1996). แบบจำลอง Leabra ของปฏิสัมพันธ์ทางประสาทและการเรียนรู้ในนีโอคอร์เทกซ์วิทยานิพนธ์ปริญญาเอก มหาวิทยาลัยคาร์เนกีเมลลอน พิตต์สเบิร์ก รัฐเพนซิลเวเนีย
  • Leabra เวอร์ชัน R
  • ตัวอย่างการใช้งาน Leabra เวอร์ชัน R
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Leabra&oldid=1323841045 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ลีบรา

Leabraย่อมาจากlocal, error-driven and associative, biologically realistic algorithmซึ่งเป็นแบบจำลองการเรียนรู้ที่สมดุลระหว่าง การเรียนรู้ แบบ...

พื้นหลัง

เป็นอัลกอริธึมเริ่มต้นใน emergent (รุ่นต่อจาก PDP++) เมื่อสร้างโปรเจกต์ใหม่ และมีการใช้งานอย่างแพร่หลายในการจำลองต่างๆ

ภาพรวมของอัลกอริทึม Leabra

นี่คือรหัสเทียมของ Leabra ซึ่งแสดงให้เห็นอย่างชัดเจนว่าส่วนประกอบต่างๆ ของอัลกอริธึมที่อธิบายรายละเอียดเพิ่มเติมในส่วนถัดไปนั้นประกอบเข้าด้วยกันอย่างไร

การนำไปใช้

Emergent ( เก็บถาวรเมื่อวันที่ 3 ตุลาคม 2015 ใน Wayback Machine) คือการใช้งาน Leabra เวอร์ชันแรกสุด เวอร์ชันล่าสุดเขียนด้วยภาษา Go โดยส่วนใหญ่เขียนโดยดร.