เครือข่ายประสาทแบบเรียกซ้ำ เป็น เครือข่ายประสาทเชิงลึกชนิดหนึ่งที่สร้างขึ้นโดยการใช้ชุดน้ำหนักเดียวกันซ้ำๆกับอินพุตที่มีโครงสร้าง เพื่อสร้างการทำนายที่มีโครงสร้างเหนือโครงสร้างอินพุตที่มีขนาดแปรผัน หรือการทำนายแบบสเกลาร์บนโครงสร้างนั้น โดยการสำรวจโครงสร้างที่กำหนดในลำดับโทโพโลยีเครือข่ายเหล่านี้ได้รับการแนะนำครั้งแรกเพื่อเรียนรู้การแสดงโครงสร้างแบบกระจาย (เช่นเงื่อนไขเชิงตรรกะ ) ^{[ 1 ]}แต่ประสบความสำเร็จในการใช้งานหลายอย่าง ตัวอย่างเช่น ในการเรียนรู้โครงสร้างลำดับและต้นไม้ในการประมวลผลภาษาธรรมชาติ (ส่วนใหญ่เป็นการแสดงวลีและประโยคแบบต่อเนื่องโดยอิงจากเวิร์ดเอ็มเบดดิ้ง )

ในสถาปัตยกรรมที่ง่ายที่สุด โหนดต่างๆ จะถูกรวมเข้าเป็นโหนดแม่โดยใช้เมทริกซ์น้ำหนัก (ซึ่งใช้ร่วมกันทั่วทั้งเครือข่าย) และฟังก์ชันไม่เชิงเส้นเช่นฟังก์ชันไฮเปอร์โบลิกถ้าและเป็นเวกเตอร์มิติที่แทนโหนดต่างๆ โหนดแม่ของพวกมันก็จะเป็นเวกเตอร์มิติเช่นกัน ซึ่งกำหนดได้ดังนี้: ${\displaystyle \tanh }$${\displaystyle c_{1}}$${\displaystyle c_{2}}$${\displaystyle n}$${\displaystyle n}$

${\displaystyle p_{1,2}=\tanh(W[c_{1};c_{2}])}$

เมทริกซ์น้ำหนัก ที่เรียนรู้มาอยู่ที่ไหน${\displaystyle W}$${\displaystyle n\times 2n}$

สถาปัตยกรรมนี้ พร้อมด้วยการปรับปรุงเล็กน้อย ได้ถูกนำมาใช้เพื่อวิเคราะห์ฉากธรรมชาติ การวิเคราะห์ไวยากรณ์ของประโยคภาษาธรรมชาติ^{[ 2 ]}และการเข้ารหัสอัตโนมัติแบบเรียกซ้ำและการสร้างแบบจำลองเชิงกำเนิดของโครงสร้างรูปทรง 3 มิติในรูปแบบของนามธรรมทรงลูกบาศก์^{[ 3 ]}

RecCC เป็นแนวทางการสร้างเครือข่ายประสาทเทียมเพื่อจัดการกับโดเมนต้นไม้^{[ 4 ]} โดยมีการประยุกต์ใช้ในด้านเคมีเป็นครั้งแรก^{[ 5 ]}และขยายไปสู่กราฟแบบไม่มีวงจรทิศทาง^{[ 6 ]}

กรอบการทำงานสำหรับ RNN แบบไม่กำกับดูแลได้รับการแนะนำในปี พ.ศ. 2547 ^{[ 7 ] [ 8 ]}

เครือข่าย เทนเซอร์ประสาทแบบเรียกซ้ำใช้ฟังก์ชันการประกอบตามเทนเซอร์เดียวสำหรับโหนดทั้งหมดในต้นไม้^{[ 9 ]}

โดยทั่วไปแล้ว จะใช้ การลดความชันแบบสุ่ม (Stochastic Gradient Descentหรือ SGD) ในการฝึกเครือข่าย โดยคำนวณความชันโดยใช้การแพร่กระจายย้อนกลับผ่านโครงสร้าง (Backpropagation Through Structure หรือ BPTS) ซึ่งเป็นรูปแบบหนึ่งของการแพร่กระจายย้อนกลับผ่านเวลาที่ใช้สำหรับเครือข่ายประสาทแบบวนซ้ำ

ความ สามารถ ในการประมาณค่าสากลของ RNN บนต้นไม้ได้รับการพิสูจน์แล้วในเอกสาร^{[ 10 ] [ 11 ]}

โครงข่ายประสาทเทียมแบบวนซ้ำ (Recurrent neural networks ) เป็นโครงข่ายประสาทเทียม แบบเรียกซ้ำ ที่มีโครงสร้างเฉพาะ คือ โครงสร้างของห่วงโซ่เชิงเส้น ในขณะที่โครงข่ายประสาทเทียมแบบเรียกซ้ำทั่วไปทำงานกับโครงสร้างลำดับชั้นใดๆ โดยการรวมตัวแทนของลูกเข้ากับตัวแทนของแม่ โครงข่ายประสาทเทียมแบบวนซ้ำทำงานกับการดำเนินไปของเวลาในเชิงเส้น โดยการรวมขั้นตอนเวลาที่ผ่านมาและตัวแทนที่ซ่อนอยู่เข้ากับตัวแทนสำหรับขั้นตอนเวลาปัจจุบัน

แนวทางที่มีประสิทธิภาพในการใช้งานเครือข่ายประสาทแบบเรียกซ้ำนั้นกำหนดโดยเครือข่ายสถานะสะท้อนต้นไม้^{[ 12 ]}ภายในกระบวนทัศน์ การคำนวณอ่างเก็บน้ำ

ส่วนขยายของกราฟได้แก่เครือข่ายประสาทกราฟ (GNN) ^{[ 13 ]}เครือข่ายประสาทสำหรับกราฟ (NN4G) ^{[ 14 ]}และล่าสุดคือเครือข่ายประสาทแบบคอนโวลูชันสำหรับกราฟ