ในปัญญาประดิษฐ์คอมพิวเตอร์ประสาทที่สามารถหาอนุพันธ์ได้ ( DNC ) คือ สถาปัตยกรรม เครือข่ายประสาท ที่เสริมหน่วยความจำ (MANN) ซึ่งโดยทั่วไป (แต่ไม่ใช่ตามคำจำกัดความ) เป็น ^แบบวนซ้ำในการใช้งาน โมเดลนี้ได้รับการเผยแพร่ในปี 2016 โดยAlex GravesและคณะจากDeepMind [ ^{1 ]}

DNC ได้รับแรงบันดาลใจทางอ้อมจากสถาปัตยกรรม Von-Neumannทำให้มีแนวโน้มที่จะมีประสิทธิภาพเหนือกว่าสถาปัตยกรรมแบบดั้งเดิมในงานที่ต้องใช้ขั้นตอนวิธีเป็นพื้นฐาน ซึ่งไม่สามารถเรียนรู้ได้โดยการค้นหาขอบเขตการตัดสินใจ

จนถึงปัจจุบัน DNC ได้รับการพิสูจน์แล้วว่าสามารถจัดการกับงานที่ค่อนข้างง่ายเท่านั้น ซึ่งสามารถแก้ไขได้โดยใช้การเขียนโปรแกรมแบบดั้งเดิม แต่ DNC ไม่จำเป็นต้องได้รับการเขียนโปรแกรมสำหรับแต่ละปัญหา แต่สามารถฝึกฝนได้แทน ช่วงความสนใจนี้ช่วยให้ผู้ใช้สามารถป้อนโครงสร้างข้อมูล ที่ซับซ้อน เช่นกราฟตามลำดับ และเรียกใช้เพื่อใช้งานในภายหลัง นอกจากนี้ พวกมันยังสามารถเรียนรู้แง่มุมของการให้เหตุผลเชิงสัญลักษณ์และนำไปใช้กับหน่วยความจำในการทำงาน นักวิจัยที่เผยแพร่วิธีการนี้มองเห็นศักยภาพว่า DNC สามารถฝึกฝนให้ทำงานที่ซับซ้อนและมีโครงสร้างได้^{[ 1 ] [ 2 ]}และจัดการกับแอปพลิเคชันข้อมูลขนาดใหญ่ที่ต้องการการให้เหตุผลบางอย่าง เช่น การสร้างคำบรรยายวิดีโอหรือการวิเคราะห์ข้อความเชิงความหมาย^{[ 3 ] [ 4 ]}

DNC สามารถฝึกฝนให้นำทาง ระบบ ขนส่งด่วนและนำเครือข่ายนั้นไปใช้กับระบบอื่นได้ โดยทั่วไปแล้ว เครือข่ายประสาทเทียมที่ไม่มีหน่วยความจำจะต้องเรียนรู้เกี่ยวกับระบบขนส่งแต่ละระบบตั้งแต่เริ่มต้น ในงานการสำรวจกราฟและการประมวลผลลำดับด้วยการเรียนรู้แบบมีผู้กำกับดูแล DNC ทำงานได้ดีกว่าทางเลือกอื่น เช่น หน่วยความ จำระยะสั้นแบบยาวหรือเครื่องจักรทัวริงประสาท^{[ 5 ]}ด้วย วิธี การเรียนรู้แบบเสริมแรงสำหรับปัญหาปริศนาบล็อกที่ได้รับแรงบันดาลใจจากSHRDLU DNC ได้รับการฝึกฝนผ่านการเรียนรู้หลักสูตร และเรียนรู้ที่จะสร้างแผนมันทำงานได้ดีกว่าเครือข่ายประสาทเทียมแบบวนซ้ำแบบ ดั้งเดิม ^{[ 5 ]}

เครือข่าย DNC ถูกนำมาใช้เป็นส่วนขยายของNeural Turing Machine (NTM) โดยมีการเพิ่มกลไกความสนใจของหน่วยความจำที่ควบคุมตำแหน่งที่จัดเก็บหน่วยความจำ และความสนใจเชิงเวลาที่บันทึกลำดับของเหตุการณ์ โครงสร้างนี้ทำให้ DNC มีความแข็งแกร่งและเป็นนามธรรมมากกว่า NTM และยังคงสามารถทำงานที่มีการพึ่งพาในระยะยาวได้ดีกว่ารุ่นก่อนหน้าบางรุ่น เช่น Long Short Term Memory ( LSTM ) หน่วยความจำซึ่งเป็นเพียงเมทริกซ์ สามารถจัดสรรแบบไดนามิกและเข้าถึงได้ไม่จำกัด DNC สามารถหาอนุพันธ์ได้ตั้งแต่ต้นจนจบ (แต่ละส่วนย่อยของแบบจำลองสามารถหาอนุพันธ์ได้ ดังนั้นแบบจำลองทั้งหมดจึงสามารถหาอนุพันธ์ได้เช่นกัน) ทำให้สามารถปรับให้เหมาะสมได้อย่างมีประสิทธิภาพโดยใช้การไล่ระดับลง^{[ 3 ] [ 6 ] [ 7 ]}

โมเดล DNC คล้ายกับสถาปัตยกรรม Von Neumannและเนื่องจากหน่วยความจำสามารถปรับขนาดได้ จึงถือว่า สมบูรณ์ แบบTuring ^{[ 8 ]}

DNC ตามที่เผยแพร่ครั้งแรก^{[ 1 ]}

ตัวแปรอิสระ
${\displaystyle \mathbf {x} _{t}}$	เวกเตอร์อินพุต
${\displaystyle \mathbf {z} _{t}}$	เวกเตอร์เป้าหมาย
ตัวควบคุม
${\displaystyle {\boldsymbol {\chi }}_{t}=[\mathbf {x} _{t};\mathbf {r} _{t-1}^{1};\cdots ;\mathbf {r} _{t-1}^{R}]}$	เมทริกซ์อินพุตของตัวควบคุม
LSTM แบบลึก (หลายชั้น)	${\displaystyle \forall \;0\leq l\leq L}$
${\displaystyle \mathbf {i} _{t}^{l}=\sigma (W_{i}^{l}[{\boldสัญลักษณ์ {\chi }__{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{i}^{l})}$	เวกเตอร์เกตอินพุต
${\displaystyle \mathbf {o} _{t}^{l}=\sigma (W_{o}^{l}[{\boldสัญลักษณ์ {\chi }__{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{o}^{l})}$	เวกเตอร์เกตเอาต์พุต
${\displaystyle \mathbf {f} _{t}^{l}=\sigma (W_{f}^{l}[{\boldsymbol {\chi }}_{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{f}^{l})}$	ลืมเวกเตอร์เกต
${\displaystyle \mathbf {s} _{t}^{l}=\mathbf {f} _{t}^{l}\mathbf {s} _{t-1}^{l}+\mathbf {i} _{t}^{l}\tanh(W_{s}^{l}[{\boldsymbol {\chi }}_{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{s}^{l})}$	เวกเตอร์เกตสถานะ${\displaystyle s_{0}=0}$
${\displaystyle \mathbf {h} _{t}^{l}=\mathbf {o} _{t}^{l}\tanh(\mathbf {s} _{t}^{l})}$	เวกเตอร์ประตูที่ซ่อนอยู่${\displaystyle h_{0}=0;h_{t}^{0}=0\;\forall \;t}$
${\displaystyle \mathbf {y} _{t}=W_{y}[\mathbf {h} _{t}^{1};\cdots ;\mathbf {h} _{t}^{L}]+W_{r}[\mathbf {r} _{t}^{1};\cdots ;\mathbf {r} _{t}^{R}]}$	เวกเตอร์เอาต์พุต DNC
หัวอ่านและเขียน
${\displaystyle \xi _{t}=W_{\xi }[h_{t}^{1};\cdots ;h_{t}^{L}]}$	พารามิเตอร์อินเทอร์เฟซ
${\displaystyle =[\mathbf {k} _{t}^{r,1};\cdots ;\mathbf {k} _{t}^{r,R};{\hat {\beta }}_{t}^{r,1};\cdots ;{\hat {\beta }}_{t}^{r,R};\mathbf {k} _{t}^{w};{\hat {\beta _{t}^{w}}};\mathbf {\hat {e}} _{t};\mathbf {v} _{t};{\hat {f_{t}^{1}}};\cdots ;{\hat {f_{t}^{R}}};{\hat {g}}_{t}^{a};{\hat {g}}_{t}^{w};{\hat {\boldsymbol {\pi }}}_{t}^{1};\cdots ;{\hat {\boldsymbol {\pi }}}_{t}^{R}]}$
อ่านหัว	${\displaystyle \forall \;1\leq i\leq R}$
${\displaystyle \mathbf {k} _{t}^{r,i}}$	อ่านกุญแจ
${\displaystyle \beta _{t}^{r,i}={\text{oneplus}}({\hat {\beta }}_{t}^{r,i})}$	อ่านจุดแข็ง
${\displaystyle f_{t}^{i}=\sigma ({\hat {f}}_{t}^{i})}$	ประตูฟรี
${\displaystyle {\boldsymbol {\pi }}_{t}^{i}={\text{softmax}}({\hat {\boldsymbol {\pi }}}_{t}^{i})}$	โหมดการอ่าน${\displaystyle {\boldsymbol {\pi }}_{t}^{i}\in \mathbb {R} ^{3}}$
เขียนหัว
${\displaystyle \mathbf {k} _{t}^{w}}$	เขียนกุญแจ
${\displaystyle \beta _{t}^{w}={\hat {\beta }__{t}^{w}}$	เขียนความแข็งแกร่ง
${\displaystyle \mathbf {e} _{t}=\sigma (\mathbf {\hat {e}} _{t})}$	ลบเวกเตอร์
${\displaystyle \mathbf {v} _{t}}$	เขียนเวกเตอร์
${\displaystyle g_{t}^{a}=\sigma ({\hat {g}}_{t}^{a})}$	ประตูการจัดสรร
${\displaystyle g_{t}^{w}=\sigma ({\hat {g}}_{t}^{w})}$	เขียนประตู
หน่วยความจำ
${\displaystyle M_{t}=M_{t-1}\circ (E-\mathbf {w} _{t}^{w}\mathbf {e} _{t}^{\intercal })+\mathbf {w} _{t}^{w}\mathbf {v} _{t}^{\intercal }}$	เมทริกซ์หน่วยความจำเมทริกซ์แห่งหนึ่ง${\displaystyle E\in \mathbb {R} ^{N\times W}}$
${\displaystyle \mathbf {u} _{t}=(\mathbf {u} _{t-1}+\mathbf {w} _{t-1}^{w}-\mathbf {u} _{t-1}\circ \mathbf {w} _{t-1}^{w})\circ {\boldsymbol {\psi }}_{t}}$	เวกเตอร์การใช้งาน
${\displaystyle \mathbf {p} _{t}=\left(1-\sum _{i}\mathbf {w} _{t}^{w}[i]\right)\mathbf {p} _{t-1}+\mathbf {w} _{t}^{w}}$	การถ่วงน้ำหนักลำดับความสำคัญ${\displaystyle \mathbf {p} _{0}=\mathbf {0} }$
${\displaystyle L_{t}=(\mathbf {1} -\mathbf {I} )\left[(1-\mathbf {w} _{t}^{w}[i]-\mathbf {w} _{t}^{w}[j])L_{t-1}[i,j]+\mathbf {w} _{t}^{w}[i]\mathbf {p} _{t-1}^{j}\right]}$	เมทริกซ์การเชื่อมโยงเชิงเวลา${\displaystyle L_{0}=\mathbf {0} }$
${\displaystyle \mathbf {w} _{t}^{w}=g_{t}^{w}[g_{t}^{a}\mathbf {a} _{t}+(1-g_{t}^{a})\mathbf {c} _{t}^{w}]}$	เขียนน้ำหนัก
${\displaystyle \mathbf {w} _{t}^{r,i}={\boldsymbol {\pi }}_{t}^{i}[1]\mathbf {b} _{t}^{i}+{\boldsymbol {\pi }}_{t}^{i}[2]c_{t}^{r,i}+{\boldsymbol {\pi }}_{t}^{i}[3]f_{t}^{i}}$	อ่านน้ำหนัก
${\displaystyle \mathbf {r} _{t}^{i}=M_{t}^{\intercal }\mathbf {w} _{t}^{r,i}}$	อ่านเวกเตอร์
${\displaystyle {\mathcal {C}}(M,\mathbf {k} ,\beta )[i]={\frac {\exp\{{\mathcal {D}}(\mathbf {k} ,M[i,\cdot ])\beta \}}{\sum _{j}\exp\{{\mathcal {D}}(\mathbf {k} ,M[j,\cdot ])\beta \}}}}$	การระบุที่อยู่ตามเนื้อหา , คีย์ค้นหา, ความแข็งแกร่งของคีย์${\displaystyle \mathbf {k} }$${\displaystyle \beta }$
${\displaystyle \phi _{t}}$	ดัชนีต่างๆเรียงลำดับตามการใช้งานจากน้อยไปมาก ${\displaystyle \mathbf {u} _{t}}$
${\displaystyle \mathbf {a} _{t}[\phi _{t}[j]]=(1-\mathbf {u} _{t}[\phi _{t}[j]])\prod _{i=1}^{j-1}\mathbf {u} _{t}[\phi _{t}[i]]}$	การถ่วงน้ำหนักการจัดสรร
${\displaystyle \mathbf {c} _{t}^{w}={\mathcal {C}}(M_{t-1},\mathbf {k} _{t}^{w},\beta _{t}^{w})}$	เขียนน้ำหนักเนื้อหา
${\displaystyle \mathbf {c} _{t}^{r,i}={\mathcal {C}}(M_{t-1},\mathbf {k} _{t}^{r,i},\beta _{t}^{r,i})}$	อ่านการถ่วงน้ำหนักเนื้อหา
${\displaystyle \mathbf {f} _{t}^{i}=L_{t}\mathbf {w} _{t-1}^{r,i}}$	การถ่วงน้ำหนักไปข้างหน้า
${\displaystyle \mathbf {b} _{t}^{i}=L_{t}^{\intercal }\mathbf {w} _{t-1}^{r,i}}$	การถ่วงน้ำหนักแบบย้อนกลับ
${\displaystyle {\boldsymbol {\psi }}_{t}=\prod _{i=1}^{R}\left(\mathbf {1} -f_{t}^{i}\mathbf {w} _{t-1}^{r,i}\right)}$	เวกเตอร์การเก็บรักษาความทรงจำ
คำจำกัดความ
${\displaystyle \mathbf {W} ,\mathbf {b} }$	เมทริกซ์น้ำหนักเวกเตอร์ไบแอส
${\displaystyle \mathbf {0} ,\mathbf {1} ,\mathbf {I} }$	เมทริกซ์ศูนย์, เมทริกซ์หนึ่ง, เมทริกซ์เอกลักษณ์
${\displaystyle \circ }$	การคูณแบบทีละองค์ประกอบ
${\displaystyle {\mathcal {D}}(\mathbf {u} ,\mathbf {v} )={\frac {\mathbf {u} \cdot \mathbf {v} }{\|\mathbf {u} \|\|\mathbf {v} \|}}}$	ความคล้ายคลึงโคไซน์
${\displaystyle \sigma (x)=1/(1+e^{-x})}$	ฟังก์ชันซิกมอยด์
${\displaystyle {\text{oneplus}}(x)=1+\log(1+e^{x})}$	ฟังก์ชัน OnePlus
${\displaystyle {\text{softmax}}(\mathbf {x} )_{j}={\frac {e^{x_{j}}}{\sum _{k=1}^{K}e^{x_{k}}}}}$    สำหรับj = 1, ... , K	ฟังก์ชัน Softmax

การปรับปรุงประกอบด้วยการกำหนดแอดเดรสหน่วยความจำแบบเบาบาง ซึ่งช่วยลดความซับซ้อนของเวลาและพื้นที่ลงหลายพันเท่า สามารถทำได้โดยใช้อัลกอริธึมเพื่อนบ้านที่ใกล้ที่สุดโดยประมาณ เช่นLocality-sensitive hashingหรือต้นไม้ kd แบบสุ่ม เช่น Fast Library for Approximate Nearest Neighbors จากUBC ^{[ 9 ]}การเพิ่ม Adaptive Computation Time (ACT) จะแยกเวลาการคำนวณออกจากเวลาข้อมูล ซึ่งใช้ข้อเท็จจริงที่ว่าความยาวของปัญหาและความยากของปัญหาไม่เหมือนกันเสมอไป^{[ 10 ]}การฝึกอบรมโดยใช้เกรเดียนต์สังเคราะห์มีประสิทธิภาพดีกว่าBackpropagation through time (BPTT) อย่างมาก ^{[ 11 ]}ความทนทานสามารถปรับปรุงได้ด้วยการใช้ layer normalization และ Bypass Dropout เป็น regularization ^{[ 12 ]}

• การเขียนโปรแกรมเชิงอนุพันธ์

• คู่มือทีละบิตสำหรับสมการที่ควบคุมคอมพิวเตอร์ประสาทเทียมที่สามารถหาอนุพันธ์ได้
• โครงข่ายประสาทเทียมแบบหาอนุพันธ์ของ DeepMind คิดอย่างลึกซึ้ง