ในโครงข่ายประสาทเทียมกลไกการควบคุมการไหล (gating mechanism)เป็นโครงสร้างทางสถาปัตยกรรมที่ใช้ควบคุมการไหลของสัญญาณกระตุ้นและสัญญาณไล่ระดับ (gradient signals ) โดยส่วนใหญ่จะใช้ในโครงข่ายประสาทเทียมแบบวนซ้ำ (RNNs) แต่ก็มีการนำไปประยุกต์ใช้ในสถาปัตยกรรมอื่นๆ ด้วยเช่นกัน

กลไกเกตติ้งเป็นหัวใจสำคัญของหน่วยความจำระยะสั้นแบบยาว (LSTM) ^{[ 1 ]}กลไกเหล่านี้ได้รับการเสนอเพื่อลดปัญหาการลดลงของเกรเดียนต์ที่มักพบใน RNN ทั่วไป

หน่วย LSTM ประกอบด้วยเกตสามตัว:

• ประตูอินพุตซึ่งควบคุมการไหลของข้อมูลใหม่เข้าสู่เซลล์หน่วยความจำ
• ประตูแห่งการลืม (Forget Gate)ซึ่งควบคุมปริมาณข้อมูลที่จะถูกเก็บรักษาไว้จากช่วงเวลาก่อนหน้า
• เกตเอาต์พุตทำหน้าที่ควบคุมปริมาณข้อมูลที่จะส่งไปยังเลเยอร์ถัดไป

สมการสำหรับ LSTM คือ: ^{[ 2 ]}

$${\displaystyle {\begin{aligned}\mathbf {I} _{t}&=\sigma (\mathbf {X} _{t}\mathbf {W} _{xi}+\mathbf {H} _{t-1}\mathbf {W} _{hi}+\mathbf {b} _{i})\\\mathbf {F} _{t}&=\sigma (\mathbf {X} _{t}\mathbf {W} _{xf}+\mathbf {H} _{t-1}\mathbf {W} _{hf}+\mathbf {b} _{f})\\\mathbf {O} _{t}&=\sigma (\mathbf {X} _{t}\mathbf {W} _{xo}+\mathbf {H} _{t-1}\mathbf {W} _{ho}+\mathbf {b} _{o})\\{\tilde {\mathbf {C} }}_{t}&=\tanh(\mathbf {X} _{t}\mathbf {W} _{xc}+\mathbf {H} _{t-1}\mathbf {W} _{hc}+\mathbf {b} _{c})\\\mathbf {C} _{t}&=\mathbf {F} _{t}\odot \mathbf {C} _{t-1}+\mathbf {I} _{t}\odot {\tilde {\mathbf {C} }}_{t}\\\mathbf {H} _{t}&=\mathbf {O} _{t}\odot \tanh(\mathbf {C} _{t})\end{aligned}}}$$

ในที่นี้หมายถึงการคูณแบบทีละองค์ประกอบ${\displaystyle \odot }$

• สถาปัตยกรรม LSTM พร้อมเกต
• 
• 
• 
• 

หน่วยวนซ้ำแบบมีเกต (GRU) ช่วยลดความซับซ้อนของ LSTM ^{[ 3 ]}เมื่อเปรียบเทียบกับ LSTM แล้ว GRU มีเพียงสองเกต ได้แก่เกตรีเซ็ตและเกตอัปเดต GRU ยังรวมสถานะเซลล์และสถานะที่ซ่อนอยู่เข้าด้วยกัน เกตรีเซ็ตโดยประมาณจะสอดคล้องกับเกตลืม และเกตอัปเดตโดยประมาณจะสอดคล้องกับเกตอินพุต เกตเอาต์พุตถูกลบออก

GRU มีหลายรูปแบบ รูปแบบหนึ่งโดยเฉพาะมีสมการดังต่อไปนี้: ^{[ 4 ]}

$${\displaystyle {\begin{aligned}\mathbf {R} _{t}&=\sigma (\mathbf {X} _{t}\mathbf {W} _{xr}+\mathbf {H} _{t-1}\mathbf {W} _{hr}+\mathbf {b} _{r})\\\mathbf {Z} _{t}&=\sigma (\mathbf {X} _{t}\mathbf {W} _{xz}+\mathbf {H} _{t-1}\mathbf {W} _{hz}+\mathbf {b} _{z})\\{\tilde {\mathbf {H} }}_{t}&=\tanh(\mathbf {X} _{t}\mathbf {W} _{xh}+(\mathbf {R} _{t}\odot \mathbf {H} _{t-1})\mathbf {W} _{hh}+\mathbf {b} _{h})\\\mathbf {H} _{t}&=\mathbf {Z} _{t}\odot \mathbf {H} _{t-1}+(1-\mathbf {Z} _{t})\odot {\tilde {\mathbf {H} }}_{t}\end{aligned}}}$$

• สถาปัตยกรรม Gated Recurrent Unit พร้อมเกต
• 
• 
• 

หน่วยเชิงเส้นแบบมีเกต (GLUs) ^{[ 5 ]}ปรับกลไกเกตเพื่อใช้ในเครือข่ายประสาทแบบฟีดฟอร์เวิร์ดซึ่งมักจะอยู่ใน สถาปัตยกรรมแบบทราน ส์ฟอร์เมอร์โดยกำหนดไว้ดังนี้:

$${\displaystyle \mathrm {GLU} (a,b)=a\odot \sigma (b)}$$

โดยที่อินพุตแรกและอินพุตที่สองคือค่าใดตามลำดับ และแทนฟังก์ชันการกระตุ้นแบบซิกมอยด์ ${\displaystyle a,b}$${\displaystyle \sigma }$

การแทนที่ด้วยฟังก์ชันการกระตุ้นอื่นๆ จะนำไปสู่รูปแบบต่างๆ ของ GLU: ${\displaystyle \sigma }$

$${\displaystyle {\begin{aligned}\mathrm {ReGLU} (a,b)&=a\odot {\text{ReLU}}(b)\\\mathrm {GEGLU} (a,b)&=a\odot {\text{GELU}}(b)\\\mathrm {SwiGLU} (a,b,\beta )&=a\odot {\text{Swish}}_{\beta }(b)\end{aligned}}}$$

โดยที่ReLU , GELUและSwishเป็นฟังก์ชันการกระตุ้นที่แตกต่างกัน

ในแบบจำลองหม้อแปลง หน่วยเกตติ้งดังกล่าวมักใช้ในโมดูลฟีดฟอร์เวิร์ดสำหรับอินพุตเวกเตอร์เดียว ผลลัพธ์ที่ได้คือ: ^{[ 6 ]}

$${\displaystyle {\begin{aligned}\operatorname {GLU} (x,W,V,b,c)&=\sigma (xW+b)\odot (xV+c)\\\operatorname {Bilinear} (x,W,V,b,c)&=(xW+b)\odot (xV+c)\\\operatorname {ReGLU} (x,W,V,b,c)&=\max(0,xW+b)\odot (xV+c)\\\operatorname {GEGLU} (x,W,V,b,c)&=\operatorname {GELU} (xW+b)\odot (xV+c)\\\operatorname {SwiGLU} (x,W,V,b,c,\beta )&=\operatorname {Swish} _{\beta }(xW+b)\odot (xV+c)\end{aligned}}}$$

กลไกการควบคุมการเข้าออกถูกนำมาใช้ในเครือข่ายทางหลวงซึ่งได้รับการออกแบบโดยการคลี่ LSTM ออกมา

การควบคุมช่องทาง^{[ 7 ]}ใช้เกตเพื่อควบคุมการไหลของข้อมูลผ่านช่องทางต่างๆ ภายในเครือข่ายประสาทเทียมแบบคอนโวลูชัน (CNN)

• โครงข่ายประสาทเทียมแบบวนซ้ำ
• หน่วยความจำระยะสั้นระยะยาว
• หน่วยวนซ้ำแบบมีประตู
• หม้อแปลง
• ฟังก์ชันการเปิดใช้งาน

• Zhang, Aston; Lipton, Zachary; Li, Mu; Smola, Alexander J. (2024). "10.1. หน่วยความจำระยะยาวและระยะสั้น (LSTM)" . เจาะลึกการเรียนรู้เชิงลึก . เคมบริดจ์ นิวยอร์ก พอร์ตเมลเบิร์น นิวเดลี สิงคโปร์: สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์ISBN 978-1-009-38943-3.