ฟังก์ชันริจ (Ridge functions) เป็นฟังก์ชันหลายตัวแปรที่กระทำกับผลรวมเชิงเส้นของตัวแปรป้อนเข้า ตัวอย่างที่ใช้บ่อย ได้แก่:

• การเปิดใช้งาน เชิงเส้น :${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$,
• การเปิดใช้งาน ReLU :${\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}$,
• การกระตุ้น เฮวิไซด์ :${\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}$,
• การเปิดใช้งาน ด้านโลจิสติกส์ :${\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}$.

ในเครือข่ายประสาทที่ได้รับแรงบันดาลใจจากชีววิทยาฟังก์ชันการกระตุ้นมักจะเป็นนามธรรมที่แสดงถึงอัตรา การยิง ศักยภาพการกระทำในเซลล์^{[ 9 ]}ในรูปแบบที่ง่ายที่สุด ฟังก์ชันนี้เป็นแบบไบนารีนั่นคือ นิวรอนกำลังยิงหรือไม่ยิง^{[ 10 ]}

นอกจากนี้ เซลล์ประสาทไม่สามารถส่งสัญญาณได้เร็วกว่าอัตราที่กำหนดไว้ ข้อจำกัดทางชีววิทยานี้เป็นแรงผลักดันให้มีการใช้ฟังก์ชันการกระตุ้นแบบซิกมอยด์ ซึ่งช่วงของสัญญาณส่งออกถูกจำกัดอยู่ในช่วงที่จำกัด

ฟังก์ชันมีลักษณะดังนี้${\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}$, ที่ไหน${\displaystyle U}$คือฟังก์ชันขั้นบันไดของ Heaviside

ในทางกลับกัน หากเส้นกราฟมีค่าความ ชันเป็นบวก อาจสะท้อนถึงอัตราการยิงที่เพิ่มขึ้นเมื่อกระแสไฟฟ้าขาเข้าเพิ่มขึ้น ฟังก์ชันดังกล่าวจะมีรูปแบบดังนี้${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$.

ใน เครือข่าย RBFจะใช้ฟังก์ชันกระตุ้นชนิดพิเศษที่เรียกว่าฟังก์ชันฐานรัศมี (RBF) ฟังก์ชันกระตุ้นเหล่านี้มีได้หลายรูปแบบ แต่โดยทั่วไปมักพบในรูปแบบใดรูปแบบหนึ่งต่อไปนี้:

• เกาส์เซียน :${\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)}$
• มัลติควอดราติกส์:${\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}$
• มัลติควาดราติกผกผัน:${\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}}$
• สปลายโพลีฮาร์มอนิก

ที่ไหน${\displaystyle \mathbf {c} }$คือเวกเตอร์ที่แสดงถึงจุดศูนย์กลาง ของฟังก์ชัน และ${\displaystyle a}$และ${\displaystyle \sigma }$เป็นพารามิเตอร์ที่มีผลต่อการกระจายของรัศมี

ฟังก์ชันคาบสามารถใช้เป็นฟังก์ชันกระตุ้นได้ โดยปกติ จะใช้ ไซนูซอยด์เนื่องจากฟังก์ชันคาบใดๆ ก็สามารถแยกออกเป็นไซนูซอยด์ได้โดยการแปลงฟูริเยร์^{[ 11 ]}

แผนที่การกระตุ้นกำลังสอง${\displaystyle x\mapsto x^{2}}$[ ^{12 ] [ 13 ]​}

ฟังก์ชันการกระตุ้นแบบพับ (Folding activation functions) ถูกนำมาใช้กันอย่างแพร่หลายในเลเยอร์พูลลิ่ง (pooling layers)ในโครงข่ายประสาทเทียมแบบคอนโวลูชัน (Convolutional neural networks ) และในเลเยอร์เอาต์พุตของ โครงข่าย จำแนกประเภทหลายคลาส (Multiclass classification networks) ฟังก์ชันการกระตุ้นเหล่านี้จะทำการรวมข้อมูลจากอินพุต เช่น การหาค่าเฉลี่ยค่าต่ำสุดหรือค่าสูงสุดในการจำแนกประเภทหลายคลาสมักใช้ฟังก์ชันการกระตุ้นแบบซอฟต์ แม็กซ์ (Softmax activation)

ตารางต่อไปนี้เปรียบเทียบคุณสมบัติของฟังก์ชันการกระตุ้นหลายฟังก์ชัน ซึ่งเป็นฟังก์ชันของค่าx หนึ่งเท่า จากเลเยอร์ก่อนหน้าหรือหลายเลเยอร์:

ชื่อ	พล็อต	การทำงาน,${\displaystyle g(x)}$	อนุพันธ์ของ${\displaystyle g}$,${\displaystyle g'(x)}$	พิสัย	ลำดับความต่อเนื่อง
ตัวตน		${\displaystyle x}$	${\displaystyle 1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$
ขั้นตอนไบนารี		${\displaystyle {\begin{cases}0&{\text{ถ้า }}x<0\\1&{\text{ถ้า }}x\geq 0\end{cases}}}$	${\displaystyle 0}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$
โลจิสติก , ซิกมอยด์ หรือ ซอฟต์ สเต็ป		${\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}}}$	${\displaystyle g(x)(1-g(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
แทนเจนต์ไฮเปอร์โบลิก ( tanh )		${\displaystyle \tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	${\displaystyle 1-g(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
Soboleva ดัดแปลงไฮเปอร์โบลิกแทนเจนต์ (smht)		${\displaystyle \operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}$		${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
ซอฟต์ไซน์		${\displaystyle {\frac {x}{1+|x|}}}$	${\displaystyle {\frac {1}{(1+|x|)^{2}}}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{1}}$
หน่วยเชิงเส้นที่แก้ไขแล้ว (ReLU) [ 14 ]		${\displaystyle {\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{ถ้า }}x\leq 0\\x&{\text{ถ้า }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}}$	${\displaystyle {\begin{cases}0&{\text{ถ้า }}x<0\\1&{\text{ถ้า }}x>0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$
หน่วยเชิงเส้นข้อผิดพลาดเกาส์เซียน (GELU) [ 5 ]		${\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}}$ที่ไหน${\displaystyle \mathrm {erf} }$คือฟังก์ชันความคลาดเคลื่อนแบบเกาส์เซียน	${\displaystyle \Phi (x)+{\frac {1}{2}}x\phi (x)}$ที่ไหน${\displaystyle \phi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x^{2}}}$คือฟังก์ชันความหนาแน่นความน่าจะเป็นของการแจกแจงแบบเกาส์เซียนมาตรฐาน	${\displaystyle (-0.17\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
ซอฟต์พลัส[ 15 ]		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$
หน่วยเชิงเส้นเลขชี้กำลัง (ELU) [ 16 ]		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$ ด้วยพารามิเตอร์${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}}$
หน่วยเชิงเส้นเลขชี้กำลังแบบปรับขนาด (SELU) [ 17 ]		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ ด้วยพารามิเตอร์${\displaystyle \lambda =1.0507}$และ${\displaystyle \alpha =1.67326}$	${\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$
หน่วยเชิงเส้นแก้ไขที่รั่ว (Leaky ReLU) [ 18 ]		${\displaystyle {\begin{cases}0.01x&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}}$	${\displaystyle {\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x>0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
หน่วยเชิงเส้นแบบปรับแก้พาราเมตริก (PReLU) [ 19 ]		${\displaystyle {\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ ด้วยพารามิเตอร์${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
หน่วยซิกมอยด์พาราเมตริกแบบปรับแก้ (ยืดหยุ่นได้ 5 พารามิเตอร์)		${\displaystyle \alpha (2x{1}_{\{x\geqslant \lambda \}}-g_{\lambda ,\sigma ,\mu ,\beta }(x))+(1-\alpha )g_{\lambda ,\sigma ,\mu ,\beta }(x)}$ ที่ไหน ${\displaystyle g_{\lambda ,\sigma ,\mu ,\beta }(x)={\frac {(x-\lambda ){1}_{\{x\geqslant \lambda \}}}{1+e^{-\operatorname {sgn}(x-\mu )\left({\frac {\vert x-\mu \vert }{\sigma }}\right)^{\beta }}}}}$[ 20 ]	${\displaystyle -}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
หน่วยเชิงเส้นซิกมอยด์ (SiLU, [ 5 ]การหดตัวซิกมอยด์, [ 21 ] SiL, [ 22 ]หรือSwish - ‍ 1[ 23 ] )		${\displaystyle {\frac {x}{1+e^{-x}}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}$	${\displaystyle [-0.278\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Exponential Linear Sigmoid SquasHing (ELiSH) [ 24 ]		${\displaystyle {\begin{cases}{\frac {e^{x}-1}{1+e^{-x}}}&{\text{if }}x<0\\{\frac {x}{1+e^{-x}}}&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle {\begin{cases}{\frac {2e^{2x}+e^{3x}-e^{x}}{e^{2x}+2e^{x}+1}}&{\text{if }}x<0\\{\frac {xe^{x}+e^{2x}+e^{x}}{e^{2x}+2e^{x}+1}}&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle [-0.881\ldots ,\infty )}$	${\displaystyle C^{1}}$
เกาส์เซียน		${\displaystyle e^{-x^{2}}}$	${\displaystyle -2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$
ไซนูซอยด์		${\displaystyle \sin x}$	${\displaystyle \cos x}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$

ตารางต่อไปนี้แสดงรายการฟังก์ชันการกระตุ้นที่ไม่ใช่ฟังก์ชันของการพับ เพียงครั้งเดียว xจากเลเยอร์ก่อนหน้าหรือหลายเลเยอร์:

ชื่อ	สมการ${\displaystyle g_{i}\left({\vec {x}}\right)}$	อนุพันธ์​${\displaystyle {\frac {\partial g_{i}\left({\vec {x}}\right)}{\partial x_{j}}}}$	พิสัย	ลำดับความต่อเนื่อง
ซอฟต์แม็กซ์	${\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$  สำหรับi = 1, ..., J	${\displaystyle g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
แม็กซ์เอาท์[ 25 ]	${\displaystyle \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

^ตรงนี้${\displaystyle \delta _{ij}}$คือเดลต้าโครเนกเกอร์

^ตัวอย่างเช่น${\displaystyle j}$อาจเป็นการวนซ้ำผ่านจำนวนเคอร์เนลของเลเยอร์โครงข่ายประสาทเทียมก่อนหน้าในขณะที่${\displaystyle i}$วนซ้ำไปตามจำนวนเคอร์เนลของเลเยอร์ปัจจุบัน

ในเครือข่ายประสาทควอนตัมที่ตั้งโปรแกรมบนคอมพิวเตอร์ควอนตัม แบบเกตโมเดล โดยใช้เพอร์เซปตรอนควอนตัมแทนวงจรควอนตัมแบบแปรผัน ความไม่เชิงเส้นของฟังก์ชันการกระตุ้นสามารถนำไปใช้ได้โดยไม่จำเป็นต้องวัดเอาต์พุตของเพอร์เซปตรอน แต่ละตัว ในแต่ละชั้น คุณสมบัติควอนตัมที่โหลดภายในวงจร เช่นการซ้อนทับสามารถรักษาไว้ได้โดยการสร้างอนุกรมเทย์เลอร์ของอาร์กิวเมนต์ที่คำนวณโดยเพอร์เซปตรอนเอง โดยใช้วงจรควอนตัมที่เหมาะสมในการคำนวณกำลังจนถึงระดับการประมาณที่ต้องการ เนื่องจากความยืดหยุ่นของวงจรควอนตัมดังกล่าว จึงสามารถออกแบบวงจรเหล่านี้เพื่อประมาณฟังก์ชันการกระตุ้นแบบคลาสสิกใดๆ ก็ได้^{[ 26 ]}