เครือข่ายประสาทเทียม (ANN) มีสองประเภท ได้แก่ เครือข่ายประสาทแบบส่งต่อ (FNN) หรือเพอร์เซปตรอนหลายชั้น (MLP) และเครือข่ายประสาทแบบวนซ้ำ (RNN) RNN มีวงจรในโครงสร้างการเชื่อมต่อ ในขณะที่ FNN ไม่มี ในช่วงทศวรรษที่ 1920 Wilhelm LenzและErnst Isingได้สร้างแบบจำลอง Ising ^{[ 28 ] [ 29 ]}ซึ่งโดยพื้นฐานแล้วเป็นสถาปัตยกรรม RNN ที่ไม่เรียนรู้ซึ่งประกอบด้วยองค์ประกอบเกณฑ์คล้ายเซลล์ประสาท ในปี 1972 Shun'ichi Amariได้ทำให้สถาปัตยกรรมนี้ปรับตัวได้^{[ 30 ] [ 31 ]} RNN การเรียนรู้ของเขาได้รับการตีพิมพ์ซ้ำโดยJohn Hopfieldในปี 1982 ^{[ 32 ]}เครือข่ายประสาทแบบวนซ้ำยุคแรกอื่นๆได้รับการตีพิมพ์โดย Kaoru Nakano ในปี 1971 ^{[ 33 ] [ 34 ]}ในปี 1948 Alan Turingได้สร้างผลงานเกี่ยวกับ "เครื่องจักรที่ชาญฉลาด" ซึ่งไม่ได้รับการตีพิมพ์ในช่วงชีวิตของเขา^{[ 35 ]}ซึ่งประกอบด้วย "แนวคิดที่เกี่ยวข้องกับวิวัฒนาการเทียมและ RNN การเรียนรู้" ^{[ 31 ]}

แฟรงค์ โรเซนแบลตต์ (1958) ^{[ 36 ]}เสนอเพอร์เซปตรอน ซึ่งเป็น MLP ที่มี 3 ชั้น ได้แก่ ชั้นอินพุต ชั้นซ่อนที่มีน้ำหนักแบบสุ่มที่ไม่เรียนรู้ และชั้นเอาต์พุต ต่อมาเขาได้ตีพิมพ์หนังสือในปี 1962 ซึ่งแนะนำตัวแปรและการทดลองทางคอมพิวเตอร์ รวมถึงเวอร์ชันที่มีเพอร์เซปตรอนสี่ชั้น "ด้วยเครือข่ายพรีเทอร์มินัลแบบปรับตัวได้" โดยที่สองชั้นสุดท้ายมีน้ำหนักที่เรียนรู้ได้ (ในที่นี้เขาให้เครดิตแก่ HD Block และ BW Knight) ^{[ 37 ] :ส่วนที่ 16}หนังสือเล่มนี้อ้างถึงเครือข่ายก่อนหน้าโดย RD Joseph (1960) ^{[ 38 ]} "เทียบเท่ากับการทำงานของ" ระบบสี่ชั้นนี้ (หนังสือเล่มนี้กล่าวถึง Joseph มากกว่า 30 ครั้ง) ดังนั้น Joseph ควรได้รับการพิจารณาว่าเป็นผู้ริเริ่มเพอร์เซปตรอนหลายชั้น แบบปรับตัวได้ที่เหมาะสม พร้อมหน่วยซ่อนที่เรียนรู้ได้หรือไม่? น่าเสียดายที่อัลกอริทึมการเรียนรู้ไม่สามารถใช้งานได้จริง และถูกลืมเลือนไป

อัลกอริทึมการเรียนรู้เชิงลึกที่ใช้งานได้จริงตัวแรกคือวิธีการจัดการข้อมูลแบบกลุ่มซึ่งเป็นวิธีฝึกเครือข่ายประสาทเทียมที่มีความลึกมากตามอำเภอใจ เผยแพร่โดยAlexey Ivakhnenkoและ Lapa ในปี 1965 พวกเขามองว่าเป็นรูปแบบหนึ่งของการถดถอยพหุนาม^{[ 39 ]}หรือเป็นการวางนัยทั่วไปของเพอร์เซปตรอนของ Rosenblatt เพื่อจัดการกับความสัมพันธ์ที่ซับซ้อน ไม่เป็นเชิงเส้น และเป็นลำดับชั้นมากขึ้น^{[ 40 ]}บทความในปี 1971 อธิบายเครือข่ายเชิงลึกที่มีแปดชั้นที่ฝึกฝนโดยวิธีนี้^{[ 41 ]}ซึ่งอิงจากการฝึกทีละชั้นผ่านการวิเคราะห์การถดถอย หน่วยซ่อนที่เกินความจำเป็นจะถูกตัดออกโดยใช้ชุดตรวจสอบความถูกต้องแยกต่างหาก เนื่องจากฟังก์ชันการกระตุ้นของโหนดเป็นพหุนาม Kolmogorov-Gabor เครือข่ายเหล่านี้จึงเป็นเครือข่ายเชิงลึกแรกที่มีหน่วยคูณหรือ "เกต" ^{[ 31 ]}

โครงข่ายประสาทเทียมแบบหลายชั้นสำหรับการเรียนรู้เชิงลึกตัวแรกที่ฝึกฝนโดยการไล่ระดับแบบสุ่ม^{[ 42 ]}ได้รับการตีพิมพ์ในปี พ.ศ. 2510 โดยShun'ichi Amari [ ^{43 ] ใน}การทดลองทางคอมพิวเตอร์ที่ดำเนินการโดย Saito นักศึกษาของ Amari โครงข่ายประสาทเทียมแบบหลายชั้นห้าชั้นที่มีสองชั้นที่ปรับเปลี่ยนได้ได้เรียนรู้ การแสดงแทนภายในเพื่อจำแนกคลาสรูปแบบที่ไม่สามารถแยกได้เชิงเส้น^{[ 31 ]}การพัฒนาต่อมาในด้านฮาร์ดแวร์และการปรับแต่งไฮเปอร์พารามิเตอร์ทำให้การไล่ระดับแบบสุ่มแบบ end-to-end กลายเป็นเทคนิคการฝึกอบรมที่โดดเด่นในปัจจุบัน

ในปี พ.ศ. 2512 คุนิฮิโกะ ฟุกุชิมะได้แนะนำฟังก์ชันการกระตุ้นReLU (หน่วยเชิงเส้นแบบปรับแก้) ^{[ 25 ] [ 31 ]} ตัวปรับแก้ได้กลายเป็นฟังก์ชันการกระตุ้นที่ได้รับความนิยมมากที่สุดสำหรับ การเรียนรู้เชิงลึก^{[ 44 ]}

สถาปัตยกรรมการเรียนรู้เชิงลึกสำหรับเครือข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) ที่มีเลเยอร์คอนโวลูชันและเลเยอร์ดาวน์แซมปลิงเริ่มต้นด้วยNeocognitronที่นำเสนอโดยKunihiko Fukushimaในปี 1979 แม้ว่าจะไม่ได้ฝึกฝนด้วยการแพร่กระจายย้อนกลับก็ตาม^{[ 45 ] [ 46 ]}

การแพร่กระจายย้อนกลับ (Backpropagation)เป็นการประยุกต์ใช้กฎลูกโซ่ ที่มีประสิทธิภาพ ซึ่งคิดค้นโดยGottfried Wilhelm Leibnizในปี 1673 ^{[ 47 ]}กับเครือข่ายของโหนดที่สามารถหาอนุพันธ์ได้ คำว่า "ข้อผิดพลาดที่แพร่กระจายย้อนกลับ" (back-propagating errors) นั้นถูกนำมาใช้ครั้งแรกในปี 1962 โดย Rosenblatt ^{[ 37 ]}แต่เขาไม่รู้วิธีนำไปใช้ แม้ว่าHenry J. Kelleyจะมีแนวคิดเบื้องต้นเกี่ยวกับการแพร่กระจายย้อนกลับอย่างต่อเนื่องในปี 1960 ในบริบทของทฤษฎีการควบคุม [ ^{48 ] รูป}แบบที่ทันสมัยของการแพร่กระจายย้อนกลับได้รับการตีพิมพ์ครั้งแรกในวิทยานิพนธ์ปริญญาโทของSeppo Linnainmaa (1970) ^{[ 49 ] [ 50 ] [ 31 ]} GM Ostrovski et al. ตีพิมพ์ซ้ำในปี 1971 ^{[ 51 ] [ 52 ]} Paul Werbosประยุกต์ใช้การแพร่กระจายย้อนกลับกับเครือข่ายประสาทเทียมในปี 1982 ^{[ 53 ]} (วิทยานิพนธ์ปริญญาเอกของเขาในปี 1974 ซึ่งตีพิมพ์ซ้ำในหนังสือปี 1994 ^{[ 54 ]}ยังไม่ได้อธิบายอัลกอริทึม^{[ 52 ]} ) ในปี 1986 David E. Rumelhartและคณะได้เผยแพร่การแพร่กระจายย้อนกลับ แต่ไม่ได้อ้างอิงถึงงานต้นฉบับ^{[ 55 ] [ 56 ]}

เครือข่ายประสาทแบบหน่วงเวลา (TDNN) ได้รับการแนะนำในปี 1987 โดยAlex Waibelเพื่อประยุกต์ใช้ CNN กับการจดจำเสียงพยัญชนะ โดยใช้การแปลงแบบคอนโวลูชัน การแบ่งปันน้ำหนัก และการแพร่กระจายย้อนกลับ^{[ 57 ] [ 58 ]}ในปี 1988 Wei Zhang ได้ประยุกต์ใช้ CNN ที่ฝึกฝนด้วยการแพร่กระจายย้อนกลับกับการจดจำตัวอักษร^{[ 59 ]} ในปี 1989 Yann LeCunและคณะได้สร้าง CNN ที่เรียกว่าLeNetสำหรับการจดจำรหัสไปรษณีย์ที่เขียนด้วยลายมือบนจดหมาย การฝึกอบรมต้องใช้เวลา 3 วัน^{[ 60 ]}ในปี 1990 Wei Zhang ได้นำ CNN ไปใช้กับฮาร์ดแวร์การคำนวณแบบออปติคอล^{[ 61 ]}ในปี 1991 CNN ถูกนำไปใช้กับการแบ่งส่วนวัตถุในภาพทางการแพทย์^{[ 62 ]}และการตรวจหามะเร็งเต้านมในภาพแมมโมแกรม^{[ 63 ]} LeNet-5 (1998) ซึ่งเป็น CNN 7 ระดับโดย Yann LeCun และคณะ ที่จำแนกตัวเลข ได้ถูกนำไปใช้โดยธนาคารหลายแห่งเพื่อจดจำตัวเลขที่เขียนด้วยลายมือบนเช็คที่แปลงเป็นภาพดิจิทัลขนาด 32x32 พิกเซล^{[ 64 ]}

เครือข่ายประสาทแบบวนซ้ำ (RNN) ^{[ 28 ] [ 30 ]}ได้รับการพัฒนาเพิ่มเติมในช่วงทศวรรษ 1980 การวนซ้ำใช้สำหรับการประมวลผลลำดับ และเมื่อเครือข่ายแบบวนซ้ำคลี่ออก มันจะคล้ายกับเลเยอร์ฟีดฟอร์เวิร์ดแบบลึกในทางคณิตศาสตร์ ดังนั้นจึงมีคุณสมบัติและปัญหาที่คล้ายคลึงกัน และการพัฒนาของทั้งสองเครือข่ายมีอิทธิพลซึ่งกันและกัน ใน RNN งานที่มีอิทธิพลในช่วงแรกสองชิ้นคือเครือข่าย Jordan (1986) ^{[ 65 ]}และเครือข่าย Elman (1990) ^{[ 66 ]}ซึ่งนำ RNN มาใช้ในการศึกษาปัญหาในจิตวิทยาการรู้คิด

ในช่วงทศวรรษ 1980 การย้อนกลับการแพร่กระจาย (backpropagation) ไม่ได้ผลดีนักสำหรับการเรียนรู้เชิงลึกที่มีเส้นทางการกำหนดเครดิตที่ยาว เพื่อแก้ไขปัญหานี้ ในปี 1991 Jürgen Schmidhuberได้เสนอโครงสร้างลำดับชั้นของ RNN ที่ได้รับการฝึกฝนล่วงหน้าทีละระดับโดยการเรียนรู้แบบกำกับตนเองโดยที่ RNN แต่ละตัวพยายามทำนายอินพุตถัดไปของตัวเอง ซึ่งเป็นอินพุตที่ไม่คาดคิดถัดไปของ RNN ที่อยู่ด้านล่าง^{[ 67 ] [ 68 ]} "ตัวบีบอัดประวัติประสาท" นี้ใช้การเข้ารหัสแบบทำนาย เพื่อเรียนรู้การแสดงแทนภายในที่ระดับเวลาการจัดระเบียบตนเองหลายระดับ ซึ่งสามารถอำนวยความสะดวกในการเรียนรู้เชิงลึกในขั้นตอนถัดไปได้อย่างมาก โครงสร้างลำดับชั้นของ RNN สามารถยุบ รวม เป็น RNN เดียวได้ โดย การกลั่น เครือข่าย chunkerระดับสูง ให้เป็น เครือข่ายautomatizerระดับต่ำ^{[ 67 ] [ 68 ] [ 31 ]}ในปี 1993 ตัวบีบอัดประวัติประสาทได้แก้ปัญหา "การเรียนรู้เชิงลึกมาก" ที่ต้องการเลเยอร์ต่อเนื่องมากกว่า 1000 เลเยอร์ใน RNN ที่คลี่ออกตามเวลา^{[ 69 ]}ตัวอักษร "P" ในChatGPTหมายถึงการฝึกอบรมล่วงหน้าดังกล่าว

วิทยานิพนธ์ระดับปริญญาตรีของSepp Hochreiter (1991) ^{[ 70 ]}ได้นำคอมเพรสเซอร์ประวัติประสาทมาใช้^{[ 67 ]}และระบุและวิเคราะห์ปัญหาการลดลงของเกรเดียนต์ [ ^{70 ] [ 71 ] Hochreiter} เสนอ การเชื่อมต่อ ตกค้างแบบวน ซ้ำ เพื่อแก้ปัญหาการลดลงของเกรเดียนต์ ซึ่งนำไปสู่หน่วยความจำระยะสั้นแบบยาว (LSTM) ที่ตีพิมพ์ในปี 1995 ^{[ 72 ]} LSTM สามารถเรียนรู้งาน "การเรียนรู้เชิงลึกมาก" ^{[ 9 ]}ด้วยเส้นทางการกำหนดเครดิตที่ยาวซึ่งต้องใช้ความทรงจำของเหตุการณ์ที่เกิดขึ้นหลายพันขั้นตอนเวลาแบบไม่ต่อเนื่องก่อนหน้านี้ LSTM นั้นยังไม่ใช่สถาปัตยกรรมที่ทันสมัย ​​ซึ่งต้องใช้ "ประตูการลืม" ที่นำเสนอในปี 1999 ^{[ 73 ]}ซึ่งกลายเป็นสถาปัตยกรรม RNN มาตรฐาน

ในปี พ.ศ. 2534 Jürgen Schmidhuberได้ตีพิมพ์เครือข่ายประสาทเทียมแบบต่อต้านซึ่งแข่งขันกันในรูปแบบของเกมผลรวมเป็นศูนย์โดยที่กำไรของเครือข่ายหนึ่งคือการสูญเสียของอีกเครือข่ายหนึ่ง^{[ 74 ] [ 75 ]}เครือข่ายแรกเป็นแบบจำลองเชิงกำเนิดที่จำลองการกระจายความน่าจะเป็นเหนือรูปแบบเอาต์พุต เครือข่ายที่สองเรียนรู้โดยการไล่ระดับลงเพื่อทำนายปฏิกิริยาของสภาพแวดล้อมต่อรูปแบบเหล่านี้ สิ่งนี้เรียกว่า "ความอยากรู้อยากเห็นเทียม" ในปี พ.ศ. 2557 หลักการนี้ถูกนำมาใช้ในเครือข่ายต่อต้านเชิงกำเนิด (GANs) ^{[ 76 ]}

ในช่วงปี 1985–1995 ด้วยแรงบันดาลใจจากกลศาสตร์เชิงสถิติ สถาปัตยกรรมและวิธีการต่างๆ ได้รับการพัฒนาโดยTerry Sejnowski , Peter Dayan , Geoffrey Hintonและอื่นๆ รวมถึงเครื่องจักรBoltzmann ^{[ 77 ]}เครื่องจักร Boltzmann แบบจำกัด [ ^{78 ]}เครื่องจักร Helmholtz [ ^{79 ]}และอัลกอริทึม wake-sleep ^{[ 80 ] สิ่งเหล่านี้ได้รับการออกแบบมาเพื่อการเรียนรู้แบบไม่กำกับดูแลของแบบจำลองเชิงสร้างสรรค์เชิงลึก อย่างไรก็ตาม}สิ่งเหล่านี้มีค่าใช้จ่ายในการคำนวณสูงกว่าเมื่อเทียบกับ backpropagation อัลกอริทึมการเรียนรู้ของเครื่องจักร Boltzmann ซึ่งตีพิมพ์ในปี 1985 ได้รับความนิยมในช่วงสั้นๆ ก่อนที่จะถูกแทนที่ด้วยอัลกอริทึม backpropagation ในปี 1986 (หน้า¹¹² [ ^{81 ] )}เครือข่ายในปี 1988 กลายเป็นเทคโนโลยีที่ทันสมัยที่สุดในการทำนายโครงสร้างโปรตีนซึ่งเป็นการประยุกต์ใช้การเรียนรู้เชิงลึกในชีวสารสนเทศในช่วงแรกๆ^{[ 82 ]} 

การเรียนรู้แบบตื้นและแบบลึก (เช่น เครือข่ายแบบวนซ้ำ) ของ ANN สำหรับการรู้จำเสียงพูดได้รับการสำรวจมาหลายปีแล้ว^{[ 83 ] [ 84 ] [ 85 ]} วิธีการเหล่านี้ไม่เคยมีประสิทธิภาพเหนือกว่าเทคโนโลยีแบบจำลอง Gaussian mixture model / Hidden Markov model (GMM-HMM) ที่ สร้างขึ้นด้วยมือภายในแบบไม่สม่ำเสมอซึ่งอิงตามแบบจำลองการสร้างเสียงพูดที่ฝึกฝนแบบจำแนก^{[ 86 ]}ปัญหาสำคัญได้รับการวิเคราะห์แล้ว รวมถึงการลดลงของเกรเดียนต์^{[ 70 ]}และโครงสร้างความสัมพันธ์เชิงเวลาที่อ่อนแอในแบบจำลองการทำนายของโครงข่ายประสาท^{[ 87 ] [ 88 ]}ปัญหาเพิ่มเติมคือการขาดข้อมูลการฝึกอบรมและกำลังการประมวลผลที่จำกัด

นักวิจัยด้าน การรู้จำเสียงพูดส่วนใหญ่หันเหจากการใช้โครงข่ายประสาทเทียมไปสู่การสร้างแบบจำลองเชิงกำเนิด ข้อยกเว้นคือที่SRI International ในช่วงปลายทศวรรษ 1990 SRI ได้รับทุนสนับสนุนจาก NSAและDARPAของรัฐบาลสหรัฐฯและทำการวิจัยด้านการรู้จำเสียงพูดและผู้พูดทีมวิจัยด้านการรู้จำผู้พูดที่นำโดยLarry Heck รายงานความสำเร็จอย่างมากในการใช้โครงข่ายประสาทเทียมเชิงลึกในการประมวลผลเสียงพูดใน การทดสอบมาตรฐานการรู้จำผู้พูดของ NISTปี 1998 ^{[ 89 ] [ 90 ]}โดยได้นำไปใช้ใน Nuance Verifier ซึ่งถือเป็นการประยุกต์ใช้การเรียนรู้เชิงลึกในอุตสาหกรรมครั้งแรกที่สำคัญ^{[ 91 ]}

หลักการของการยกระดับคุณลักษณะ "ดิบ" เหนือการปรับแต่งที่สร้างขึ้นด้วยมือ ได้รับการสำรวจและประสบความสำเร็จเป็นครั้งแรกในสถาปัตยกรรมของ deep autoencoder บนคุณลักษณะสเปกโตรแกรม "ดิบ" หรือฟิลเตอร์แบงค์ เชิงเส้น ในช่วงปลายทศวรรษ 1990 ^{[ 90 ]}ซึ่งแสดงให้เห็นถึงความเหนือกว่า คุณลักษณะ Mel-Cepstralที่มีขั้นตอนการแปลงคงที่จากสเปกโตรแกรม คุณลักษณะดิบของเสียงพูดและรูปคลื่นต่อมาได้ให้ผลลัพธ์ที่ยอดเยี่ยมในระดับที่ใหญ่ขึ้น^{[ 92 ]}

โครงข่ายประสาทเทียมเข้าสู่ช่วงซบเซา และแบบจำลองที่เรียบง่ายกว่าซึ่งใช้คุณลักษณะที่สร้างขึ้นด้วยมือเฉพาะงาน เช่นตัวกรองกาบอร์และเครื่องสนับสนุนเวกเตอร์ (SVM) กลายเป็นตัวเลือกที่ได้รับความนิยมมากขึ้นในช่วงทศวรรษ 1990 และ 2000 เนื่องจากต้นทุนการคำนวณของโครงข่ายประสาทเทียม และการขาดความเข้าใจเกี่ยวกับวิธีการที่สมองเชื่อมโยงเครือข่ายทางชีวภาพของมัน

ในปี พ.ศ. 2546 LSTM สามารถแข่งขันกับระบบรู้จำเสียงพูดแบบดั้งเดิมได้ในบางงาน^{[ 93 ]}ในปี พ.ศ. 2549 Alex Graves , Santiago Fernández, Faustino Gomez และ Schmidhuber ได้รวม LSTM เข้ากับการจำแนกประเภทเชิงเวลาแบบเชื่อมโยง (CTC) ^{[ 94 ]}ในสแต็กของ LSTM ^{[ 95 ]}ในปี พ.ศ. 2552 LSTM กลายเป็น RNN ตัวแรกที่ชนะ การแข่งขัน การรู้จำรูปแบบในการรู้จำลายมือ ที่เชื่อมต่อกัน ^{[ 96 ] [ 9 ]}

ในปี พ.ศ. 2549 มีการตีพิมพ์ผลงานของGeoff Hinton , Ruslan Salakhutdinov , Osindero และTeh ^{[ 97 ] [ 98 ]} ว่ามีการพัฒนา โครงข่ายความเชื่อเชิงลึกสำหรับการสร้างแบบจำลองเชิงกำเนิด โดยฝึกฝนด้วยการฝึกเครื่อง Boltzmann ที่จำกัดหนึ่งเครื่อง จากนั้นหยุดการทำงานและฝึกเครื่องอื่นทับเครื่องแรกไปเรื่อยๆ จากนั้นจึงปรับแต่งเพิ่มเติมโดยใช้การแพร่กระจายย้อนกลับแบบมีผู้กำกับดูแล^{[ 97 ]}โครงข่ายเหล่านี้สามารถสร้างแบบจำลองการกระจายความน่าจะเป็นที่มีมิติสูง เช่น การกระจายของภาพ MNISTได้ แต่การบรรจบกันนั้นช้า^{[ 97 ] [ 99 ] [ 100 ]}

ผลกระทบของการเรียนรู้เชิงลึกในอุตสาหกรรมเริ่มขึ้นในช่วงต้นทศวรรษ 2000 เมื่อ CNN ประมวลผลเช็คที่เขียนในสหรัฐอเมริกาได้ประมาณ 10% ถึง 20% ตามที่ Yann LeCun กล่าว^{[ 101 ]}การประยุกต์ใช้การเรียนรู้เชิงลึกในอุตสาหกรรมเพื่อการจดจำเสียงพูดขนาดใหญ่เริ่มขึ้นประมาณปี 2010

การประชุมเชิงปฏิบัติการ NIPS ปี 2009 เรื่องการเรียนรู้เชิงลึกสำหรับการรู้จำเสียงพูด เกิดขึ้นจากข้อจำกัดของแบบจำลองเชิงกำเนิดเสียงพูดแบบลึก และความเป็นไปได้ที่ว่า หากมีฮาร์ดแวร์ที่มีประสิทธิภาพมากขึ้นและชุดข้อมูลขนาดใหญ่ โครงข่ายประสาทเทียมเชิงลึกอาจใช้งานได้จริง เชื่อกันว่าการฝึกฝนโครงข่ายประสาทเทียมเชิงลึก (DNN) ล่วงหน้าโดยใช้แบบจำลองเชิงกำเนิดของโครงข่ายความเชื่อเชิงลึก (DBN) จะช่วยเอาชนะปัญหาหลักของโครงข่ายประสาทเทียมได้ อย่างไรก็ตาม พบว่าการแทนที่การฝึกฝนล่วงหน้าด้วยข้อมูลการฝึกฝนจำนวนมากสำหรับการแพร่กระจายย้อนกลับโดยตรงเมื่อใช้ DNN ที่มีเลเยอร์เอาต์พุตขนาดใหญ่และขึ้นอยู่กับบริบท ทำให้ได้อัตราข้อผิดพลาดที่ต่ำกว่าอย่างมากเมื่อเทียบกับแบบจำลองส่วนผสมเกาส์เซียน (GMM)/แบบจำลองมาร์คอฟที่ซ่อนอยู่ (HMM) ซึ่งเป็นเทคโนโลยีล้ำสมัยในขณะนั้น และต่ำกว่าระบบที่ใช้แบบจำลองเชิงกำเนิดขั้นสูงกว่าด้วย^{[ 102 ]}ลักษณะของข้อผิดพลาดในการจดจำที่เกิดจากระบบทั้งสองประเภทนั้นแตกต่างกันอย่างชัดเจน^{[ 103 ]}ซึ่งให้ข้อมูลเชิงลึกทางเทคนิคเกี่ยวกับวิธีการบูรณาการการเรียนรู้เชิงลึกเข้ากับระบบถอดรหัสเสียงพูดแบบเรียลไทม์ที่มีประสิทธิภาพสูงซึ่งใช้งานโดยระบบการจดจำเสียงพูดหลักๆ ทั้งหมด^{[ 23 ] [ 104 ] [ 105 ]}การวิเคราะห์ในช่วงปี 2009–2010 ซึ่งเปรียบเทียบ GMM (และแบบจำลองเสียงพูดแบบสร้างอื่นๆ) กับแบบจำลอง DNN ได้กระตุ้นการลงทุนในอุตสาหกรรมในช่วงแรกๆ ในการเรียนรู้เชิงลึกสำหรับการจดจำเสียงพูด^{[ 103 ]} การวิเคราะห์ดังกล่าวทำได้ด้วยประสิทธิภาพที่เทียบเคียงได้ (อัตราข้อผิดพลาดน้อยกว่า 1.5%) ระหว่าง DNN แบบจำแนกและแบบจำลองแบบสร้าง^{[ 102 ] [ 103 ] [ 106 ]} ในปี 2010 นักวิจัยได้ขยายการเรียนรู้เชิงลึกจากTIMITไปสู่การจดจำเสียงพูดที่มีคำศัพท์จำนวนมาก โดยการนำเลเยอร์เอาต์พุตขนาดใหญ่ของ DNN มาใช้โดยอิงจากสถานะ HMM ที่ขึ้นอยู่กับบริบทซึ่งสร้างขึ้นโดยต้นไม้ตัดสินใจ^{[ 107 ] [ 108 ] [ 109 ] [ 104 ]}

การปฏิวัติการเรียนรู้เชิงลึกเริ่มต้นขึ้นจากการประมวลผลภาพด้วยโครงข่ายประสาทเทียมแบบ CNN และ GPU

แม้ว่า CNN ที่ได้รับการฝึกฝนโดยการแพร่กระจายย้อนกลับจะมีมานานหลายทศวรรษแล้ว และการใช้งาน NN บน GPU ก็มีมานานหลายปีแล้ว^{[ 110 ]}รวมถึง CNN ^{[ 111 ]}แต่ก็ยังจำเป็นต้องมีการใช้งาน CNN บน GPU ที่เร็วกว่าเพื่อความก้าวหน้าในด้านคอมพิวเตอร์วิชั่น ต่อมา เมื่อการเรียนรู้เชิงลึกแพร่หลายมากขึ้น จึงมีการพัฒนาฮาร์ดแวร์เฉพาะทางและการเพิ่มประสิทธิภาพอัลกอริทึมสำหรับการเรียนรู้เชิงลึกโดยเฉพาะ^{[ 112 ]}

ความก้าวหน้าสำคัญสำหรับการปฏิวัติการเรียนรู้เชิงลึกคือความก้าวหน้าของฮาร์ดแวร์ โดยเฉพาะ GPU งานวิจัยในช่วงแรกๆ ย้อนกลับไปถึงปี 2547 ^{[ 110 ] [ 111 ]}ในปี 2552 Raina, Madhavan และAndrew Ngได้รายงานเครือข่ายความเชื่อเชิงลึก 100 ล้านเครือข่ายที่ฝึกฝนบน GPU Nvidia GeForce GTX 280 จำนวน 30 ตัว ซึ่งเป็นการสาธิตเบื้องต้นของการเรียนรู้เชิงลึกบน GPU พวกเขารายงานว่าการฝึกฝนเร็วขึ้นถึง 70 เท่า^{[ 113 ]}

ในปี 2011 เครือข่ายประสาทเทียมแบบ CNN ชื่อDanNet ^{[ 114 ] [ 115 ]}ซึ่งพัฒนาโดย Dan Ciresan, Ueli Meier, Jonathan Masci, Luca Maria GambardellaและJürgen Schmidhuberประสบความสำเร็จเป็นครั้งแรกในการแข่งขันการจดจำรูปแบบภาพ โดยมีประสิทธิภาพเหนือกว่าวิธีการแบบดั้งเดิมถึง 3 เท่า^{[ 9 ]}จากนั้นก็ชนะการแข่งขันเพิ่มเติม^{[ 116 ] [ 117 ]}พวกเขายังแสดงให้เห็นว่าCNN แบบ max-pooling บน GPU ช่วยปรับปรุงประสิทธิภาพได้อย่างมีนัยสำคัญ ^{[ 3 ]}

ในปี 2012 แอนดรูว์ เอ็นจีและเจฟฟ์ ดีนได้สร้าง FNN ที่เรียนรู้ที่จะจดจำแนวคิดระดับสูง เช่น แมว จากการดูภาพที่ไม่มีป้ายกำกับซึ่งนำมาจากวิดีโอYouTube เท่านั้น ^{[ 118 ]}

ในเดือนตุลาคม พ.ศ. 2555 AlexNetโดยAlex Krizhevsky , Ilya SutskeverและGeoffrey Hinton ^{[ 4 ]} ชนะ การแข่งขัน ImageNetขนาดใหญ่ด้วยคะแนนนำอย่างมีนัยสำคัญเหนือวิธีการเรียนรู้ของเครื่องแบบตื้น การปรับปรุงเพิ่มเติมอีกขั้นได้แก่ เครือข่าย VGG-16โดยKaren SimonyanและAndrew Zisserman ^{[ 119 ]} และ Inceptionv3ของGoogle ^{[ 120 ]}

ความสำเร็จในการจำแนกภาพได้รับการขยายไปสู่ภารกิจที่ท้าทายยิ่งขึ้นในการสร้างคำอธิบาย (คำบรรยายภาพ) สำหรับภาพ ซึ่งมักจะเป็นการผสมผสานระหว่าง CNN และ LSTM ^{[ 121 ] [ 122 ] [ 123 ]}

ในปี 2014 เทคโนโลยีที่ทันสมัยที่สุดคือการฝึก "เครือข่ายประสาทเทียมที่ลึกมาก" ที่มี 20 ถึง 30 ชั้น^{[ 124 ]}การซ้อนชั้นมากเกินไปทำให้ความแม่นยำ ใน การฝึก ลดลงอย่างมาก ^{[ 125 ]}ซึ่งเรียกว่าปัญหา "การเสื่อมสภาพ" ^{[ 126 ]}ในปี 2015 มีการพัฒนาเทคนิคสองอย่างเพื่อฝึกเครือข่ายที่ลึกมาก ได้แก่ เครือข่ายไฮเวย์ (Highway Network ) ซึ่งเผยแพร่ในเดือนพฤษภาคม 2015 และเครือข่ายประสาทเทียมตกค้าง (ResNet) ^{[ 126 ]}ในเดือนธันวาคม 2015 ResNet ทำงานคล้ายกับ Highway Net ที่เปิดเกต

ในเวลาเดียวกัน การเรียนรู้เชิงลึกเริ่มส่งผลกระทบต่อวงการศิลปะ ตัวอย่างแรกๆ ได้แก่Google DeepDream (2015) และการถ่ายโอนสไตล์ด้วยโครงข่ายประสาทเทียม (2015) ^{[ 127 ]}ซึ่งทั้งสองอย่างนี้มีพื้นฐานมาจากโครงข่ายประสาทเทียมสำหรับการจำแนกภาพที่ได้รับการฝึกฝนล่วงหน้า เช่นVGG- 19

เครือข่ายปฏิปักษ์เชิงสร้างสรรค์ (GAN) โดย ( Ian Goodfellow et al., 2014) ^{[ 128 ]} (อิงตาม หลักการความอยากรู้อยากเห็นเทียมของJürgen Schmidhuber ^{[ 74 ] [ 76 ]} ) กลายเป็นเทคโนโลยีล้ำสมัยในการสร้างแบบจำลองเชิงสร้างสรรค์ในช่วงปี 2014-2018 คุณภาพของภาพที่ยอดเยี่ยมนั้นได้มาจากStyleGANของNvidia (2018) ^{[ 129 ]}ซึ่งอิงตาม Progressive GAN โดย Tero Karras et al. ^{[ 130 ]}โดยที่ตัวสร้าง GAN จะเติบโตจากขนาดเล็กไปสู่ขนาดใหญ่ในลักษณะพีระมิด การสร้างภาพโดย GAN ประสบความสำเร็จอย่างมากและก่อให้เกิดการอภิปรายเกี่ยวกับdeepfakes ^{[ 131 ]}โมเดลการแพร่กระจาย (2015) ^{[ 132 ]}ได้บดบัง GANs ในการสร้างแบบจำลองตั้งแต่นั้นมา ด้วยระบบต่างๆ เช่นDALL·E 2 (2022) และStable Diffusion (2022)

ในปี 2558 ระบบจดจำเสียงของ Google พัฒนาขึ้น 49% โดยใช้โมเดล LSTM ซึ่งพวกเขาได้นำมาใช้งานผ่านGoogle Voice Searchบนสมาร์ทโฟน^{[ 133 ] [ 134 ]}

การเรียนรู้เชิงลึกเป็นส่วนหนึ่งของระบบที่ทันสมัยในหลากหลายสาขา โดยเฉพาะอย่างยิ่งคอมพิวเตอร์วิชั่นและการรู้จำเสียงพูดอัตโนมัติ (ASR) ผลลัพธ์บนชุดประเมินที่ใช้กันทั่วไป เช่นTIMIT (ASR) และMNIST ( การจำแนกภาพ ) รวมถึงงานรู้จำเสียงพูดที่มีคำศัพท์จำนวนมากได้รับการปรับปรุงอย่างต่อเนื่อง^{[ 102 ] [ 135 ]}เครือข่ายประสาทเทียมแบบ Convolutional ถูกแทนที่ด้วยLSTMสำหรับ ASR ^{[ 134 ] [ 136 ] [ 137 ] [ 138 ]}แต่ประสบความสำเร็จมากกว่าในคอมพิวเตอร์วิชั่น

Yoshua Bengio , Geoffrey HintonและYann LeCunได้รับรางวัล Turing Award ประจำปี 2018 สำหรับ "ความก้าวหน้าเชิงแนวคิดและวิศวกรรมที่ทำให้โครงข่ายประสาทเทียมเชิงลึกเป็นองค์ประกอบสำคัญของการคำนวณ" ^{[ 139 ]}

เครือข่ายประสาทเทียมเชิงลึก ( DNN ) คือเครือข่ายประสาทเทียมที่มีหลายชั้นระหว่างชั้นอินพุตและเอาต์พุต^{[ 7 ] [ 9 ]}มีเครือข่ายประสาทเทียมหลายประเภท แต่ประกอบด้วยส่วนประกอบเดียวกันเสมอ ได้แก่ นิวรอน ซินแนปส์ น้ำหนัก ไบแอส และฟังก์ชัน^{[ 142 ]}ส่วนประกอบเหล่านี้โดยรวมทำงานในลักษณะที่เลียนแบบการทำงานของสมองมนุษย์ และสามารถฝึกฝนได้เหมือนกับอัลกอริธึม ML อื่นๆ

ตัวอย่างเช่น DNN ที่ได้รับการฝึกฝนให้จดจำสายพันธุ์สุนัขจะตรวจสอบภาพที่กำหนดและคำนวณความน่าจะเป็นที่สุนัขในภาพเป็นสายพันธุ์ใดสายพันธุ์หนึ่ง ผู้ใช้สามารถตรวจสอบผลลัพธ์และเลือกความน่าจะเป็นที่เครือข่ายควรแสดง (เหนือเกณฑ์ที่กำหนด ฯลฯ) และส่งคืนป้ายกำกับที่เสนอ การดำเนินการทางคณิตศาสตร์แต่ละครั้งถือเป็นเลเยอร์^{[ 143 ]}และ DNN ที่ซับซ้อนมีหลายเลเยอร์ ดังนั้นจึงเรียกว่าเครือข่าย "ลึก"

DNN สามารถจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นที่ซับซ้อนได้ สถาปัตยกรรม DNN สร้างแบบจำลองเชิงองค์ประกอบ โดยที่วัตถุจะถูกแสดงเป็นองค์ประกอบแบบหลายชั้นขององค์ประกอบพื้นฐาน^{[ 144 ]}ชั้นพิเศษช่วยให้สามารถประกอบคุณลักษณะจากชั้นล่างได้ ซึ่งอาจจำลองข้อมูลที่ซับซ้อนด้วยหน่วยที่น้อยกว่าเครือข่ายตื้นที่มีประสิทธิภาพใกล้เคียงกัน^{[ 7 ]}ตัวอย่างเช่น มีการพิสูจน์แล้วว่าพหุนามหลายตัวแปรแบบ เบาบาง นั้นง่ายต่อการประมาณค่าด้วย DNN มากกว่าเครือข่ายตื้นแบบเลขชี้กำลัง^{[ 145 ]}

สถาปัตยกรรมเชิงลึกประกอบด้วยรูปแบบต่างๆ มากมายของแนวทางพื้นฐานไม่กี่แบบ แต่ละสถาปัตยกรรมประสบความสำเร็จในโดเมนเฉพาะ ไม่สามารถเปรียบเทียบประสิทธิภาพของสถาปัตยกรรมหลายๆ แบบได้เสมอไป เว้นแต่จะได้รับการประเมินบนชุดข้อมูลเดียวกัน^{[ 143 ]}

โดยทั่วไปแล้ว DNN เป็นเครือข่ายแบบส่งต่อข้อมูล (feedforward network) ซึ่งข้อมูลจะไหลจากชั้นอินพุตไปยังชั้นเอาต์พุตโดยไม่วนกลับ ในขั้นแรก DNN จะสร้างแผนที่ของเซลล์ประสาทเสมือนและกำหนดค่าตัวเลขแบบสุ่ม หรือ "น้ำหนัก" ให้กับการเชื่อมต่อระหว่างเซลล์ประสาทเหล่านั้น น้ำหนักและอินพุตจะถูกคูณกันและส่งคืนเอาต์พุตระหว่าง 0 ถึง 1 หากเครือข่ายไม่สามารถจดจำรูปแบบใดรูปแบบหนึ่งได้อย่างแม่นยำ อัลกอริทึมจะปรับน้ำหนัก^{[ 146 ]}ด้วยวิธีนี้ อัลกอริทึมสามารถทำให้พารามิเตอร์บางอย่างมีอิทธิพลมากขึ้น จนกว่าจะสามารถกำหนดการจัดการทางคณิตศาสตร์ที่ถูกต้องเพื่อประมวลผลข้อมูลได้อย่างสมบูรณ์

เครือข่ายประสาทแบบวนซ้ำซึ่งข้อมูลสามารถไหลได้ในทุกทิศทาง ถูกนำมาใช้ในแอปพลิเคชันต่างๆ เช่นการสร้างแบบจำลองภาษา^{[ 147 ] [ 148 ] [ 149 ] [ 150 ] [ 151 ]}หน่วยความจำระยะสั้นแบบยาวมีประสิทธิภาพเป็นพิเศษสำหรับการใช้งานนี้^{[ 152 ] [ 153 ]}

เครือข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) ถูกนำมาใช้ในคอมพิวเตอร์วิชัน^{[ 154 ]}นอกจากนี้ CNN ยังถูกนำไปใช้กับการสร้างแบบจำลองเสียงเพื่อการรู้จำเสียงพูดอัตโนมัติ (ASR) ^{[ 155 ]}

การรู้จำเสียงพูดอัตโนมัติขนาดใหญ่ถือเป็นกรณีความสำเร็จแรกและน่าเชื่อถือที่สุดของการเรียนรู้เชิงลึก RNN LSTM สามารถเรียนรู้ภารกิจ "การเรียนรู้เชิงลึกมาก" ^{[ 9 ]}ซึ่งเกี่ยวข้องกับช่วงเวลาหลายวินาทีที่มีเหตุการณ์เสียงพูดคั่นด้วยขั้นตอนเวลาแบบไม่ต่อเนื่องหลายพันขั้นตอน โดยแต่ละขั้นตอนเวลาจะสอดคล้องกับประมาณ 10 มิลลิวินาที LSTM ที่มีเกตลืม^{[ 153 ]}สามารถแข่งขันกับตัวรู้จำเสียงพูดแบบดั้งเดิมในบางภารกิจได้^{[ 93 ]}

ความสำเร็จเบื้องต้นในการรู้จำเสียงพูดนั้นมาจากการทดสอบการรู้จำขนาดเล็กโดยใช้ชุดข้อมูล TIMIT ชุดข้อมูลประกอบด้วยผู้พูด 630 คนจากสำเนียงหลัก 8 สำเนียงของภาษาอังกฤษแบบอเมริกันโดยผู้พูดแต่ละคนอ่านประโยค 10 ประโยค^{[ 175 ]}ขนาดที่เล็กทำให้สามารถทดลองการกำหนดค่าได้หลายแบบ ที่สำคัญกว่านั้น งาน TIMIT เกี่ยวข้องกับ การรู้จำลำดับ เสียงซึ่งแตกต่างจากการรู้จำลำดับคำตรงที่อนุญาตให้ ใช้แบบจำลองภาษา ไบแกรม เสียงที่อ่อนแอได้ ทำให้สามารถวิเคราะห์ความแข็งแกร่งของแง่มุมการสร้างแบบจำลองเสียงของการรู้จำเสียงพูดได้ง่ายขึ้น อัตราข้อผิดพลาดที่ระบุไว้ด้านล่าง รวมถึงผลลัพธ์ในช่วงแรกเหล่านี้และวัดเป็นเปอร์เซ็นต์อัตราข้อผิดพลาดของเสียง (PER) ได้รับการสรุปมาตั้งแต่ปี 1991

การเปิดตัว DNN สำหรับการจดจำผู้พูดในช่วงปลายทศวรรษ 1990 และการจดจำเสียงพูดในช่วงปี 2009-2011 และ LSTM ในช่วงปี 2003-2007 ได้เร่งความก้าวหน้าในแปดด้านหลัก: ^{[ 23 ] [ 106 ] [ 104 ]}

• การขยายขนาด/เพิ่มประสิทธิภาพ และการฝึกอบรมและการถอดรหัสโครงข่ายประสาทเทียมแบบลึก (DNN) ที่รวดเร็วขึ้น
• การฝึกจำแนกลำดับ
• การประมวลผลคุณลักษณะโดยใช้แบบจำลองเชิงลึกที่มีความเข้าใจอย่างถ่องแท้ในกลไกพื้นฐาน
• การปรับใช้โครงข่ายประสาทเทียมแบบลึก (DNN) และแบบจำลองเชิงลึกที่เกี่ยวข้อง
• การเรียนรู้แบบหลายงานและ การถ่ายโอนความรู้ โดยใช้โครงข่ายประสาทเทียมเชิงลึกและแบบจำลองเชิงลึกที่เกี่ยวข้อง
• โครงข่ายประสาทเทียมแบบ Convolutional Neural Network (CNN)และวิธีการออกแบบเพื่อใช้ประโยชน์จากความรู้เฉพาะด้านเกี่ยวกับการพูด ให้ได้มากที่สุด
• RNNและรูปแบบ LSTM ที่หลากหลาย
• โมเดลเชิงลึกประเภทอื่นๆ ได้แก่ โมเดลแบบเทนเซอร์ และโมเดลเชิงลึกแบบบูรณาการที่สร้างและจำแนกความแตกต่าง

โมเดลการรู้จำเสียงพูดรุ่นใหม่กว่าใช้TransformerหรือTemporal Convolution Networksซึ่งประสบความสำเร็จอย่างมากและมีการใช้งานอย่างแพร่หลาย^{[ 180 ] [ 181 ] [ 182 ]}ระบบรู้จำเสียงพูดเชิงพาณิชย์หลักๆ ทั้งหมด (เช่น Microsoft Cortana , Xbox , Skype Translator , Amazon Alexa , Google Now , Apple Siri , BaiduและiFlyTek voice search และผลิตภัณฑ์เสียงพูดของNuanceเป็นต้น) ล้วนใช้การเรียนรู้เชิงลึก^{[ 23 ] [ 183 ] [ 184 ]}

ชุดข้อมูลประเมินทั่วไปสำหรับการจำแนกภาพคือ ชุดข้อมูล ฐานข้อมูล MNIST MNIST ประกอบด้วยตัวเลขที่เขียนด้วยมือและมีตัวอย่างการฝึกอบรม 60,000 ตัวอย่างและตัวอย่างการทดสอบ 10,000 ตัวอย่าง เช่นเดียวกับ TIMIT ขนาดที่เล็กช่วยให้ผู้ใช้สามารถทดสอบการกำหนดค่าได้หลายแบบ รายการผลลัพธ์ที่ครอบคลุมในชุดนี้มีให้ใช้งาน^{[ 185 ]}

การจดจำภาพโดยใช้การเรียนรู้เชิงลึกได้กลายเป็น "เหนือมนุษย์" โดยให้ผลลัพธ์ที่แม่นยำกว่าคู่แข่งที่เป็นมนุษย์ เหตุการณ์นี้เกิดขึ้นครั้งแรกในปี 2011 ในการจดจำป้ายจราจร และในปี 2014 ในการจดจำใบหน้ามนุษย์^{[ 186 ] [ 187 ]}

ยานพาหนะที่ได้รับการฝึกฝนด้วยการเรียนรู้เชิงลึกในปัจจุบันสามารถตีความมุมมองกล้อง 360° ได้แล้ว^{[ 188 ]}อีกตัวอย่างหนึ่งคือ การวิเคราะห์ความผิดปกติของใบหน้าแบบใหม่ (FDNA) ที่ใช้ในการวิเคราะห์กรณีความผิดปกติของมนุษย์ที่เชื่อมโยงกับฐานข้อมูลขนาดใหญ่ของกลุ่มอาการทางพันธุกรรม

ความก้าวหน้าในการจดจำภาพมีความเกี่ยวข้องอย่างใกล้ชิดกับการประยุกต์ใช้เทคนิคการเรียนรู้เชิงลึกกับงานศิลปะต่างๆ มากขึ้นเรื่อยๆ ตัวอย่างเช่น โครงข่ายประสาทเทียมเชิงลึก (DNN) ได้พิสูจน์แล้วว่ามีความสามารถในการใช้งานในด้านต่างๆ เช่น...

• การระบุช่วงเวลารูปแบบของภาพวาดที่กำหนด^{[ 189 ] [ 190 ]}
• การถ่ายโอนสไตล์ประสาท–การจับสไตล์ของงานศิลปะที่กำหนดและนำไปใช้ในลักษณะที่น่าพึงพอใจต่อภาพถ่ายหรือวิดีโอใดๆ^{[ 189 ] [ 190 ]} 
• สร้างภาพที่โดดเด่นโดยอาศัยฟิลด์อินพุตภาพแบบสุ่ม^{[ 189 ] [ 190 ]}

มีการใช้โครงข่ายประสาทเทียมในการสร้างแบบจำลองภาษาตั้งแต่ช่วงต้นทศวรรษ 2000 ^{[ 147 ]} LSTM ช่วยปรับปรุงการแปลด้วยเครื่องและการสร้างแบบจำลองภาษา^{[ 148 ] [ 149 ] [ 150 ]}

เทคนิคสำคัญอื่นๆ ในสาขานี้ ได้แก่ การสุ่มตัวอย่างเชิงลบ^{[ 191 ]}และการฝังคำการฝังคำ เช่นword2vecสามารถคิดได้ว่าเป็นเลเยอร์การแสดงแทนในสถาปัตยกรรมการเรียนรู้เชิงลึกที่แปลงคำอะตอมิกให้เป็นตัวแทนตำแหน่งของคำที่สัมพันธ์กับคำอื่นๆ ในชุดข้อมูล ตำแหน่งจะถูกแสดงเป็นจุดในพื้นที่เวกเตอร์การใช้การฝังคำเป็นเลเยอร์อินพุตของ RNN ช่วยให้เครือข่ายสามารถแยกวิเคราะห์ประโยคและวลีโดยใช้ไวยากรณ์เวกเตอร์เชิงองค์ประกอบที่มีประสิทธิภาพ ไวยากรณ์เวกเตอร์เชิงองค์ประกอบสามารถคิดได้ว่าเป็นไวยากรณ์แบบไร้บริบทเชิงความน่าจะเป็น (PCFG) ที่นำไปใช้โดย RNN ^{[ 192 ]}ตัวเข้ารหัสอัตโนมัติแบบเรียกซ้ำที่สร้างขึ้นบนการฝังคำสามารถประเมินความคล้ายคลึงกันของประโยคและตรวจจับการถอดความได้^{[ 192 ]}สถาปัตยกรรมโครงข่ายประสาทเทียมเชิงลึกให้ผลลัพธ์ที่ดีที่สุดสำหรับการแยกวิเคราะห์องค์ประกอบ^{[ 193 ]} การวิเคราะห์ความรู้สึก^{[ 194 ]}การดึงข้อมูล^{[ 195 ] [ 196 ]}การเข้าใจภาษาพูด^{[ 197 ]}การแปลด้วยเครื่อง^{[ 148 ] [ 198 ]}การเชื่อมโยงเอนทิตีตามบริบท^{[ 198 ]}การจดจำรูปแบบการเขียน^{[ 199 ]}การจดจำเอนทิตีที่มีชื่อ (การจำแนกโทเค็น) ^{[ 200 ]}การจำแนกข้อความ และอื่นๆ^{[ 201 ]}

ความก้าวหน้าล่าสุดได้ขยายขอบเขตการฝังคำไปสู่การฝังประโยค

Google Translate (GT) ใช้ เครือข่าย หน่วยความจำระยะยาวแบบ end-to-end (LSTM) ขนาดใหญ่ ^{[ 202 ] [ 203 ] [ 204 ] [ 205 ]} Google Neural Machine Translation (GNMT)ใช้ ระบบ การแปลด้วยเครื่องจักรแบบอิงตัวอย่างซึ่งระบบจะ "เรียนรู้จากตัวอย่างนับล้าน" ^{[ 203 ]}โดยจะแปล "ทั้งประโยคในคราวเดียว แทนที่จะแปลเป็นส่วนๆ" Google Translate รองรับมากกว่าหนึ่งร้อยภาษา^{[ 203 ]}เครือข่ายจะเข้ารหัส "ความหมายของประโยค แทนที่จะจดจำการแปลแบบวลีต่อวลี" ^{[ 203 ] [ 206 ]} GT ใช้ภาษาอังกฤษเป็นตัวกลางระหว่างคู่ภาษาส่วนใหญ่^{[ 206 ]}

ยาที่อยู่ในขั้นตอนการพัฒนาจำนวนมากไม่ได้รับการอนุมัติจากหน่วยงานกำกับดูแล ความล้มเหลวเหล่านี้เกิดจากประสิทธิภาพที่ไม่เพียงพอ (ผลกระทบต่อเป้าหมาย) ปฏิกิริยาที่ไม่พึงประสงค์ (ผลกระทบต่อเป้าหมาย) หรือผลข้างเคียงที่เป็นพิษ ที่ไม่คาด คิด^{[ 207 ] [ 208 ]}งานวิจัยได้สำรวจการใช้การเรียนรู้เชิงลึกเพื่อทำนายเป้าหมายทางชีวโมเลกุล [ ^{209 ] [ 210 ]}ผลกระทบต่อเป้าหมายและผลกระทบที่เป็นพิษ ของสารเคมี ^ในสิ่งแวดล้อมในสารอาหาร ผลิตภัณฑ์ในครัวเรือน และยา^{[ 211 ] [ 212 ] [ 213 ]}

AtomNet เป็นระบบการเรียนรู้เชิงลึกสำหรับการออกแบบยาอย่างมี เหตุผล โดย อิงตามโครงสร้าง ^{[ 214 ]} AtomNet ถูกใช้เพื่อทำนายโมเลกุลชีวภาพที่เป็นตัวเลือกใหม่สำหรับเป้าหมายของโรคต่างๆ เช่นไวรัสอีโบลา^{[ 215 ]}และโรคปลอกประสาทเสื่อมแข็ง^{[ 216 ] [ 215 ]}

ในปี 2017 มีการใช้ โครงข่ายประสาทกราฟเป็นครั้งแรกเพื่อทำนายคุณสมบัติต่างๆ ของโมเลกุลในชุดข้อมูลพิษวิทยาขนาดใหญ่^{[ 217 ]}ในปี 2019 มีการใช้โครงข่ายประสาทแบบสร้างเพื่อสร้างโมเลกุลที่ได้รับการตรวจสอบในเชิงทดลองจนถึงหนู^{[ 218 ] [ 219 ]}

ระบบแนะนำได้ใช้การเรียนรู้เชิงลึกเพื่อดึงคุณลักษณะที่มีความหมายสำหรับแบบจำลองปัจจัยแฝงสำหรับการแนะนำเพลงและวารสารตามเนื้อหา^{[ 220 ] [ 221 ]}การเรียนรู้เชิงลึกแบบหลายมุมมองได้ถูกนำมาใช้เพื่อเรียนรู้ความชอบของผู้ใช้จากหลายโดเมน^{[ 222 ]}แบบจำลองนี้ใช้แนวทางแบบผสมผสานระหว่างการทำงานร่วมกันและตามเนื้อหา และเพิ่มประสิทธิภาพการแนะนำในงานหลายอย่าง

มีการใช้ ANN แบบautoencoder ใน ชีวสารสนเทศเพื่อทำนาย คำอธิบายประกอบออน โทโลยีของยีนและความสัมพันธ์ระหว่างยีนกับหน้าที่^{[ 223 ]}

ในสารสนเทศทางการแพทย์ การเรียนรู้เชิงลึกถูกนำมาใช้เพื่อทำนายคุณภาพการนอนหลับโดยอาศัยข้อมูลจากอุปกรณ์สวมใส่^{[ 224 ]}และการทำนายภาวะแทรกซ้อนทางสุขภาพจากข้อมูลบันทึกสุขภาพอิเล็กทรอนิกส์^{[ 225 ]}

เครือข่ายประสาทเทียมเชิงลึกได้แสดงประสิทธิภาพที่เหนือกว่าในการทำนายโครงสร้างโปรตีนตามลำดับของกรดอะมิโนที่ประกอบขึ้น ในปี 2020 AlphaFoldซึ่งเป็นระบบที่ใช้การเรียนรู้เชิงลึก บรรลุระดับความแม่นยำที่สูงกว่าวิธีการคำนวณก่อนหน้านี้ทั้งหมดอย่างมีนัยสำคัญ^{[ 226 ] [ 227 ]}

โครงข่ายประสาทเทียมเชิงลึกสามารถใช้ในการประมาณค่าเอนโทรปีของกระบวนการสุ่มผ่านการจัดเรียงที่เรียกว่า Neural Joint Entropy Estimator (NJEE) ^{[ 228 ]}การประมาณค่าดังกล่าวให้ข้อมูลเชิงลึกเกี่ยวกับผลกระทบของตัวแปรสุ่ม อินพุต ต่อตัวแปรสุ่ม อิสระ ในทางปฏิบัติ DNN จะถูกฝึกฝนให้เป็นตัวจำแนกประเภทที่แมปเวกเตอร์หรือเมทริกซ์อินพุต X ไปยังการกระจายความน่าจะ เป็นเอาต์พุต เหนือคลาสที่เป็นไปได้ของตัวแปรสุ่ม Y โดยกำหนดอินพุต X ตัวอย่างเช่น ใน งาน จำแนกภาพ NJEE จะแมปเวกเตอร์ของ ค่าสีของ พิกเซลไปยังความน่าจะเป็นเหนือคลาสภาพที่เป็นไปได้ ในทางปฏิบัติ การกระจายความน่าจะเป็นของ Y ได้รับจาก เลเยอร์ Softmaxที่มีจำนวนโหนดเท่ากับ ขนาด ตัวอักษรของ Y NJEE ใช้ฟังก์ชันการกระตุ้น ที่สามารถหาอนุพันธ์ได้อย่างต่อเนื่อง เพื่อให้เป็นไป ตามเงื่อนไขของทฤษฎีบทการประมาณค่าสากลแสดงให้เห็นว่าวิธีการนี้ให้ตัวประมาณค่าที่สอดคล้องกัน อย่างมาก และมีประสิทธิภาพเหนือกว่าวิธีการอื่น ๆ ในกรณีที่ขนาดตัวอักษรมีขนาดใหญ่^{[ 228 ]}

การเรียนรู้เชิงลึกได้รับการพิสูจน์แล้วว่าสามารถสร้างผลลัพธ์ที่แข่งขันได้ในการประยุกต์ใช้ทางการแพทย์ เช่น การจำแนกเซลล์มะเร็ง การตรวจจับรอยโรค การแบ่งส่วนอวัยวะ และการปรับปรุงภาพ^{[ 229 ] [ 230 ]}เครื่องมือการเรียนรู้เชิงลึกสมัยใหม่แสดงให้เห็นถึงความแม่นยำสูงในการตรวจจับโรคต่างๆ และประโยชน์ของการใช้งานโดยผู้เชี่ยวชาญเพื่อปรับปรุงประสิทธิภาพการวินิจฉัย^{[ 231 ] [ 232 ]}

การค้นหากลุ่มเป้าหมายมือถือที่เหมาะสมสำหรับการโฆษณาบนมือถือนั้นเป็นเรื่องท้าทายเสมอ เนื่องจากต้องพิจารณาและวิเคราะห์ข้อมูลหลายจุดก่อนที่จะสร้างกลุ่มเป้าหมายและนำไปใช้ในการแสดงโฆษณาโดยเซิร์ฟเวอร์โฆษณาใดๆ^{[ 233 ]}การเรียนรู้เชิงลึกถูกนำมาใช้เพื่อตีความชุดข้อมูลโฆษณาขนาดใหญ่ที่มีหลายมิติ มีการรวบรวมจุดข้อมูลจำนวนมากในระหว่างวงจรการร้องขอ/การให้บริการ/การคลิกโฆษณาทางอินเทอร์เน็ต ข้อมูลนี้สามารถเป็นพื้นฐานของการเรียนรู้ของเครื่องเพื่อปรับปรุงการเลือกโฆษณา

การเรียนรู้เชิงลึกได้รับการประยุกต์ใช้สำเร็จกับปัญหาผกผันเช่นการลดสัญญาณรบกวนการเพิ่มความละเอียดสูงการเติมเต็มภาพและ การ ระบายสีภาพยนตร์^{[ 234 ]}แอปพลิเคชันเหล่านี้รวมถึงวิธีการเรียนรู้ เช่น "Shrinkage Fields for Effective Image Restoration" ^{[ 235 ]}ซึ่งฝึกฝนบนชุดข้อมูลภาพ และDeep Image Priorซึ่งฝึกฝนบนภาพที่ต้องการการฟื้นฟู

การเรียนรู้เชิงลึกกำลังถูกนำไปประยุกต์ใช้ในการตรวจจับการฉ้อโกง ทางการเงิน การตรวจจับการหลีกเลี่ยงภาษี^{[ 236 ]}และการต่อต้านการฟอกเงิน^{[ 237 ]}

ในเดือนพฤศจิกายนปี 2023 นักวิจัยจากGoogle DeepMindและห้องปฏิบัติการแห่งชาติลอว์เรนซ์เบิร์กลีย์ได้ประกาศว่าพวกเขาได้พัฒนาระบบ AI ที่รู้จักกันในชื่อ GNoME ระบบนี้มีส่วนช่วยในด้านวิทยาศาสตร์วัสดุโดยการค้นพบวัสดุใหม่กว่า 2 ล้านชนิดภายในระยะเวลาอันสั้น GNoME ใช้เทคนิคการเรียนรู้เชิงลึกเพื่อสำรวจโครงสร้างวัสดุที่มีศักยภาพอย่างมีประสิทธิภาพ ทำให้สามารถระบุโครงสร้างผลึกอนินท รีย์ที่มีเสถียรภาพได้มากขึ้นอย่างมีนัยสำคัญ การคาดการณ์ของระบบได้รับการตรวจสอบผ่านการทดลองหุ่นยนต์อัตโนมัติ ซึ่งแสดงให้เห็นถึงอัตราความสำเร็จที่น่าทึ่งถึง 71% ข้อมูลของวัสดุที่ค้นพบใหม่นั้นเปิดเผยต่อสาธารณะผ่าน ฐานข้อมูล Materials Projectทำให้ผู้วิจัยมีโอกาสระบุวัสดุที่มีคุณสมบัติที่ต้องการสำหรับการใช้งานต่างๆ การพัฒนาครั้งนี้มีนัยสำคัญต่ออนาคตของการค้นพบทางวิทยาศาสตร์และการบูรณาการ AI ในการวิจัยวิทยาศาสตร์วัสดุ ซึ่งอาจเร่งนวัตกรรมด้านวัสดุและลดต้นทุนในการพัฒนาผลิตภัณฑ์ การใช้ AI และการเรียนรู้เชิงลึกชี้ให้เห็นถึงความเป็นไปได้ในการลดหรือกำจัดการทดลองในห้องปฏิบัติการด้วยตนเอง และช่วยให้นักวิทยาศาสตร์สามารถมุ่งเน้นไปที่การออกแบบและการวิเคราะห์สารประกอบที่เป็นเอกลักษณ์ได้มากขึ้น^{[ 238 ] [ 239 ] [ 240 ]}

กระทรวงกลาโหมของสหรัฐอเมริกาได้นำการเรียนรู้เชิงลึกมาใช้ในการฝึกฝนหุ่นยนต์ให้ทำงานใหม่ๆ ผ่านการสังเกต^{[ 241 ]}

เครือข่ายประสาทเทียมที่ได้รับข้อมูลทางฟิสิกส์ถูกนำมาใช้เพื่อแก้สมการเชิงอนุพันธ์ย่อยทั้งในปัญหาแบบตรงและแบบผกผันในลักษณะที่ขับเคลื่อนด้วยข้อมูล^{[ 242 ]}ตัวอย่างหนึ่งคือการสร้างการไหลของของเหลวขึ้นใหม่ซึ่งควบคุมโดยสมการนาเวียร์-สโตกส์การใช้เครือข่ายประสาทเทียมที่ได้รับข้อมูลทางฟิสิกส์ไม่จำเป็นต้องสร้างตาข่ายที่มีราคาแพงซึ่ง วิธีการ CFD แบบดั้งเดิม ต้องพึ่งพา^{[ 243 ] [ 244 ]}เห็นได้ชัดว่าข้อจำกัดทางเรขาคณิตและทางกายภาพมีผลเสริมฤทธิ์กันต่อตัวแทน PDE ของเครือข่ายประสาทเทียม ซึ่งช่วยเพิ่มประสิทธิภาพในการทำนายการกลิ้งที่เสถียรและยาวนานเป็นพิเศษ^{[ 245 ]}

วิธีสมการเชิงอนุพันธ์สุ่มแบบย้อนกลับเชิงลึก (Deep Backward Stochastic Differential Equation : BSDE) เป็นวิธีการเชิงตัวเลขที่ผสมผสานการเรียนรู้เชิงลึกเข้ากับสมการเชิงอนุพันธ์สุ่มแบบย้อนกลับ (BSDE) วิธีนี้มีประโยชน์อย่างยิ่งสำหรับการแก้ปัญหาที่มีมิติสูงในคณิตศาสตร์การเงิน โดยการใช้ประโยชน์จากความสามารถในการประมาณค่าฟังก์ชันอันทรงพลังของ เครือข่ายประสาทเทียมเชิงลึก BSDE เชิงลึกจึงสามารถแก้ปัญหาความท้าทายในการคำนวณที่วิธีการเชิงตัวเลขแบบดั้งเดิมเผชิญในบริบทที่มีมิติสูง โดยเฉพาะอย่างยิ่ง วิธีการแบบดั้งเดิม เช่น วิธีผลต่างจำกัด หรือการจำลองมอนเตคาร์โล มักประสบปัญหาจากคำสาปของมิติ ซึ่งต้นทุนการคำนวณจะเพิ่มขึ้นแบบทวีคูณตามจำนวนมิติ อย่างไรก็ตาม วิธีการ BSDE เชิงลึกใช้เครือข่ายประสาทเทียมเชิงลึกเพื่อประมาณค่าคำตอบของสมการเชิงอนุพันธ์ย่อย (PDE) ที่มีมิติสูง ซึ่งช่วยลดภาระการคำนวณได้อย่างมีประสิทธิภาพ^{[ 246 ]}

นอกจากนี้ การบูรณาการโครงข่ายประสาทเทียมที่อิงตามหลักฟิสิกส์ (PINNs) เข้ากับกรอบงาน BSDE เชิงลึก ช่วยเพิ่มประสิทธิภาพโดยการฝังกฎทางฟิสิกส์พื้นฐานลงในสถาปัตยกรรมของโครงข่ายประสาทเทียมโดยตรง ซึ่งทำให้มั่นใจได้ว่าคำตอบไม่เพียงแต่จะสอดคล้องกับข้อมูลเท่านั้น แต่ยังเป็นไปตามสมการเชิงอนุพันธ์สุ่มที่ควบคุมอยู่ด้วย PINNs ใช้ประโยชน์จากพลังของการเรียนรู้เชิงลึกในขณะที่เคารพข้อจำกัดที่กำหนดโดยแบบจำลองทางฟิสิกส์ ส่งผลให้ได้คำตอบที่แม่นยำและน่าเชื่อถือมากขึ้นสำหรับปัญหาทางคณิตศาสตร์ทางการเงิน

การสร้างภาพขึ้นใหม่คือการสร้างภาพพื้นฐานขึ้นใหม่จากการวัดที่เกี่ยวข้องกับภาพ งานวิจัยหลายชิ้นแสดงให้เห็นถึงประสิทธิภาพที่ดีกว่าและเหนือกว่าของวิธีการเรียนรู้เชิงลึกเมื่อเทียบกับวิธีการวิเคราะห์สำหรับการใช้งานต่างๆ เช่น การถ่ายภาพสเปกตรัม^{[ 247 ]}และการถ่ายภาพอัลตราซาวนด์^{[ 248 ]}

ระบบพยากรณ์อากาศแบบดั้งเดิมแก้ระบบสมการเชิงอนุพันธ์ย่อยที่ซับซ้อนมาก GraphCast เป็นแบบจำลองที่ใช้การเรียนรู้เชิงลึก ซึ่งได้รับการฝึกฝนจากข้อมูลสภาพอากาศในอดีตมายาวนานเพื่อทำนายการเปลี่ยนแปลงของรูปแบบสภาพอากาศเมื่อเวลาผ่านไป สามารถพยากรณ์สภาพอากาศได้นานถึง 10 วันทั่วโลก ในระดับรายละเอียดสูง และในเวลาไม่ถึงนาที ด้วยความแม่นยำใกล้เคียงกับระบบที่ทันสมัย^{​​[ 249 ] [ 250 ]}

นาฬิกาเอพิเจเนติกส์เป็นการทดสอบทางชีวเคมีที่สามารถใช้ในการวัดอายุได้ Galkin และคณะใช้เครือข่ายประสาทเทียมเชิงลึกเพื่อฝึกนาฬิกาอายุเอพิเจเนติกส์ที่มีความแม่นยำอย่างที่ไม่เคยมีมาก่อนโดยใช้ตัวอย่างเลือดมากกว่า 6,000 ตัวอย่าง^{[ 251 ]}นาฬิกานี้ใช้ข้อมูลจากไซต์ CpG 1,000 แห่ง และทำนายว่าผู้ที่มีภาวะบางอย่างจะมีอายุมากกว่ากลุ่มควบคุมที่มีสุขภาพดี ได้แก่โรค IBD , ภาวะสมองเสื่อมส่วนหน้าและ ส่วนขมับ , มะเร็งรังไข่และโรคอ้วนนาฬิกาอายุนี้มีแผนที่จะเปิดตัวให้สาธารณชนใช้งานในปี 2021 โดยบริษัท Deep Longevity ซึ่งเป็นบริษัทที่แยกตัวออกมาจาก Insilico Medicine

ข้อวิจารณ์หลักประการหนึ่งคือการขาดทฤษฎีเกี่ยวกับวิธีการบางอย่าง^{[ 274 ]}การเรียนรู้ในสถาปัตยกรรมเชิงลึกที่พบได้ทั่วไปนั้นใช้การลดระดับความชันที่เข้าใจกันดี อย่างไรก็ตาม ทฤษฎีเกี่ยวกับอัลกอริธึมอื่นๆ เช่น ความแตกต่างเชิงเปรียบเทียบนั้นยังไม่ชัดเจน(เช่น มันลู่เข้าหรือไม่? ถ้าใช่ เร็วแค่ไหน? มันประมาณค่าอะไร?) วิธีการเรียนรู้เชิงลึกมักถูกมองว่าเป็นกล่องดำโดยการยืนยันส่วนใหญ่ทำโดยประสบการณ์มากกว่าโดยทฤษฎี^{[ 275 ]}

เพื่อเป็นการอ้างอิงเพิ่มเติมถึงแนวคิดที่ว่าความอ่อนไหวทางศิลปะอาจมีอยู่ในระดับที่ค่อนข้างต่ำของลำดับชั้นการรับรู้ ชุดภาพกราฟิกที่เผยแพร่ของสถานะภายในของเครือข่ายประสาทลึก (20-30 ชั้น) ที่พยายามแยกแยะภาพที่ใช้ในการฝึกฝนจากข้อมูลแบบสุ่ม^{[ 276 ]}แสดงให้เห็นถึงความน่าสนใจทางสายตา: ประกาศการวิจัยฉบับดั้งเดิมได้รับความคิดเห็นมากกว่า 1,000 รายการ และเป็นหัวข้อของบทความที่มีผู้เข้าชมมากที่สุดในเว็บไซต์ของThe Guardian ในช่วงเวลาหนึ่ง ^{[ 277 ]}

ด้วยการสนับสนุนจากทฤษฎีการแพร่กระจายนวัตกรรม (IDT) การศึกษาวิเคราะห์การแพร่กระจายของการเรียนรู้เชิงลึกในประเทศ BRICS และ OECD โดยใช้ข้อมูลจากGoogle Trends ^{[ 278 ]}

สถาปัตยกรรมการเรียนรู้เชิงลึกบางประเภทแสดงพฤติกรรมที่เป็นปัญหา^{[ 279 ]}เช่น การจำแนกภาพที่ไม่สามารถจดจำได้ว่าเป็นภาพประเภทที่คุ้นเคย (2014) ^{[ 280 ]}และการจำแนกการเปลี่ยนแปลงเล็กน้อยของภาพที่จำแนกได้อย่างถูกต้องผิดพลาด (2013) ^{[ 281 ]} Goertzelตั้งสมมติฐานว่าพฤติกรรมเหล่านี้เกิดจากข้อจำกัดในการแสดงแทนภายใน และข้อจำกัดเหล่านี้จะขัดขวางการบูรณาการเข้ากับ สถาปัตยกรรม ปัญญาประดิษฐ์ทั่วไป (AGI) แบบหลายองค์ประกอบที่ไม่เป็นเนื้อเดียวกัน ^{[ 279 ]}ปัญหาเหล่านี้อาจได้รับการแก้ไขโดยสถาปัตยกรรมการเรียนรู้เชิงลึกที่สร้างสถานะภายในที่สอดคล้องกับการแยกส่วนไวยากรณ์ภาพ^{[ 282 ]}ของเอนทิตีและเหตุการณ์ที่สังเกตได้^{[ 279 ]}การเรียนรู้ไวยากรณ์ (ภาพหรือภาษา) จากข้อมูลการฝึกอบรมจะเทียบเท่ากับการจำกัดระบบให้ใช้เหตุผลสามัญสำนึกที่ดำเนินการกับแนวคิดในแง่ของกฎการผลิต ไวยากรณ์ และเป็นเป้าหมายพื้นฐานของการได้มาซึ่งภาษาของมนุษย์^{[ 283 ]}และปัญญาประดิษฐ์ (AI) ^{[ 284 ]}

เมื่อการเรียนรู้เชิงลึกก้าวจากห้องปฏิบัติการสู่โลกภายนอก งานวิจัยและประสบการณ์แสดงให้เห็นว่าโครงข่ายประสาทเทียมมีความเสี่ยงต่อการถูกแฮ็กและการหลอกลวง^{[ 285 ]}โดยการระบุรูปแบบที่ระบบเหล่านี้ใช้ในการทำงาน ผู้โจมตีสามารถแก้ไขอินพุตของ ANN ในลักษณะที่ ANN พบการจับคู่ที่ผู้สังเกตการณ์ที่เป็นมนุษย์จะไม่รู้จัก ตัวอย่างเช่น ผู้โจมตีสามารถทำการเปลี่ยนแปลงเล็กน้อยกับรูปภาพเพื่อให้ ANN พบการจับคู่แม้ว่ารูปภาพนั้นจะดูไม่เหมือนเป้าหมายการค้นหาสำหรับมนุษย์เลยก็ตาม การจัดการดังกล่าวเรียกว่า " การโจมตีแบบต่อต้าน " ^{[ 286 ]}

ในปี 2016 นักวิจัยใช้ ANN หนึ่งตัวเพื่อดัดแปลงภาพในลักษณะลองผิดลองถูก ระบุจุดโฟกัสของภาพอื่น และสร้างภาพที่หลอกลวงภาพนั้น ภาพที่แก้ไขแล้วดูไม่แตกต่างกันในสายตาของมนุษย์ กลุ่มอื่นแสดงให้เห็นว่าการพิมพ์ภาพที่ถูกดัดแปลงแล้วถ่ายภาพสามารถหลอกระบบการจำแนกภาพได้สำเร็จ^{[ 287 ]}วิธีป้องกันอย่างหนึ่งคือการค้นหาภาพย้อนกลับ โดยส่งภาพที่อาจเป็นภาพปลอมไปยังเว็บไซต์เช่นTinEyeซึ่งสามารถค้นหาภาพอื่น ๆ ที่เหมือนกันได้ การปรับปรุงคือการค้นหาโดยใช้เพียงบางส่วนของภาพ เพื่อระบุภาพที่ชิ้นส่วนนั้นอาจถูกนำมาจาก^{[ 288 ]}

กลุ่มวิจัยอีกกลุ่มหนึ่งแสดงให้เห็นว่า การแสดงภาพ หลอน บางอย่าง สามารถหลอกระบบจดจำใบหน้าให้คิดว่าคนธรรมดาเป็นคนดังได้ ซึ่งอาจทำให้คนคนหนึ่งปลอมตัวเป็นอีกคนหนึ่งได้ ในปี 2017 นักวิจัยได้ติดสติกเกอร์ลงบนป้ายหยุดรถและทำให้ ANN จำแนกป้ายเหล่านั้นผิดพลาด^{[ 287 ]}

อย่างไรก็ตาม เครือข่ายประสาทเทียม (ANN) สามารถฝึกฝนเพิ่มเติมเพื่อตรวจจับความพยายามในการหลอกลวงซึ่งอาจนำไปสู่การแข่งขันระหว่างผู้โจมตีและผู้ป้องกันในลักษณะเดียวกับที่เกิดขึ้นใน อุตสาหกรรมการป้องกันมัลแวร์ เครือข่าย ประสาทเทียมได้รับการฝึกฝนให้เอาชนะซอฟต์แวร์ป้องกันมัลแวร์ที่ใช้ ANN โดยการโจมตีระบบป้องกันซ้ำๆ ด้วยมัลแวร์ที่ถูกเปลี่ยนแปลงอย่างต่อเนื่องโดยอัลกอริทึมทางพันธุกรรมจนกระทั่งสามารถหลอกซอฟต์แวร์ป้องกันมัลแวร์ได้ ในขณะที่ยังคงความสามารถในการสร้างความเสียหายให้กับเป้าหมาย^{[ 287 ]}

ในปี 2559 กลุ่มอื่นได้แสดงให้เห็นว่าเสียงบางอย่างสามารถทำให้ ระบบสั่งการด้วยเสียง Google Nowเปิดที่อยู่เว็บเฉพาะได้ และตั้งสมมติฐานว่าสิ่งนี้สามารถ "ทำหน้าที่เป็นก้าวแรกสำหรับการโจมตีเพิ่มเติม (เช่น การเปิดเว็บเพจที่มีมัลแวร์แบบไดรฟ์บาย)" ^{[ 287 ]}

ใน " การวางยาพิษข้อมูล " ข้อมูลเท็จจะถูกลักลอบนำเข้าชุดข้อมูลฝึกฝนของระบบการเรียนรู้ของเครื่องอย่างต่อเนื่องเพื่อป้องกันไม่ให้ระบบบรรลุความเชี่ยวชาญ^{[ 287 ]}

ระบบการเรียนรู้เชิงลึกที่ได้รับการฝึกฝนโดยใช้การเรียนรู้แบบมีผู้กำกับดูแล มักจะอาศัยข้อมูลที่สร้างหรือระบุโดยมนุษย์ หรือทั้งสองอย่าง^{[ 289 ]}มีการโต้แย้งว่าไม่เพียงแต่การทำงานคลิก ที่มีค่าตอบแทนต่ำ (เช่น บนAmazon Mechanical Turk ) เท่านั้นที่ถูกนำมาใช้เพื่อจุดประสงค์นี้เป็นประจำ แต่ยังรวมถึงรูปแบบงานขนาดเล็ก ของมนุษย์โดยปริยาย ซึ่งมักไม่ได้รับการยอมรับว่าเป็นเช่นนั้น ด้วย ^{[ 290 ]}นักปรัชญาRainer Mühlhoffได้จำแนก "การจับภาพด้วยเครื่องจักร" ของงานขนาดเล็กของมนุษย์เพื่อสร้างข้อมูลการฝึกอบรมออกเป็น 5 ประเภท ได้แก่ (1) การทำให้เป็นเกม (การฝังงานการระบุหรือการคำนวณไว้ในขั้นตอนการเล่นเกม) (2) "การดักจับและติดตาม" (เช่นCAPTCHAสำหรับการจดจำภาพหรือการติดตามการคลิกในหน้าผลการค้นหา ของ Google ) (3) การใช้ประโยชน์จากแรงจูงใจทางสังคม (เช่นการติดแท็กใบหน้าบนFacebookเพื่อให้ได้ภาพใบหน้าที่ติดป้ายกำกับ) (4) การขุดข้อมูล (เช่น โดยการใช้ประโยชน์จาก อุปกรณ์ วัดตนเองเช่นเครื่องติดตามกิจกรรม ) และ (5) การทำงานคลิก^{[ 290 ]}