เครือข่ายฮอปฟิลด์ (หรือหน่วยความจำแบบเชื่อมโยง ) เป็นรูปแบบหนึ่งของเครือข่ายประสาทแบบวนซ้ำหรือ ระบบ สปินกลาสที่สามารถทำหน้าที่เป็นหน่วยความจำที่เข้าถึงเนื้อหาได้เครือข่ายฮอปฟิลด์ ซึ่งตั้งชื่อตามจอห์น ฮอปฟิลด์ประกอบด้วยเซลล์ประสาทชั้นเดียว โดยแต่ละเซลล์ประสาทเชื่อมต่อกับเซลล์ประสาทอื่น ๆ ทุกเซลล์ ยกเว้นตัวมันเอง การเชื่อมต่อเหล่านี้เป็นแบบสองทิศทางและสมมาตร หมายความว่าน้ำหนักของการเชื่อมต่อจากเซลล์ประสาทiไปยังเซลล์ประสาทjจะเท่ากับน้ำหนักจากเซลล์ประสาทjไปยังเซลล์ประสาทiรูปแบบต่างๆ จะถูกเรียกคืนแบบเชื่อมโยงโดยการกำหนดค่าอินพุตบางอย่าง และเครือข่ายจะพัฒนาแบบไดนามิกเพื่อลดฟังก์ชันพลังงานให้เหลือน้อยที่สุด ไปสู่สถานะพลังงานต่ำสุดเฉพาะที่ซึ่งสอดคล้องกับรูปแบบที่จัดเก็บไว้ รูปแบบต่างๆ จะถูกเรียนรู้ (หรือ "จัดเก็บ") แบบเชื่อมโยงโดยอัลกอริทึม การเรียนรู้แบบเฮบเบียน

หนึ่งในคุณสมบัติสำคัญของเครือข่าย Hopfield คือความสามารถในการกู้คืนรูปแบบที่สมบูรณ์จากอินพุตที่ไม่สมบูรณ์หรือมีสัญญาณรบกวน ทำให้มีความทนทานต่อข้อมูลที่ไม่สมบูรณ์หรือเสียหาย ความเชื่อมโยงกับกลศาสตร์เชิงสถิติ เครือข่ายแบบวนซ้ำ และจิตวิทยาการรับรู้ของมนุษย์ นำไปสู่การนำไปประยุกต์ใช้ในหลากหลายสาขา รวมถึงฟิสิกส์จิตวิทยาประสาทวิทยา และทฤษฎีและการปฏิบัติการเรียนรู้ของเครื่องจักร เนื่องจากเซลล์ประสาทมีค่าเป็นไบนารี (±1 หรือ 0/1) ความสามารถในการปรับขนาดที่จำกัด และความไม่เข้ากันกับการเรียนรู้แบบใช้การไล่ระดับ เครือข่าย Hopfield แบบคลาสสิ กจึงไม่ค่อยได้ใช้ในการเรียนรู้ของเครื่องจักรสมัยใหม่

แหล่งกำเนิดหนึ่งของความจำแบบเชื่อมโยงคือจิตวิทยาการรู้คิด ของมนุษย์ โดยเฉพาะอย่างยิ่งความจำแบบเชื่อมโยงแฟรงค์โรเซนแบลตต์ ศึกษา "เพอร์เซปตรอนแบบเชื่อมโยงไขว้แบบวงปิด" ซึ่งเป็นเครือข่าย เพอร์เซปตรอน 3 ชั้นโดยชั้นกลางประกอบด้วยการเชื่อมต่อแบบวนซ้ำที่เปลี่ยนแปลงตามกฎการเรียนรู้แบบเฮบเบียน^{[ 1 ] : 73–75 [ 2 ] : บทที่ 19, 21}

แบบจำลองหน่วยความจำแบบเชื่อมโยงอีกแบบหนึ่งคือแบบที่ผลลัพธ์ไม่วนกลับไปยังอินพุต WK Taylor เสนอแบบจำลองดังกล่าวที่ฝึกฝนโดยการเรียนรู้แบบ Hebbian ในปี 1956 ^{[ 3 ]} Karl Steinbuchผู้ซึ่งต้องการทำความเข้าใจการเรียนรู้และได้รับแรงบันดาลใจจากการเฝ้าดูบุตรหลานของเขาเรียนรู้^{[ 4 ]}ได้ตีพิมพ์Lernmatrixในปี 1961 ^{[ 5 ] [ 6 ]}และได้รับการแปลเป็นภาษาอังกฤษในปี 1963 ^{[ 7 ]}งานวิจัยที่คล้ายกันนี้ได้ทำกับcorrelogramของ DJ Willshaw และคณะในปี 1969 ^{[ 8 ]} Teuvo Kohonenได้ฝึกฝนหน่วยความจำแบบเชื่อมโยงโดยการไล่ระดับความชันในปี 1974 ^{[ 9 ]}

แหล่งกำเนิดอีกแหล่งหนึ่งของหน่วยความจำแบบเชื่อมโยงคือกลศาสตร์เชิงสถิติแบบจำลอง Ising ได้รับการตีพิมพ์ในช่วงทศวรรษ 1920 ในฐานะแบบจำลองของแม่เหล็ก อย่างไรก็ตาม แบบจำลองนี้ศึกษาถึงสมดุลทางความร้อน ซึ่งไม่เปลี่ยนแปลงตามเวลาRoy J. Glauberในปี 1963 ได้ศึกษาแบบจำลอง Ising ที่วิวัฒนาการไปตามเวลา ในฐานะกระบวนการที่มุ่งสู่สมดุลทางความร้อน ( พลศาสตร์ของ Glauber ) โดยเพิ่มองค์ประกอบของเวลาเข้าไป^{[ 10 ] [ 11 ]}

องค์ประกอบที่สองที่เพิ่มเข้ามาคือการปรับตัวให้เข้ากับสิ่งเร้า องค์ประกอบนี้ได้รับการเพิ่มเข้ามาโดยอิสระจากแหล่งข้อมูลต่างๆ รวมถึง Rosenblatt (1960) ^{[ 1 ] : 73–75} Kaoru Nakano (1971) ^{[ 12 ] [ 13 ]}และShun'ichi Amari (1972) ^{[ 14 ]}พวกเขาเสนอให้ปรับเปลี่ยนน้ำหนักของแบบจำลอง Ising โดยใช้ กฎ การเรียนรู้แบบ Hebbianเป็นแบบจำลองของหน่วยความจำแบบเชื่อมโยง แนวคิดเดียวกันนี้ได้รับการตีพิมพ์โดยWilliam A. Littleในปี 1974 ^{[ 15 ]}ซึ่งได้รับการยอมรับโดย Hopfield ในบทความของเขาในปี 1982

ดู Carpenter (1989) ^{[ 16 ]}และ Cowan (1990) ^{[ 17 ]}สำหรับคำอธิบายทางเทคนิคของงานยุคแรกๆ เหล่านี้ในหน่วยความจำแบบเชื่อมโยง

แบบจำลอง Sherrington–Kirkpatrickของสปินกลาสที่ตีพิมพ์ในปี 1975 ^{[ 18 ]}คือเครือข่าย Hopfield ที่มีการเริ่มต้นแบบสุ่ม Sherrington และ Kirkpatrick พบว่ามีความเป็นไปได้สูงที่ฟังก์ชันพลังงานของแบบจำลอง SK จะมีค่าต่ำสุดเฉพาะที่จำนวนมาก ในบทความปี 1982 Hopfield ได้นำทฤษฎีที่พัฒนาขึ้นใหม่นี้มาใช้เพื่อศึกษาเครือข่าย Hopfield ที่มีฟังก์ชันการกระตุ้นแบบไบนารี^{[ 19 ]}ในบทความปี 1984 เขาได้ขยายสิ่งนี้ไปสู่ฟังก์ชันการกระตุ้นแบบต่อเนื่อง^{[ 20 ]}ซึ่งกลายเป็นแบบจำลองมาตรฐานสำหรับการศึกษาเครือข่ายประสาทผ่านกลศาสตร์สถิติ^{[ 21 ] [ 22 ]}

ความก้าวหน้าครั้งสำคัญในความจุในการจัดเก็บหน่วยความจำได้รับการพัฒนาโดย Dimitry Krotov และ Hopfield ในปี 2016 ^{[ 23 ]}ผ่านการเปลี่ยนแปลงในพลวัตของเครือข่ายและฟังก์ชันพลังงาน แนวคิดนี้ได้รับการขยายเพิ่มเติมโดย Demircigil และผู้ร่วมงานในปี 2017 ^{[ 24 ]}พลวัตต่อเนื่องของแบบจำลองความจุหน่วยความจำขนาดใหญ่ได้รับการพัฒนาในชุดเอกสารระหว่างปี 2016 ถึง 2020 ^{[ 23 ] [ 25 ] [ 26 ]}  เครือข่าย Hopfield ที่มีความจุในการจัดเก็บหน่วยความจำขนาดใหญ่ในปัจจุบันเรียกว่า Dense Associative Memories หรือ เครือข่าย Hopfield สมัยใหม่

ในปี 2024 จอห์น เจ. ฮอปฟิลด์ และเจฟฟรีย์ อี. ฮินตันได้รับรางวัลโนเบลสาขาฟิสิกส์จากผลงานพื้นฐานที่สำคัญในด้านการเรียนรู้ของเครื่องจักร เช่น เครือข่ายฮอปฟิลด์

หน่วยในเครือข่าย Hopfield เป็นหน่วยเกณฑ์ไบนารี กล่าวคือ หน่วยจะมีค่าที่แตกต่างกันเพียงสองค่าสำหรับสถานะของมัน และค่าจะถูกกำหนดโดยว่าอินพุตของหน่วยเกินเกณฑ์หรือไม่ เครือ ข่าย Hopfield แบบไม่ต่อเนื่องอธิบายความสัมพันธ์ระหว่างเซลล์ ประสาทไบนารี (ที่กำลังยิงหรือไม่ยิง) ^{[ 19 ]} ในช่วงเวลาหนึ่ง สถานะของเครือข่ายประสาทจะถูกอธิบายด้วยเวกเตอร์ซึ่งบันทึกว่าเซลล์ประสาทใดกำลังยิงในคำไบนารีของบิต ${\displaystyle U_{i}}$${\displaystyle 1,2,\ldots ,i,j,\ldots ,N}$${\displaystyle V}$${\displaystyle N}$

ปฏิสัมพันธ์ระหว่างเซลล์ประสาทมีหน่วยที่โดยทั่วไปมีค่าเป็น 1 หรือ -1 และจะใช้สัญลักษณ์นี้ตลอดทั้งบทความนี้ อย่างไรก็ตาม เอกสารอื่นๆ อาจใช้หน่วยที่มีค่าเป็น 0 และ 1 ปฏิสัมพันธ์เหล่านี้ "เรียนรู้" ผ่านกฎการเชื่อมโยงของเฮบบ์ (Hebb's law of association)โดยที่สำหรับสถานะหนึ่ง และโหนดที่แตกต่างกัน${\displaystyle w_{ij}}$${\displaystyle V^{s}}$${\displaystyle i,j}$

${\displaystyle w_{ij}=V_{i}^{s}V_{j}^{s}}$

แต่. ${\displaystyle w_{ii}=0}$

(โปรดทราบว่ากฎการเรียนรู้แบบเฮบเบียนจะมีรูปแบบเมื่อหน่วยต่างๆ มีค่าอยู่ในช่วง.) ${\displaystyle w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)}$${\displaystyle \{0,1\}}$

เมื่อเครือข่ายได้รับการฝึกฝนแล้วจะไม่เกิดการเปลี่ยนแปลงอีกต่อไป หากมีการนำสถานะใหม่ของเซลล์ประสาทเข้ามาในเครือข่ายประสาท เครือข่ายจะกระทำการกับเซลล์ประสาทเหล่านั้นดังนี้ ${\displaystyle w_{ij}}$${\displaystyle V^{s'}}$

• ${\displaystyle V_{i}^{s'}\rightarrow 1}$ถ้า${\displaystyle \sum _{j}w_{ij}V_{j}^{s'}\geq U_{i}}$
• ${\displaystyle V_{i}^{s'}\rightarrow -1}$ถ้า${\displaystyle \sum _{j}w_{ij}V_{j}^{s'}<U_{i}}$

โดยที่ค่าเกณฑ์ของนิวรอนที่ i (มักจะถือว่าเป็น 0) ^{[ 27 ]}ด้วยวิธีนี้ เครือข่าย Hopfield มีความสามารถในการ "จดจำ" สถานะที่เก็บไว้ในเมทริกซ์ปฏิสัมพันธ์ เนื่องจากหากมีสถานะใหม่เกิดขึ้นกับเมทริกซ์ปฏิสัมพันธ์ นิวรอนแต่ละตัวจะเปลี่ยนแปลงจนกว่าจะตรงกับสถานะเดิม(ดูส่วนการอัปเดตด้านล่าง) ${\displaystyle U_{i}}$${\displaystyle V^{s'}}$${\displaystyle V^{s}}$

โดยทั่วไปแล้ว การเชื่อมต่อในโครงข่าย Hopfield จะมีข้อจำกัดดังต่อไปนี้:

• ${\displaystyle w_{ii}=0,\forall i}$(ไม่มีหน่วยใดเชื่อมต่อกับตัวเอง)
• ${\displaystyle w_{ij}=w_{ji},\forall i,j}$(การเชื่อมต่อมีความสมมาตร)

ข้อจำกัดที่ว่าน้ำหนักมีความสมมาตรรับประกันว่าฟังก์ชันพลังงานจะลดลงอย่างต่อเนื่องในขณะที่ปฏิบัติตามกฎการกระตุ้น^{[ 28 ]}เครือข่ายที่มีน้ำหนักไม่สมมาตรอาจแสดงพฤติกรรมเป็นคาบหรือวุ่นวาย อย่างไรก็ตาม Hopfield พบว่าพฤติกรรมนี้จำกัดอยู่ในส่วนเล็ก ๆ ของพื้นที่เฟสและไม่ทำให้ความสามารถของเครือข่ายในการทำหน้าที่เป็นระบบหน่วยความจำแบบเชื่อมโยงที่สามารถระบุเนื้อหาได้ลดลง

นอกจากนี้ Hopfield ยังสร้างแบบจำลองโครงข่ายประสาทเทียมสำหรับค่าต่อเนื่อง ซึ่งเอาต์พุตไฟฟ้าของแต่ละเซลล์ประสาทไม่ใช่ค่าไบนารี แต่เป็นค่าระหว่าง 0 ถึง 1 ^{[ 20 ]} เขาพบว่าโครงข่ายประเภทนี้ยังสามารถจัดเก็บและสร้างสถานะที่จดจำไว้ได้อีกด้วย

โปรดสังเกตว่าหน่วย iและjทุกคู่ในเครือข่าย Hopfield มีการเชื่อมต่อที่อธิบายได้ด้วยน้ำหนักการเชื่อมต่อในแง่นี้ เครือข่าย Hopfield สามารถอธิบายได้อย่างเป็นทางการว่าเป็นกราฟแบบไม่มีทิศทางที่สมบูรณ์โดยที่เป็นเซตของเซลล์ประสาท McCulloch–Pittsและเป็นฟังก์ชันที่เชื่อมโยงหน่วยแต่ละคู่เข้ากับค่าจริง ซึ่งก็คือน้ำหนักการเชื่อมต่อ ${\displaystyle w_{ij}}$${\displaystyle G=\langle V,f\rangle }$${\displaystyle V}$${\displaystyle f:V^{2}\rightarrow \mathbb {R} }$

การอัปเดตหน่วยหนึ่ง (โหนดในกราฟที่จำลองเซลล์ประสาทเทียม) ในเครือข่าย Hopfield จะดำเนินการโดยใช้กฎต่อไปนี้:

${\displaystyle s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{ถ้า }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{มิฉะนั้น.}}\end{array}}\right.}$

ที่ไหน:

• ${\displaystyle w_{ij}}$คือความแข็งแรงของการเชื่อมต่อระหว่างหน่วย j กับหน่วย i (น้ำหนักของการเชื่อมต่อ)
• ${\displaystyle s_{i}}$คือสถานะของหน่วยที่ 1
• ${\displaystyle \theta _{i}}$คือค่าเกณฑ์ของหน่วยที่ i

การอัปเดตเครือข่าย Hopfield สามารถทำได้สองวิธี:

• อะซิงโครนัส : จะมีการอัปเดตข้อมูลเพียงครั้งละหนึ่งหน่วยเท่านั้น หน่วยนี้สามารถเลือกได้แบบสุ่ม หรือสามารถกำหนดลำดับล่วงหน้าตั้งแต่เริ่มต้นก็ได้
• แบบซิงโครนัส : หน่วยทั้งหมดจะได้รับการอัปเดตพร้อมกัน ซึ่งต้องใช้สัญญาณนาฬิกาหลักของระบบเพื่อรักษาการซิงโครไนซ์ วิธีนี้บางคนมองว่าไม่สมจริงนัก เนื่องจากไม่พบสัญญาณนาฬิกาสากลที่มีอิทธิพลต่อระบบทางชีววิทยาหรือทางกายภาพที่คล้ายคลึงกัน

น้ำหนักระหว่างสองหน่วยมีผลกระทบอย่างมากต่อค่าของเซลล์ประสาท พิจารณาน้ำหนักการเชื่อมต่อระหว่างเซลล์ประสาท i และ j ถ้ากฎการอัปเดตจะบ่งชี้ว่า: ${\displaystyle w_{ij}}$${\displaystyle w_{ij}>0}$

• เมื่อค่าการมีส่วนร่วมของjในผลรวมถ่วงน้ำหนักจะเป็นบวก ดังนั้น จึงถูกดึงโดยjเข้าหาค่าของมัน${\displaystyle s_{j}=1}$${\displaystyle s_{i}}$${\displaystyle s_{i}=1}$
• เมื่อค่าการมีส่วนร่วมของjในผลรวมถ่วงน้ำหนักเป็นค่าลบ จากนั้น ก็จะถูกผลักดันโดยjไปสู่ค่าของมัน อีกครั้ง${\displaystyle s_{j}=-1}$${\displaystyle s_{i}}$${\displaystyle s_{i}=-1}$

ดังนั้น ค่าของนิวรอนiและjจะลู่เข้าหากันหากน้ำหนักระหว่างพวกมันเป็นบวก ในทำนองเดียวกัน พวกมันจะลู่ออกหากน้ำหนักเป็นลบ

Bruckในบทความของเขาในปี 1990 ^{[ 29 ]}   ได้ศึกษาเครือข่าย Hopfield แบบไม่ต่อเนื่องและพิสูจน์ทฤษฎีบทการบรรจบกันแบบทั่วไปโดยอาศัยการเชื่อมต่อระหว่างพลวัตของเครือข่ายและการตัดในกราฟที่เกี่ยวข้องการวางนัยทั่วไปนี้ครอบคลุมทั้งพลวัตแบบอะซิงโครนัสและแบบซิงโครนัส และนำเสนอการพิสูจน์เบื้องต้นโดยอาศัยอัลกอริทึมแบบโลภสำหรับการตัดสูงสุดในกราฟบทความต่อมา^{[ 30 ]}ได้ตรวจสอบพฤติกรรมของนิวรอนใดๆ ในเครือข่าย Hopfield ทั้งแบบเวลาไม่ต่อเนื่องและเวลาต่อเนื่องเมื่อฟังก์ชันพลังงานที่สอดคล้องกันถูกทำให้น้อยที่สุดในระหว่างกระบวนการเพิ่มประสิทธิภาพ Bruck แสดงให้เห็น^{[ 29 ]}ว่านิวรอนjเปลี่ยนสถานะก็ต่อเมื่อมันลดการตัดเทียมแบบมีอคติต่อไปนี้ลง เครือข่าย Hopfield แบบไม่ต่อเนื่องทำให้การตัดเทียมแบบมีอคติต่อไปนี้น้อยที่สุด^{[ 30 ]}สำหรับเมทริกซ์น้ำหนักไซแนปส์ของเครือข่าย Hopfield

${\displaystyle J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}}$

โดยที่และแทนเซตของเซลล์ประสาทซึ่งมีค่าเป็น −1 และ +1 ตามลำดับ ณ เวลาสำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารล่าสุด^{[ 30 ]}${\displaystyle C_{1}(k)}$${\displaystyle C_{2}(k)}$${\displaystyle k}$

เครือข่าย Hopfield แบบเวลาไม่ต่อเนื่องจะลดค่า pseudo-cut ต่อไปนี้ให้น้อยที่สุดเสมอ^{[ 29 ] [ 30 ]}

${\displaystyle U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)}$

เครือข่าย Hopfield แบบต่อเนื่องจะลดขอบเขตบนของการตัดแบบถ่วงน้ำหนักต่อไปนี้ให้น้อยที่สุดเสมอ^{[ 30 ]}

${\displaystyle V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))}$

โดยที่เป็นฟังก์ชันซิกมอยด์ที่มีจุดศูนย์กลางอยู่ที่ศูนย์ ${\displaystyle f(\cdot )}$

ในทางกลับกัน เครือข่าย Hopfield ที่ซับซ้อนมักจะมีแนวโน้มที่จะลดสิ่งที่เรียกว่า shadow-cut ของเมทริกซ์น้ำหนักที่ซับซ้อนของเครือข่ายให้เหลือน้อยที่สุด^{[ 31 ]}

โครงข่ายฮอปฟิลด์มีค่าสเกลาร์ที่สัมพันธ์กับแต่ละสถานะของโครงข่าย ซึ่งเรียกว่า "พลังงาน" Eของโครงข่าย โดยที่:

${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}+\sum _{i}\theta _{i}s_{i}}$

ปริมาณนี้เรียกว่า "พลังงาน" เพราะมันจะลดลงหรือคงที่เมื่อมีการอัปเดตหน่วยเครือข่าย นอกจากนี้ ภายใต้การอัปเดตซ้ำ ๆ เครือข่ายจะลู่เข้าสู่สถานะที่เป็นค่าต่ำสุดเฉพาะที่ในฟังก์ชันพลังงาน (ซึ่งถือว่าเป็นฟังก์ชัน Lyapunov ) ในที่สุด ^{[ 19 ]}ดังนั้น หากสถานะเป็นค่าต่ำสุดเฉพาะที่ในฟังก์ชันพลังงาน สถานะนั้นจะเป็นสถานะที่เสถียรสำหรับเครือข่าย โปรดทราบว่าฟังก์ชันพลังงานนี้อยู่ในกลุ่มแบบจำลองทั่วไปในฟิสิกส์ภายใต้ชื่อแบบจำลอง Isingซึ่งในทางกลับกันเป็นกรณีพิเศษของเครือข่าย Markovเนื่องจากมาตรวัดความน่าจะ เป็นที่เกี่ยวข้อง มาตรวัด Gibbsมีคุณสมบัติ Markov

HopfieldและTankได้นำเสนอการประยุกต์ใช้เครือข่าย Hopfield ในการแก้ปัญหาการเดินทางของพนักงานขายแบบคลาสสิกในปี 1985 ^{[ 32 ]}ตั้งแต่นั้นมา เครือข่าย Hopfield ก็ถูกนำมาใช้กันอย่างแพร่หลายในการเพิ่มประสิทธิภาพ แนวคิดของการใช้เครือข่าย Hopfield ในปัญหาการเพิ่มประสิทธิภาพนั้นตรงไปตรงมา: หากฟังก์ชันต้นทุนที่มีข้อจำกัด/ไม่มีข้อจำกัดสามารถเขียนในรูปแบบของฟังก์ชันพลังงาน Hopfield E ได้ ก็จะมีเครือข่าย Hopfield ที่จุดสมดุลแสดงถึงคำตอบของปัญหาการเพิ่มประสิทธิภาพที่มีข้อจำกัด/ไม่มีข้อจำกัด การลดฟังก์ชันพลังงาน Hopfield ให้เหลือน้อยที่สุดจะลดฟังก์ชันเป้าหมายให้เหลือน้อยที่สุดและเป็นไปตามข้อจำกัดด้วย เนื่องจากข้อจำกัดนั้น "ฝัง" อยู่ในน้ำหนักไซแนปส์ของเครือข่าย แม้ว่าการรวมข้อจำกัดการปรับให้เหมาะสมเข้ากับน้ำหนักไซแนปส์ในวิธีที่ดีที่สุดเท่าที่จะเป็นไปได้จะเป็นงานที่ท้าทาย แต่ปัญหาการปรับให้เหมาะสมที่ยากหลายปัญหาที่มีข้อจำกัดในสาขาวิชาต่างๆ ได้ถูกแปลงเป็นฟังก์ชันพลังงาน Hopfield แล้ว เช่น ระบบหน่วยความจำแบบเชื่อมโยง การแปลงอนาล็อกเป็นดิจิทัล ปัญหาการจัดตารางงานในโรงงาน ปัญหาการมอบหมายแบบกำลังสองและปัญหา NP-complete อื่นๆ ที่เกี่ยวข้อง ปัญหาการจัดสรรช่องสัญญาณในเครือข่ายไร้สาย ปัญหาการกำหนดเส้นทางเครือข่าย ad-hoc เคลื่อนที่ การฟื้นฟูภาพ การระบุระบบ การปรับให้เหมาะสมเชิงการจัดเรียง ฯลฯ เป็นต้น อย่างไรก็ตาม แม้ว่าจะสามารถแปลงปัญหาการปรับให้เหมาะสมที่ยากเป็นฟังก์ชันพลังงาน Hopfield ได้ แต่ก็ไม่รับประกันการบรรจบกันไปสู่คำตอบ (แม้ในเวลาเลขชี้กำลัง) ^{[ 33 ]}

การเริ่มต้นเครือข่าย Hopfield ทำได้โดยการกำหนดค่าของหน่วยต่างๆ ให้เป็นรูปแบบเริ่มต้นที่ต้องการ จากนั้นจะทำการอัปเดตซ้ำๆ จนกว่าเครือข่ายจะลู่เข้าสู่รูปแบบตัวดึงดูด โดยทั่วไปแล้วการลู่เข้าจะเกิดขึ้นได้ เนื่องจาก Hopfield ได้พิสูจน์แล้วว่าตัวดึงดูดของระบบพลวัตแบบไม่เชิงเส้น นี้ มีความเสถียร ไม่ใช่แบบเป็นคาบหรือแบบอลวนเหมือนในระบบอื่นๆ ดังนั้น ในบริบทของเครือข่าย Hopfield รูปแบบตัวดึงดูดจึงเป็นสถานะสุดท้ายที่เสถียร เป็นรูปแบบที่ไม่สามารถเปลี่ยนแปลงค่าใดๆ ภายในนั้นได้ในระหว่างการอัปเดต

การฝึกโครงข่าย Hopfield เกี่ยวข้องกับการลดพลังงานของสถานะที่โครงข่ายควร "จดจำ" ซึ่งทำให้โครงข่ายทำหน้าที่เป็นระบบหน่วยความจำที่สามารถระบุตำแหน่งเนื้อหาได้ กล่าวคือ โครงข่ายจะลู่เข้าสู่สถานะที่ "จดจำ" ไว้หากได้รับเพียงส่วนหนึ่งของสถานะนั้น โครงข่ายสามารถใช้เพื่อกู้คืนจากอินพุตที่ผิดเพี้ยนไปยังสถานะที่ได้รับการฝึกฝนซึ่งคล้ายคลึงกับอินพุตนั้นมากที่สุด สิ่งนี้เรียกว่าหน่วยความจำแบบเชื่อมโยง (associative memory) เพราะมันกู้คืนความทรงจำบนพื้นฐานของความคล้ายคลึงกัน ตัวอย่างเช่น หากเราฝึกโครงข่าย Hopfield ที่มีห้าหน่วยเพื่อให้สถานะ (1, −1, 1, −1, 1) เป็นค่าพลังงานต่ำสุด และเราให้สถานะ (1, −1, −1, −1, 1) แก่โครงข่าย มันจะลู่เข้าสู่ (1, −1, 1, −1, 1) ดังนั้น โครงข่ายจะได้รับการฝึกฝนอย่างถูกต้องเมื่อพลังงานของสถานะที่โครงข่ายควรจดจำเป็นค่าต่ำสุดเฉพาะที่ โปรดทราบว่า ในทางตรงกันข้ามกับ การฝึก Perceptronค่าเกณฑ์ของเซลล์ประสาทจะไม่ได้รับการอัปเดตเลย

มีกฎการเรียนรู้ ที่หลากหลาย ซึ่งสามารถใช้ในการจัดเก็บข้อมูลในหน่วยความจำของเครือข่าย Hopfield ได้ กฎการเรียนรู้ที่ดีควรมีคุณสมบัติทั้งสองข้อต่อไปนี้:

• เฉพาะที่ : กฎการเรียนรู้จะเรียกว่าเฉพาะที่หากน้ำหนักแต่ละตัวได้รับการปรับปรุงโดยใช้ข้อมูลที่มีอยู่ในเซลล์ประสาททั้งสองด้านของการเชื่อมต่อที่เกี่ยวข้องกับน้ำหนักนั้นๆ
• เพิ่มขึ้นทีละน้อย : สามารถเรียนรู้รูปแบบใหม่ได้โดยไม่ต้องใช้ข้อมูลจากรูปแบบเก่าที่เคยใช้ในการฝึกฝนมาก่อน กล่าวคือ เมื่อใช้รูปแบบใหม่สำหรับการฝึกฝน ค่าใหม่สำหรับน้ำหนักจะขึ้นอยู่กับค่าเก่าและรูปแบบใหม่เท่านั้น^{[ 34 ]}

คุณสมบัติเหล่านี้เป็นที่พึงปรารถนา เนื่องจากกฎการเรียนรู้ที่ตรงตามเงื่อนไขเหล่านี้มีความสมเหตุสมผลทางชีววิทยามากกว่า ตัวอย่างเช่น เนื่องจากสมองของมนุษย์เรียนรู้แนวคิดใหม่ๆ อยู่เสมอ จึงสามารถสรุปได้ว่าการเรียนรู้ของมนุษย์เป็นแบบค่อยเป็นค่อยไป ระบบการเรียนรู้ที่ไม่เป็นแบบค่อยเป็นค่อยไปโดยทั่วไปจะได้รับการฝึกฝนเพียงครั้งเดียว ด้วยชุดข้อมูลการฝึกฝนขนาดใหญ่

ทฤษฎีของ Hebbianได้รับการนำเสนอโดย Donald Hebb ในปี พ.ศ. 2492 เพื่ออธิบาย "การเรียนรู้แบบเชื่อมโยง" ซึ่งการกระตุ้นเซลล์ประสาทพร้อมกันจะนำไปสู่การเพิ่มขึ้นอย่างเห็นได้ชัดของความแข็งแรงของไซแนปส์ระหว่างเซลล์เหล่านั้น^{[ 35 ]}มักสรุปได้ว่า "เซลล์ประสาทที่ทำงานพร้อมกันจะเชื่อมต่อกัน เซลล์ประสาทที่ทำงานไม่พร้อมกันจะไม่สามารถเชื่อมโยงกันได้"

กฎของ Hebbian นั้นเป็นทั้งแบบเฉพาะที่และแบบค่อยเป็นค่อยไป สำหรับเครือข่าย Hopfield นั้น จะถูกนำไปใช้ในลักษณะต่อไปนี้เมื่อเรียนรู้ รูปแบบไบนารี: ${\displaystyle n}$

${\displaystyle w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }}$

โดยที่i แทนบิตจากรูปแบบ ${\displaystyle \epsilon _{i}^{\mu }}$${\displaystyle \mu }$

ถ้าบิตที่สอดคล้องกับเซลล์ประสาท i และ j มีรูปแบบเหมือนกัน ผลคูณ ก็ จะเป็นค่าบวก ซึ่งจะส่งผลดีต่อค่าน้ำหนักและค่าของ i และ j จะมีแนวโน้มเท่ากัน ในทางกลับกัน หากบิตที่สอดคล้องกับเซลล์ประสาท i และ j แตกต่างกัน ผลลัพธ์ก็จะตรงกันข้าม ${\displaystyle \mu }$${\displaystyle \epsilon _{i}^{\mu }\epsilon _{j}^{\mu }}$${\displaystyle w_{ij}}$

กฎนี้ได้รับการแนะนำโดยAmos Storkeyในปี 1997 และเป็นทั้งแบบเฉพาะที่และแบบเพิ่มขึ้น Storkey ยังแสดงให้เห็นว่าเครือข่าย Hopfield ที่ฝึกฝนโดยใช้กฎนี้มีความจุมากกว่าเครือข่ายที่สอดคล้องกันซึ่งฝึกฝนโดยใช้กฎ Hebbian ^{[ 36 ]}เมทริกซ์น้ำหนักของเครือข่ายประสาทดึงดูดจะกล่าวได้ว่าปฏิบัติตามกฎการเรียนรู้ของ Storkey หากเป็นไปตาม:

${\displaystyle w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }}$

โดยที่เป็นรูปแบบหนึ่งของสนามท้องถิ่น^{[ 34 ]}ที่เซลล์ประสาท i ${\displaystyle h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }}$

กฎการเรียนรู้นี้เป็นแบบเฉพาะที่ เนื่องจากไซแนปส์จะพิจารณาเฉพาะเซลล์ประสาทที่อยู่ด้านข้างเท่านั้น กฎนี้ใช้ข้อมูลจากรูปแบบและน้ำหนักมากกว่ากฎเฮบเบียนแบบทั่วไป เนื่องมาจากผลกระทบของสนามเฉพาะที่

บิตสุ่ม 10 บิตแรกถูกสลับค่า

บิตสุ่ม 15 บิตแรกถูกสลับค่า (โดยมีแนวโน้มเข้าสู่รูปแบบที่ไม่ถูกต้อง)

ไดนามิกส์แบบฮอปฟิลด์ของเครือข่ายเซลล์ประสาทขนาด 5x5=25 เซลล์ ที่ได้รับการฝึกฝนให้จัดเก็บรูปแบบเดียวคือ "E" สีดำ

รูปแบบที่เครือข่ายใช้ในการฝึกอบรม (เรียกว่าสถานะการเรียกคืน ) จะกลายเป็นตัวดึงดูดของระบบ การอัปเดตซ้ำๆ จะนำไปสู่การบรรจบกันที่สถานะการเรียกคืนสถานะใดสถานะหนึ่งในที่สุด อย่างไรก็ตาม บางครั้งเครือข่ายจะบรรจบกันที่รูปแบบปลอม (แตกต่างจากรูปแบบการฝึกอบรม) ^{[ 37 ]}ในความเป็นจริง จำนวนรูปแบบปลอมอาจเป็นเลขชี้กำลังตามจำนวนรูปแบบที่จัดเก็บไว้ แม้ว่ารูปแบบที่จัดเก็บไว้จะเป็นแบบตั้งฉากก็ตาม^{[ 38 ]}พลังงานในรูปแบบปลอมเหล่านี้ยังเป็นค่าต่ำสุดเฉพาะที่อีกด้วย สำหรับแต่ละรูปแบบที่จัดเก็บไว้ x การปฏิเสธ -x ก็เป็นรูปแบบปลอมเช่นกัน

สถานะที่ไม่ถูกต้องอาจเป็นผลรวมเชิงเส้นของสถานะการเรียกค้นจำนวนคี่ ตัวอย่างเช่น เมื่อใช้ 3 รูปแบบจะได้สถานะที่ไม่ถูกต้องดังต่อไปนี้: ${\displaystyle \mu _{1},\mu _{2},\mu _{3}}$

${\displaystyle \epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})}$

รูปแบบปลอมที่มีจำนวนสถานะเป็นเลขคู่ไม่สามารถมีอยู่ได้ เนื่องจากผลรวมอาจเป็นศูนย์^{[ 37 ]}

ความจุของเครือข่ายแบบจำลอง Hopfield ถูกกำหนดโดยจำนวนเซลล์ประสาทและการเชื่อมต่อภายในเครือข่ายที่กำหนด ดังนั้น จำนวนหน่วยความจำที่สามารถจัดเก็บได้จึงขึ้นอยู่กับเซลล์ประสาทและการเชื่อมต่อ นอกจากนี้ ยังแสดงให้เห็นว่าความแม่นยำในการเรียกคืนระหว่างเวกเตอร์และโหนดอยู่ที่ 0.138 (โดยประมาณ 138 เวกเตอร์สามารถเรียกคืนได้จากการจัดเก็บสำหรับทุกๆ 1000 โหนด) (Hertz et al., 1991) ดังนั้น จึงเห็นได้ชัดว่าจะมีข้อผิดพลาดมากมายเกิดขึ้นหากพยายามจัดเก็บเวกเตอร์จำนวนมาก เมื่อแบบจำลอง Hopfield ไม่สามารถเรียกคืนรูปแบบที่ถูกต้องได้ อาจเป็นไปได้ว่ามีการแทรกแซงเกิดขึ้น เนื่องจากรายการที่เกี่ยวข้องทางความหมายมีแนวโน้มที่จะทำให้บุคคลสับสน และทำให้เกิดการเรียกคืนรูปแบบที่ผิด ดังนั้น แบบจำลองเครือข่าย Hopfield จึงแสดงให้เห็นว่าสับสนรายการที่จัดเก็บไว้รายการหนึ่งกับอีกรายการหนึ่งเมื่อเรียกคืน การเรียกคืนที่สมบูรณ์แบบและความจุสูง (>0.14) สามารถโหลดลงในเครือข่ายได้โดยวิธีการเรียนรู้ของ Storkey ETAM ^{[ 39 ] [ 40 ]}การทดลอง ETAM ยังรวมถึง^{[ 41 ]}ต่อมาได้มีการคิดค้นโมเดล Ulterior ที่ได้รับแรงบันดาลใจจากเครือข่าย Hopfield เพื่อเพิ่มขีดจำกัดการจัดเก็บและลดอัตราข้อผิดพลาดในการเรียกค้น โดยบางโมเดลสามารถเรียนรู้แบบครั้งเดียวได้^{[ 42 ]}

ความจุในการจัดเก็บโดยใช้กฎของ Hebb สามารถกำหนดได้ดังนี้ โดยที่คือจำนวนเซลล์ประสาทในเครือข่าย^{[ 36 ]}${\displaystyle C\cong {\frac {n}{2\ln n}}}$${\displaystyle n}$

ความจุในการจัดเก็บโดยใช้กฎของ Storkey สามารถกำหนดได้ดังนี้ โดยที่คือจำนวนเซลล์ประสาทในเครือข่าย^{[ 36 ]}${\displaystyle C\cong {\frac {n}{\sqrt {2\ln n}}}}$${\displaystyle n}$

เครือข่าย Hopfield เป็นแบบจำลองสำหรับการเรียนรู้และการเรียกคืนแบบเชื่อมโยงของมนุษย์^{[ 43 ] [ 44 ]}โดยคำนึงถึงหน่วยความจำแบบเชื่อมโยงผ่านการรวมเวกเตอร์หน่วยความจำ เวกเตอร์หน่วยความจำสามารถใช้ได้เพียงเล็กน้อย และสิ่งนี้จะกระตุ้นการเรียกคืนเวกเตอร์ที่คล้ายคลึงกันมากที่สุดในเครือข่าย อย่างไรก็ตาม เราจะพบว่าเนื่องจากกระบวนการนี้ อาจเกิดการแทรกแซงได้ ในหน่วยความจำแบบเชื่อมโยงสำหรับเครือข่าย Hopfield มีการดำเนินการสองประเภท ได้แก่ การเชื่อมโยงอัตโนมัติและการเชื่อมโยงต่างชนิดกัน ประเภทแรกคือเมื่อเวกเตอร์เชื่อมโยงกับตัวเอง และประเภทหลังคือเมื่อเวกเตอร์ที่แตกต่างกันสองตัวเชื่อมโยงกันในการจัดเก็บ นอกจากนี้ การดำเนินการทั้งสองประเภทสามารถจัดเก็บได้ภายในเมทริกซ์หน่วยความจำเดียว แต่เฉพาะในกรณีที่เมทริกซ์การแสดงผลที่กำหนดนั้นไม่ใช่การดำเนินการอย่างใดอย่างหนึ่ง แต่เป็นการรวมกัน (การเชื่อมโยงอัตโนมัติและการเชื่อมโยงต่างชนิดกัน) ของทั้งสอง

แบบจำลองเครือข่ายของ Hopfield ใช้กฎการเรียนรู้แบบเดียวกับกฎการเรียนรู้ของ Hebb (1949)ซึ่งระบุว่าการเรียนรู้เป็นผลมาจากการเพิ่มความแข็งแกร่งของน้ำหนักในกรณีของกิจกรรมทางประสาท

Rizzuto และ Kahana (2001) สามารถแสดงให้เห็นว่าแบบจำลองเครือข่ายประสาทสามารถอธิบายการทำซ้ำที่มีผลต่อความแม่นยำในการเรียกคืนข้อมูลได้โดยการรวมอัลกอริทึมการเรียนรู้เชิงความน่าจะเป็น ในระหว่างกระบวนการเรียกคืนข้อมูล จะไม่มีการเรียนรู้เกิดขึ้น ส่งผลให้ค่าน้ำหนักของเครือข่ายยังคงที่ แสดงให้เห็นว่าแบบจำลองสามารถเปลี่ยนจากขั้นตอนการเรียนรู้ไปสู่ขั้นตอนการเรียกคืนข้อมูลได้ โดยการเพิ่มการเปลี่ยนแปลงตามบริบท พวกเขาสามารถแสดงให้เห็นถึงการลืมอย่างรวดเร็วที่เกิดขึ้นในแบบจำลอง Hopfield ในระหว่างงานเรียกคืนข้อมูลแบบมีเบาะแส เครือข่ายทั้งหมดมีส่วนช่วยในการเปลี่ยนแปลงการทำงานของโหนดใดโหนดหนึ่ง

กฎพลวัตของ McCulloch และ Pitts (1943) ซึ่งอธิบายพฤติกรรมของเซลล์ประสาทนั้น แสดงให้เห็นว่าการกระตุ้นของเซลล์ประสาทหลายเซลล์ส่งผลต่ออัตราการยิงของเซลล์ประสาทใหม่ และน้ำหนักของเซลล์ประสาทช่วยเสริมความแข็งแกร่งของการเชื่อมต่อไซแนปส์ระหว่างเซลล์ประสาทที่ถูกกระตุ้นใหม่ (และเซลล์ประสาทที่กระตุ้นมัน) Hopfield ใช้กฎพลวัตของ McCulloch–Pitts เพื่อแสดงให้เห็นว่าการเรียกคืนข้อมูลเป็นไปได้ในเครือข่าย Hopfield อย่างไรก็ตาม Hopfield ทำเช่นนั้นในลักษณะที่ซ้ำซาก Hopfield ใช้ฟังก์ชันการกระตุ้นแบบไม่เชิงเส้น แทนที่จะใช้ฟังก์ชันเชิงเส้น ดังนั้นจึงสร้างกฎพลวัตของ Hopfield ขึ้น และด้วยกฎนี้ Hopfield จึงสามารถแสดงให้เห็นว่าด้วยฟังก์ชันการกระตุ้นแบบไม่เชิงเส้น กฎพลวัตจะปรับเปลี่ยนค่าของเวกเตอร์สถานะไปในทิศทางของรูปแบบที่จัดเก็บไว้รูปแบบใดรูปแบบหนึ่งเสมอ

เครือข่าย Hopfield ^{[ 19 ] [ 20 ]}เป็นเครือข่ายประสาทแบบวนซ้ำที่มีวิถีการเคลื่อนที่แบบไดนามิกที่บรรจบกันที่สถานะดึงดูดจุดคงที่และอธิบายโดยฟังก์ชันพลังงาน สถานะของเซลล์ประสาทแต่ละเซลล์ในแบบจำลองถูกกำหนดโดยตัวแปรที่ขึ้นอยู่กับเวลาซึ่งสามารถเลือกให้เป็นแบบไม่ต่อเนื่องหรือต่อเนื่องก็ได้ แบบจำลองที่สมบูรณ์จะอธิบายคณิตศาสตร์ว่าสถานะกิจกรรมในอนาคตของเซลล์ประสาทแต่ละเซลล์ขึ้นอยู่กับกิจกรรมปัจจุบันหรือก่อนหน้าที่ทราบของเซลล์ประสาททั้งหมดอย่างไร ${\textstyle i}$${\displaystyle V_{i}}$

ในแบบจำลองหน่วยความจำแบบเชื่อมโยงของ Hopfield ดั้งเดิม^{[ 19 ]}ตัวแปรเป็นแบบไบนารี และพลวัตถูกอธิบายโดยการอัปเดตสถานะของเซลล์ประสาททีละตัว ฟังก์ชันพลังงานที่เป็นกำลังสองของถูกกำหนดขึ้น และพลวัตประกอบด้วยการเปลี่ยนแปลงกิจกรรมของเซลล์ประสาทแต่ละตัวก็ต่อเมื่อการทำเช่นนั้นจะลดพลังงานรวมของระบบลง แนวคิดเดียวกันนี้ถูกขยายไปยังกรณีที่เป็นตัวแปรต่อเนื่องที่แสดงถึงเอาต์พุตของเซลล์ประสาทและเป็นฟังก์ชันโมโนโทนิกของกระแสอินพุต พลวัตถูกแสดงออกมาในรูปของชุดสมการเชิงอนุพันธ์อันดับหนึ่งซึ่ง "พลังงาน" ของระบบจะลดลงเสมอ^{[ 20 ]}   พลังงานในกรณีต่อเนื่องมีเทอมหนึ่งที่เป็นกำลังสองของ(เช่นเดียวกับในแบบจำลองไบนารี) และเทอมที่สองซึ่งขึ้นอยู่กับฟังก์ชันเกน (ฟังก์ชันการกระตุ้นของเซลล์ประสาท) แม้ว่าจะมีคุณสมบัติที่พึงประสงค์มากมายของหน่วยความจำแบบเชื่อมโยง แต่ระบบคลาสสิกทั้งสองนี้ก็มีข้อเสียคือความจุในการจัดเก็บหน่วยความจำน้อย ซึ่งแปรผันตามจำนวนคุณลักษณะอินพุตแบบเชิงเส้น^{[ 19 ]}ในทางตรงกันข้าม การเพิ่มจำนวนพารามิเตอร์ในแบบจำลองเพื่อให้ไม่เพียงแต่มีปฏิสัมพันธ์แบบคู่เท่านั้น แต่ยังมีปฏิสัมพันธ์ลำดับสูงกว่าระหว่างเซลล์ประสาทด้วย จะสามารถเพิ่มความจุในการจัดเก็บหน่วยความจำได้^{[ 45 ] [ 46 ]}${\displaystyle V_{i}}$${\displaystyle i}$${\displaystyle V_{i}}$${\displaystyle i}$${\displaystyle V_{i}}$${\displaystyle V_{i}}$

หน่วยความจำแบบเชื่อมโยงหนาแน่น^{[ 23 ]} (หรือที่รู้จักกันในชื่อเครือข่าย Hopfield สมัยใหม่^{[ 25 ]} ) เป็นการขยายเครือข่าย Hopfield แบบคลาสสิกที่ทำลายความสัมพันธ์เชิงเส้นระหว่างจำนวนคุณลักษณะอินพุตและจำนวนหน่วยความจำที่จัดเก็บไว้ ซึ่งทำได้โดยการแนะนำความไม่เป็นเชิงเส้นที่แข็งแกร่งขึ้น (ทั้งในฟังก์ชันพลังงานหรือฟังก์ชันการกระตุ้นของเซลล์ประสาท) ซึ่งนำไปสู่ความจุในการจัดเก็บหน่วยความจำแบบเหนือเชิงเส้น^{[ 23 ]} (แม้กระทั่งแบบเลขชี้กำลัง^{[ 24 ]} ) เป็นฟังก์ชันของจำนวนเซลล์ประสาทคุณลักษณะ ซึ่งในทางปฏิบัติเป็นการเพิ่มลำดับของการปฏิสัมพันธ์ระหว่างเซลล์ประสาท^{[ 45 ] [ 46 ]}เครือข่ายยังคงต้องการเซลล์ประสาทที่ซ่อนอยู่จำนวนมากพอ^{[ 26 ]}

แนวคิดหลักทางทฤษฎีเบื้องหลังเครือข่ายหน่วยความจำแบบเชื่อมโยงหนาแน่นคือการใช้ฟังก์ชันพลังงานและกฎการอัปเดตที่มีจุดสูงสุดที่ชัดเจนยิ่งขึ้นรอบ ๆ หน่วยความจำที่จัดเก็บไว้ในพื้นที่ของการกำหนดค่าของเซลล์ประสาทเมื่อเทียบกับแบบจำลองคลาสสิก^{[ 23 ]}ดังที่แสดงให้เห็นเมื่อมีการจำลองปฏิสัมพันธ์ลำดับสูงและภูมิทัศน์พลังงานที่ตามมาอย่างชัดเจน^{[ 46 ]}

ตัวอย่างง่ายๆ^{[ 23 ]}ของเครือข่าย Hopfield สมัยใหม่สามารถเขียนได้ในรูปของตัวแปรไบนารี ที่แสดงถึงสถานะแอคทีฟและไม่ได้แอคทีฟของนิวรอนโมเดลในสูตรนี้ น้ำหนักแสดงถึงเมทริกซ์ของเวกเตอร์หน่วยความจำ (ดัชนีระบุหน่วยความจำที่แตกต่างกัน และดัชนีระบุเนื้อหาของแต่ละหน่วยความจำที่สอดคล้องกับนิวรอนคุณลักษณะที่ -th) และฟังก์ชันเป็นฟังก์ชันไม่เชิงเส้นที่เติบโตอย่างรวดเร็ว กฎการอัปเดตสำหรับนิวรอนแต่ละตัว (ในกรณีอะซิงโครนัส) สามารถเขียนได้ในรูปแบบต่อไปนี้ซึ่งระบุว่าในการคำนวณสถานะที่อัปเดตของนิวรอนที่ -th เครือข่ายจะเปรียบเทียบพลังงานสองค่า ได้แก่ พลังงานของเครือข่ายที่มีนิวรอนที่ -th อยู่ในสถานะ ON และพลังงานของเครือข่ายที่มีนิวรอนที่ -th อยู่ในสถานะ OFF โดยพิจารณาจากสถานะของนิวรอนที่เหลือ สถานะที่อัปเดตของนิวรอนที่ -th จะเลือกสถานะที่มีพลังงานต่ำที่สุดในสองค่า^{[ 23 ]}${\displaystyle V_{i}}$${\displaystyle V_{i}=+1}$${\displaystyle V_{i}=-1}$${\displaystyle i}$$${\displaystyle E=-\sum \limits _{\mu =1}^{N_{\text{mem}}}F{\Big (}\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}V_{i}{\Big )}}$$${\textstyle \xi _{\mu i}}$${\displaystyle \mu =1...N_{\text{mem}}}$${\displaystyle i=1...N_{f}}$${\displaystyle i}$${\displaystyle F(x)}$$${\displaystyle V_{i}^{(t+1)}=Sign{\bigg [}\sum \limits _{\mu =1}^{N_{\text{mem}}}{\bigg (}F{\Big (}\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}-F{\Big (}-\xi _{\mu i}+\sum \limits _{j\neq i}\xi _{\mu j}V_{j}^{(t)}{\Big )}{\bigg )}{\bigg ]}}$$${\textstyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$

ในกรณีจำกัดเมื่อฟังก์ชันพลังงานที่ไม่เป็นเชิงเส้นเป็นกำลังสองสมการเหล่านี้จะลดลงเหลือฟังก์ชันพลังงานที่คุ้นเคยและกฎการอัปเดตสำหรับเครือข่าย Hopfield แบบไบนารีคลาสสิก^{[ 19 ]}${\displaystyle F(x)=x^{2}}$

ความจุในการจัดเก็บหน่วยความจำของเครือข่ายเหล่านี้สามารถคำนวณได้สำหรับรูปแบบไบนารีแบบสุ่ม สำหรับฟังก์ชันพลังงานกำลังจำนวนหน่วยความจำสูงสุดที่สามารถจัดเก็บและเรียกคืนจากเครือข่ายนี้ได้โดยไม่มีข้อผิดพลาดจะได้รับจาก^{[ 23 ]}สำหรับฟังก์ชันพลังงานแบบเอกซ์ponential ความจุในการจัดเก็บหน่วยความจำจะเป็นแบบเอกซ์ponential ตามจำนวนนิวรอนคุณลักษณะ^{[ 24 ]}${\displaystyle F(x)=x^{n}}$$${\displaystyle N_{\text{mem}}^{max}\approx {\frac {1}{2(2n-3)!!}}{\frac {N_{f}^{n-1}}{\ln(N_{f})}}}$$${\textstyle F(x)=e^{x}}$$${\displaystyle N_{\text{mem}}^{max}\approx 2^{N_{f}/2}}$$

เครือข่าย Hopfield สมัยใหม่หรือหน่วยความจำแบบเชื่อมโยงหนาแน่นสามารถเข้าใจได้ดีที่สุดในตัวแปรต่อเนื่องและเวลาต่อเนื่อง^{[ 25 ] [ 26 ]}พิจารณาสถาปัตยกรรมเครือข่ายที่แสดงในรูปที่ 1 และสมการสำหรับการวิวัฒนาการสถานะของเซลล์ประสาท^{[ 26 ]}

$${\displaystyle {\begin{cases}\tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{\mu =1}^{N_{h}}\xi _{i\mu }f_{\mu }-x_{i}+I_{i}\\\tau _{h}{\frac {dh_{\mu }}{dt}}=\sum \limits _{i=1}^{N_{f}}\xi _{\mu i}g_{i}-h_{\mu }\end{cases}}}$$

1

โดยที่กระแสของเซลล์ประสาทคุณลักษณะจะถูกแทนด้วยและกระแสของเซลล์ประสาทความจำจะถูกแทนด้วย( หมายถึงเซลล์ประสาทที่ซ่อนอยู่) ไม่มีการเชื่อมต่อแบบไซแนปส์ระหว่างเซลล์ประสาทคุณลักษณะหรือเซลล์ประสาทความจำ เมทริกซ์แสดงถึงความแข็งแรงของไซแนปส์จากเซลล์ประสาทคุณลักษณะไปยังเซลล์ประสาทความจำถือว่าไซแนปส์มีความสมมาตร ดังนั้นค่าเดียวกันจึงแสดงถึงไซแนปส์ทางกายภาพที่แตกต่างกันจากเซลล์ประสาทความจำไปยังเซลล์ประสาทคุณลักษณะ เอาต์พุตของเซลล์ประสาทความจำและเซลล์ประสาทคุณลักษณะจะถูกแทนด้วยและซึ่งเป็นฟังก์ชันที่ไม่เป็นเชิงเส้นของกระแสที่สอดคล้องกัน โดยทั่วไปแล้วเอาต์พุตเหล่านี้อาจขึ้นอยู่กับกระแสของเซลล์ประสาททั้งหมดในชั้นนั้น ดังนั้นและเป็นการสะดวกที่จะกำหนดฟังก์ชันการกระตุ้นเหล่านี้เป็นอนุพันธ์ของฟังก์ชันลากรางจ์สำหรับเซลล์ประสาททั้งสองกลุ่ม${\textstyle x_{i}}$${\displaystyle h_{\mu }}$${\displaystyle h}$${\displaystyle \xi _{\mu i}}$${\displaystyle i}$${\displaystyle \mu }$${\displaystyle \mu }$${\displaystyle i}$${\displaystyle f_{\mu }}$${\displaystyle g_{i}}$${\displaystyle f_{\mu }=f(\{h_{\mu }\})}$${\textstyle g_{i}=g(\{x_{i}\})}$

$${\displaystyle f_{\mu }={\frac {\partial L_{h}}{\partial h_{\mu }}},\ \ \ \ {\text{and}}\ \ \ \ g_{i}={\frac {\partial L_{x}}{\partial x_{i}}}}$$

2

ด้วยวิธีนี้ รูปแบบเฉพาะของสมการสำหรับสถานะของเซลล์ประสาทจะถูกกำหนดอย่างสมบูรณ์เมื่อระบุฟังก์ชันลากรางจ์แล้ว สุดท้าย ค่าคงที่เวลาสำหรับเซลล์ประสาททั้งสองกลุ่มจะถูกแทนด้วยและโดยที่ คือกระแสอินพุตไปยังเครือข่ายที่สามารถขับเคลื่อนได้ด้วยข้อมูลที่นำเสนอ  ${\displaystyle \tau _{f}}$${\displaystyle \tau _{h}}$${\displaystyle I_{i}}$

ระบบทั่วไปของสมการเชิงอนุพันธ์ไม่เชิงเส้นสามารถมีพฤติกรรมที่ซับซ้อนมากมายซึ่งอาจขึ้นอยู่กับการเลือกความไม่เชิงเส้นและเงื่อนไขเริ่มต้น อย่างไรก็ตาม สำหรับเครือข่าย Hopfield นั้นไม่เป็นเช่นนั้น - วิถีการเคลื่อนที่แบบไดนามิกจะลู่เข้าสู่สถานะดึงดูดจุดคงที่เสมอ คุณสมบัตินี้เกิดขึ้นได้เนื่องจากสมการเหล่านี้ได้รับการออกแบบมาเป็นพิเศษเพื่อให้มีฟังก์ชันพลังงานพื้นฐาน^{[ 26 ]}

$${\displaystyle E(t)={\Big [}\sum \limits _{i=1}^{N_{f}}(x_{i}-I_{i})g_{i}-L_{x}{\Big ]}+{\Big [}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }f_{\mu }-L_{h}{\Big ]}-\sum \limits _{\mu ,i}f_{\mu }\xi _{\mu i}g_{i}}$$

3

เงื่อนไขที่จัดกลุ่มไว้ในวงเล็บเหลี่ยมแสดงถึงการแปลงเลอจองเดอร์ของฟังก์ชันลากรางจ์โดยสัมพันธ์กับสถานะของเซลล์ประสาท หากเมทริกซ์เฮสเซียนของฟังก์ชันลากรางจ์เป็นบวกกึ่งกำหนด ฟังก์ชันพลังงานจะรับประกันว่าจะลดลงตามวิถีการเคลื่อนที่แบบไดนามิก^{[ 26 ]}

$${\displaystyle {\frac {dE(t)}{dt}}=-\tau _{f}\sum \limits _{i,j=1}^{N_{f}}{\frac {dx_{i}}{dt}}{\frac {\partial ^{2}L_{x}}{\partial x_{i}\partial x_{j}}}{\frac {dx_{j}}{dt}}-\tau _{h}\sum \limits _{\mu ,\nu =1}^{N_{h}}{\frac {dh_{\mu }}{dt}}{\frac {\partial ^{2}L_{h}}{\partial h_{\mu }\partial h_{\nu }}}{\frac {dh_{\nu }}{dt}}\leq 0}$$

4

คุณสมบัตินี้ทำให้สามารถพิสูจน์ได้ว่า ระบบสมการพลวัตที่อธิบายวิวัฒนาการตามเวลาของกิจกรรมของเซลล์ประสาทจะไปถึงสถานะจุดดึงดูดคงที่ในที่สุด

ในบางสถานการณ์ เราสามารถสันนิษฐานได้ว่าพลวัตของนิวรอนที่ซ่อนอยู่จะสมดุลที่ระดับเวลาที่เร็วกว่ามากเมื่อเทียบกับนิวรอนคุณลักษณะในกรณีนี้ โซลูชันสถานะคงที่ของสมการที่สองในระบบ ( 1 ) สามารถใช้เพื่อแสดงกระแสของหน่วยที่ซ่อนอยู่ผ่านเอาต์พุตของนิวรอนคุณลักษณะ ซึ่งทำให้สามารถลดทฤษฎีทั่วไป ( 1 ) ให้เป็นทฤษฎีที่มีประสิทธิภาพสำหรับนิวรอนคุณลักษณะเท่านั้น กฎการอัปเดตที่มีประสิทธิภาพที่ได้และพลังงานสำหรับตัวเลือกทั่วไปต่างๆ ของฟังก์ชันลากรางจ์แสดงในรูปที่ 2 ในกรณีของฟังก์ชันลากรางจ์แบบลอการิทึมผลรวมเอกซ์โพเนนเชียล กฎการอัปเดต (หากใช้เพียงครั้งเดียว) สำหรับสถานะของนิวรอนคุณลักษณะคือกลไกความสนใจ^{[ 25 ]}ที่ใช้กันทั่วไปในระบบ AI สมัยใหม่หลายระบบ (ดูเอกสารอ้างอิง^{[ 26 ]}สำหรับการได้มาซึ่งผลลัพธ์นี้จากสูตรเวลาต่อเนื่อง) ${\textstyle \tau _{h}\ll \tau _{f}}$

การกำหนดสูตรแบบคลาสสิกของเครือข่าย Hopfield แบบต่อเนื่อง^{[ 20 ]}สามารถเข้าใจได้^{[ 26 ]}ว่าเป็นกรณีจำกัดพิเศษของเครือข่าย Hopfield สมัยใหม่ที่มีชั้นซ่อนหนึ่งชั้น เครือข่าย Hopfield แบบต่อเนื่องสำหรับเซลล์ประสาทที่มีการตอบสนองแบบไล่ระดับมักจะอธิบาย^{[ 20 ]}ด้วยสมการไดนามิก

$${\displaystyle \tau _{f}{\frac {dx_{i}}{dt}}=\sum \limits _{j=1}^{N_{f}}T_{ij}V_{j}-x_{i}+I_{i}}$$

5

และฟังก์ชันพลังงาน

$${\displaystyle E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}\int \limits ^{V_{i}}g^{-1}(z)\,dz}$$

6

โดยที่และคือส่วนกลับของฟังก์ชันการกระตุ้นโมเดลนี้เป็นขีดจำกัดพิเศษของคลาสของโมเดลที่เรียกว่าโมเดล A ^{[ 26 ]}โดยมีการเลือกฟังก์ชันลากรางจ์ดังต่อไปนี้${\textstyle V_{i}=g(x_{i})}$${\displaystyle g^{-1}(z)}$${\displaystyle g(x)}$

$${\displaystyle L_{v}=\sum \limits _{i=1}^{N_{f}}\int \limits ^{x_{i}}g(x)dx,\ \ \ \ \ {\text{and}}\ \ \ \ \ L_{h}={\frac {1}{2}}\sum \limits _{\mu =1}^{N_{h}}h_{\mu }^{2}}$$

7

ซึ่งตามคำจำกัดความ ( 2 ) นำไปสู่ฟังก์ชันการกระตุ้น

$${\displaystyle V_{i}=g(x_{i}),\ \ \ \ \ {\text{and}}\ \ \ \ \ f_{\mu }=h_{\mu }}$$

8

ถ้าเรารวมเซลล์ประสาทที่ซ่อนอยู่ ระบบสมการ ( 1 ) จะลดลงเหลือสมการบนเซลล์ประสาทคุณลักษณะ ( 5 ) โดยที่และนิพจน์ทั่วไปสำหรับพลังงาน ( 3 ) จะลดลงเหลือพลังงานที่มีประสิทธิภาพ${\displaystyle T_{ij}=\sum \limits _{\mu =1}^{N_{h}}\xi _{\mu i}\xi _{\mu j}}$

$${\displaystyle E=-{\frac {1}{2}}\sum \limits _{i,j=1}^{N_{f}}T_{ij}V_{i}V_{j}-\sum \limits _{i=1}^{N_{f}}V_{i}I_{i}+\sum \limits _{i=1}^{N_{f}}{\Big (}x_{i}V_{i}-\int \limits ^{x_{i}}g(x)dx{\Big )}}$$

9

ในขณะที่พจน์สองพจน์แรกในสมการ ( 6 ) เหมือนกับพจน์ในสมการ ( 9 ) แต่พจน์ที่สามดูแตกต่างกันอย่างผิวเผิน ในสมการ ( 9 ) มันคือการแปลงเลอจองเดอร์ของลากรางเจียนสำหรับนิวรอนคุณลักษณะ ในขณะที่ใน ( 6 ) พจน์ที่สามคือปริพันธ์ของฟังก์ชันการกระตุ้นผกผัน อย่างไรก็ตาม นิพจน์ทั้งสองนี้เทียบเท่ากัน เนื่องจากอนุพันธ์ของฟังก์ชันและการแปลงเลอจองเดอร์เป็นฟังก์ชันผกผันซึ่งกันและกัน วิธีที่ง่ายที่สุดที่จะเห็นว่าพจน์ทั้งสองนี้เท่ากันอย่างชัดเจนคือการหาอนุพันธ์ของแต่ละพจน์เทียบกับผลลัพธ์ของการหาอนุพันธ์สำหรับนิพจน์ทั้งสองเท่ากับดังนั้น นิพจน์ทั้งสองจึงเท่ากันจนถึงค่าคงที่บวก ซึ่งเป็นการเสร็จสิ้นการพิสูจน์^{[ 26 ]}ว่าเครือข่าย Hopfield แบบคลาสสิกที่มีสถานะต่อเนื่อง^{[ 20 ]}เป็นกรณีจำกัดพิเศษของเครือข่าย Hopfield สมัยใหม่ ( 1 ) ที่มีพลังงาน ( 3 ) ${\displaystyle x_{i}}$${\displaystyle x_{i}g(x_{i})'}$

เครือข่ายประสาททางชีววิทยามีความหลากหลายสูงในแง่ของประเภทเซลล์ที่แตกต่างกัน ส่วนนี้อธิบายแบบจำลองทางคณิตศาสตร์ของเครือข่าย Hopfield สมัยใหม่ที่เชื่อมต่ออย่างสมบูรณ์โดยสมมติระดับความหลากหลายสูงสุด: เซลล์ประสาทแต่ละเซลล์แตกต่างกัน^{[ 47 ]}โดยเฉพาะอย่างยิ่ง ฟังก์ชันพลังงานและสมการไดนามิกที่สอดคล้องกันจะถูกอธิบายโดยสมมติว่าเซลล์ประสาทแต่ละเซลล์มีฟังก์ชันการกระตุ้นและมาตราส่วนเวลาจลนศาสตร์ของตัวเอง เครือข่ายนี้ถือว่าเชื่อมต่ออย่างสมบูรณ์ ดังนั้นเซลล์ประสาทแต่ละเซลล์จึงเชื่อมต่อกับเซลล์ประสาทอื่น ๆ โดยใช้เมทริกซ์สมมาตรของน้ำหนักดัชนีและระบุเซลล์ประสาทที่แตกต่างกันในเครือข่าย ดูรูปที่ 3 วิธีที่ง่ายที่สุดในการกำหนดปัญหาทางคณิตศาสตร์นี้คือการกำหนดสถาปัตยกรรมผ่านฟังก์ชัน Lagrangian ที่ขึ้นอยู่กับกิจกรรมของเซลล์ประสาททั้งหมดในเครือข่าย ฟังก์ชันการกระตุ้นสำหรับแต่ละเซลล์ประสาทถูกกำหนดให้เป็นอนุพันธ์ย่อยของ Lagrangian เทียบกับกิจกรรมของเซลล์ประสาทนั้น${\displaystyle W_{IJ}}$${\displaystyle I}$${\displaystyle J}$${\displaystyle L(\{x_{I}\})}$

$${\displaystyle g_{I}={\frac {\partial L}{\partial x_{I}}}}$$

10

จากมุมมองทางชีววิทยา เราสามารถคิดได้ว่าเป็นเอาต์พุตแอกซอนของเซลล์ประสาทในกรณีที่ง่ายที่สุด เมื่อ Lagrangian เป็นแบบบวกสำหรับเซลล์ประสาทที่แตกต่างกัน คำจำกัดความนี้จะส่งผลให้เกิดการกระตุ้นที่เป็นฟังก์ชันที่ไม่เป็นเชิงเส้นของกิจกรรมของเซลล์ประสาทนั้น สำหรับ Lagrangian ที่ไม่ใช่แบบบวก ฟังก์ชันการกระตุ้นนี้อาจขึ้นอยู่กับกิจกรรมของกลุ่มเซลล์ประสาท ตัวอย่างเช่น อาจมีการทำให้เป็นมาตรฐานแบบเปรียบเทียบ (softmax) หรือแบบหาร สมการไดนามิกที่อธิบายวิวัฒนาการตามเวลาของเซลล์ประสาทที่กำหนดจะแสดงโดย^{[ 47 ]}${\displaystyle g_{I}}$${\displaystyle I}$

$${\displaystyle \tau _{I}{\frac {dx_{I}}{dt}}=\sum \limits _{J=1}^{N}W_{IJ}g_{J}-x_{I}}$$

11

สมการนี้จัดอยู่ในกลุ่มของแบบจำลองที่เรียกว่าแบบจำลองอัตราการยิงในประสาทวิทยาศาสตร์ เซลล์ประสาทแต่ละเซลล์จะรวบรวมเอาต์พุตแอกซอนจากเซลล์ประสาททั้งหมด ถ่วงน้ำหนักด้วยสัมประสิทธิ์ไซแนปส์และสร้างกิจกรรมที่ขึ้นอยู่กับเวลาของตัวเองวิวัฒนาการตามเวลาจะมีค่าคงที่เวลาซึ่งโดยทั่วไปอาจแตกต่างกันสำหรับเซลล์ประสาทแต่ละเซลล์ เครือข่ายนี้มีฟังก์ชันพลังงานโดยรวม^{[ 47 ]}${\displaystyle I}$${\displaystyle g_{J}}$${\displaystyle W_{IJ}}$${\displaystyle x_{I}}$${\displaystyle \tau _{I}}$

$${\displaystyle E=\sum \limits _{I=1}^{N}x_{I}g_{I}-L-{\frac {1}{2}}\sum \limits _{I,J=1}^{N}g_{I}W_{IJ}g_{J}}$$

12

โดยที่พจน์สองพจน์แรกแสดงถึงการแปลงเลอจองเดอร์ของฟังก์ชันลากรางจ์โดยสัมพันธ์กับกระแสของเซลล์ประสาท อนุพันธ์เชิงเวลาของฟังก์ชันพลังงานนี้สามารถคำนวณได้บนวิถีการเคลื่อนที่แบบไดนามิกที่นำไปสู่ ​​(ดู รายละเอียดใน^{[ 47 ] )}${\displaystyle x_{I}}$

$${\displaystyle {\frac {dE}{dt}}=-\sum \limits _{I,K=1}^{N}{\frac {dx_{I}}{dt}}M_{IK}{\frac {dx_{K}}{dt}}\leq 0,\ \ \ \ {\text{where}}\ \ \ \ M_{IK}=\tau _{I}{\frac {\partial ^{2}L}{\partial x_{I}\partial x_{K}}}}$$

13

เครื่องหมายอสมการสุดท้ายจะเป็นจริงก็ต่อเมื่อเมทริกซ์(หรือส่วนสมมาตรของมัน) เป็นเมทริกซ์บวกกึ่งกำหนด (positive semi-definite) นอกจากนี้ หากฟังก์ชันพลังงานมีขอบเขตล่าง สมการพลวัตแบบไม่เชิงเส้นจะลู่เข้าสู่สถานะดึงดูดจุดคงที่อย่างแน่นอน ข้อดีของการกำหนดโครงข่ายนี้ในรูปของฟังก์ชันลากรางจ์คือ ทำให้สามารถทดลองกับตัวเลือกต่างๆ ของฟังก์ชันการกระตุ้นและการจัดเรียงโครงสร้างของเซลล์ประสาทที่แตกต่างกันได้อย่างง่ายดาย สำหรับตัวเลือกที่ยืดหยุ่นทั้งหมดเหล่านั้น เงื่อนไขของการลู่เข้าจะถูกกำหนดโดยคุณสมบัติของเมทริกซ์และการมีอยู่ของขอบเขตล่างของฟังก์ชันพลังงาน ${\displaystyle M_{IK}}$${\displaystyle M_{IJ}}$

เซลล์ประสาทสามารถจัดเรียงเป็นชั้นได้ โดยที่เซลล์ประสาททุกเซลล์ในชั้นที่กำหนดจะมีฟังก์ชันการกระตุ้นและมาตราส่วนเวลาไดนามิกเดียวกัน หากเราสมมติว่าไม่มีการเชื่อมต่อแนวนอนระหว่างเซลล์ประสาทภายในชั้น (การเชื่อมต่อด้านข้าง) และไม่มีการเชื่อมต่อข้ามชั้น เครือข่ายที่เชื่อมต่ออย่างสมบูรณ์ทั่วไป ( 11 ), ( 12 ) จะลดลงเหลือสถาปัตยกรรมที่แสดงในรูปที่ 4 โดยมีชั้นของเซลล์ประสาทที่เชื่อมต่อกันแบบวนซ้ำ โดยมีสถานะที่อธิบายโดยตัวแปรต่อเนื่องและฟังก์ชันการกระตุ้นดัชนีจะระบุชั้นของเครือข่าย และดัชนีจะระบุเซลล์ประสาทแต่ละเซลล์ในชั้นนั้น ฟังก์ชันการกระตุ้นสามารถขึ้นอยู่กับกิจกรรมของเซลล์ประสาททั้งหมดในชั้นนั้น แต่ละชั้นสามารถมีจำนวนเซลล์ประสาทที่แตกต่างกันได้เซลล์ประสาทเหล่านี้เชื่อมต่อกันแบบวนซ้ำกับเซลล์ประสาทในชั้นก่อนหน้าและชั้นถัดไป เมทริกซ์ของน้ำหนักที่เชื่อมต่อเซลล์ประสาทในแต่ละชั้นจะถูกแสดงด้วย(ลำดับของดัชนีบนสำหรับน้ำหนักจะเหมือนกับลำดับของดัชนีล่าง ในตัวอย่างข้างต้น หมายความว่าดัชนีระบุเซลล์ประสาทในชั้นและดัชนีระบุเซลล์ประสาทในชั้น) น้ำหนักแบบส่งต่อและน้ำหนักแบบป้อนกลับมีค่าเท่ากัน สมการไดนามิกสำหรับสถานะของเซลล์ประสาทสามารถเขียนได้ดังนี้^{[ 47 ]}${\displaystyle N_{\text{layer}}}$${\displaystyle x_{i}^{A}}$${\displaystyle g_{i}^{A}}$${\displaystyle A}$${\displaystyle i}$${\displaystyle N_{A}}$${\displaystyle A}$${\displaystyle B}$${\displaystyle \xi _{ij}^{(A,B)}}$${\displaystyle i}$${\displaystyle A}$${\displaystyle j}$${\displaystyle B}$

$${\displaystyle \tau _{A}{\frac {dx_{i}^{A}}{dt}}=\sum \limits _{j=1}^{N_{A-1}}\xi _{ij}^{(A,A-1)}g_{j}^{A-1}+\sum \limits _{j=1}^{N_{A+1}}\xi _{ij}^{(A,A+1)}g_{j}^{A+1}-x_{i}^{A}}$$

14

พร้อมเงื่อนไขขอบเขต

$${\displaystyle g_{i}^{0}=0,\ \ \ \ \ {\text{and}}\ \ \ \ \ g_{i}^{N_{\text{layer}}+1}=0}$$

15

ความแตกต่างหลักระหว่างสมการเหล่านี้กับสมการจากเครือข่ายฟีดฟอร์เวิร์ดแบบดั้งเดิมคือการมีอยู่ของเทอมที่สอง ซึ่งมีหน้าที่รับผิดชอบในการป้อนกลับจากเลเยอร์ที่สูงกว่า สัญญาณจากบนลงล่างเหล่านี้ช่วยให้เซลล์ประสาทในเลเยอร์ล่างตัดสินใจตอบสนองต่อสิ่งเร้าที่นำเสนอ ตามสูตรทั่วไป เป็นเรื่องสะดวกที่จะแนะนำฟังก์ชันลากรางจ์สำหรับเลเยอร์ที่ซ่อนอยู่ลำดับที่ ซึ่งขึ้นอยู่กับกิจกรรมของเซลล์ประสาททั้งหมดในเลเยอร์นั้น^{[ 47 ]}ฟังก์ชันการกระตุ้นในเลเยอร์นั้นสามารถกำหนดได้ว่าเป็นอนุพันธ์ย่อยของลากรางจ์${\displaystyle L^{A}(\{x_{i}^{A}\})}$${\displaystyle A}$

$${\displaystyle g_{i}^{A}={\frac {\partial L^{A}}{\partial x_{i}^{A}}}}$$

16

ด้วยคำจำกัดความเหล่านี้ ฟังก์ชันพลังงาน (Lyapunov) จะได้รับจาก^{[ 47 ]}

$${\displaystyle E=\sum \limits _{A=1}^{N_{\text{layer}}}{\Big [}\sum \limits _{i=1}^{N_{A}}x_{i}^{A}g_{i}^{A}-L^{A}{\Big ]}-\sum \limits _{A=1}^{N_{\text{layer}}-1}\sum \limits _{i=1}^{N_{A+1}}\sum \limits _{j=1}^{N_{A}}g_{i}^{A+1}\xi _{ij}^{(A+1,A)}g_{j}^{A}}$$

17

หากเลือกฟังก์ชัน Lagrangian หรือเทียบเท่ากับฟังก์ชันการกระตุ้นในลักษณะที่เมทริกซ์ Hessian สำหรับแต่ละชั้นเป็นค่าบวกกึ่งกำหนด และพลังงานโดยรวมมีขอบเขตล่าง ระบบนี้รับประกันว่าจะลู่เข้าสู่สถานะดึงดูดจุดคงที่ อนุพันธ์เชิงเวลาของฟังก์ชันพลังงานนี้กำหนดโดย^{[ 47 ]}

$${\displaystyle {\frac {dE}{dt}}=-\sum \limits _{A=1}^{N_{\text{layer}}}\tau _{A}\sum \limits _{i,j=1}^{N_{A}}{\frac {dx_{j}^{A}}{dt}}{\frac {\partial ^{2}L^{A}}{\partial x_{j}^{A}\partial x_{i}^{A}}}{\frac {dx_{i}^{A}}{dt}}\leq 0}$$

18

ดังนั้น เครือข่ายแบบลำดับชั้นจึงเป็นเครือข่ายดึงดูด (attractor network) ที่มีฟังก์ชันพลังงานโดยรวม เครือข่ายนี้อธิบายได้ด้วยชุดน้ำหนักการเชื่อมต่อประสาทแบบลำดับชั้น ซึ่งสามารถเรียนรู้ได้สำหรับแต่ละปัญหาเฉพาะ

• หน่วยความจำแบบเชื่อมโยง (การแยกความหมาย)
• หน่วยความจำแบบเชื่อมโยงอัตโนมัติ
• เครื่องจักรโบลต์ซมันน์ – คล้ายกับโครงข่ายฮอปฟิลด์ แต่ใช้การสุ่มตัวอย่างแบบกิบส์ ที่ปรับให้เหมาะสม แทนการไล่ระดับความชัน
• แบบจำลองระบบพลวัตของการรับรู้
• แบบจำลองไอซิง
• ทฤษฎีเฮบเบียน

วิกิมีเดียคอมมอนส์มีสื่อที่เกี่ยวข้องกับตาข่ายฮอปฟิลด์

• โรฮาส, ราอูล (12 กรกฎาคม 1996). "13. แบบจำลองฮอปฟิลด์" (PDF) . เครือข่ายประสาทเทียม – บทนำอย่างเป็นระบบ . สปริงเกอร์. ISBN 978-3-540-60505-8.
• โค้ด Javascript ของ Hopfield Network
• ปัญหาพนักงานขายเดินทาง (Travelling Salesman Problem) เก็บถาวรเมื่อ 30 พฤษภาคม 2015 ที่Wayback Machine – แอปเพล็ตโครงข่ายประสาทเทียมฮอปฟิลด์ (Hopfield Neural Network JAVA Applet)
• Hopfield, John (2007). "เครือข่าย Hopfield" . Scholarpedia . 2 (5): 1977. Bibcode : 2007SchpJ...2.1977H . doi : 10.4249/scholarpedia.1977 .
• "อย่าลืมความทรงจำแบบเชื่อมโยง" The Gradient 7 พฤศจิกายน 2020 สืบค้นเมื่อ 27 กันยายน 2024