อัลกอริทึมเฮบเบียนทั่วไป

Q: ข้อมูลสำคัญเกี่ยวกับ อัลกอริทึมเฮบเบียนทั่วไป

อัลกอริทึม Hebbian แบบทั่วไปหรือที่รู้จักกันในวรรณกรรมว่ากฎของ Sangerคือโครงข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ด เชิงเส้น

Q: แอปพลิเคชัน

อัลกอริทึม Hebbian แบบทั่วไปใช้ในแอปพลิเคชันที่ จำเป็นต้องใช้ แผนที่จัดระเบียบตนเอง หรือในกรณีที่ สามารถใช้ การวิเคราะห์ คุณลักษณะหรือ ส่วนประกอบหลักได้ ตัวอย่างของกรณีดังกล่าว ได้แก่ ปัญญาประดิษฐ์ และการประมวลผลเสียงและภาพ

Q: ดูเพิ่มเติม

การเรียนรู้แบบเฮบเบียน การวิเคราะห์ปัจจัย การเรียนรู้แบบเฮบเบียนเชิงเปรียบเทียบ กฎของโอจา ทฤษฎี BCM รายชื่ออัลกอริธึมปัญญาประดิษฐ์ ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Generalized_Hebbian_algorithm&oldid=1362340404 "

อัลกอริทึม Hebbian แบบทั่วไปหรือที่รู้จักกันในวรรณกรรมว่ากฎของ Sangerคือโครงข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ด เชิงเส้น สำหรับการเรียนรู้แบบไม่กำกับดูแลโดยมีการประยุกต์ใช้เป็นหลักในการวิเคราะห์ส่วนประกอบหลักอัลกอริทึมนี้ได้รับการนิยามครั้งแรกในปี 1989 ^{[ 1 ]}มีลักษณะคล้ายกับกฎของ Ojaในด้านสูตรและความเสถียร ยกเว้นว่าสามารถนำไปใช้กับเครือข่ายที่มีเอาต์พุตหลายตัวได้ ชื่อนี้มีที่มาจากความคล้ายคลึงกันระหว่างอัลกอริทึมกับสมมติฐานของDonald Hebb ^{[ 2 ]} เกี่ยวกับวิธีที่ความแข็งแรงของไซแนปส์ในสมองถูกปรับเปลี่ยนเพื่อตอบสนองต่อประสบการณ์ กล่าวคือ การเปลี่ยนแปลงเป็นสัดส่วนกับความสัมพันธ์ระหว่างการยิงของ เซลล์ประสาทก่อนและหลังไซแนปส์^{[ 3 ]}

ทฤษฎี

พิจารณาปัญหาการเรียนรู้รหัสเชิงเส้นสำหรับข้อมูลบางอย่าง ข้อมูลแต่ละชุดเป็นเวกเตอร์หลายมิติและสามารถแสดงได้ (โดยประมาณ) เป็นผลรวมเชิงเส้นของเวกเตอร์รหัสเชิงเส้นเมื่อจะสามารถแสดงข้อมูลได้อย่างแม่นยำ หากจะสามารถแสดงข้อมูลได้โดยประมาณ เพื่อลดการสูญเสีย L2 ของการแสดงผลควรเป็นเวกเตอร์ส่วนประกอบหลักที่มีค่าสูงสุด $x\in \mathbb {R} ^{n}$ $w_{1},\dots ,w_{m}\in \mathbb {R} ^{n}$ $m=n$ $m<n$ $w_{1},\dots ,w_{m}$

อัลกอริทึม Hebbian แบบทั่วไปเป็นอัลกอริทึมแบบวนซ้ำเพื่อค้นหาเวกเตอร์ส่วนประกอบหลักที่มีค่าสูงสุด ในรูปแบบอัลกอริทึมที่คล้ายกับ การเรียนรู้แบบ Hebbian โดยไม่กำกับดูแลในโครงข่ายประสาทเทียม

พิจารณาโครงข่ายประสาทเทียมแบบชั้นเดียวที่มีเซลล์ประสาทรับข้อมูลเข้าและเซลล์ประสาทส่งออกเวกเตอร์รหัสเชิงเส้นคือความแข็งแรงของการเชื่อมต่อ กล่าวคือคือน้ำหนักของไซแนปส์หรือความแข็งแรงของการเชื่อมต่อระหว่าง เซลล์ประสาท รับข้อมูลที่ i และเซลล์ประสาทส่งออกที่ i $n$ $m$ $y_{1},\dots ,y_{m}$ $w_{ij}$ $j$ $i$

กฎการเรียนรู้ของอัลกอริทึม Hebbian แบบทั่วไปมีรูปแบบดังนี้

\,\Delta w_{ij}~=~\eta y_{i}\left(x_{j}-\sum _{k=1}^{i}w_{kj}y_{k}\right)

พารามิเตอร์อัตราการเรียนรู้อยู่ที่ไหน^[⁴^] $\eta$

อนุพันธ์

กฎของโอจาสามารถเขียนได้ในรูปแบบเมทริกซ์

\,{\frac {{\text{d}}w(t)}{{\text{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)

,

และอัลกอริทึมแกรม-ชมิดท์คือ

\,\Delta w(t)~=~-\mathrm {lower} [w(t)w(t)^{\mathrm {T} }]w(t)

,

โดยที่ $w (t)$ คือเมทริกซ์ใดๆ ในกรณีนี้แทนน้ำหนักของไซแนปส์ $Q = η x x T$ คือเมทริกซ์ออโตสหสัมพันธ์ ซึ่งก็คือผลคูณภายนอกของอินพุต $diag$ คือฟังก์ชันที่กำหนดให้องค์ประกอบเมทริกซ์ทั้งหมดที่อยู่นอกแนวทแยงเท่ากับ 0 และ $lower$ คือฟังก์ชันที่กำหนดให้องค์ประกอบเมทริกซ์ทั้งหมดที่อยู่บนหรือเหนือแนวทแยงเท่ากับ 0 เราสามารถรวมสมการเหล่านี้เพื่อให้ได้กฎดั้งเดิมของเราในรูปแบบเมทริกซ์

\,\Delta w(t)~=~\eta (t)\left(\mathbf {y} (t)\mathbf {x} (t)^{\mathrm {T} }-\mathrm {LT} [\mathbf {y} (t)\mathbf {y} (t)^{\mathrm {T} }]w(t)\right)

,

โดยที่ฟังก์ชัน $LT$ กำหนดให้องค์ประกอบเมทริกซ์ทั้งหมดที่อยู่เหนือแนวทแยงเท่ากับ 0 และสังเกตว่าเอาต์พุต $y (t) = w (t) x (t)$ ของเรา เป็นนิวรอนเชิงเส้น^{[ 1 ]}

การวิเคราะห์เสถียรภาพและส่วนประกอบหลัก

^{[ 5 ]}

กฎของ Ojaเป็นกรณีพิเศษที่[ ⁶^]^เราสามารถคิดว่าอัลกอริทึม Hebbian ทั่วไปเป็นการวนซ้ำกฎของ Oja $m=1$

ด้วยกฎของ Oja เวกเตอร์จะถูกเรียนรู้ และมีทิศทางเดียวกับเวกเตอร์ส่วนประกอบหลักที่ใหญ่ที่สุด โดยมีความยาวกำหนดโดยสำหรับทุกค่าโดยค่าเฉลี่ยจะคำนวณจากคู่ข้อมูลเข้า-ออกทั้งหมด กล่าวอีกนัยหนึ่ง ความยาวของเวกเตอร์เป็นเช่นนั้น ทำให้เรามีออโตเอนโคเดอร์ที่มีรหัสแฝงซึ่งทำให้ค่า มีค่าน้อยที่สุด $w_{1}$ $E[x_{j}]=E[w_{1j}y_{1}]$ $j$ $w_{1}$ $y_{1}=\sum _{i}w_{1i}x_{i}$ $E[\|x-y_{1}w_{1}\|^{2}]$

เมื่อเงื่อนไขเป็นไปตามที่อธิบายไว้ นิวรอนตัวแรกในชั้นซ่อนของออโตเอนโคเดอร์จะยังคงเรียนรู้ต่อไป เนื่องจากไม่ได้รับผลกระทบจากนิวรอนตัวที่สอง ดังนั้น หลังจากที่นิวรอนตัวแรกและเวกเตอร์ของมันลู่เข้าแล้ว นิวรอนตัวที่สองก็จะทำงานตามกฎของ Oja อีกครั้งกับเวกเตอร์อินพุตที่แก้ไขแล้ว ซึ่งกำหนดโดยซึ่งเรารู้ว่าเป็นเวกเตอร์อินพุตที่ลบส่วนประกอบหลักตัวแรกออกไปแล้ว ดังนั้น นิวรอนตัวที่สองจึงเรียนรู้ที่จะเข้ารหัสสำหรับส่วนประกอบหลักตัวที่สอง $m=2$ $w_{1}$ $x'=x-y_{1}w_{1}$

โดยวิธีการอุปมานนี้ ทำให้สามารถค้นหาส่วนประกอบหลักอันดับต้น ๆ สำหรับค่าใด ๆก็ได้ $m$ $m$

แอปพลิเคชัน

อัลกอริทึม Hebbian แบบทั่วไปใช้ในแอปพลิเคชันที่ จำเป็นต้องใช้ แผนที่จัดระเบียบตนเอง หรือในกรณีที่ สามารถใช้ การวิเคราะห์ คุณลักษณะหรือส่วนประกอบหลักได้ ตัวอย่างของกรณีดังกล่าว ได้แก่ ปัญญาประดิษฐ์และการประมวลผลเสียงและภาพ

ความสำคัญของมันมาจากข้อเท็จจริงที่ว่าการเรียนรู้เป็นกระบวนการชั้นเดียว นั่นคือ น้ำหนักของไซแนปส์จะเปลี่ยนแปลงขึ้นอยู่กับการตอบสนองของอินพุตและเอาต์พุตของชั้นนั้นเท่านั้น จึงหลีกเลี่ยงการพึ่งพาหลายชั้นที่เกี่ยวข้องกับ อัลกอริธึม การแพร่กระจายย้อนกลับ นอกจากนี้ยังมีการแลกเปลี่ยนที่เรียบง่ายและคาดการณ์ ^ได้ระหว่างความเร็วในการเรียนรู้และความแม่นยำของการบรรจบกันตามที่กำหนดโดยพารามิเตอร์อัตราการเรียนรู้ $η$ [ ^{5 ]}

ตัวอย่างเช่น (Olshausen และ Field, 1996) ^{[ 7 ]}ได้ทำการใช้อัลกอริทึม Hebbian แบบทั่วไปกับแพทช์ขนาด 8x8 ของภาพถ่ายฉากธรรมชาติ และพบว่าได้ผลลัพธ์เป็นคุณลักษณะคล้ายฟูริเยร์ คุณลักษณะเหล่านี้เหมือนกับส่วนประกอบหลักที่พบจากการวิเคราะห์ส่วนประกอบหลักตามที่คาดไว้ และคุณลักษณะเหล่านี้ถูกกำหนดโดยเมทริกซ์ความแปรปรวนของตัวอย่างแพทช์ขนาด 8x8 กล่าวอีกนัยหนึ่งคือถูกกำหนดโดยสถิติอันดับสองของพิกเซลในภาพ พวกเขาวิจารณ์ว่าสิ่งนี้ไม่เพียงพอที่จะจับสถิติอันดับสูงกว่าซึ่งจำเป็นต่อการอธิบายคุณลักษณะคล้ายกาบอร์ของเซลล์แบบง่ายในคอร์เทกซ์การมองเห็นหลัก $64\times 64$

ดูเพิ่มเติม

[ 1 ]

[ 2 ]

[ 3 ]

[

[ 5 ]

6

[ 7 ]