พิจารณาแบบจำลองอย่างง่ายของเซลล์ประสาทที่ส่งคืนผลรวมเชิงเส้นของอินพุตxโดยใช้ค่าน้ำหนักก่อนซินแนปส์w :${\displaystyle y}$

${\displaystyle \,y(\mathbf {x} )~=~\sum _{j=1}^{m}x_{j}w_{j}}$

กฎของโอจาได้กำหนดการเปลี่ยนแปลงของน้ำหนักก่อนซินแนปส์wโดยพิจารณาจากผลตอบสนองเอาต์พุตของเซลล์ประสาทต่ออินพุตxไว้ดังนี้${\displaystyle y}$

${\displaystyle \,\Delta \mathbf {w} ~=~\mathbf {w} _{n+1}-\mathbf {w} _{n}~=~\eta \,y_{n}(\mathbf {x} _{n}-y_{n}\mathbf {w} _{n}),}$

โดยที่ηคืออัตราการเรียนรู้ซึ่งสามารถเปลี่ยนแปลงได้ตามเวลา โปรดสังเกตว่าสัญลักษณ์ที่เป็นตัวหนาคือเวกเตอร์และnกำหนดการวนซ้ำในช่วงเวลาที่ไม่ต่อเนื่อง กฎนี้สามารถนำไปใช้กับการวนซ้ำแบบต่อเนื่องได้เช่นกัน

${\displaystyle \,{\frac {d\mathbf {w} }{dt}}~=~\eta \,y(t)(\mathbf {x} (t)-y(t)\mathbf {w} (t)).}$

กฎการเรียนรู้ที่ง่ายที่สุดที่รู้จักกันคือ กฎของเฮบบ์ ซึ่งกล่าวในเชิงแนวคิดว่าเซลล์ประสาทที่ทำงานพร้อมกัน จะเชื่อมต่อกันในรูปแบบสมการเชิงอนุพันธ์ จะเขียนได้ดังนี้

${\displaystyle \,\Delta \mathbf {w} ~=~\eta \,y(\mathbf {x} _{n})\mathbf {x} _{n}}$,

หรือในรูปแบบสเกลาร์ที่มีการพึ่งพา n โดย ปริยาย

${\displaystyle \,w_{i}(n+1)~=~w_{i}(n)+\eta \,y(\mathbf {x} )x_{i}}$,

โดยที่y ( x )คือผลลัพธ์อีกครั้ง ซึ่งในครั้งนี้ขึ้นอยู่กับเวกเตอร์อินพุตx อย่าง ชัดเจน

กฎของ Hebb ระบุว่าค่าน้ำหนักของไซแนปส์จะเข้าใกล้ค่าอนันต์เมื่ออัตราการเรียนรู้เป็นบวก เราสามารถหยุดปัญหานี้ได้โดยการปรับค่าน้ำหนักให้เป็นค่ามาตรฐาน เพื่อให้ขนาดของน้ำหนักแต่ละตัวถูกจำกัดอยู่ระหว่าง 0 ซึ่งสอดคล้องกับไม่มีน้ำหนัก และ 1 ซึ่งสอดคล้องกับการเป็นเซลล์ประสาทอินพุตเพียงเซลล์เดียวที่มีน้ำหนัก เราทำเช่นนี้โดยการปรับเวกเตอร์น้ำหนักให้มีความยาวเท่ากับหนึ่ง:

${\displaystyle \,w_{i}(n+1)~=~{\frac {w_{i}(n)+\eta \,y(\mathbf {x} )x_{i}}{\left(\sum _{j=1}^{m}[w_{j}(n)+\eta \,y(\mathbf {x} )x_{j}]^{p}\right)^{1/p}}}}$.

โปรดทราบว่าในเอกสารต้นฉบับของ Oja ^{[ 1 ]} p =2ซึ่งสอดคล้องกับการหาปริพันธ์เชิงตัวเลข (รากของผลรวมกำลังสอง) ซึ่งเป็น กฎการทำให้เป็นมาตรฐาน แบบคาร์ทีเซียน ที่คุ้นเคย อย่างไรก็ตาม การทำให้เป็นมาตรฐานประเภทใดก็ได้ แม้แต่แบบเชิงเส้น ก็จะให้ผลลัพธ์เดียวกันโดยไม่สูญเสียความเป็นทั่วไป

สำหรับอัตราการเรียนรู้เล็กน้อยสมการสามารถขยายเป็นอนุกรมกำลังใน. ^{​​[ 1 ]}${\displaystyle |\eta |\ll 1}$${\displaystyle \eta }$

${\displaystyle \,w_{i}(n+1)~=~{\frac {w_{i}(n)}{\left(\sum _{j}w_{j}^{p}(n)\right)^{1/p}}}~+~\eta \left({\frac {yx_{i}}{\left(\sum _{j}w_{j}^{p}(n)\right)^{1/p}}}-{\frac {w_{i}(n)\sum _{j}yx_{j}w_{j}^{p-1}(n)}{\left(\sum _{j}w_{j}^{p}(n)\right)^{(1+1/p)}}}\right)~+~O(\eta ^{2})}$.

สำหรับค่า η เล็กๆ เทอมลำดับสูงกว่า ของเราO ( η ² )จะมีค่าเข้าใกล้ศูนย์ เราจึงกำหนดคุณสมบัติของเซลล์ประสาทเชิงเส้นอีกครั้ง นั่นคือ เอาต์พุตของเซลล์ประสาทจะเท่ากับผลรวมของผลคูณของอินพุตแต่ละตัวกับน้ำหนักไซแนปส์ยกกำลังp-1ซึ่งในกรณีที่p =2ก็คือน้ำหนักไซแนปส์นั่นเอง หรือ

${\displaystyle \,y(\mathbf {x} )~=~\sum _{j=1}^{m}x_{j}w_{j}^{p-1}}$.

นอกจากนี้ เรายังกำหนดให้ค่าน้ำหนักของเรามีค่าเท่ากับ1ซึ่งจะเป็นเงื่อนไขที่จำเป็นสำหรับเสถียรภาพ ดังนั้น

${\displaystyle \,|\mathbf {w} |~=~\left(\sum _{j=1}^{m}w_{j}^{p}\right)^{1/p}~=~1}$,

ซึ่งเมื่อนำไปแทนในส่วนขยายของเรา จะได้กฎของโอจา หรือ

${\displaystyle \,w_{i}(n+1)~=~w_{i}(n)+\eta \,y(x_{i}-w_{i}(n)y)}$.

ในการวิเคราะห์การลู่เข้าของเซลล์ประสาทเดี่ยวที่พัฒนาตามกฎของ Oja นั้น เราจะสามารถแยกส่วนประกอบหลัก แรก หรือคุณลักษณะแรกของชุดข้อมูลได้ ยิ่งไปกว่านั้น ด้วยการขยายโดยใช้อัลกอริทึม Hebbian แบบทั่วไปเราสามารถสร้างเครือข่ายประสาท Oja หลายตัวที่สามารถแยกคุณลักษณะได้มากเท่าที่ต้องการ ทำให้สามารถวิเคราะห์ส่วนประกอบหลักได้

ส่วนประกอบหลักa จะถูกแยกออกมาจากชุดข้อมูลxผ่านเวกเตอร์q ที่เกี่ยวข้อง หรือa = q ⋅ xและเราสามารถกู้คืนชุดข้อมูลดั้งเดิมได้โดยการนำ

${\displaystyle \mathbf {x} ~=~\sum _{j}a_{j}\mathbf {q} _{j}}$.

ในกรณีของนิวรอนเดี่ยวที่ได้รับการฝึกฝนด้วยกฎของ Oja เราพบว่าเวกเตอร์น้ำหนักลู่เข้าสู่q หรือส่วนประกอบหลักแรก เมื่อเวลาหรือจำนวนรอบการทำซ้ำเข้าใกล้ค่าอนันต์ เรายังสามารถกำหนดได้ว่า เมื่อกำหนดชุดเวกเตอร์อินพุตX แล้ว เมทริกซ์สหสัมพันธ์R = X X จะมี เวกเตอร์ลักษณะเฉพาะที่เกี่ยวข้องซึ่งกำหนดโดยq ที่มีค่าลักษณะเฉพาะλ ความแปรปรวนของเอาต์พุตของนิวรอน Oja ของเราσ ² ( n ) = ⟨y ² ( n )⟩จะลู่เข้าสู่ค่าลักษณะเฉพาะหลักเมื่อเวลาหรือจำนวนรอบการทำซ้ำเข้าใกล้ค่าอนันต์

${\displaystyle \lim _{n\rightarrow \infty }\sigma ^{2}(n)~=~\lambda _{1}}$.

ผลลัพธ์เหล่านี้ได้มาจาก การวิเคราะห์ ฟังก์ชัน Lyapunovและแสดงให้เห็นว่าเซลล์ประสาทของ Oja จะลู่เข้าสู่ส่วนประกอบหลักแรกอย่างเคร่งครัดก็ต่อเมื่อตรงตามเงื่อนไขบางประการในกฎการเรียนรู้ดั้งเดิมของเรา ที่สำคัญที่สุดคือ อัตราการเรียนรู้η ของเรา สามารถเปลี่ยนแปลงได้ตามเวลา แต่เฉพาะในกรณีที่ผลรวมของมันลู่เข้าแต่ผลรวมกำลังของมันลู่เข้านั่นคือ

${\displaystyle \sum _{n=1}^{\infty }\eta (n)=\infty ,~~~\sum _{n=1}^{\infty }\eta (n)^{p}<\infty ,~~~p>1}$.

ฟังก์ชันการกระตุ้น เอาต์พุต y ( x ( n ))ของเราสามารถเป็นแบบไม่เชิงเส้นและไม่คงที่ได้เช่นกัน แต่ต้องมีอนุพันธ์ต่อเนื่องทั้งในxและwและมีอนุพันธ์ที่จำกัดในเวลา^{[ 2 ]}

มีหลักฐานที่ชัดเจนทั้งในเรื่องการเพิ่มศักยภาพระยะยาวและการลดศักยภาพระยะยาวในเครือข่ายประสาททางชีวภาพ รวมถึงผลของการทำให้เป็นมาตรฐานทั้งในน้ำหนักอินพุตและเอาต์พุตของเซลล์ประสาท อย่างไรก็ตาม แม้ว่าจะยังไม่มีหลักฐานเชิงทดลองโดยตรงที่แสดงให้เห็นว่ากฎของ Oja ทำงานในเครือข่ายประสาททางชีวภาพ แต่ การอนุมาน ทางชีวฟิสิกส์ของการวางนัยทั่วไปของกฎนั้นเป็นไปได้ การอนุมานดังกล่าวต้องอาศัยการส่งสัญญาณย้อนกลับจากเซลล์ประสาทหลังไซแนปส์ ซึ่งมีความเป็นไปได้ทางชีวภาพ (ดูการแพร่กระจายย้อนกลับของระบบประสาท ) และมีรูปแบบดังนี้

${\displaystyle \Delta w_{ij}~\propto ~\langle x_{i}y_{j}\rangle -\epsilon \left\langle \left(c_{\mathrm {pre} }*\sum _{k}w_{ik}y_{k}\right)\cdot \left(c_{\mathrm {post} }*y_{j}\right)\right\rangle ,}$

โดยก่อนหน้านี้w คือน้ำหนักไซแนปส์ระหว่าง นิวรอนอินพุตที่ iและนิวรอนเอาต์พุตที่j , xคืออินพุต, yคือเอาต์พุตโพสต์ไซแนปส์ และเรากำหนดให้εเป็นค่าคงที่ที่คล้ายกับอัตราการเรียนรู้ และc และc คือฟังก์ชันก่อนไซแนปส์และหลังไซแนปส์ที่จำลองการอ่อนลงของสัญญาณเมื่อเวลาผ่านไป โปรดทราบว่าวงเล็บมุมแสดงถึงค่าเฉลี่ย และตัวดำเนินการ ∗ คือการสังเคราะห์โดยการนำฟังก์ชันก่อนและหลังไซแนปส์ไปไว้ในพื้นที่ความถี่และรวมเทอมการอินทิเกรตเข้ากับการสังเคราะห์ เราพบว่าสิ่งนี้ให้การวางนัยทั่วไปของกฎของ Oja ในมิติใดๆ ที่เรียกว่า^Oja 's Subspace [ ^{4 ]}กล่าวคือ

${\displaystyle \Delta w~=~Cx\cdot ww\cdot Cy.}$^{[ 5 ]}