ในการวิเคราะห์เชิงฟังก์ชันปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำ ( RKHS ) คือปริภูมิฮิลเบิร์ตของฟังก์ชันซึ่งการประเมินค่า ณ จุดนั้นเป็นฟังก์ชันเชิงเส้น ต่อเนื่อง โดยเฉพาะอย่างยิ่ง ปริภูมิฮิลเบิร์ตของฟังก์ชันจากเซต(ไปยังหรือ) เป็น RKHS ถ้าฟังก์ชันการประเมินค่า ณ จุด, , ต่อเนื่องสำหรับทุกหรือเทียบเท่ากันเป็น RKHS ถ้ามีฟังก์ชันเช่นนั้น สำหรับทุกฟังก์ชันเรียกว่าเคอร์เนลแบบสร้างซ้ำและมันจะสร้างค่าของที่ ขึ้นมาใหม่ ผ่านผลคูณภายใน ${\displaystyle H}$${\displaystyle X}$${\displaystyle \mathbb {R} }$${\displaystyle \mathbb {C} }$${\displaystyle L_{x}:H\to \mathbb {C} }$${\displaystyle L_{x}(f)=f(x)}$${\displaystyle x\in X}$${\displaystyle H}$${\displaystyle K_{x}\in H}$${\displaystyle f\in H}$$${\displaystyle \langle f,K_{x}\rangle =f(x)}$$${\displaystyle K_{x}}$${\displaystyle f}$${\displaystyle x}$

ผลที่ตามมาโดยตรงจากคุณสมบัตินี้คือ การลู่เข้าในบรรทัดฐานหมายถึงการลู่เข้าแบบสม่ำเสมอในเซตย่อยใด ๆ ของซึ่งมีขอบเขต อย่างไรก็ตาม ข้อความกลับกันนั้นไม่จำเป็นต้องเป็นจริงเสมอไป บ่อยครั้งที่เซตมีโทโพโลยี และขึ้นอยู่กับ อย่างต่อเนื่องในกรณีเช่นนี้ การลู่เข้าในบรรทัดฐานหมายถึงการลู่เข้าแบบสม่ำเสมอในเซตย่อยกระชับของ ${\displaystyle X}$${\displaystyle \|K_{x}\|}$${\displaystyle X}$${\displaystyle \|K_{x}\|}$${\displaystyle x\in X}$${\displaystyle X}$

การสร้างตัวอย่างธรรมชาติของปริภูมิฮิลเบิร์ตที่ไม่ใช่ RKHS ในลักษณะที่ไม่ธรรมดานั้นไม่ใช่เรื่องง่ายนัก^{[ 1 ]}อย่างไรก็ตาม ได้มีการค้นพบตัวอย่างบางส่วนแล้ว^{[ 2 ] [ 3 ]}

แม้ว่าในทางทฤษฎีแล้วปริภูมิL²ถูกนิยามว่าเป็นปริภูมิฮิลเบิร์ตของ^ชั้นสมมูลของฟังก์ชัน แต่นิยามนี้สามารถขยายไปยังปริภูมิฮิลเบิร์ตของฟังก์ชันได้อย่างง่ายดายโดยการเลือกฟังก์ชัน (ทั้งหมด) เป็นตัวแทนสำหรับแต่ละชั้นสมมูล อย่างไรก็ตาม การเลือกตัวแทนใดๆ ก็ไม่สามารถทำให้ปริภูมินี้เป็น RKHS ได้ ( จะต้องเป็นฟังก์ชันเดลต้าของดิแรกซึ่งไม่มีอยู่จริง) อย่างไรก็ตาม มี RKHS บางประเภทที่นอร์มเป็น^{นอร์ม}L²เช่น ปริภูมิของฟังก์ชันที่มีแบนด์จำกัด (ดูตัวอย่างด้านล่าง) ${\displaystyle K_{0}}$

RKHS เกี่ยวข้องกับเคอร์เนลที่สร้างฟังก์ชันทุกฟังก์ชันในปริภูมิขึ้นมาใหม่ในแง่ที่ว่า สำหรับทุกค่าในเซตที่กำหนดฟังก์ชันเหล่านั้น การ "ประเมินค่าที่ " สามารถทำได้โดยการหาผลคูณภายในกับฟังก์ชันที่กำหนดโดยเคอร์เนล เคอร์เนล ที่สร้างซ้ำได้เช่นนี้จะมีอยู่ก็ต่อเมื่อฟังก์ชันการประเมินค่าทุกตัวมีความต่อเนื่อง เท่านั้น${\displaystyle x}$${\displaystyle x}$

เคอร์เนลที่สร้างซ้ำได้ถูกนำเสนอครั้งแรกในงานของStanisław Zaremba ในปี 1907 ^{[ 4 ]}เกี่ยวกับปัญหาค่าขอบเขตสำหรับฟังก์ชันฮาร์มอนิกและ ไบฮาร์มอนิ ก ในขณะเดียวกัน James Mercerก็ได้ตรวจสอบฟังก์ชันที่สอดคล้องกับคุณสมบัติการสร้างซ้ำในทฤษฎีสมการอินทิกรัลแนวคิดของเคอร์เนลที่สร้างซ้ำยังคงไม่ถูกแตะต้องเป็นเวลาเกือบยี่สิบปี จนกระทั่งปรากฏในวิทยานิพนธ์ของGábor Szegő , Stefan BergmanและSalomon Bochnerในที่สุดหัวข้อนี้ก็ได้รับการพัฒนาอย่างเป็นระบบในช่วงต้นทศวรรษ 1950 โดยNachman Aronszajnและ Stefan Bergman ^{[ 5 ]}

ปริภูมิเหล่านี้มีการใช้งานที่หลากหลาย รวมถึงการวิเคราะห์เชิงซ้อน การวิเคราะห์ ฮาร์มอนิกและกลศาสตร์ควอนตัมปริภูมิฮิลเบิร์ตแบบเคอร์เนลที่สร้างซ้ำได้มีความสำคัญอย่างยิ่งในสาขาทฤษฎีการเรียนรู้ทางสถิติเนื่องจากทฤษฎีบทตัวแทนอัน โด่งดัง ที่ระบุว่า ทุกฟังก์ชันใน RKHS ที่ลดค่าฟังก์ชันความเสี่ยงเชิงประจักษ์ให้เหลือน้อยที่สุด สามารถเขียนได้ในรูปของการรวมเชิงเส้นของฟังก์ชันเคอร์เนลที่ประเมินค่า ณ จุดฝึกอบรม ผลลัพธ์นี้มีประโยชน์ในทางปฏิบัติ เนื่องจากช่วยลดความซับซ้อนของ ปัญหา การลดความเสี่ยงเชิงประจักษ์จากปัญหาการหาค่าเหมาะสมที่สุดที่มีมิติอนันต์ไปเป็นปัญหาการหาค่าเหมาะสมที่สุดที่มีมิติจำกัดได้ อย่างมีประสิทธิภาพ

เพื่อให้เข้าใจง่ายขึ้น เราจึงนำเสนอกรอบสำหรับปริภูมิฮิลเบิร์ตค่าจริง ทฤษฎีนี้สามารถขยายไปยังปริภูมิของฟังก์ชันค่าเชิงซ้อนได้อย่างง่ายดาย และด้วยเหตุนี้จึงรวมถึงตัวอย่างสำคัญมากมายของปริภูมิฮิลเบิร์ตเคอร์เนลที่สร้างซ้ำได้ซึ่งเป็นปริภูมิของฟังก์ชันวิเคราะห์^{[ 6 ]}

ให้เป็นเซต ใดๆ และเป็นปริภูมิฮิลเบิร์ตของฟังก์ชันค่าจริงบนซึ่งมีฟังก์ชันบวกแบบจุดต่อจุดและฟังก์ชันคูณสเกลาร์ แบบจุดต่อจุด ฟังก์ชัน ประเมินค่าบนปริภูมิฮิลเบิร์ตของฟังก์ชันเป็นฟังก์ชันเชิงเส้นที่ประเมินค่าแต่ละฟังก์ชันที่จุด ${\displaystyle X}$${\displaystyle H}$${\displaystyle X}$${\displaystyle H}$${\displaystyle x}$

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

เรากล่าวว่าHเป็นปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำได้ถ้าสำหรับทุกค่าในมีความต่อเนื่องที่ทุกค่าในหรือเทียบเท่ากับถ้าเป็นตัวดำเนินการที่มีขอบเขตบนกล่าวคือ มีค่าบางค่าที่ทำให้ ${\displaystyle x}$${\displaystyle X}$${\displaystyle L_{x}}$${\displaystyle f}$${\displaystyle H}$${\displaystyle L_{x}}$${\displaystyle H}$${\displaystyle M_{x}>0}$

${\displaystyle |L_{x}(f)|:=|f(x)|\leq M_{x}\,\|f\|_{H}\qquad \forall f\in H.\,}$

1

แม้ว่าจะถือว่าเป็นเช่นนั้นสำหรับทุกกรณีแต่ก็ยังอาจเป็นไปได้ว่า ${\displaystyle M_{x}<\infty }$${\displaystyle x\in X}$${\textstyle \sup _{x}M_{x}=\infty }$

ในขณะที่สมบัติ ( 1 ) เป็นเงื่อนไขที่อ่อนที่สุดที่รับประกันทั้งการมีอยู่ของผลคูณภายในและการประเมินค่าของทุกฟังก์ชันในทุกจุดในโดเมน แต่ก็ไม่สามารถนำไปประยุกต์ใช้ในทางปฏิบัติได้ง่าย คำจำกัดความที่เข้าใจง่ายกว่าของ RKHS สามารถได้มาจากการสังเกตว่าสมบัตินี้รับประกันว่าฟังก์ชันการประเมินค่าสามารถแสดงได้โดยการหาผลคูณภายในของกับฟังก์ชันในฟังก์ชันนี้เรียกว่าเคอร์เนลการสร้าง ซ้ำ สำหรับปริภูมิฮิลเบิร์ตซึ่งเป็นที่มาของชื่อ RKHS กล่าวอย่างเป็นทางการมากขึ้นทฤษฎีบทการแสดงแทนของ Rieszบ่งชี้ว่าสำหรับทุกในจะมีองค์ประกอบที่ไม่ซ้ำกันของที่มีสมบัติการสร้างซ้ำ ${\displaystyle H}$${\displaystyle f}$${\displaystyle K_{x}}$${\displaystyle H}$${\displaystyle H}$${\displaystyle x}$${\displaystyle X}$${\displaystyle K_{x}}$${\displaystyle H}$

${\displaystyle f(x)=L_{x}(f)=\langle f,\ K_{x}\rangle _{H}\quad \forall f\in H.}$

2

เนื่องจากเป็นฟังก์ชันที่นิยามบน โดยมีค่าอยู่ในฟิลด์(หรือในกรณีของปริภูมิฮิลเบิร์ตเชิงซ้อน) และเนื่องจากอยู่ในเราจึงได้ว่า ${\displaystyle K_{x}}$${\displaystyle X}$${\displaystyle \mathbb {R} }$${\displaystyle \mathbb {C} }$${\displaystyle K_{x}}$${\displaystyle H}$

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

องค์ประกอบนั้นเกี่ยวข้องกับที่ ใด ${\displaystyle K_{y}\in H}$${\displaystyle H}$${\displaystyle L_{y}}$

วิธีนี้ทำให้เราสามารถกำหนดเคอร์เนลการสร้างซ้ำของเป็นฟังก์ชัน(หรือในกรณีเชิงซ้อน) โดย ${\displaystyle H}$${\displaystyle K:X\times X\to \mathbb {R} }$${\displaystyle \mathbb {C} }$

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

จากนิยามนี้ จะเห็นได้ง่ายว่า(หรือในกรณีที่ซับซ้อนกว่า) เป็นทั้งเมทริกซ์สมมาตร (หรือเมทริกซ์สมมาตรคู่ควบ) และเมทริกซ์บวกแน่นอน กล่าวคือ ${\displaystyle K:X\times X\to \mathbb {R} }$${\displaystyle \mathbb {C} }$

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

สำหรับทุก^{[ 7 ]}ทฤษฎีบท Moore–Aronszajn (ดูด้านล่าง) เป็นเหมือนบทกลับของสิ่งนี้: ถ้าฟังก์ชันเป็นไปตามเงื่อนไขเหล่านี้ จะมีปริภูมิฮิลเบิร์ตของฟังก์ชันบนซึ่งเป็นเคอร์เนลที่สร้างซ้ำได้ ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ และ }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$${\displaystyle K}$${\displaystyle X}$

ตัวอย่างที่ง่ายที่สุดของปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำได้คือปริภูมิที่เป็นเซต และเป็นมาตรวัดการนับบนสำหรับเคอร์เนลแบบสร้างซ้ำได้คือฟังก์ชันตัวบ่งชี้ของเซตจุดเดียว ${\displaystyle L^{2}(X,\mu )}$${\displaystyle X}$${\displaystyle \mu }$${\displaystyle X}$${\displaystyle x\in X}$${\displaystyle K_{x}}$${\displaystyle \{x\}\subset X}$

ปริภูมิฮิลเบิร์ตเคอร์เนลสร้างซ้ำที่ไม่ธรรมดามักเกี่ยวข้องกับฟังก์ชันเชิงวิเคราะห์ดังที่เราจะแสดงให้เห็นต่อไปนี้ด้วยตัวอย่าง พิจารณาปริภูมิฮิลเบิร์ตของฟังก์ชันต่อเนื่อง ที่มีแบนด์ วิดท์จำกัด กำหนด ความถี่ตัดบางค่าและกำหนดปริภูมิฮิลเบิร์ต ${\displaystyle H}$${\displaystyle 0<a<\infty }$

${\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

โดยที่คือเซตของฟังก์ชันที่หาปริพันธ์กำลังสองได้ และคือการแปลงฟูริเยร์ของเราใช้ เป็นผลคูณภายใน ${\displaystyle L^{2}(\mathbb {R} )}$${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$${\displaystyle f}$

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

เนื่องจากนี่เป็นปริภูมิย่อยปิดของจึงเป็นปริภูมิฮิลเบิร์ต ยิ่งไปกว่านั้น สมาชิกของเป็นฟังก์ชันเรียบบนที่มีแนวโน้มเข้าสู่ศูนย์ที่อนันต์ โดยอาศัยทฤษฎีบทของรีมันน์-เลเบส เป็นหลัก ที่จริงแล้ว สมาชิกของคือการจำกัดของฟังก์ชันโฮโลมอร์ฟิกทั้งหมด บนโดยทฤษฎีบทของพาเลย์-ไวเนอร์ ${\displaystyle L^{2}(\mathbb {R} )}$${\displaystyle H}$${\displaystyle \mathbb {R} }$${\displaystyle H}$${\displaystyle \mathbb {R} }$

จากทฤษฎีบทการผกผันของฟูริเยร์เราจะได้ว่า

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

จากนั้นจึงสรุปได้จากอสมการโคชี-ชวาร์ซและทฤษฎีบทของพลานเชอเรลว่า สำหรับทุกๆ ${\displaystyle x}$

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

อสมการนี้แสดงให้เห็นว่าฟังก์ชันการประเมินค่ามีขอบเขต ซึ่งพิสูจน์ได้ว่า RKHS นั้น เป็น RKHS อย่างแท้จริง ${\displaystyle H}$

ฟังก์ชันเคอร์เนลในกรณีนี้กำหนดโดย ${\displaystyle K_{x}}$

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(yx)\right)={\frac {\sin(a(yx))}{\pi (yx)}}.}$

การแปลงฟูริเยร์ของที่กำหนดไว้ข้างต้นนั้นกำหนดโดย ${\displaystyle K_{x}(y)}$

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{ถ้า }}\omega \in [-a,a],\\0&{\textrm {มิฉะนั้น}},\end{cases}}}$

ซึ่งเป็นผลมาจากคุณสมบัติการเลื่อนเวลาของการแปลงฟูริเยร์ดังนั้น โดยใช้ทฤษฎีบทของแพลนเชอเรลเราจึงได้ว่า

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\โอเมก้า =f(x).}$

ดังนั้นเราจึงได้คุณสมบัติการสร้างซ้ำของเคอร์เนล

${\displaystyle K_{x}}$ในกรณีนี้คือ "เวอร์ชันที่มีแบนด์วิดท์จำกัด" ของฟังก์ชันเดลต้าของดิแรกและลู่เข้าสู่ในความหมายแบบอ่อนเมื่อความถี่ตัดเข้าใกล้ค่าอนันต์ ${\displaystyle K_{x}(y)}$${\displaystyle \delta (yx)}$${\displaystyle a}$

เราได้เห็นแล้วว่าปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำได้นั้น กำหนดฟังก์ชันเคอร์เนลแบบสร้างซ้ำได้ซึ่งสมมาตรและเป็นบวกแน่นอนทฤษฎีบทมัวร์-อารอนซาจน์กล่าวไปในทิศทางตรงกันข้าม โดยระบุว่าเคอร์เนลสมมาตรและเป็นบวกแน่นอนทุกตัว กำหนดปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำได้ที่ไม่ซ้ำกันเพียงหนึ่งเดียว ทฤษฎีบทนี้ปรากฏครั้งแรกในหนังสือTheory of Reproducing Kernels ของอารอนซาจน์ แม้ว่าเขาจะระบุว่าเป็นผลงานของอีเอช มัวร์ก็ตาม

ทฤษฎีบทสมมติว่าKเป็นเคอร์เนลสมมาตรและเป็นบวกแน่นอนบนเซตXแล้วจะมีปริภูมิฮิลเบิร์ตของฟังก์ชันบนX เพียงหนึ่งเดียว ซึ่งKเป็นเคอร์เนลที่สร้างซ้ำได้

บทพิสูจน์สำหรับทุกxในXให้กำหนดK _x = K ( x , ⋅ ) ให้H ₀เป็นปริภูมิเชิงเส้นที่เกิดจาก { K _x  : x ∈ X } กำหนดผลคูณภายในบนH ₀โดย

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

ซึ่งหมายความว่าสมมาตรของผลคูณภายในนี้เป็นผลมาจากสมมาตรของKและความไม่เสื่อมสภาพเป็นผลมาจากข้อเท็จจริงที่ว่าKเป็นเมทริกซ์บวกแน่นอน ${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$

ให้Hเป็นส่วนเติมเต็มของH ₀โดยสัมพันธ์กับผลคูณภายในนี้ แล้วHจะประกอบด้วยฟังก์ชันในรูปแบบ

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

ตอนนี้เราสามารถตรวจสอบคุณสมบัติการสร้างซ้ำได้ ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

เพื่อพิสูจน์ความเป็นเอกลักษณ์ ให้Gเป็นปริภูมิฮิลเบิร์ตอีกอันหนึ่งของฟังก์ชันซึ่งKเป็นเคอร์เนลที่สร้างซ้ำได้ สำหรับทุกxและyในX ( 2 ) บ่งชี้ว่า

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

โดยอาศัยความเป็นเชิงเส้นบนช่วงของ. จากนั้นเนื่องจากGสมบูรณ์และมีH ₀ อยู่ภายใน ดังนั้น จึงประกอบด้วยส่วนเติมเต็มของมัน ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$${\displaystyle \{K_{x}:x\in X\}}$${\displaystyle H\subset G}$

ตอนนี้เราต้องพิสูจน์ว่าทุกองค์ประกอบของGอยู่ในHให้เป็นองค์ประกอบของGเนื่องจากHเป็นปริภูมิย่อยปิดของGเราจึงสามารถเขียนได้ว่าโดยที่และทีนี้ ถ้าแล้ว เนื่องจากKเป็นเคอร์เนลสร้างซ้ำของGและH : ${\displaystyle f}$${\displaystyle f=f_{H}+f_{H^{\bot }}}$${\displaystyle f_{H}\in H}$${\displaystyle f_{H^{\bot }}\in H^{\bot }}$${\displaystyle x\in X}$

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

โดยที่เราใช้ข้อเท็จจริงที่ว่าเป็นส่วนหนึ่งของHดังนั้นผลคูณภายในของมันกับในGจึงเป็นศูนย์ ซึ่งแสดงให้เห็นว่าในGและเป็นการสรุปการพิสูจน์ ${\displaystyle K_{x}}$${\displaystyle f_{H^{\bot }}}$${\displaystyle f=f_{H}}$

เราอาจกำหนดลักษณะของเคอร์เนลสมมาตรบวกแน่นอนผ่านตัวดำเนินการอินทิกรัลโดยใช้ทฤษฎีบทของเมอร์เซอร์และได้มุมมองเพิ่มเติมเกี่ยวกับ RKHS ให้เป็นปริภูมิกระชับที่มีมาตรวัดบอเรล จำกัดบวกอย่างเคร่งครัด และฟังก์ชันต่อเนื่อง สมมาตร และบวกแน่นอน กำหนดตัวดำเนินการอินทิกรัลดังนี้ ${\displaystyle K}$${\displaystyle X}$${\displaystyle \mu }$${\displaystyle K:X\times X\to \mathbb {R} }$${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$

${\displaystyle [T_{K}f](\cdot )=\int _{X}K({}\cdot {},t)f(t)\,d\mu (t)}$

โดยที่คือปริภูมิของฟังก์ชันที่สามารถหาปริพันธ์กำลังสองได้เมื่อเทียบกับ ${\displaystyle L_{2}(X)}$${\displaystyle \mu }$

ทฤษฎีบทของเมอร์เซอร์กล่าวว่า การแยกส่วนสเปกตรัมของตัวดำเนินการอินทิกรัลของจะได้การแสดงอนุกรมของในรูปของค่าลักษณะเฉพาะและฟังก์ชันลักษณะเฉพาะของซึ่งหมายความว่าเป็นเคอร์เนลที่สร้างซ้ำได้ ดังนั้น RKHS ที่สอดคล้องกันจึงสามารถกำหนดได้ในรูปของค่าลักษณะเฉพาะและฟังก์ชันลักษณะเฉพาะเหล่านี้ เราจะให้รายละเอียดเพิ่มเติมด้านล่าง ${\displaystyle T_{K}}$${\displaystyle K}$${\displaystyle K}$${\displaystyle T_{K}}$${\displaystyle K}$

ภายใต้สมมติฐานเหล่านี้ ตัวดำเนินการ เป็นแบบกะทัดรัด ต่อเนื่อง สมมาตร และเป็นบวกทฤษฎีบทสเปกตรัมสำหรับตัวดำเนินการสมมาตรบ่งชี้ว่ามีลำดับลดลงที่นับได้มากที่สุด ลำดับเช่นนั้นและ โดยที่เป็นฐานเชิงตั้งฉากปกติของโดยความเป็นบวกของสำหรับทุกเรายังสามารถแสดงได้ว่าแปลงอย่างต่อเนื่องไปยังปริภูมิของฟังก์ชันต่อเนื่องดังนั้นเราจึงสามารถเลือกฟังก์ชันต่อเนื่องเป็นเวกเตอร์ลักษณะเฉพาะได้ นั่นคือสำหรับทุกจากนั้นโดยทฤษฎีบทของเมอร์เซอร์ สามารถเขียนได้ในรูปของค่าลักษณะเฉพาะและฟังก์ชันลักษณะเฉพาะต่อเนื่องดังนี้ ${\displaystyle T_{K}}$${\displaystyle (\sigma _{i})_{i\geq 0}}$${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$${\displaystyle \{\varphi _{i}\}}$${\displaystyle L_{2}(X)}$${\displaystyle T_{K},\sigma _{i}>0}$${\displaystyle i.}$${\displaystyle T_{K}}$${\displaystyle C(X)}$${\displaystyle \varphi _{i}\in C(X)}$${\displaystyle i.}$${\displaystyle K}$

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

สำหรับทุกสิ่งที่เป็นไปเช่นนั้น ${\displaystyle x,y\in X}$

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

การแสดงอนุกรมข้างต้นนี้เรียกว่า เคอร์เนลเมอร์เซอร์ หรือ การแสดงแทนแบบเมอร์เซอร์ของ ${\displaystyle K}$

นอกจากนี้ ยังสามารถแสดงได้ว่า RKHS ของ นั้นกำหนดโดย ${\displaystyle H}$${\displaystyle K}$

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

โดยที่ผลคูณภายในที่กำหนดโดย ${\displaystyle H}$

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

การนำเสนอ RKHS ในรูปแบบนี้สามารถนำไปประยุกต์ใช้ในด้านความน่าจะเป็นและสถิติได้ เช่นการนำเสนอแบบ Karhunen–Loèveสำหรับกระบวนการสุ่ม และPCA แบบเคอร์เนล

แผนที่ลักษณะเฉพาะ (feature map)คือแผนที่ที่เป็นปริภูมิฮิลเบิร์ต (Hilbert space) ซึ่งเราจะเรียกว่าปริภูมิลักษณะเฉพาะ ส่วนแรกๆ ได้นำเสนอความเชื่อมโยงระหว่างฟังก์ชันการประเมินค่าแบบมีขอบเขต/ต่อเนื่อง ฟังก์ชันบวกแน่นอน และตัวดำเนินการอินทิกรัล และในส่วนนี้เราจะนำเสนอการแสดงแทนอีกรูปแบบหนึ่งของ RKHS ในรูปของแผนที่ลักษณะเฉพาะ ${\displaystyle \varphi \colon X\rightarrow F}$${\displaystyle F}$

แผนที่ฟีเจอร์แต่ละอันจะกำหนดเคอร์เนลผ่านทาง

${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}.}$

3

เห็นได้ชัดว่ามีความสมมาตรและความแน่นอนเชิงบวกเป็นผลมาจากคุณสมบัติของผลคูณภายในใน ในทางกลับกัน ฟังก์ชันที่แน่นอนเชิงบวกทุกฟังก์ชันและปริภูมิฮิลเบิร์ตเคอร์เนลการสร้างซ้ำที่สอดคล้องกันจะมีแผนที่คุณลักษณะที่เกี่ยวข้องจำนวนอนันต์ซึ่ง ( 3 ) เป็นจริง ${\displaystyle K}$${\displaystyle F}$

ตัวอย่างเช่น เราสามารถเลือกและสำหรับทุก ๆ ได้อย่างง่ายดาย จากนั้น ( 3 ) จะเป็นไปตามคุณสมบัติการสร้างซ้ำ ตัวอย่างคลาสสิกอีกประการหนึ่งของแผนที่คุณลักษณะเกี่ยวข้องกับส่วนก่อนหน้าเกี่ยวกับตัวดำเนินการอินทิกรัลโดยการเลือก และ${\displaystyle F=H}$${\displaystyle \varphi (x)=K_{x}}$${\displaystyle x\in X}$${\displaystyle F=\ell ^{2}}$${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$

ความเชื่อมโยงระหว่างเคอร์เนลและแผนที่ฟีเจอร์นี้ทำให้เราเข้าใจฟังก์ชันบวกแน่นอนในรูปแบบใหม่ และด้วยเหตุนี้จึงสามารถสร้างเคอร์เนลขึ้นมาใหม่ได้ในรูปผลคูณภายในยิ่งไปกว่านั้น แผนที่ฟีเจอร์ทุกแผนที่สามารถกำหนด RKHS ได้อย่างเป็นธรรมชาติโดยอาศัยนิยามของฟังก์ชันบวกแน่นอน ${\displaystyle H}$

สุดท้ายนี้ แผนที่ลักษณะเฉพาะช่วยให้เราสร้างพื้นที่ฟังก์ชันที่เผยให้เห็นมุมมองอีกด้านหนึ่งของ RKHS ลองพิจารณาพื้นที่เชิงเส้น

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

เราสามารถกำหนดบรรทัดฐานได้ โดย ${\displaystyle H_{\varphi }}$

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

สามารถแสดงได้ว่าRKHS นั้นมีเคอร์เนลที่กำหนดโดยการแสดงนี้บ่งชี้ว่าองค์ประกอบของ RKHS เป็นผลคูณภายในขององค์ประกอบในพื้นที่คุณลักษณะและสามารถมองได้ว่าเป็นไฮเปอร์เพลน มุมมองนี้ของ RKHS เกี่ยวข้องกับเทคนิคเคอร์เนลในการเรียนรู้ของเครื่อง^{[ 8 ]}${\displaystyle H_{\varphi }}$${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$

คุณสมบัติที่เป็นประโยชน์ของ RKHS:

• ให้เป็นลำดับของเซต และเป็นชุดของฟังก์ชันบวกแน่นอนที่สอดคล้องกันบนดังนั้นจึงสรุปได้ว่า ${\displaystyle (X_{i})_{i=1}^{p}}$${\displaystyle (K_{i})_{i=1}^{p}}$${\displaystyle (X_{i})_{i=1}^{p}.}$

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  เป็นแกนหลักบน${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• ดังนั้นการจำกัดของไปยัง จึงเป็นเคอร์เนลที่สร้างซ้ำได้เช่นกัน${\displaystyle X_{0}\subset X,}$${\displaystyle K}$${\displaystyle X_{0}\times X_{0}}$
• พิจารณาเคอร์เนลแบบนอร์มาไลซ์โดยที่สำหรับทุกกำหนดเมตริกเทียมบน X ดังนี้ ${\displaystyle K}$${\displaystyle K(x,x)=1}$${\displaystyle x\in X}$

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  โดยอาศัยอสมการโคชี-ชวาร์ซ

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  อสมการนี้ช่วยให้เรามองเห็นค่านี้เป็นตัววัดความคล้ายคลึงกันระหว่างข้อมูลป้อนเข้า หากข้อมูลคล้ายคลึงกัน ค่านี้จะเข้าใกล้ 1 ในขณะที่หากข้อมูลไม่คล้ายคลึงกัน ค่านี้จะเข้าใกล้ 0${\displaystyle K}$${\displaystyle x,y\in X}$${\displaystyle K(x,y)}$${\displaystyle x,y\in X}$${\displaystyle K(x,y)}$

• การปิดช่วงของ^{สอดคล้อง}กับ^[ 9 ^]${\displaystyle \{K_{x}\mid x\in X\}}$${\displaystyle H}$

${\displaystyle K(x,y)=\langle x,y\rangle }$

RKHS ที่สอดคล้องกับเคอร์เนลนี้คือปริภูมิคู่ซึ่งประกอบด้วยฟังก์ชันที่สอดคล้องกับเงื่อนไข ${\displaystyle H}$${\displaystyle f(x)=\langle x,\beta \rangle }$${\displaystyle \|f\|_{H}^{2}=\|\beta \|^{2}}$

${\displaystyle K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N} }$

นี่คือเคอร์เนลประเภททั่วไปอีกประเภทหนึ่งที่ตรงตามเงื่อนไขดังกล่าวตัวอย่างบางส่วนได้แก่: ${\displaystyle K(x,y)=K(\|x-y\|)}$

• เคอร์เนลแบบเกาส์เซียนหรือ แบบเลขชี้กำลังกำลังสอง :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0}$

• เคอร์เนลลาปลาเซียน :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0}$

  ค่ากำลังสองของนอร์มของฟังก์ชันใน RKHS ที่มีเคอร์เนลนี้คือ: ^{[ 10 ] [ 11 ]}${\displaystyle f}$${\displaystyle H}$

  ${\displaystyle \|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.}$

นอกจากนี้เรายังยกตัวอย่างเคอร์เนลของเบิร์กแมน ด้วย ให้Xเป็นเซตจำกัด และให้Hประกอบด้วยฟังก์ชันค่าเชิงซ้อนทั้งหมดบนXแล้วสมาชิกของHสามารถแสดงได้ในรูปของอาร์เรย์ของจำนวนเชิงซ้อน ถ้าใช้ผลคูณภายใน แบบปกติ K _xจะเป็นฟังก์ชันที่มีค่าเป็น 1 ที่xและ 0 ที่อื่น ๆ และสามารถคิดได้ว่าเป็นเมทริกซ์เอกลักษณ์เนื่องจาก ${\displaystyle K(x,y)}$

${\displaystyle K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}}$

ในกรณีนี้Hมีโครงสร้างเหมือนกับ ${\displaystyle \mathbb {C} ^{n}}$

กรณีของ(โดยที่แทนดิสก์หน่วย ) นั้นซับซ้อนกว่า ที่นี่ปริภูมิเบิร์กแมนคือปริภูมิของฟังก์ชันโฮโลมอร์ฟิกที่สามารถหาปริพันธ์กำลังสองได้บนสามารถแสดงได้ว่าเคอร์เนลสร้างซ้ำสำหรับคือ ${\displaystyle X=\mathbb {D} }$${\displaystyle \mathbb {D} }$${\displaystyle A^{2}(\mathbb {D} )}$${\displaystyle \mathbb {D} }$${\displaystyle A^{2}(\mathbb {D} )}$

${\displaystyle K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.}$

สุดท้ายนี้ พื้นที่ของฟังก์ชันที่มีแบนด์วิดท์จำกัดในแบนด์วิดท์ นั้น คือ RKHS ที่มีเคอร์เนลแบบสร้างซ้ำได้ ${\displaystyle L^{2}(\mathbb {R} )}$${\displaystyle 2a}$

${\displaystyle K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.}$

ในส่วนนี้ เราจะขยายคำจำกัดความของ RKHS ไปสู่ปริภูมิของฟังก์ชันเวกเตอร์ เนื่องจากส่วนขยายนี้มีความสำคัญอย่างยิ่งในการเรียนรู้แบบหลายงานและการปรับเสถียรภาพของแมนิโฟลด์ความแตกต่างหลักคือเคอร์เนลการสร้างซ้ำ เป็นฟังก์ชันสมมาตรซึ่งตอนนี้เป็นเมท ริกซ์กึ่งบวกสำหรับทุก ๆในกล่าวอย่างเป็นทางการมากขึ้น เรากำหนด RKHS แบบเวกเตอร์ (vvRKHS) เป็นปริภูมิฮิลเบิร์ตของฟังก์ชันโดยที่สำหรับทุก ๆและ${\displaystyle \Gamma }$${\displaystyle x,y}$${\displaystyle X}$${\displaystyle f:X\to \mathbb {R} ^{T}}$${\displaystyle c\in \mathbb {R} ^{T}}$${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

และ

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

คุณสมบัติข้อที่สองนี้คล้ายคลึงกับคุณสมบัติการสร้างซ้ำสำหรับกรณีค่าสเกลาร์ คำจำกัดความนี้ยังสามารถเชื่อมโยงกับตัวดำเนินการเชิงปริพันธ์ ฟังก์ชันการประเมินค่าที่มีขอบเขต และแผนที่ลักษณะเฉพาะ ดังที่เราได้เห็นสำหรับ RKHS ค่าสเกลาร์ เราสามารถกำหนด vvRKHS ได้อย่างเทียบเท่าว่าเป็นปริภูมิฮิลเบิร์ตค่าเวกเตอร์ที่มีฟังก์ชันการประเมินค่าที่มีขอบเขต และแสดงให้เห็นว่าสิ่งนี้บ่งชี้ถึงการมีอยู่ของเคอร์เนลการสร้างซ้ำที่ไม่ซ้ำกันโดยทฤษฎีบทการแสดงแทนของรีซซ์ ทฤษฎีบทของเมอร์เซอร์ยังสามารถขยายเพื่อจัดการกับการตั้งค่าค่าเวกเตอร์ได้ และด้วยเหตุนี้เราจึงสามารถได้มุมมองแผนที่ลักษณะของ vvRKHS สุดท้ายนี้ ยังสามารถแสดงได้ว่าการปิดของช่วงของสอดคล้องกับ ซึ่งเป็นคุณสมบัติอีกประการหนึ่งที่คล้ายกับกรณีค่าสเกลาร์ ${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$${\displaystyle H}$

เราสามารถทำความเข้าใจ vvRKHS ได้โดยการพิจารณาจากมุมมองแบบส่วนประกอบต่อส่วนประกอบของปริภูมิเหล่านี้ โดยเฉพาะอย่างยิ่ง เราพบว่า vvRKHS ทุกตัวมีสมมาตรแบบไอโซ เมตริก กับ RKHS ที่มีค่าเป็นสเกลาร์ในปริภูมิอินพุตเฉพาะ ให้พิจารณาปริภูมิและเคอร์เนลการสร้างซ้ำที่สอดคล้องกัน ${\displaystyle \Lambda =\{1,\dots ,T\}}$${\displaystyle X\times \Lambda }$

${\displaystyle \gamma :X\times \Lambda \times X\times \Lambda \to \mathbb {R} .}$

4

ดังที่กล่าวไว้ข้างต้น RKHS ที่เกี่ยวข้องกับเคอร์เนลการสร้างซ้ำนี้ได้มาจากการปิดของช่วงของโดยที่ สำหรับทุกเซตของคู่${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$${\displaystyle (x,t),(y,s)\in X\times \Lambda }$

การเชื่อมต่อกับ RKHS ที่มีค่าเป็นสเกลาร์สามารถทำได้โดยข้อเท็จจริงที่ว่าเคอร์เนลที่มีค่าเป็นเมทริกซ์ทุกตัวสามารถระบุได้ด้วยเคอร์เนลในรูปแบบของ ( 4 ) ผ่านทาง

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

ยิ่งไปกว่านั้น เคอร์เนลทุกตัวที่มีรูปแบบของ ( 4 ) จะกำหนดเคอร์เนลที่มีค่าเป็นเมทริกซ์ด้วยนิพจน์ข้างต้น ตอนนี้ให้ กำหนด แผนที่ เป็น${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

โดยที่เป็นส่วนประกอบของฐานมาตรฐานสำหรับสามารถแสดงได้ว่า เป็นฟังก์ชันหนึ่งต่อ หนึ่ง ทั่วถึงและเป็นสมมาตรระหว่างและ${\displaystyle e_{t}}$${\displaystyle t^{\text{th}}}$${\displaystyle \mathbb {R} ^{T}}$${\displaystyle D}$${\displaystyle H_{\Gamma }}$${\displaystyle H_{\gamma }}$

แม้ว่ามุมมองของ vvRKHS นี้จะมีประโยชน์ในการเรียนรู้แบบหลายงาน แต่ความสมมาตรนี้ไม่ได้ลดการศึกษากรณีค่าเวกเตอร์ให้เหลือเพียงกรณีค่าสเกลาร์ อันที่จริง กระบวนการสมมาตรนี้อาจทำให้เคอร์เนลค่าสเกลาร์และพื้นที่อินพุตยากต่อการใช้งานจริง เนื่องจากคุณสมบัติของเคอร์เนลเดิมมักจะหายไป^{[ 12 ] [ 13 ] [ 14 ]}

เคอร์เนลสร้างซ้ำที่มีค่าเป็นเมทริกซ์ที่สำคัญประเภทหนึ่งคือ เคอร์เนล แยกส่วนได้ซึ่งสามารถแยกตัวประกอบได้เป็นผลคูณของเคอร์เนลที่มีค่าเป็นสเกลาร์และเมทริกซ์สมมาตรบวกกึ่งกำหนดมิติ n ตามที่เราได้กล่าวถึงไปก่อนหน้านี้ เคอร์เนลเหล่านี้มีรูปแบบดังนี้ ${\displaystyle T}$

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

สำหรับทั้งหมดในและในเนื่องจากเคอร์เนลที่มีค่าเป็นสเกลาร์เข้ารหัสความสัมพันธ์ระหว่างอินพุต เราจึงสังเกตได้ว่าเคอร์เนลที่มีค่าเป็นเมทริกซ์เข้ารหัสความสัมพันธ์ระหว่างทั้งอินพุตและเอาต์พุต ${\displaystyle x,y}$${\displaystyle X}$${\displaystyle t,s}$${\displaystyle T}$

สุดท้ายนี้ เราขอตั้งข้อสังเกตว่าทฤษฎีข้างต้นสามารถขยายเพิ่มเติมไปยังพื้นที่ของฟังก์ชันที่มีค่าอยู่ในพื้นที่ฟังก์ชันได้ แต่การหาเคอร์เนลสำหรับพื้นที่เหล่านี้เป็นงานที่ยากกว่า^{[ 15 ]}

ฟังก์ชันReLUมักถูกนิยามว่าเป็นฟังก์ชันเชิงเส้นและเป็นฟังก์ชันหลักในโครงสร้างของโครงข่ายประสาทเทียม โดยใช้เป็นฟังก์ชันกระตุ้น เราสามารถสร้างฟังก์ชันไม่เชิงเส้นที่คล้ายกับ ReLU ได้โดยใช้ทฤษฎีของปริภูมิฮิลเบิร์ตเคอร์เนลแบบสร้างซ้ำ ด้านล่างนี้ เราจะแสดงที่มาของการสร้างนี้และแสดงให้เห็นว่ามันบ่งบอกถึงพลังในการแสดงผลของโครงข่ายประสาทเทียมที่มีฟังก์ชันกระตุ้น ReLU อย่างไร ${\displaystyle f(x)=\max\{0,x\}}$

เราจะทำงานกับปริภูมิฮิลเบิร์ตของฟังก์ชันต่อเนื่องสัมบูรณ์ที่มีอนุพันธ์ที่สามารถหาปริพันธ์กำลังสองได้ (เช่น) โดยมีผลคูณภายใน ${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$${\displaystyle f(0)=0}$${\displaystyle L_{2}}$

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

ในการสร้างเคอร์เนลที่สร้างซ้ำได้นั้น เพียงพอที่จะพิจารณาซับสเปซที่หนาแน่น ดังนั้นให้และทฤษฎีบทพื้นฐานของแคลคูลัสจะให้ผลลัพธ์ดังนี้ ${\displaystyle f\in C^{1}[0,\infty )}$${\displaystyle f(0)=0}$

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

ที่ไหน

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

และเช่น ${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

นี่หมายความว่าสามารถสืบพันธุ์ได้ ${\displaystyle K_{y}=K(\cdot ,y)}$${\displaystyle f}$

นอกจากนี้ ฟังก์ชันขั้นต่ำบนยังมีรูปแบบการแสดงดังต่อไปนี้ด้วยฟังก์ชัน ReLu: ${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

ด้วยการกำหนดสูตรนี้ เราสามารถนำทฤษฎีตัวแทนมาประยุกต์ใช้กับ RKHS ซึ่งจะช่วยให้สามารถพิสูจน์ได้ว่าการใช้ฟังก์ชันกระตุ้น ReLU นั้นเหมาะสมที่สุดในการตั้งค่าโครงข่ายประสาทเทียม

• เคอร์เนลบวกแน่นอน
• ทฤษฎีบทของเมอร์เซอร์
• เทคนิคเคอร์เนล
• การฝังเคอร์เนลของการกระจาย
• ทฤษฎีตัวแทน