วิกิพีเดียภาษาไทย
กลับไปหน้าบทความ

อ่าน 17 นาที

สถิติแบบไม่ใช้พารามิเตอร์

สถิติแบบไม่ใช้พารามิเตอร์เป็นประเภทของการวิเคราะห์ทางสถิติที่ตั้งสมมติฐานน้อยที่สุดเกี่ยวกับการกระจาย พื้นฐาน ของข้อมูลที่กำลังศึกษา โดยทั่วไปแบบจำลองเหล่านี้จะมีมิติอนันต์...

สถิติแบบไม่ใช้พารามิเตอร์

สถิติแบบไม่ใช้พารามิเตอร์เป็นประเภทของการวิเคราะห์ทางสถิติที่ตั้งสมมติฐานน้อยที่สุดเกี่ยวกับการกระจาย พื้นฐาน ของข้อมูลที่กำลังศึกษา โดยทั่วไปแบบจำลองเหล่านี้จะมีมิติอนันต์ แทนที่จะเป็นมิติจำกัด เช่นเดียวกับสถิติแบบใช้พารามิเตอร์ [ 1 ] สถิติแบบไม่ใช้พารามิเตอร์สามารถใช้สำหรับสถิติเชิงพรรณนาหรือการอนุมานทางสถิติการทดสอบแบบไม่ใช้พารามิเตอร์มักใช้เมื่อสมมติฐานของการทดสอบแบบใช้พารามิเตอร์ถูกละเมิดอย่างชัดเจน[ 2 ]

คำจำกัดความ

คำว่า "สถิติแบบไม่ใช้พารามิเตอร์" ได้รับการนิยามอย่างไม่แม่นยำในสองลักษณะดังต่อไปนี้:

ความหมายแรกของคำว่า"ไม่พาราเมตริก"เกี่ยวข้องกับเทคนิคที่ไม่ต้องอาศัยข้อมูลที่อยู่ในตระกูลการแจกแจงความน่าจะเป็นแบบพาราเมตริกใดๆ ซึ่งรวมถึงเทคนิคต่างๆ ดังต่อไปนี้:

  • วิธีการที่ไม่ขึ้นกับการกระจายตัวของข้อมูล ซึ่งไม่ขึ้นอยู่กับสมมติฐานว่าข้อมูลนั้นได้มาจากตระกูลการกระจายความน่าจะเป็น แบบพาราเมตริก ที่ กำหนดไว้
  • สถิติถูกนิยามว่าเป็นฟังก์ชันของตัวอย่าง โดยไม่ขึ้นอยู่กับพารามิเตอร์ ใด ๆ

ตัวอย่างหนึ่งคือสถิติเรียงลำดับซึ่งอิงตามการจัดอันดับตามลำดับของข้อมูลสังเกตการณ์

การอภิปรายต่อไปนี้นำมาจากทฤษฎีสถิติขั้นสูงของ Kendall [ 3 ]

สมมติฐานทางสถิติเกี่ยวข้องกับพฤติกรรมของตัวแปรสุ่มที่สังเกตได้... ตัวอย่างเช่น สมมติฐาน (ก) ที่ว่าการแจกแจงแบบปกติมีค่าเฉลี่ยและความแปรปรวนที่ระบุไว้ เป็นสมมติฐานทางสถิติ เช่นเดียวกับสมมติฐาน (ข) ที่ว่าการแจกแจงนั้นมีค่าเฉลี่ยที่กำหนดแต่ความแปรปรวนไม่ระบุ เช่นเดียวกับสมมติฐาน (ค) ที่ว่าการแจกแจงนั้นมีรูปแบบปกติโดยที่ทั้งค่าเฉลี่ยและความแปรปรวนไม่ระบุ และสุดท้าย สมมติฐาน (ง) ที่ว่าการแจกแจงต่อเนื่องสองแบบที่ไม่ระบุนั้นเหมือนกัน ก็เป็นสมมติฐานทางสถิติเช่นกัน

จะสังเกตได้ว่าในตัวอย่าง (a) และ (b) การกระจายตัวของข้อมูลที่สังเกตได้นั้นถือว่าเป็นรูปแบบหนึ่ง (แบบปกติ) และสมมติฐานนั้นเกี่ยวข้องกับค่าของพารามิเตอร์หนึ่งตัวหรือทั้งสองตัวเท่านั้น สมมติฐานเช่นนี้ ด้วยเหตุผลที่ชัดเจน จึงเรียกว่าสมมติฐานแบบพาราเมตริก

สมมติฐาน (c) มีลักษณะที่แตกต่างออกไป เนื่องจากไม่มีการระบุค่าพารามิเตอร์ใดๆ ในข้อความของสมมติฐาน เราอาจเรียกสมมติฐานดังกล่าวว่า สมมติฐานแบบไม่ใช้พารามิเตอร์ (nonparametric ) ได้อย่างเหมาะสม สมมติฐาน (d) ก็เป็นสมมติฐานแบบไม่ใช้พารามิเตอร์เช่นกัน แต่ยิ่งไปกว่านั้น ยังไม่ได้ระบุรูปแบบพื้นฐานของการแจกแจง และอาจเรียกได้ว่า สมมติฐานแบบไม่ขึ้นกับการแจกแจง ( distribution-free ) ได้อย่างเหมาะสม แม้จะมีความแตกต่างเหล่านี้ แต่ในเอกสารทางสถิติโดยทั่วไปมักใช้คำว่า "ไม่ใช้พารามิเตอร์" กับวิธีการทดสอบที่เราเพิ่งเรียกว่า "ไม่ขึ้นกับการแจกแจง" ซึ่งทำให้สูญเสียการจำแนกประเภทที่มีประโยชน์ไป

ความหมายที่สองของคำว่า"ไม่ใช้พารามิเตอร์"เกี่ยวข้องกับเทคนิคที่ไม่ถือว่าโครงสร้างของแบบจำลองนั้นคงที่ โดยทั่วไปแล้ว แบบจำลองจะมีขนาดใหญ่ขึ้นเพื่อรองรับความซับซ้อนของข้อมูล ในเทคนิคเหล่านี้ ตัวแปรแต่ละตัว มัก จะถือว่าอยู่ในกลุ่มการแจกแจงแบบพารามิเตอร์ และมีการตั้งสมมติฐานเกี่ยวกับประเภทของความสัมพันธ์ระหว่างตัวแปรด้วย เทคนิคเหล่านี้ได้แก่:

  • การถดถอยแบบไม่ใช้พารามิเตอร์คือการสร้างแบบจำลองที่พิจารณาโครงสร้างความสัมพันธ์ระหว่างตัวแปรโดยไม่ใช้พารามิเตอร์ แต่กระนั้นก็อาจมีการตั้งสมมติฐานแบบพารามิเตอร์เกี่ยวกับการกระจายของค่าความคลาดเคลื่อนของแบบจำลองได้
  • แบบจำลองเบย์เซียนแบบลำดับชั้นที่ไม่ใช้พารามิเตอร์เช่น แบบจำลองที่อิงตามกระบวนการ Dirichletซึ่งอนุญาตให้จำนวนตัวแปรแฝงเพิ่มขึ้นได้ตามความจำเป็นเพื่อให้เหมาะสมกับข้อมูล แต่ตัวแปรแต่ละตัวยังคงเป็นไปตามการแจกแจงแบบพารามิเตอร์ และแม้แต่กระบวนการที่ควบคุมอัตราการเติบโตของตัวแปรแฝงก็ยังเป็นไปตามการแจกแจงแบบพารามิเตอร์

การใช้งานและวัตถุประสงค์

วิธีการทางสถิติแบบไม่พาราเมตริกถูกนำมาใช้กันอย่างแพร่หลายในการศึกษาประชากรที่มีลำดับ (เช่น บทวิจารณ์ภาพยนตร์ที่ได้รับคะแนนหนึ่งถึงห้าดาว) การใช้วิธีการทางสถิติแบบไม่พาราเมตริกอาจมีความจำเป็นเมื่อข้อมูลมีลำดับแต่ไม่มี การตีความเชิง ตัวเลข ที่ชัดเจน เช่น เมื่อประเมินความชอบในแง่ของระดับการวัดวิธีการทางสถิติแบบไม่พาราเมตริกจะให้ผลลัพธ์เป็นข้อมูลเชิงลำดับ

เนื่องจากวิธีการแบบไม่ใช้พารามิเตอร์นั้นตั้งสมมติฐานน้อยกว่า จึงสามารถนำไปใช้ได้ทั่วไปมากกว่าวิธีการแบบใช้พารามิเตอร์ โดยเฉพาะอย่างยิ่ง สามารถนำไปใช้ในสถานการณ์ที่ทราบข้อมูลเกี่ยวกับแอปพลิเคชันนั้นๆ น้อย นอกจากนี้ เนื่องจากอาศัยสมมติฐานน้อยกว่า วิธีการแบบไม่ใช้พารามิเตอร์จึงมีความแข็งแกร่งกว่า

วิธีการแบบไม่พาราเมตริกบางครั้งถูกมองว่าใช้งานง่ายกว่าและมีความเสถียรกว่าวิธีการแบบพาราเมตริก แม้ว่าข้อสมมติฐานของวิธีการแบบพาราเมตริกจะถูกต้องก็ตาม เนื่องจากวิธีการแบบไม่พาราเมตริกมีลักษณะทั่วไปมากกว่า ทำให้มีโอกาสน้อยที่จะถูกนำไปใช้ผิดหรือเข้าใจผิด วิธีการแบบไม่พาราเมตริกจึงถือเป็นทางเลือกที่รอบคอบ เพราะจะยังคงใช้งานได้แม้ว่าข้อสมมติฐานจะไม่เป็นไปตามที่กำหนด ในขณะที่วิธีการแบบพาราเมตริกอาจให้ผลลัพธ์ที่ผิดพลาดได้เมื่อข้อสมมติฐานถูกละเมิด

ข้อดีของการทดสอบแบบไม่ใช้พารามิเตอร์คือสามารถนำไป ใช้ได้ในวงกว้างกว่าและมีความแข็งแกร่ง กว่า แต่ ก็มีข้อเสียเช่นกัน กล่าวคือ ในกรณีที่เงื่อนไขของการทดสอบแบบใช้พารามิเตอร์เป็นไปตามที่กำหนด การทดสอบแบบไม่ใช้พารามิเตอร์จะมีกำลังทางสถิติ น้อยกว่า กล่าวอีกนัยหนึ่งคือ อาจต้องใช้ขนาดตัวอย่างที่ใหญ่ขึ้นเพื่อให้ได้ข้อสรุปที่มีระดับความมั่นใจเท่ากัน

แบบจำลองที่ไม่ใช้พารามิเตอร์

แบบจำลองที่ไม่ใช้พารามิเตอร์แตกต่างจาก แบบจำลอง ที่ใช้พารามิเตอร์ตรงที่โครงสร้างของแบบจำลองไม่ได้ถูกกำหนดไว้ล่วงหน้าแต่จะถูกกำหนดจากข้อมูล คำว่า"ไม่ใช้พารามิเตอร์"ไม่ได้หมายความว่าแบบจำลองเหล่านั้นไม่มีพารามิเตอร์เลย แต่หมายความว่าจำนวนและลักษณะของพารามิเตอร์นั้นมีความยืดหยุ่นและไม่ตายตัว

การทดสอบแบบไม่ใช้พารามิเตอร์

วิธีการทางสถิติเชิงอนุมานแบบไม่ใช้พารามิเตอร์ (หรือแบบไม่ขึ้นกับการกระจายตัว ) คือกระบวนการทางคณิตศาสตร์สำหรับการทดสอบสมมติฐานทางสถิติ ซึ่งแตกต่างจากสถิติแบบใช้พารามิเตอร์ตรงที่ไม่ตั้งสมมติฐานใดๆ เกี่ยวกับการกระจายความน่าจะเป็นของตัวแปรที่กำลังประเมิน การทดสอบที่ใช้บ่อยที่สุด ได้แก่

สถิติทางคณิตศาสตร์

ในสถิติเชิงคณิตศาสตร์แบบจำลองที่ไม่ใช้พารามิเตอร์ หมายถึงแบบจำลองที่ไม่ต้องอาศัยสมมติฐานเชิงพารามิเตอร์เกี่ยวกับลักษณะการกระจายของข้อมูลที่ไม่ทราบค่า (ใน ปัญหา การประมาณความหนาแน่น ) หรือฟังก์ชันการถดถอย (ใน ปัญหา การถดถอย ) ในขณะที่เป้าหมายของแบบจำลองเชิงพารามิเตอร์ใดๆ คือการประมาณค่าพารามิเตอร์จำนวนจำกัดθ1,…,θพี∈อาร์{\displaystyle \theta _{1},\dots ,\theta _{p}\in \mathbb {R} }แบบจำลองที่ไม่ใช่พาราเมตริกมีเป้าหมายเพื่อประมาณการกระจายข้อมูล/ฟังก์ชันการถดถอยโดยตรง[ 5 ] [ 6 ]

อย่างไรก็ตาม สำหรับการวิเคราะห์ทางคณิตศาสตร์ วิธีการแบบพาราเมตริกและแบบไม่พาราเมตริกนั้นสามารถนำมาประยุกต์ใช้ได้ในบริบทเดียวกัน กล่าวคือ สมมติว่าฟังก์ชันที่จะประมาณค่า (การกระจายข้อมูลหรือฟังก์ชันการถดถอย) เป็นส่วนหนึ่งของเซตของฟังก์ชันที่กำหนดโดยชุดพารามิเตอร์Θ{\displaystyle \Theta }เราจึงค้นหาฟังก์ชัน (ที่วัดได้)ทีn:Xn→Θ{\displaystyle T_{n}:{\mathcal {X}}^{n}\to \Theta }ซึ่งประมาณค่าพารามิเตอร์ "ที่แท้จริง" โดยอิงจากจุดข้อมูลx1,…,xn∈X{\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}ความแตกต่างที่สำคัญระหว่างวิธีการแบบพาราเมตริกและแบบไม่พาราเมตริกคือ ในกรณีแรกนั้น...Θ⊂อาร์ง{\displaystyle \Theta \subset \mathbb {R} ^{d}}สำหรับบางคนง∈เอ็น{\displaystyle d\in \mathbb {N} }ในขณะที่ในกรณีหลังΘ{\displaystyle \Theta }โดยทั่วไปแล้ว คือเซตของฟังก์ชันเป้าหมายที่เป็นไปได้ เช่น เซตของฟังก์ชันต่อเนื่องหรือ เซตของ ฟังก์ชันที่หาอนุพันธ์ได้

คำถามที่เกี่ยวข้องในสาขานี้เกี่ยวกับการสร้างตัวประมาณค่าที่สมเหตุสมผลความสอดคล้องอัตราการบรรจบกันและความเหมาะสมที่สุด และการประมาณค่าแบบปรับตัวได้[ 6 ]

ความสม่ำเสมอ

เช่นเดียวกับในสถิติเชิงพาราเมตริกคุณสมบัติที่พึงประสงค์สำหรับตัวประมาณค่าคือเอฟn^{\displaystyle {\hat {f_{n}}}}นั่นคือการลู่เข้าสู่ฟังก์ชันเป้าหมายเอฟ{\displaystyle f}เนื่องจากขนาดตัวอย่างn{\displaystyle n}เมื่อค่าเข้าใกล้อนันต์ นั่นคือ ข้อผิดพลาดในการประมาณค่าจะลู่เข้าสู่ศูนย์ โดยปกติแล้ว การประมาณค่าจะวัดในแง่ของแอล2{\displaystyle L^{2}}-ระยะห่างปกติระหว่างเอฟn^{\displaystyle {\hat {f_{n}}}}และเอฟ{\displaystyle f}เนื่องจากตัวประมาณค่าเป็นฟังก์ชันของข้อมูลที่สุ่มเลือกมาX=(X1,…,Xn){\displaystyle X=(X_{1},\dots ,X_{n})}เนื่องจากค่าประมาณเป็นตัวแปรสุ่มเช่นกัน ดังนั้นเราจึงแยกแยะโหมดการลู่เข้าที่แตกต่างกันสองแบบ:

ความสอดคล้องที่อ่อนแอ:ลิมn→∞อี[‖เอฟn^(X)−เอฟ‖แอล22]=0{\displaystyle \lim _{n\to \infty }\mathbb {E} [\lVert {\hat {f_{n}}}(X)-f\rVert _{L^{2}}^{2}]=0}.

ความสม่ำเสมอที่แข็งแกร่ง:ลิมn→∞‖เอฟn^(X)−เอฟ‖แอล22=0{\displaystyle \lim _{n\to \infty }\lVert {\hat {f_{n}}}(X)-f\rVert _{L^{2}}^{2}=0}แทบจะแน่นอน

ถ้าตัวประมาณค่ามีความสอดคล้องกันสำหรับค่ากำลังสองที่สามารถอินทิเกรตได้ ทั้งหมดเอฟ{\displaystyle f}จากนั้นจึงเรียกว่า มีความสอดคล้อง กันโดยทั่วไป[ 5 ]

ตัวประมาณค่าแบบไม่ใช้พารามิเตอร์ทั่วไปจำนวนมากมีความสอดคล้องกันในระดับอ่อน เช่นตัวประมาณค่า Nadarya-Watson , kNNsและ ตัว ประมาณค่าพหุนามเฉพาะที่ บางตัว [ 5 ]

อัตราการบรรจบกันที่เหมาะสมที่สุดของมินิแม็กซ์

หัวข้อสำคัญในการวิเคราะห์ทางสถิติของตัวประมาณค่าแบบไม่ใช้พารามิเตอร์ คือ ความเร็วในการลู่เข้าสู่ฟังก์ชันเป้าหมายที่แท้จริงเอฟ{\displaystyle f} and whether the speed is optimal, i.e., the convergence is as fast as possible. The most common way to measure the speed of convergence of an estimator is the minimax convergence rate, which considers the expected loss of the estimator in the worst case scenario. Under certain assumptions on the smoothness of f{\displaystyle f}, one can show that there is a minimal convergence rates that no estimator can undercut, and so any estimator achieving this minimal rate is called optimal.

Mathematically speaking, the target function f{\displaystyle f} is assumed to belong to some class of functions H{\displaystyle {\mathcal {H}}}, called the hypothesis class, inducing a distribution Pf{\displaystyle \mathbb {P} _{f}} on X{\displaystyle {\mathcal {X}}}, and the approximation quality of an estimator fn^:Xn→H{\displaystyle {\hat {f_{n}}}:{\mathcal {X}}^{n}\to {\mathcal {H}}} is measured by some function L:H×H→[0,∞){\displaystyle L:{\mathcal {H}}\times {\mathcal {H}}\to [0,\infty )}. The minimax convergence rate of fn^{\displaystyle {\hat {f_{n}}}} is a sequence (ψn)n∈N{\displaystyle (\psi _{n})_{n\in \mathbb {N} }} of real numbers for which it holdslim supn→∞1ψnsupf∈HEf[L(f,fn^(X1,…,Xn))]<∞,lim infn→∞1ψnsupf∈HEf[L(f,fn^(X1,…,Xn))]>0,{\displaystyle {\begin{aligned}\limsup _{n\to \infty }{\frac {1}{\psi _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {f_{n}}}(X_{1},\dots ,X_{n}){\big )}{\big ]}&<\infty ,\\\liminf _{n\to \infty }{\frac {1}{\psi _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {f_{n}}}(X_{1},\dots ,X_{n}){\big )}{\big ]}&>0,\end{aligned}}}where Ef[⋅]{\displaystyle \mathbb {E} _{f}[\cdot ]} indicates that the random variables X1,…,Xn{\displaystyle X_{1},\dots ,X_{n}}, which draw the data points, have distribution Pf{\displaystyle \mathbb {P} _{f}}.

A universal lower bound on estimation for a hypothesis class H{\displaystyle {\mathcal {H}}} is a sequence (ψn)n∈N{\displaystyle (\psi _{n})_{n\in {\mathcal {N}}}} for which it holdslim supn→∞1ψninfρn^supf∈HEf[L(f,ρ^n(X1,…,Xn))]<∞,lim infn→∞1ψninfρn^supf∈HEf[L(f,ρ^n(X1,…,Xn))]>0,{\displaystyle {\begin{aligned}\limsup _{n\to \infty }{\frac {1}{\psi _{n}}}\inf _{\hat {\rho _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {\rho }}_{n}(X_{1},\dots ,X_{n}){\big )}{\big ]}&<\infty ,\\\liminf _{n\to \infty }{\frac {1}{\psi _{n}}}\inf _{\hat {\rho _{n}}}\sup _{f\in {\mathcal {H}}}\mathbb {E} _{f}{\big [}L{\big (}f,{\hat {\rho }}_{n}(X_{1},\dots ,X_{n}){\big )}{\big ]}&>0,\end{aligned}}}where the infima are taken over all possible estimators ρ^n{\displaystyle {\hat {\rho }}_{n}} (that is, measurable functions) based on n{\displaystyle n} observations.

The detailed analysis of nonparametric estimators then separates into the estimation of probability densities and regressions functions.

Density estimation

The setting of density estimation typically involves a normed space of functions (F,‖⋅‖){\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )}, a subset of density functions H={f∈F:f≥0,∫Xf(x)dx=1,‖f‖≤1}{\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:f\geq 0,\int _{\mathcal {X}}f(x)dx=1,\lVert f\rVert \leq 1\}} and independent random variables X1,…,Xn∈X⊂Rd{\displaystyle X_{1},\dots ,X_{n}\in {\mathcal {X}}\subset \mathbb {R} ^{d}} distributed according to the measure with density f∈H{\displaystyle f\in {\mathcal {H}}}, which generates the data.

Minimax lower bounds are known for different pairs of function classes F{\displaystyle {\mathcal {F}}} and comparison metrics L{\displaystyle L}. Common choices for F{\displaystyle {\mathcal {F}}} are:

  • F=Cα(X),α>0{\displaystyle {\mathcal {F}}=C^{\alpha }({\mathcal {X}}),\alpha >0}: The space of ⌊α⌋{\displaystyle \lfloor \alpha \rfloor }-times differentiable functions with the highest derivative being (α−⌊α⌋){\displaystyle (\alpha -\lfloor \alpha \rfloor )}-Hölder-smooth.
  • F=Hs(X)=Ws,2(X),s>0{\displaystyle {\mathcal {F}}=H^{s}({\mathcal {X}})=W^{s,2}({\mathcal {X}}),s>0}: The space of Sobolev-smooth functions with square-integrable weak derivatives.
  • F=Bp,qs(X),s>0,p,q∈(0,∞]{\displaystyle {\mathcal {F}}=B_{p,q}^{s}({\mathcal {X}}),s>0,p,q\in (0,\infty ]}: The space of Besov-smooth functions.

In fact, the Hölder spaces and the Sobolev spaces are special cases of some Besov spaces, namely Cα(X)=B∞,∞α(X){\displaystyle C^{\alpha }({\mathcal {X}})=B_{\infty ,\infty }^{\alpha }({\mathcal {X}})} for α∉Z{\displaystyle \alpha \notin \mathbb {Z} } and Hs(X)=B2,2s(X){\displaystyle H^{s}({\mathcal {X}})=B_{2,2}^{s}({\mathcal {X}})}.[7] Thus, it often suffices to derive lower bounds under Besov-smoothness assumptions.

Common choices for L{\displaystyle L} are:[6]

  • L(f,g)=(f(x0)−g(x0))2,x0∈X{\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in {\mathcal {X}}}: The pointwise squared error (MSE).
  • L(f,g)=‖f−g‖L2(X)2{\displaystyle L(f,g)=\lVert f-g\rVert _{L^{2}({\mathcal {X}})}^{2}}: The Mean Integrated Square Error (MISE).
  • L(f,g)=‖f−g‖L∞(X){\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }({\mathcal {X}})}}: The supremum-norm-distance.
  • L(f,g)=KL(Pf‖Pg){\displaystyle L(f,g)=\mathrm {KL} (\mathbb {P} _{f}\lVert \mathbb {P} _{g})}: The Kullback-Leibler divergence of the distributions induced by f{\displaystyle f} and g{\displaystyle g}.
  • L(f,g)=TV(Pf,Pg){\displaystyle L(f,g)=\mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}: The total variation distance of the distributions induced by f{\displaystyle f} and g{\displaystyle g}.
  • L(f,g)=Wβ(Pf,Pg),β≥1{\displaystyle L(f,g)=W_{\beta }(\mathbb {P} _{f},\mathbb {P} _{g}),\beta \geq 1}: The Wasserstein-β{\displaystyle \beta } distance of the distributions induced by f{\displaystyle f} and g{\displaystyle g}.

By Scheffé's theorem, the total variation distance TV(Pf,Pg){\displaystyle \mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})} is equivalent to the L1{\displaystyle L^{1}}-distance of f{\displaystyle f} and g{\displaystyle g}.

Smoothness class‖f−g‖L2(X)2{\displaystyle \lVert f-g\rVert _{L^{2}({\mathcal {X}})}^{2}}Wβ(Pf,Pg){\displaystyle W_{\beta }(\mathbb {P} _{f},\mathbb {P} _{g})}TV(Pf,Pg){\displaystyle \mathrm {TV} (\mathbb {P} _{f},\mathbb {P} _{g})}KL(Pf‖Pg){\displaystyle \mathrm {KL} (\mathbb {P} _{f}\lVert \mathbb {P} _{g})}
Bp,qs(X){\displaystyle B_{p,q}^{s}({\mathcal {X}})}n−2s2s+d{\displaystyle n^{-{\frac {2s}{2s+d}}}}[8](p,q≥1,s>d/q){\displaystyle (p,q\geq 1,\,s>d/q)}n−s+12s+d{\displaystyle n^{-{\frac {s+1}{2s+d}}}}[9]n−s2s+d{\displaystyle n^{-{\frac {s}{2s+d}}}}[8]n−2s2s+d{\displaystyle n^{-{\frac {2s}{2s+d}}}}
L2(R)∩C∞(R){\displaystyle L^{2}(\mathbb {R} )\cap C^{\infty }(\mathbb {R} )}n−1{\displaystyle n^{-1}}[10]---

The lower bound of the MISE is sometimes compared to the Cramér–Rao bound from parametric statistics, which is a lower bound for the mean-squared error of regular unbiased estimators of a parameter θ{\displaystyle \theta }:supθ∈ΘE[‖θ−θ^n‖2]≥n−1supθ∈Θtr(I(θ)−1)⏟=const.,supf∈Bp,qs(X)E[‖f−fn^‖L2(X)2]≥cn−2s/(2s+d),{\displaystyle {\begin{aligned}\sup _{\theta \in \Theta }\mathbb {E} &[\lVert \theta -{\hat {\theta }}_{n}\rVert ^{2}]\geq n^{-1}\underbrace {\sup _{\theta \in \Theta }\mathrm {tr} (I(\theta )^{-1})} _{=const.},\\\sup _{f\in B_{p,q}^{s}({\mathcal {X}})}\mathbb {E} &[\lVert f-{\hat {f_{n}}}\rVert _{L^{2}({\mathcal {X}})}^{2}]\geq cn^{-2s/(2s+d)},\end{aligned}}} where I(θ){\displaystyle I(\theta )} is the Fisher information of the parametric model and c>0{\displaystyle c>0} is some constant. The nonparametric rate is thus slower than the parametric rate n−1{\displaystyle n^{-1}}, especially in large dimensions, and approaches the parametric rate as the smoothness of the density tends to infinity.

Kernel density estimators, for instance, achieve the lower bound w.r.t. the MISE under a Sobolev hypothesis class under an appropriate bandwidth choice and is thus minimax optimal.[6] More recently, also score-based generative models have been shown to achieve minimax convergence rates in total variation and in Wasserstein-1 distance for Bp,qs([0,1]d){\displaystyle B_{p,q}^{s}([0,1]^{d})}-smooth distributions, s>(1/p−1/2)+{\displaystyle s>(1/p-1/2)_{+}}, that are bounded away from zero from below.[11]

Regression

In the regression setting, the data arises in pairs (X1,Y1),…,(Xn,Yn){\displaystyle (X_{1},Y_{1}),\dots ,(X_{n},Y_{n})}. Assuming that the data is independent and identically distributed, and E[|Y1|]<∞{\displaystyle \mathbb {E} [|Y_{1}|]<\infty }, one can always writeYi=f(Xi)+εi,{\displaystyle Y_{i}=f(X_{i})+\varepsilon _{i},}with f(x)=E[Y1∣X1=x]{\displaystyle f(x)=\mathbb {E} [Y_{1}\mid X_{1}=x]} being the regression function to be estimated and a noise variable εi{\displaystyle \varepsilon _{i}} fulfilling E[εi]=0{\displaystyle \mathbb {E} [\varepsilon _{i}]=0} and E[ε2]=σ2>0{\displaystyle \mathbb {E} [\varepsilon ^{2}]=\sigma ^{2}>0}. Typically, the independent variables Xi{\displaystyle X_{i}} are assumed to have values in the unit cube [0,1]d{\displaystyle [0,1]^{d}} and to be either determinsitic points on a grid (deterministic design) or uniformly distributed (random design). Thus, X=[0,1]d×R{\displaystyle {\mathcal {X}}=[0,1]^{d}\times \mathbb {R} }.

The above setting applies to binary classification as well. In that case, the observations take only two values, say 0 and 1, such that f(x)=E[1{Y1=1}∣X=x]=P(Y1=1∣X=x){\displaystyle f(x)=\mathbb {E} [\mathbb {1} _{\{Y_{1}=1\}}\mid X=x]=\mathbb {P} (Y_{1}=1\mid X=x)} and given an estimator fn^{\displaystyle {\hat {f_{n}}}} of f{\displaystyle f}, the classifiers are assumed to have the form C(x)=1[1/2,1](fn^(x)){\displaystyle C(x)=\mathbb {1} _{[1/2,1]}({\hat {f_{n}}}(x))}, that is, they classify a point as 1 if the estimated probability of Y=1{\displaystyle Y=1} is greater than 1/2{\displaystyle 1/2} (and 0 otherwise). Indeed, many classification methods are of that form, for example logistic regression, linear discriminant analysis, quadratic discriminant analysis, and k-nearest-neighbors, and support vector machines.

Then, for the statistical analysis, the hypothesis class is of the form H={f∈F:‖f‖≤1}{\displaystyle {\mathcal {H}}=\{f\in {\mathcal {F}}:\lVert f\rVert \leq 1\}} for some normed space of functions (F,‖⋅‖){\displaystyle ({\mathcal {F}},\lVert \cdot \rVert )} and expectations Ef{\displaystyle \mathbb {E} _{f}} are taken with respect to the joint distribution of X{\displaystyle X} and Y{\displaystyle Y} (or just Y{\displaystyle Y} if the Xi{\displaystyle X_{i}} are deterministic).

In nonparametric regression, common choices for F{\displaystyle {\mathcal {F}}} are:

  • F=Cα([0,1]d),α>0{\displaystyle {\mathcal {F}}=C^{\alpha }([0,1]^{d}),\alpha >0}: The space of ⌊α⌋{\displaystyle \lfloor \alpha \rfloor }-times differentiable functions with the highest derivative being (α−⌊α⌋){\displaystyle (\alpha -\lfloor \alpha \rfloor )}-Hölder-smooth.
  • F=Wk,q([0,1]d),k∈N,q>d{\displaystyle {\mathcal {F}}=W^{k,q}([0,1]^{d}),k\in \mathbb {N} ,q>d}: The space of Sobolev-smooth functions with Lq{\displaystyle L^{q}}อนุพันธ์อ่อนที่สามารถหาปริพันธ์ได้

ตัวเลือกทั่วไปสำหรับแอล{\displaystyle L}เป็น:

  • แอล(เอฟ,จี)=(เอฟ(x0)−จี(x0))2,x0∈[0,1]ง{\displaystyle L(f,g)=(f(x_{0})-g(x_{0}))^{2},x_{0}\in [0,1]^{d}}: ค่าความคลาดเคลื่อนกำลังสองแบบจุดต่อจุด (MSE)
  • แอล(เอฟ,จี)=‖เอฟ−จี‖แอลพี([0,1]ง),พี∈[1,∞){\displaystyle L(f,g)=\lVert f-g\rVert _{L^{p}([0,1]^{d})},p\in [1,\infty )}: เดอะพี{\displaystyle p}-บรรทัดฐานที่ -th
  • แอล(เอฟ,จี)=‖เอฟ−จี‖แอล∞([0,1]ง){\displaystyle L(f,g)=\lVert f-g\rVert _{L^{\infty }([0,1]^{d})}}ระยะทางบรรทัดฐานสูงสุด

ภายใต้สมมติฐานทางเทคนิคบางประการ ขอบเขตล่างต่อไปนี้เป็นที่ทราบกันดี

ระดับความเรียบเนียน(เอฟ(x0)−จี(x0))2{\displaystyle (f(x_{0})-g(x_{0}))^{2}}แอลพี([0,1]ง){\displaystyle L^{p}([0,1]^{d})}แอล∞([0,1]ง){\displaystyle L^{\infty }([0,1]^{d})}
ซีα([0,1]ง){\displaystyle C^{\alpha }([0,1]^{d})}n−2α2α+ง{\displaystyle n^{-{\frac {2\alpha }{2\alpha +d}}}}[ 6 ] (การออกแบบที่กำหนด)n−α2α+ง{\displaystyle n^{-{\frac {\alpha }{2\alpha +d}}}}[ 6 ] [ 12 ](บันทึก⁡n/n)α2α+ง{\displaystyle (\log n/n)^{\frac {\alpha }{2\alpha +d}}}[ 6 ] [ 12 ]
วเค,q([0,1]ง){\displaystyle W^{k,q}([0,1]^{d})}-n−เค2เค+ง{\displaystyle n^{-{\frac {k}{2k+d}}}}[ 12 ](n/σ≥1){\displaystyle ({\sqrt {n}}/\sigma \geq 1)}n−เค2เค+ง{\displaystyle n^{-{\frac {k}{2k+d}}}}[ 12 ](n/σ≥1){\displaystyle ({\sqrt {n}}/\sigma \geq 1)}

ตัวประมาณพหุนามเฉพาะที่บางตัวมีค่าเหมาะสมที่สุดแบบมินิแม็กซ์เมื่อเทียบกับแอล2{\displaystyle L^{2}}ภายใต้ชม=ซีα([0,1]ง){\displaystyle {\mathcal {H}}=C^{\alpha }([0,1]^{d})}สำหรับค่าตามอำเภอใจα>0{\displaystyle \alpha >0}เมื่อแบนด์วิดท์อยู่ในระดับที่เหมาะสมโอ(n−12α+ง){\displaystyle {\mathcal {O}}(n^{-{\frac {1}{2\alpha +d}}})}[ 6 ] kNNsยังเหมาะสมที่สุดในแง่ของค่า MSE ภายใต้ชม=ซี2([0,1]ง){\displaystyle {\mathcal {H}}=C^{2}([0,1]^{d})}และเกี่ยวกับแอล2{\displaystyle L^{2}}ภายใต้ชม=ซี1([0,1]ง){\displaystyle {\mathcal {H}}=C^{1}([0,1]^{d})}เมื่อจำนวนเพื่อนบ้านที่พิจารณามีขนาดตามลำดับโอ(n1ง+4){\displaystyle {\mathcal {O}}(n^{\frac {1}{d+4}})}และโอ(n1ง+2){\displaystyle {\mathcal {O}}(n^{\frac {1}{d+2}})}ตามลำดับ[ 5 ]

ความสามารถในการปรับตัว

โดยทั่วไปแล้ว การเลือกค่าพารามิเตอร์ของแบบจำลอง (เช่น แบนด์วิดท์สำหรับวิธีการเคอร์เนล หรือจำนวนเพื่อนบ้านสำหรับ kNN) ที่จำเป็นเพื่อให้ได้อัตราการล convergence ที่เหมาะสมที่สุดนั้น มักขึ้นอยู่กับพารามิเตอร์ความเรียบของฟังก์ชันเป้าหมายที่ไม่ทราบค่า ซึ่งหมายความว่า ในทางปฏิบัติ หากไม่มีการประมาณค่าพารามิเตอร์ที่เหมาะสม วิธีการที่กล่าวมาข้างต้นก็จะไม่ใช่วิธีที่ดีที่สุด

แต่สิ่งที่น่าสนใจคือวิธีการที่บรรลุอัตราการล convergence ที่เหมาะสมที่สุดแบบ minimax ไม่เพียงแต่สำหรับพารามิเตอร์ความเรียบเฉพาะตัวหนึ่งเท่านั้น แต่ยังรวมถึงค่าต่างๆ ด้วย ให้คลาสสมมติฐานมีรูปแบบดังนี้ชม=⋃เบต้า>0ชมเบต้า{\displaystyle {\mathcal {H}}=\bigcup _{\beta >0}{\mathcal {H}}_{\beta }}(ตัวอย่างเช่นชมเบต้า=ซีเบต้า([0,1]ง){\displaystyle {\mathcal {H}}_{\beta }=C^{\beta }([0,1]^{d})}หรือชมเบต้า=ชมเบต้า([0,1]ง){\displaystyle {\mathcal {H}}_{\beta }=H^{\beta }([0,1]^{d})}) และปล่อยให้ψnเบต้า{\displaystyle \psi _{n}^{\beta }}อัตราการบรรจบกันที่เหมาะสมในชมเบต้า{\displaystyle {\mathcal {H}}_{\beta }}จากนั้นจึงเป็นตระกูลของตัวประมาณค่า(เอฟn^)n∈เอ็น{\displaystyle ({\hat {f_{n}}})_{n\in \mathbb {N} }}เรียกว่าปรับตัวได้ในความหมายของมินิแม็กซ์หากมีค่าคงที่อยู่ซี(เบต้า){\displaystyle C(\beta )}ขึ้นอยู่กับเพียงอย่างเดียวเบต้า{\displaystyle \beta }โดยที่[ 6 ]จีบเอฟ∈ชมเบต้าอี[แอล(เอฟn^,เอฟ)]≤ซี(เบต้า)ψnเบต้า,∀เบต้า>0,∀n∈เอ็น.{\displaystyle \sup _{f\in {\mathcal {H}}_{\beta }}\mathbb {E} [L({\hat {f_{n}}},f)]\leq C(\beta )\psi _{n}^{\beta },\quad \forall \beta >0,\quad \forall n\in \mathbb {N} .}กล่าวอีกนัยหนึ่ง จำเป็นต้องใช้ตัวประมาณค่าแบบปรับตัวได้เพื่อให้ได้อัตราการล convergence แบบ minimax ในทุกกลุ่มสมมติฐานชมเบต้า{\displaystyle {\mathcal {H}}_{\beta }}แต่โดยไม่พิจารณาพารามิเตอร์ที่ไม่ทราบค่าเบต้า{\displaystyle \beta }เป็นข้อโต้แย้ง ตัวประมาณค่าแบบปรับตัวมักจะเกิดขึ้นจากการใช้ตัวประมาณค่าที่เหมาะสมที่สุดแบบมินิแม็กซ์สำหรับกลุ่มของคลาสสมมติฐาน และโดยการประมาณค่าไฮเปอร์พารามิเตอร์ผ่านกระบวนการระดับสูงกว่า เช่น การประมาณความเสี่ยงที่ไม่เอนเอียงหรือ การตรวจ สอบแบบไขว้[ 5 ] [ 6 ]

ประวัติศาสตร์

สถิติแบบไม่ใช้พารามิเตอร์ในยุคแรกๆ ได้แก่ค่ามัธยฐาน (ศตวรรษที่ 13 หรือก่อนหน้านั้น ใช้ในการประมาณค่าโดยเอ็ดเวิร์ด ไรท์ในปี 1599 ดูค่ามัธยฐาน §  ประวัติ ) และการทดสอบเครื่องหมายโดยจอห์น อาร์บัทนอต (1710) ในการวิเคราะห์อัตราส่วนเพศของมนุษย์เมื่อแรกเกิด (ดูการทดสอบเครื่องหมาย §  ประวัติ ) [ 13 ] [ 14 ]

ดูเพิ่มเติม

หมายเหตุ

  1. ↑ "สถิติแบบไม่ใช้พารามิเตอร์ทั้งหมด" Springer Texts in Statistics . 2006. doi : 10.1007/0-387-30623-4 . ISBN 978-0-387-25145-5.
  2. ↑ Pearce, J; Derrick, B (2019). "การทดสอบเบื้องต้น: ปีศาจแห่งสถิติ?" . Reinvention: An International Journal of Undergraduate Research . 12 (2). doi : 10.31273/reinvention.v12i2.339 .
  3. ↑ Stuart A., Ord JK, Arnold S. (1999), Kendall's Advanced Theory of Statistics: Volume 2A—Classical Inference and the Linear Model , ฉบับที่หก, §20.2–20.3 ( Arnold ).
  4. ↑ Adikaram, KKLB; Hussein, MA; Effenberger, M.; Becker, T. (16 พฤศจิกายน 2015). "การระบุความพอดีเชิงเส้นสากล: วิธีการที่ไม่ขึ้นอยู่กับข้อมูล ค่าผิดปกติ และแบบจำลองการกระจายสัญญาณรบกวน และปราศจากการเติมข้อมูลที่ขาดหายหรือถูกลบ" PLOS ONE . ​​10 (11) e0141486. ​​Bibcode : 2015PLoSO..1041486A . doi : 10.1371/journal.pone.0141486 . ISSN 1932-6203 . PMC 4646355 . PMID 26571035 .   
  5. 1 2 3 4 5กอร์ฟี, ลาสซโล; โคห์เลอร์, ไมเคิล; คริซิซัก, อดัม; เดิน, แฮร์โร (2002) ทฤษฎีการถดถอยแบบไม่อิงพารามิเตอร์แบบไม่มีการกระจาย นิวยอร์ก: สปริงเกอร์-แวร์แลกไอเอสบีเอ็น 0-387-95441-4.
  6. 1 2 3 4 5 6 7 8 9 10 Tsybakov, Alexandre (2009). บทนำสู่การประมาณค่าแบบไม่ใช้พารามิเตอร์ Springer. ISBN 978-0-387-79051-0.
  7. ↑ทรีเบล, ฮันส์ (1983) ทฤษฎีปริภูมิฟังก์ชัน . เอกสารทางคณิตศาสตร์ บีร์ฮอเซอร์ แวร์แล็ก. ไอเอสบีเอ็น 9783764313814.
  8. 1 2 Yang, Yuhong; Barron, Andrew (1999). "การกำหนดอัตราการบรรจบกันแบบมินิแม็กซ์ตามทฤษฎีสารสนเทศ" . Annals of Statistics . 27 (5): 1564– 1599.
  9. ↑ Niles-Weed, Jonathan; Berthet, Quentin (2022). "การประมาณค่ามินิแม็กซ์ของความหนาแน่นเรียบในระยะทาง Wasserstein" . Annals of Statistics . 50 (3): 1519– 1540.
  10. ↑ Boyd, David W.; Steele, J. Michael (1978). "ขอบเขตล่างสำหรับอัตราการประมาณความหนาแน่นแบบไม่ใช้พารามิเตอร์" Annals of Statistics . 6 (4): 932– 934.
  11. ↑ Oko, Kazusato; Akiyama, Shunta; Suzuki, Taiji (2023). "แบบจำลองการแพร่กระจายคือตัวประมาณการการกระจายแบบมินิแม็กซ์ที่เหมาะสมที่สุด" . รายงานการประชุมนานาชาติว่าด้วยการเรียนรู้ของเครื่องจักร ครั้งที่ 40 . 202 : 26517– 26582.
  12. 1 2 3 4 Nemirovski, Arkadi (2000). หัวข้อในสถิติ แบบไม่ใช้พารามิเตอร์หน้า5–31 
  13. ↑ Conover, WJ (1999), "บทที่ 3.4: การทดสอบเครื่องหมาย", สถิติเชิงปฏิบัติแบบไม่ใช้พารามิเตอร์ ( ฉบับที่สาม), Wiley, หน้า157–176 , ISBN   0-471-16068-7
  14. ↑ Sprent, P. (1989), วิธีการทางสถิติแบบไม่พาราเมตริกประยุกต์ ( ฉบับที่สอง), Chapman & Hall, ISBN  0-412-44980-3

เอกสารอ้างอิงทั่วไป

  • Bagdonavicius, V., Kruopis, J., Nikulin, MS (2011). "การทดสอบแบบไม่ใช้พารามิเตอร์สำหรับข้อมูลที่สมบูรณ์", ISTE & WILEY: ลอนดอนและโฮโบเคน. ISBN 978-1-84821-269-5.
  • Corder, GW; Foreman, DI (2014). สถิติแบบไม่ใช้พารามิเตอร์: วิธีการทีละขั้นตอน . Wiley. ISBN 978-1-118-84031-3.
  • Gibbons, Jean Dickinson ; Chakraborti, Subhabrata (2003). การอนุมานทางสถิติแบบไม่ใช้พารามิเตอร์ฉบับที่ 4 สำนักพิมพ์ CRC ISBN 0-8247-4052-1.
  • Hettmansperger, TP; McKean, JW (1998). วิธีการทางสถิติแบบไม่ใช้พารามิเตอร์ที่ทนทาน . ห้องสมุดสถิติของ Kendall. เล่มที่ 5. ลอนดอน: Edward Arnold . ISBN 0-340-54937-8MR 1604954​​ และ ISBNด้วย 0-471-19479-4.
  • Hollander M., Wolfe DA, Chicken E. (2014). วิธีการทางสถิติแบบไม่ใช้พารามิเตอร์ , John Wiley & Sons.
  • เชสกิน, เดวิด เจ. (2003) คู่มือวิธีการทางสถิติแบบพาราเมตริกและไม่พาราเมตริกสำนักพิมพ์ซีอาร์ซีISBN 1-58488-440-1
  • วาสเซอร์แมน, แลร์รี (2007). สถิติแบบไม่ใช้พารามิเตอร์ทั้งหมด , สปริงเกอร์. ISBN 0-387-25145-6.
ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=Nonparametric_statistics&oldid=1358572609 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ สถิติแบบไม่ใช้พารามิเตอร์

สถิติแบบไม่ใช้พารามิเตอร์เป็นประเภทของการวิเคราะห์ทางสถิติที่ตั้งสมมติฐานน้อยที่สุดเกี่ยวกับการกระจาย พื้นฐาน ของข้อมูลที่กำลังศึกษา โดยทั่วไปแบบจำลองเหล่านี้จะมีมิติอนันต์...

คำจำกัดความ

คำว่า "สถิติแบบไม่ใช้พารามิเตอร์" ได้รับการนิยามอย่างไม่แม่นยำในสองลักษณะดังต่อไปนี้:

การใช้งานและวัตถุประสงค์

วิธีการทางสถิติแบบไม่พาราเมตริกถูกนำมาใช้กันอย่างแพร่หลายในการศึกษาประชากรที่มีลำดับ (เช่น บทวิจารณ์ภาพยนตร์ที่ได้รับคะแนนหนึ่งถึงห้าดาว) การใช้วิธีการทางสถิติแบบไม่พาราเมตริกอาจมีความจำเป็นเมื่อข้อมูลมี ลำดับ แต่ไม่มี การตีความเชิง ตัวเลข ที่ชัดเจน เช่น...

แบบจำลองที่ไม่ใช้พารามิเตอร์

แบบจำลองที่ไม่ใช้พารามิเตอร์ แตกต่างจาก แบบจำลอง ที่ใช้พารามิเตอร์ ตรงที่โครงสร้างของแบบจำลองไม่ได้ถูกกำหนดไว้ ล่วงหน้า แต่จะถูกกำหนดจากข้อมูล คำว่า "ไม่ใช้พารามิเตอร์" ไม่ได้หมายความว่าแบบจำลองเหล่านั้นไม่มีพารามิเตอร์เลย...