แบบจำลองทางสถิติพื้นฐานที่สุดสำหรับความสัมพันธ์ระหว่างเวกเตอร์ตัวแปรเสริม${\displaystyle x\in \mathbb {R} ^{p}}$และตัวแปรตอบสนอง${\displaystyle y\in \mathbb {R} }$คือแบบจำลองเชิงเส้น

${\displaystyle y=x^{\top }\beta +\epsilon ,}$

ที่ไหน${\displaystyle \beta \in \mathbb {R} ^{p}}$เป็นเวกเตอร์พารามิเตอร์ที่ไม่ทราบค่า และ${\displaystyle \epsilon }$เป็นสัญญาณรบกวนแบบสุ่มที่มีค่าเฉลี่ยเป็นศูนย์และความแปรปรวน${\displaystyle \sigma ^{2}}$. เมื่อพิจารณาจากคำตอบที่เป็นอิสระ${\displaystyle Y_{1},\ldots ,Y_{n}}$โดยมีตัวแปรเสริมที่สอดคล้องกัน${\displaystyle x_{1},\ldots ,x_{n}}$จากแบบจำลองนี้ เราสามารถสร้างเวกเตอร์การตอบสนองได้${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{\top }}$และเมทริกซ์การออกแบบ${\displaystyle X=(x_{1},\ldots ,x_{n})^{\top }\in \mathbb {R} ^{n\times p}}$. เมื่อไร${\displaystyle n\geq p}$และเมทริกซ์การออกแบบมีอันดับคอลัมน์ เต็ม (กล่าวคือ คอลัมน์ของมันเป็นอิสระเชิงเส้น ) ตัวประมาณ ค่ากำลังสองน้อยที่สุดแบบธรรมดาของ${\displaystyle \beta }$เป็น

${\displaystyle {\hat {\beta }}:=(X^{\top }X)^{-1}X^{\top }Y.}$

เมื่อไร${\displaystyle \epsilon \sim N(0,\sigma ^{2})}$เป็นที่ทราบกันว่า${\displaystyle {\hat {\beta }}\sim N_{p}{\bigl (}\beta ,\sigma ^{2}(X^{\top }X)^{-1}{\bigr )}}$. ดังนั้น,${\displaystyle {\หมวก {\beta }}}$เป็นตัวประมาณค่าที่ไม่เอนเอียงของ${\displaystyle \beta }$และทฤษฎีบทเกาส์-มาร์คอฟบอกเราว่ามันเป็นตัวประมาณค่าเชิงเส้นที่ไม่เอนเอียงที่ดีที่สุด

อย่างไรก็ตามการเกิดภาวะโอเวอร์ฟิตติ้งเป็นเรื่องที่น่ากังวลเมื่อ${\displaystyle p}$มีขนาดเทียบเท่ากับ${\displaystyle n}$: เมทริกซ์${\displaystyle X^{\top }X}$ในคำจำกัดความของ${\displaystyle {\หมวก {\beta }}}$อาจเกิดภาวะไม่เสถียร (ill-conditioned) โดยมี ค่าไอเกนต่ำสุดน้อยในสถานการณ์เช่นนี้${\displaystyle \mathbb {E} (\|{\hat {\beta }}-\beta \|^{2})=\sigma ^{2}\mathrm {tr} {\bigl (}(X^{\top }X)^{-1}{\bigr )}}$จะมีค่ามาก (เนื่องจากร่องรอยของเมทริกซ์คือผลรวมของค่าลักษณะเฉพาะ) ยิ่งแย่ไปกว่านั้น เมื่อ${\displaystyle p>n}$เมทริกซ์${\displaystyle X^{\top }X}$เป็นเอกพจน์ (ดูหัวข้อ 1.2 และแบบฝึกหัด 1.2 ใน^{[ 1 ]} )

สิ่งสำคัญที่ควรทราบคือ การลดลงของประสิทธิภาพการประมาณค่าในมิติสูงที่สังเกตได้ในย่อหน้าก่อนหน้านี้ไม่ได้จำกัดอยู่เฉพาะตัวประมาณค่ากำลังสองน้อยที่สุดแบบธรรมดาเท่านั้น อันที่จริง การอนุมานทางสถิติในมิติสูงนั้นยากโดยเนื้อแท้ ซึ่งเป็นปรากฏการณ์ที่เรียกว่าคำสาปแห่งมิติและสามารถแสดงให้เห็นได้ว่าไม่มีตัวประมาณค่าใดที่สามารถทำได้ดีกว่าในกรณีที่เลวร้ายที่สุดโดยปราศจากข้อมูลเพิ่มเติม (ดูตัวอย่าง 15.10 ^{[ 2 ]} ) อย่างไรก็ตาม สถานการณ์ในสถิติมิติสูงอาจไม่สิ้นหวังเมื่อข้อมูลมีโครงสร้างมิติต่ำบางอย่าง ข้อสมมติฐานทั่วไปข้อหนึ่งสำหรับการถดถอยเชิงเส้นมิติสูงคือ เวกเตอร์ของสัมประสิทธิ์การถดถอยนั้นเบาบางในแง่ที่ว่าพิกัดส่วนใหญ่ของ${\displaystyle \beta }$มีค่าเป็นศูนย์ มีการเสนอวิธีการทางสถิติหลายวิธี รวมถึงLasso เพื่อใช้ในการสร้างแบบจำลองเชิงเส้นที่มีมิติสูงภายใต้สมมติฐานความเบาบางดังกล่าว

อีกตัวอย่างหนึ่งของปรากฏการณ์ทางสถิติที่มีมิติสูง สามารถพบได้ในปัญหาการประมาณค่าเมทริกซ์ความแปรปรวนร่วม สมมติว่าเราสังเกตเห็นว่า${\displaystyle X_{1},\ldots ,X_{n}\in \mathbb {R} ^{p}}$ซึ่งเป็นการ สุ่ม แบบอิสระและมีค่าเฉลี่ยเท่ากันจาก1การแจกแจงที่มีค่าเฉลี่ยเป็นศูนย์และเมทริกซ์ความแปรปรวนร่วมที่ไม่ทราบค่า${\displaystyle \Sigma \in \mathbb {R} ^{p\times p}}$ตัวประมาณค่าที่ไม่ลำเอียงตามธรรมชาติของ${\displaystyle \Sigma }$คือเมทริกซ์ความแปรปรวนร่วมของตัวอย่าง

${\displaystyle {\widehat {\Sigma }}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}X_{i}^{\top }.}$

ในบริบทมิติที่ต่ำกว่าซึ่ง${\displaystyle n}$เพิ่มขึ้นและ${\displaystyle p}$ถูกตรึงไว้${\displaystyle {\widehat {\Sigma }}}$เป็นตัวประมาณค่าที่สอดคล้องกันของ${\displaystyle \Sigma }$ในบรรทัดฐานเมทริกซ์ ใดๆ เมื่อ${\displaystyle p}$เติบโตไปพร้อมกับ${\displaystyle n}$ในทางกลับกัน ผลลัพธ์ที่สอดคล้องกันนี้อาจไม่เป็นจริง ตัวอย่างเช่น สมมติว่าแต่ละ${\displaystyle X_{i}\sim N_{p}(0,I)}$และ${\displaystyle p/n\rightarrow \alpha \in (0,1)}$. ถ้า${\displaystyle {\widehat {\Sigma }}}$คือการประเมินอย่างสม่ำเสมอ${\displaystyle \Sigma =I}$จากนั้นค่าไอเกนของ${\displaystyle {\widehat {\Sigma }}}$ควรเข้าหาคนคนหนึ่งในลักษณะนี้${\displaystyle n}$เพิ่มขึ้น ปรากฏว่าในบริบทที่มีมิติสูงเช่นนี้กลับไม่เป็นเช่นนั้น อันที่จริง ค่าไอเกนที่ใหญ่ที่สุดและเล็กที่สุดของ${\displaystyle {\widehat {\Sigma }}}$มุ่งเน้นที่${\displaystyle (1+{\sqrt {\alpha }})^{2}}$และ${\displaystyle (1-{\sqrt {\alpha }})^{2}}$ตามลำดับ ตามการกระจายตัวแบบจำกัดที่ได้มาจากTracy และ Widomและค่าเหล่านี้เบี่ยงเบนอย่างชัดเจนจากค่าไอเกนหน่วยของ${\displaystyle \Sigma }$ข้อมูลเพิ่มเติมเกี่ยวกับพฤติกรรมเชิงอะซิมโทติกของค่าไอเกนของ${\displaystyle {\widehat {\Sigma }}}$สามารถหาได้จากกฎของ Marchenko–Pasturจากมุมมองที่ไม่ใช่เชิงอะซิมโทติก ค่าไอเกนสูงสุด${\displaystyle \lambda _{\mathrm {max} }({\widehat {\Sigma }})}$ของ${\displaystyle {\widehat {\Sigma }}}$พอใจ

${\displaystyle \mathbb {P} \left(\lambda _{\mathrm {max} }({\widehat {\Sigma }})\geq (1+{\sqrt {p/n}}+\delta )^{2}\right)\leq e^{-n\delta ^{2}/2},}$

สำหรับใดๆ${\displaystyle \delta \geq 0}$และตัวเลือกคู่ทั้งหมดของ${\displaystyle n,p}$[ ^{2 ]​}

เช่นเดียวกัน โครงสร้างมิติที่ต่ำกว่าเพิ่มเติมมีความจำเป็นสำหรับการประมาณเมทริกซ์ความแปรปรวนร่วมที่ประสบความสำเร็จในมิติสูง ตัวอย่างของโครงสร้างดังกล่าว ได้แก่ความเบาบางความมีอันดับต่ำและความเป็นแถบข้อสังเกตที่คล้ายกันนี้ใช้ได้กับการประมาณเมทริกซ์ความแปรปรวนร่วมผกผัน(เมทริกซ์ความแม่นยำ)ด้วย