การวิเคราะห์องค์ประกอบหลักแบบเบาบาง (SPCA หรือ sparse PCA) เป็นเทคนิคที่ใช้ในการวิเคราะห์ทางสถิติ โดยเฉพาะอย่างยิ่งในการวิเคราะห์ ชุดข้อมูล หลายตัวแปรเทคนิคนี้เป็นการต่อยอดจากวิธีการวิเคราะห์องค์ประกอบหลัก (PCA) แบบดั้งเดิม เพื่อลดมิติของข้อมูลโดยการนำโครงสร้างความเบาบางมาใช้กับตัวแปรนำเข้า

ข้อเสียเปรียบที่สำคัญอย่างหนึ่งของ PCA ทั่วไปคือ ส่วนประกอบหลักมักจะเป็นผลรวมเชิงเส้นของตัวแปรอินพุตทั้งหมด SPCA เอาชนะข้อเสียเปรียบนี้ได้โดยการค้นหาส่วนประกอบที่เป็นผลรวมเชิงเส้นของตัวแปรอินพุตเพียงไม่กี่ตัว (SPC) ซึ่งหมายความว่าสัมประสิทธิ์บางส่วนของผลรวมเชิงเส้นที่กำหนด SPC เรียกว่า ค่าสัมประสิทธิ์ การถ่วงน้ำหนัก^{[หมายเหตุ 1 ]} จะมีค่าเท่ากับศูนย์ จำนวนค่าสัมประสิทธิ์การถ่วงน้ำหนักที่ไม่เป็นศูนย์เรียกว่า จำนวนสมาชิกของ SPC

พิจารณาเมทริกซ์ข้อมูล${\displaystyle X}$โดยที่แต่ละ${\displaystyle p}$แต่ละคอลัมน์แสดงถึงตัวแปรป้อนเข้า และแต่ละคอลัมน์${\displaystyle n}$แต่ละแถวแสดงถึงตัวอย่างอิสระจากประชากรข้อมูล โดยถือว่าแต่ละคอลัมน์ของ${\displaystyle X}$มีค่าเฉลี่ยเป็นศูนย์ มิฉะนั้นสามารถลบค่าเฉลี่ยตามคอลัมน์ออกจากแต่ละองค์ประกอบของ${\displaystyle X}$. อนุญาต${\displaystyle \Sigma ={\frac {1}{n-1}}X^{\top }X}$เป็นเมทริกซ์ความแปรปรวนร่วม เชิงประจักษ์ ของ${\displaystyle X}$ซึ่งมีมิติ${\displaystyle p\times p}$.

กำหนดให้เป็นจำนวนเต็ม${\displaystyle k}$กับ${\displaystyle 1\leq k\leq p}$ปัญหา PCA แบบเบาบางสามารถกำหนดได้เป็นการเพิ่มค่าความแปรปรวนสูงสุดตามทิศทางที่แสดงด้วยเวกเตอร์${\displaystyle v\in \mathbb {R} ^{p}}$ในขณะเดียวกันก็จำกัดจำนวนสมาชิก:

${\displaystyle {\begin{aligned}\max \quad &v^{T}\Sigma v\\{\text{subject to}}\quad &\left\Vert v\right\Vert _{2}=1\\&\left\Vert v\right\Vert _{0}\leq k.\end{aligned}}}$สมการที่ 1

ข้อจำกัดแรกระบุว่าvเป็นเวกเตอร์หน่วยในข้อจำกัดที่สอง${\displaystyle \left\Vert v\right\Vert _{0}}$แสดงถึง${\displaystyle \ell _{0}}$ค่า pseudo-normของvซึ่งกำหนดโดยจำนวนส่วนประกอบที่ไม่เป็นศูนย์ ดังนั้นข้อจำกัดที่สองระบุว่าจำนวนส่วนประกอบที่ไม่เป็นศูนย์ในvมีค่าน้อยกว่าหรือเท่ากับk ซึ่งโดยทั่วไปเป็นจำนวนเต็มที่เล็กกว่ามิติ pมากค่าที่เหมาะสมที่สุดของสมการที่ 1เรียกว่าค่าeigenvalue ที่ใหญ่ที่สุดแบบ k -sparse

ถ้ากำหนดให้k=pปัญหาจะลดลงเหลือเพียงPCA แบบธรรมดา และค่าที่เหมาะสมที่สุดจะกลายเป็นค่าไอเกนที่ใหญ่ที่สุดของเมทริกซ์ความแปรปรวนร่วมΣ

หลังจากค้นหาคำตอบที่เหมาะสมที่สุดvแล้ว จะทำการลดขนาดของ Σเพื่อให้ได้เมทริกซ์ใหม่

${\displaystyle \Sigma _{1}=\Sigma -(v^{T}\Sigma v)vv^{T},}$

และทำซ้ำกระบวนการนี้เพื่อหาองค์ประกอบหลักเพิ่มเติม อย่างไรก็ตาม ต่างจาก PCA ทั่วไป Sparse PCA ไม่สามารถรับประกันได้ว่าองค์ประกอบหลักที่แตกต่างกันจะตั้งฉากกันเพื่อให้ได้คุณสมบัติการตั้งฉากกัน จำเป็นต้องกำหนดข้อจำกัดเพิ่มเติม

นิยามที่เทียบเท่ากันต่อไปนี้อยู่ในรูปแบบเมทริกซ์ ให้${\displaystyle V}$ถ้าเมทริกซ์สมมาตร เป็น p×p เราสามารถเขียนปัญหา PCA แบบเบาบางใหม่ได้ดังนี้

${\displaystyle {\begin{aligned}\max \quad &Tr(\Sigma V)\\{\text{subject to}}\quad &Tr(V)=1\\&\Vert V\Vert _{0}\leq k^{2}\\&Rank(V)=1,V\succeq 0.\end{aligned}}}$สมการที่ 2

Trคือผลรวมของร่องรอยในเมทริกซ์และ${\displaystyle \Vert V\Vert _{0}}$แสดงถึงองค์ประกอบที่ไม่เป็นศูนย์ในเมทริกซ์Vบรรทัดสุดท้ายระบุว่าVมีอันดับเมทริกซ์เป็นหนึ่งและเป็นเมทริกซ์กึ่งบวกแน่นอนบรรทัดสุดท้ายหมายความว่ามีหนึ่ง${\displaystyle V=vv^{T}}$ดังนั้นสมการที่ 2จึงเทียบเท่ากับ สมการ ที่1

ยิ่งไปกว่านั้น ข้อจำกัดอันดับในสูตรนี้ถือว่าซ้ำซ้อน ดังนั้น PCA แบบเบาบางจึงสามารถแปลงเป็นโปรแกรมกึ่งกำหนดจำนวนเต็มผสมได้ดังต่อไปนี้^{[ 1 ]}

${\displaystyle {\begin{aligned}\max \quad &Tr(\Sigma V)\\{\text{subject to}}\quad &Tr(V)=1\\&\vert V_{i,i}\vert \leq z_{i},\forall i\in \{1,...,p\},\vert V_{i,j}\vert \leq {\frac {1}{2}}z_{i},\forall i,j\in \{1,...,p\}:i\neq j,\\&V\succeq 0,z\in \{0,1\}^{p},\sum _{i}z_{i}\leq k\end{aligned}}}$สมการที่ 3

เนื่องจากข้อจำกัดของจำนวนสมาชิก ปัญหาการหาค่าสูงสุดจึงยากที่จะแก้ไขได้อย่างแม่นยำ โดยเฉพาะอย่างยิ่งเมื่อมิติpสูง ในความเป็นจริง ปัญหา PCA แบบเบาบางในสมการที่ 1เป็น ปัญหา NP-hardในความหมายที่เข้มงวด^{[ 2 ]}

เช่นเดียวกับปัญหาเบาบางส่วนใหญ่ การเลือกตัวแปรใน SPCA เป็นปัญหา NP-hard ที่ไม่นูนซึ่งไม่สามารถคำนวณได้^{[ 3 ]}ดังนั้นจึงมักใช้อัลกอริธึมย่อยที่โลภเพื่อหาคำตอบ

โปรดทราบว่า SPCA ยังแนะนำไฮเปอร์พารามิเตอร์ที่วัดปริมาณค่าพารามิเตอร์ขนาดใหญ่ที่ถูกลงโทษ^{[ 4 ]}ซึ่งอาจต้องปรับแต่งเพื่อให้ได้ประสิทธิภาพที่น่าพอใจ ส่งผลให้ต้นทุนการคำนวณโดยรวมเพิ่มขึ้น

มีการเสนอแนวทางทางเลือกอื่นๆ หลายวิธี (ของสมการที่ 1 ) ซึ่งรวมถึง

• กรอบการถดถอย^{[ 5 ]}
• กรอบการแยกส่วนเมทริกซ์แบบมีบทลงโทษ^{[ 6 ]}
• กรอบการเขียนโปรแกรมการผ่อนคลายแบบนูน/กึ่งกำหนด^{[ 7 ]}
• กรอบวิธีพลังงานทั่วไป^{[ 8 ]}
• กรอบการเพิ่มค่าสูงสุดแบบสลับกัน^{[ 9 ]}
• การค้นหาแบบโลภไปข้างหน้าและย้อนกลับ และวิธีการที่แม่นยำโดยใช้เทคนิคการแบ่งแยกและขอบเขต^{[ 10 ]}
• วิธีการแบ่งและจำกัดขอบเขตที่ได้รับการรับรองว่าเหมาะสมที่สุด^{[ 11 ]}
• กรอบการกำหนดสูตรแบบเบย์เซียน^{[ 12 ]}
• วิธีการแยกสาขาและตัดแบบผสมจำนวนเต็มกึ่งกำหนดที่รับรองได้ว่าเหมาะสมที่สุด^{[ 1 ]}

การพัฒนาเชิงวิธีการและทฤษฎีของ Sparse PCA รวมถึงการประยุกต์ใช้ในการศึกษาทางวิทยาศาสตร์ได้รับการทบทวนในบทความสำรวจเมื่อเร็ว ๆ นี้^{[ 13 ]}

• amanpg - แพ็คเกจ R สำหรับ Sparse PCA โดยใช้ Alternating Manifold Proximal Gradient Method ^{[ 16 ]}
• elasticnet – แพ็กเกจ R สำหรับการประมาณค่าแบบเบาบางและ PCA แบบเบาบางโดยใช้ Elastic-Nets ^{[ 17 ]}
• epca – แพ็กเกจ R สำหรับการวิเคราะห์ส่วนประกอบหลักเชิงสำรวจสำหรับชุดข้อมูลขนาดใหญ่ รวมถึงการวิเคราะห์ส่วนประกอบหลักแบบเบาบางและการประมาณเมทริกซ์แบบเบาบาง^{[ 18 ]}
• nsprcomp - แพ็คเกจ R สำหรับ PCA แบบเบาบางและ/หรือแบบไม่เป็นลบโดยอิงตามการวนซ้ำกำลังที่มีเกณฑ์^{[ 19 ]}
• scikit-learn – ไลบรารี Python สำหรับการเรียนรู้ของเครื่องซึ่งประกอบด้วย Sparse PCA และเทคนิคอื่นๆ ในโมดูลการแยกส่วน^{[ 20 ]}