กลับไปหน้าบทความ

อ่าน 5 นาที

ฟาสติก้า

สถิติการคำนวณ/การวิเคราะห์ปัจจัย/อัลกอริธึมการเรียนรู้ของเครื่อง

FastICAเป็นอัลกอริทึมที่มีประสิทธิภาพและเป็นที่นิยมสำหรับการวิเคราะห์ส่วนประกอบอิสระซึ่งคิดค้นโดยAapo Hyvärinenที่มหาวิทยาลัยเทคโนโลยีเฮลซิงกิ เช่นเดียวกับอัลกอริทึม ICA ส่วนใหญ่..

ฟาสติก้า

FastICAเป็นอัลกอริทึมที่มีประสิทธิภาพและเป็นที่นิยมสำหรับการวิเคราะห์ส่วนประกอบอิสระซึ่งคิดค้นโดยAapo Hyvärinenที่มหาวิทยาลัยเทคโนโลยีเฮลซิงกิ [ 1 ] [ 2 ] เช่นเดียวกับอัลกอริทึม ICA ส่วนใหญ่ FastICA แสวงหาการหมุนแบบตั้งฉากของ ข้อมูล ที่ผ่านการทำให้ขาวล่วงหน้า ผ่าน แผนการวนซ้ำแบบจุดคงที่ซึ่งจะเพิ่มค่าการวัดความไม่เป็นเกาส์เซียนของส่วนประกอบที่หมุนให้สูงสุด ความไม่เป็นเกาส์เซียนทำหน้าที่เป็นตัวแทนของความเป็นอิสระทางสถิติซึ่งเป็นเงื่อนไขที่เข้มงวดมากและต้องใช้ข้อมูลอนันต์ในการตรวจสอบ FastICA ยังสามารถได้มาจากการวนซ้ำแบบนิวตันโดยประมาณได้อีกด้วย

อัลกอริทึม

การปรับ ข้อมูลให้เป็นสีขาวล่วงหน้า

ปล่อยให้X:=(xฉันเจ)อาร์เอ็น×เอ็ม{\displaystyle \mathbf {X} :=(x_{ij})\in \mathbb {R} ^{N\times M}} แทนเมทริกซ์ข้อมูลอินพุตเอ็ม{\displaystyle M}จำนวนคอลัมน์ที่สอดคล้องกับจำนวนตัวอย่างของสัญญาณผสมและเอ็น{\displaystyle N}จำนวนแถวที่สอดคล้องกับจำนวนสัญญาณแหล่งกำเนิดอิสระ เมทริกซ์ข้อมูลอินพุตX{\displaystyle \mathbf {X} }ต้องทำการปรับภาพให้ขาวขึ้นก่อนหรือจัดตำแหน่งภาพให้อยู่ตรงกลางและปรับภาพให้ขาวขึ้น ก่อนที่จะนำอัลกอริทึม FastICA ไปใช้กับภาพนั้น

  • การจัดข้อมูลให้อยู่ตรงกลางหมายถึงการลดค่าความสำคัญของแต่ละองค์ประกอบของข้อมูลป้อนเข้าX{\displaystyle \mathbf {X} }นั่นคือ
xฉันเจxฉันเจ1เอ็มเจxฉันเจ{\displaystyle x_{ij}\leftarrow x_{ij}-{\frac {1}{M}}\sum _{j^{\prime }}x_{ij^{\prime }}}
สำหรับแต่ละคนฉัน=1,,เอ็น{\displaystyle i=1,\ldots ,N}และเจ=1,,เอ็ม{\displaystyle j=1,\ldots ,M}หลังจากจัดให้อยู่ตรงกลางแล้ว แต่ละแถวของX{\displaystyle \mathbf {X} }มีค่าที่คาดหวังเท่ากับ0{\displaystyle 0}.
  • การทำให้ ข้อมูลเป็นสีขาว ต้องใช้ การแปลงเชิงเส้นแอล:อาร์เอ็น×เอ็มอาร์เอ็น×เอ็ม{\displaystyle \mathbf {L} :\mathbb {R} ^{N\times M}\to \mathbb {R} ^{N\times M}} ของข้อมูลที่เป็นศูนย์กลาง เพื่อให้ส่วนประกอบของแอล(X){\displaystyle \mathbf {L} (\mathbf {X} )}ไม่มีความสัมพันธ์กันและมีค่าความแปรปรวนเท่ากับหนึ่ง กล่าวคือ ถ้าX{\displaystyle \mathbf {X} }เป็นเมทริกซ์ข้อมูลศูนย์กลาง โดยค่าความแปรปรวนร่วมของแอลx:=แอล(X){\displaystyle \mathbf {L} _{\mathbf {x} }:=\mathbf {L} (\mathbf {X} )}คือ(เอ็น×เอ็น){\displaystyle (N\times N)}เมทริกซ์ เอกลักษณ์มิติ นั่นคือ
อี{แอลxแอลxที}=ฉันเอ็น{\displaystyle \mathrm {E} \left\{\mathbf {L} _{\mathbf {x} }\mathbf {L} _{\mathbf {x} }^{T}\right\}=\mathbf {I} _{N}}
วิธีการทั่วไปในการปรับค่าให้ขาวขึ้นคือการทำการแยกส่วนค่าลักษณะเฉพาะ (eigenvalue decomposition)บนเมทริกซ์ความแปรปรวนร่วมของข้อมูลที่ปรับค่าศูนย์กลางแล้วX{\displaystyle \mathbf {X} },อี{XXที}=อีดีอีที{\displaystyle E\left\{\mathbf {X} \mathbf {X} ^{T}\right\}=\mathbf {E} \mathbf {D} \mathbf {E} ^{T}}, ที่ไหนอี{\displaystyle \mathbf {E} }คือเมทริกซ์ของเวกเตอร์ลักษณะเฉพาะและดี{\displaystyle \mathbf {D} }คือเมทริกซ์แนวทแยงของค่าลักษณะเฉพาะ เมทริกซ์ข้อมูลที่ผ่านการทำให้ขาวแล้วถูกกำหนดดังนี้
Xดี1/2อีทีX.{\displaystyle \mathbf {X} \leftarrow \mathbf {D} ^{-1/2}\mathbf {E} ^{T}\mathbf {X} .}

การสกัดส่วนประกอบเดี่ยว

อัลกอริทึมแบบวนซ้ำจะค้นหาทิศทางสำหรับเวกเตอร์น้ำหนักอาร์เอ็น{\displaystyle \mathbf {w} \in \mathbb {R} ^{N}} ซึ่งทำให้ค่าการวัดความไม่เป็นแบบเกาส์เซียนของการฉายภาพมีค่าสูงสุดทีX{\displaystyle \mathbf {w} ^{T}\mathbf {X} }, กับXอาร์เอ็น×เอ็ม{\displaystyle \mathbf {X} \in \mathbb {R} ^{N\times M}}ซึ่งหมายถึง เมทริกซ์ข้อมูล ที่ผ่านการปรับค่าสีขาวล่วงหน้าตามที่อธิบายไว้ข้างต้น โปรดทราบว่า{\displaystyle \mathbf {w} }เป็นเวกเตอร์คอลัมน์ ในการวัดความไม่เป็นแบบเกาส์เซียน FastICA อาศัยฟังก์ชันไม่เชิงเส้น ที่ไม่ใช่กำลังสองเอฟ(คุณ){\displaystyle f(u)}อนุพันธ์อันดับแรกของมันจี(คุณ){\displaystyle g(u)}และอนุพันธ์อันดับสองของมันจี(คุณ){\displaystyle g^{\prime }(u)}ไฮวาริเนนระบุว่าหน้าที่ต่างๆ

เอฟ(คุณ)=บันทึกไม้กระบอง(คุณ),จี(คุณ)=ตันห์(คุณ),และจี(คุณ)=1ตันห์2(คุณ),{\displaystyle f(u)=\log \cosh(u),\quad g(u)=\tanh(u),\quad {\text{and}}\quad {g}'(u)=1-\tanh ^{2}(u),}

มีประโยชน์สำหรับการใช้งานทั่วไป ในขณะที่

เอฟ(คุณ)=อีคุณ2/2,จี(คุณ)=คุณอีคุณ2/2,และจี(คุณ)=(1คุณ2)อีคุณ2/2{\displaystyle f(u)=-e^{-u^{2}/2},\quad g(u)=ue^{-u^{2}/2},\quad {\text{and}}\quad {g}'(u)=(1-u^{2})e^{-u^{2}/2}}

อาจมีความทนทานสูง[ 1 ]ขั้นตอนในการดึงเวกเตอร์น้ำหนัก{\displaystyle \mathbf {w} }สำหรับคอมโพเนนต์เดี่ยวใน FastICA มีดังต่อไปนี้:

  1. สุ่มเวกเตอร์น้ำหนักเริ่มต้น{\displaystyle \mathbf {w} }
  2. อนุญาต+อี{Xจี(ทีX)ที}อี{จี(ทีX)}{\displaystyle \mathbf {w} ^{+}\leftarrow E\left\{\mathbf {X} g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X} )\right\}\mathbf {w} }, ที่ไหนอี{...}{\displaystyle E\left\{...\right\}}หมายถึงการหาค่าเฉลี่ยของเวกเตอร์คอลัมน์ทั้งหมดของเมทริกซ์X{\displaystyle \mathbf {X} }
  3. อนุญาต+/+{\displaystyle \mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|}
  4. ถ้ายังไม่บรรจบกัน ให้กลับไปที่ขั้นตอนที่ 2

การสกัดส่วนประกอบหลายรายการ

อัลกอริทึมแบบวนซ้ำหน่วยเดียวจะประมาณเวกเตอร์น้ำหนักเพียงเวกเตอร์เดียว ซึ่งจะดึงส่วนประกอบออกมาเพียงส่วนเดียว การประมาณส่วนประกอบเพิ่มเติมที่ "เป็นอิสระ" ต่อกันนั้น จำเป็นต้องทำซ้ำอัลกอริทึมเพื่อให้ได้เวกเตอร์การฉายภาพที่เป็นอิสระเชิงเส้น - โปรดทราบว่าแนวคิดเรื่อง ความเป็นอิสระในที่นี้หมายถึงการเพิ่มค่าความไม่เป็นแบบเกาส์เซียนในส่วนประกอบที่ประมาณได้สูงสุด Hyvärinen ได้เสนอวิธีการดึงส่วนประกอบหลายส่วนหลายวิธี โดยวิธีที่ง่ายที่สุดคือวิธีต่อไปนี้1เอ็ม{\displaystyle \mathbf {1_{M}} }เป็นเวกเตอร์คอลัมน์ที่มีค่าเป็น 1 ทั้งหมด โดยมีมิติเท่ากับเอ็ม{\displaystyle M}.

อัลกอริทึม FastICA

ป้อนข้อมูล:ซี{\displaystyle C}จำนวนส่วนประกอบที่ต้องการ
ป้อนข้อมูล:Xอาร์เอ็น×เอ็ม{\displaystyle \mathbf {X} \in \mathbb {R} ^{N\times M}}เมทริกซ์ที่ผ่านการปรับค่าความขาวล่วงหน้า โดยแต่ละคอลัมน์แสดงถึงเอ็น{\displaystyle N}ตัวอย่างมิติ โดยที่ซี<=เอ็น{\displaystyle C<=N}
ผลลัพธ์:อาร์เอ็น×ซี{\displaystyle \mathbf {W} \in \mathbb {R} ^{N\times C}}เมทริกซ์การแยกส่วนผสม โดยแต่ละคอลัมน์จะฉายภาพX{\displaystyle \mathbf {X} }ไปยังส่วนประกอบอิสระ
ผลลัพธ์:เอสอาร์ซี×เอ็ม{\displaystyle \mathbf {S} \in \mathbb {R} ^{C\times M}}เมทริกซ์ส่วนประกอบอิสระ พร้อมด้วยเอ็ม{\displaystyle M}คอลัมน์ที่แสดงถึงตัวอย่างที่มีซี{\displaystyle C} มิติ
สำหรับ p ใน 1 ถึง C: พี{\displaystyle \mathbf {w_{p}} \leftarrow }เวกเตอร์สุ่มที่มีความยาว N ในขณะที่พี{\displaystyle \mathbf {w_{p}} }การเปลี่ยนแปลง พี1เอ็มXจี(พีทีX)ที1เอ็มจี(พีทีX)1เอ็มพี{\displaystyle \mathbf {w_{p}} \leftarrow {\frac {1}{M}}\mathbf {X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{T}\mathbf {X} )\mathbf {1_{M}} \mathbf {w_{p}} }พีพีเจ=1พี1(พีทีเจ)เจ{\displaystyle \mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_{j}} )\mathbf {w_{j}} }พีพีพี{\displaystyle \mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}}เอาต์พุต[1,,ซี]{\displaystyle \mathbf {W} \leftarrow {\begin{bmatrix}\mathbf {w_{1}} ,\dots ,\mathbf {w_{C}} \end{bmatrix}}}เอาต์พุตเอสทีX{\displaystyle \mathbf {S} \leftarrow \mathbf {W^{T}} \mathbf {X} }

ดูเพิ่มเติม

ดึงข้อมูลมาจาก " https://en.wikipedia.org/w/index.php?title=FastICA&oldid=1352326814 "

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ฟาสติก้า

FastICAเป็นอัลกอริทึมที่มีประสิทธิภาพและเป็นที่นิยมสำหรับการวิเคราะห์ส่วนประกอบอิสระซึ่งคิดค้นโดยAapo Hyvärinenที่มหาวิทยาลัยเทคโนโลยีเฮลซิงกิ เช่นเดียวกับอัลกอริทึม ICA ส่วนใหญ่..

การปรับ ข้อมูล ให้เป็นสีขาวล่วงหน้า

ปล่อยให้ X := ( x ฉัน เจ ) ∈ อาร์ เอ็น × เอ็ม {\displaystyle \mathbf {X} :=(x_{ij})\in \mathbb {R} ^{N\times M}} แทนเมทริกซ์ข้อมูลอินพุต เอ็ม {\displaystyle M} จำนวนคอลัมน์ที่สอดคล้องกับจำนวนตัวอย่างของสัญญาณผสมและ เอ็น {\displaystyle N}...

การสกัดส่วนประกอบเดี่ยว

อัลกอริทึมแบบวนซ้ำจะค้นหาทิศทางสำหรับเวกเตอร์น้ำหนัก ว ∈ อาร์ เอ็น {\displaystyle \mathbf {w} \in \mathbb {R} ^{N}} ซึ่งทำให้ค่าการวัดความไม่เป็นแบบเกาส์เซียนของการฉายภาพมีค่าสูงสุด ว ที X {\displaystyle \mathbf {w} ^{T}\mathbf {X} } , กับ X ∈ อาร์ เอ็น ×...

การสกัดส่วนประกอบหลายรายการ

อัลกอริทึมแบบวนซ้ำหน่วยเดียวจะประมาณเวกเตอร์น้ำหนักเพียงเวกเตอร์เดียว ซึ่งจะดึงส่วนประกอบออกมาเพียงส่วนเดียว การประมาณส่วนประกอบเพิ่มเติมที่ "เป็นอิสระ" ต่อกันนั้น จำเป็นต้องทำซ้ำอัลกอริทึมเพื่อให้ได้เวกเตอร์การฉายภาพที่เป็นอิสระเชิงเส้น -...