กลับไปหน้าบทความ

อ่าน 35 นาที

ไม่มีชื่อบทความ

แบบ จำลองการสร้างตามการไหล เป็น แบบจำลองการสร้าง ที่ใช้ใน การเรียน รู้ ของเครื่อง ซึ่งจำลอง การกระจายความน่าจะ เป็นอย่างชัดเจน โดยใช้ประโยชน์จาก การไหลแบบปกติ [ 1 ] [ 2 ] [ 3 ]...

แบบจำลองการสร้างตามกระแส

แบบจำลองการสร้างตามการไหลเป็นแบบจำลองการสร้างที่ใช้ใน การเรียน รู้ของเครื่องซึ่งจำลองการกระจายความน่าจะ เป็นอย่างชัดเจน โดยใช้ประโยชน์จากการไหลแบบปกติ [ 1 ] [ 2 ] [ 3 ]ซึ่งเป็นวิธีการทางสถิติที่ใช้ กฎ การเปลี่ยนแปลงตัวแปรของความน่าจะเป็นเพื่อแปลงการกระจายแบบง่ายให้เป็นการกระจายที่ซับซ้อน

การสร้างแบบจำลองความน่าจะเป็นโดยตรงมีข้อดีหลายประการ ตัวอย่างเช่น สามารถคำนวณและลดค่าลอการิทึมความน่าจะเป็นเชิงลบได้โดยตรงในฐานะฟังก์ชันความสูญเสียนอกจากนี้ ยังสามารถสร้างตัวอย่างใหม่ได้โดยการสุ่มตัวอย่างจากการกระจายเริ่มต้น และใช้การแปลงการไหล

ในทางตรงกันข้าม วิธีการสร้างแบบจำลองเชิงกำเนิดทางเลือกอื่นๆ มากมาย เช่นตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAEs)เครือข่ายปฏิปักษ์เชิงกำเนิด (GANs)หรือแบบจำลองการแพร่กระจายไม่ได้แสดงฟังก์ชันความน่าจะเป็นอย่าง ชัดเจน

วิธี

แผนการปรับกระแสให้เป็นมาตรฐาน

อนุญาตz0{\displaystyle z_{0}}เป็นตัวแปรสุ่ม (อาจเป็นตัวแปรสุ่มหลายตัว) ที่มีการกระจายตัวพี0(z0){\displaystyle p_{0}(z_{0})}.

สำหรับฉัน=1,...,เค{\displaystyle i=1,...,K}, อนุญาตzฉัน=เอฟฉัน(zฉัน1){\displaystyle z_{i}=f_{i}(z_{i-1})}เป็นลำดับของตัวแปรสุ่มที่แปลงมาจากz0{\displaystyle z_{0}}ฟังก์ชันต่างๆเอฟ1,...,เอฟเค{\displaystyle f_{1},...,f_{K}}ควรเป็นฟังก์ชันผกผันได้ กล่าวคือฟังก์ชันผกผันเอฟฉัน1{\displaystyle f_{i}^{-1}}มีอยู่จริง ผลลัพธ์สุดท้ายzเค{\displaystyle z_{K}}แบบจำลองการกระจายเป้าหมาย

ความน่าจะเป็นล็อกของzเค{\displaystyle z_{K}}คือ (ดูที่มา ):

บันทึกพีเค(zเค)=บันทึกพี0(z0)ฉัน=1เคบันทึก|เดทเอฟฉัน(zฉัน1)zฉัน1|{\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}

การเรียนรู้การกระจายความน่าจะเป็นโดยการหาอนุพันธ์ของลอการิทึมจาโคเบียนดังกล่าวมีต้นกำเนิดมาจากแนวทางอินโฟแม็กซ์ (ความน่าจะเป็นสูงสุด) สำหรับ ICA [ 4 ]ซึ่งสร้างแบบจำลองการไหลแบบชั้นเดียว (K=1) ที่เกี่ยวข้อง ต้นแบบชั้นเดียวของการไหลแบบสร้างเงื่อนไขปรากฏใน[ 5 ]

เพื่อคำนวณค่าลอการิทึมความน่าจะเป็นอย่างมีประสิทธิภาพ ฟังก์ชันต่างๆ จะต้อง...เอฟ1,...,เอฟเค{\displaystyle f_{1},...,f_{K}}เมทริกซ์ควรสามารถหาเมทริกซ์ผกผันได้ง่าย และค่าดีเทอร์มิแนนต์ของเมทริกซ์จาโคเบียนควรคำนวณได้ง่าย ในทางปฏิบัติ ฟังก์ชันเหล่านี้เอฟ1,...,เอฟเค{\displaystyle f_{1},...,f_{K}}แบบจำลองนี้ใช้โครงข่ายประสาทเทียมเชิงลึกและได้รับการฝึกฝนเพื่อลดค่าลบของลอการิทึมความน่าจะเป็นของตัวอย่างข้อมูลจากการกระจายเป้าหมาย สถาปัตยกรรมเหล่านี้มักได้รับการออกแบบเพื่อให้เฉพาะการส่งผ่านไปข้างหน้าของโครงข่ายประสาทเทียมเท่านั้นที่จำเป็นในการคำนวณทั้งแบบผกผันและแบบดีเทอร์มิแนนต์ของจาโคเบียน ตัวอย่างของสถาปัตยกรรมดังกล่าว ได้แก่ NICE [ 6 ] RealNVP [ 7 ]และ Glow [ 8 ]

การหาค่าลอการิทึมความน่าจะเป็น

พิจารณาz1{\displaystyle z_{1}}และz0{\displaystyle z_{0}}โปรดทราบว่าz0=เอฟ11(z1){\displaystyle z_{0}=f_{1}^{-1}(z_{1})}.

โดยใช้ สูตร การเปลี่ยนตัวแปรการกระจายของz1{\displaystyle z_{1}}เป็น:

พี1(z1)=พี0(z0)|เดทเอฟ11(z1)z1|{\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}

ที่ไหนเดทเอฟ11(z1)z1{\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}คือดีเทอร์มิแนนต์ของเมทริกซ์จาโคเบียนของเอฟ11{\displaystyle f_{1}^{-1}}.

โดยทฤษฎีบทฟังก์ชันผกผัน :

พี1(z1)=พี0(z0)|เดท(เอฟ1(z0)z0)1|{\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}

โดยอัตลักษณ์เดท(เอ1)=เดท(เอ)1{\displaystyle \det(A^{-1})=\det(A)^{-1}}(ที่ไหนเอ{\displaystyle A}ถ้าเมทริกซ์ นั้นเป็นเมทริกซ์ผกผันได้เราจะได้ว่า:

พี1(z1)=พี0(z0)|เดทเอฟ1(z0)z0|1{\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}

ค่าลอการิทึมความน่าจะเป็นจึงเป็นดังนี้:

บันทึกพี1(z1)=บันทึกพี0(z0)บันทึก|เดทเอฟ1(z0)z0|{\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}

โดยทั่วไปแล้ว ข้อความข้างต้นใช้ได้กับทุกกรณีzฉัน{\displaystyle z_{i}}และzฉัน1{\displaystyle z_{i-1}}. เนื่องจากบันทึกพีฉัน(zฉัน){\displaystyle \log p_{i}(z_{i})}เท่ากับบันทึกพีฉัน1(zฉัน1){\displaystyle \log p_{i-1}(z_{i-1})}เมื่อลบด้วยพจน์ที่ไม่เวียนเกิด เราสามารถอนุมานโดยการอุปมานได้ว่า:

บันทึกพีเค(zเค)=บันทึกพี0(z0)ฉัน=1เคบันทึก|เดทเอฟฉัน(zฉัน1)zฉัน1|{\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}

วิธีการฝึกอบรม

โดยทั่วไปแล้ว เมื่อฝึกโมเดลการเรียนรู้เชิงลึก เป้าหมายของการทำให้การไหลเป็นมาตรฐานคือการลดค่าความแตกต่าง Kullback–Leiblerระหว่างความน่าจะเป็นของโมเดลและการกระจายเป้าหมายที่จะประมาณค่าให้เหลือน้อยที่สุด โดยกำหนดให้พีθ{\displaystyle p_{\theta }}ความน่าจะเป็นของแบบจำลองและพี*{\displaystyle p^{*}}การกระจายเป้าหมายที่จะเรียนรู้ ค่าความแตกต่าง KL (ไปข้างหน้า) คือ:

ดีKL[พี*(x)พีθ(x)]=อีพี*(x)[บันทึกพีθ(x)]+อีพี*(x)[บันทึกพี*(x)]{\displaystyle D_{\text{KL}}[p^{*}(x)\|p_{\theta }(x)]=-\mathop {\mathbb {E} } _{p^{*}(x)}[\log p_{\theta }(x)]+\mathop {\mathbb {E} } _{p^{*}(x)}[\log p^{*}(x)]}

พจน์ที่สองทางด้านขวามือของสมการสอดคล้องกับเอนโทรปีของการกระจายเป้าหมายและไม่ขึ้นอยู่กับพารามิเตอร์θ{\displaystyle \theta }เราต้องการให้แบบจำลองเรียนรู้ ซึ่งเหลือเพียงค่าคาดหวังของลอการิทึมลบความน่าจะเป็นที่จะต้องลดให้เหลือน้อยที่สุดภายใต้การแจกแจงเป้าหมาย เทอมที่คำนวณได้ยากนี้สามารถประมาณได้ด้วยวิธีมอนเตคาร์โลโดยใช้การสุ่มตัวอย่างแบบสำคัญแท้จริงแล้ว ถ้าเรามีชุดข้อมูล{xฉัน}ฉัน=1เอ็น{\displaystyle \{x_{i}\}_{i=1}^{N}}โดยแต่ละตัวอย่างถูกสุ่มอย่างอิสระจากกลุ่มตัวอย่างเป้าหมายพี*(x){\displaystyle p^{*}(x)}ดังนั้น เทอมนี้สามารถประมาณค่าได้ดังนี้:

อี^พี*(x)[บันทึกพีθ(x)]=1เอ็นฉัน=0เอ็นบันทึกพีθ(xฉัน){\displaystyle -{\hat {\mathop {\mathbb {E} } }}_{p^{*}(x)}[\log p_{\theta }(x)]=-{\frac {1}{N}}\sum _{i=0}^{N}\log p_{\theta }(x_{i})}

ดังนั้นวัตถุประสงค์การเรียนรู้

เอจีฉันnθ ดีKL[พี*(x)พีθ(x)]{\displaystyle {\underset {\theta }{\operatorname {arg\,min} }}\ D_{\text{KL}}[p^{*}(x)\|p_{\theta }(x)]}

ถูกแทนที่ด้วย

เอจีเอxθ ฉัน=0เอ็นบันทึกพีθ(xฉัน){\displaystyle {\underset {\theta }{\operatorname {arg\,max} }}\ \sum _{i=0}^{N}\log p_{\theta }(x_{i})}

กล่าวอีกนัยหนึ่ง การลดความแตกต่างของ Kullback–Leiblerระหว่างความน่าจะเป็นของแบบจำลองและการกระจายเป้าหมายให้เหลือน้อยที่สุดนั้นเทียบเท่ากับการเพิ่มความน่าจะเป็นของแบบจำลองให้สูงสุดภายใต้ตัวอย่างที่สังเกตได้ของการกระจายเป้าหมาย[ 9 ]

รหัสเทียมสำหรับการฝึกการไหลปกติมีดังนี้: [ 10 ]

  • ชุดข้อมูลอินพุตx1:n{\displaystyle x_{1:n}}แบบจำลองการไหลแบบปกติเอฟθ(),พี0{\displaystyle f_{\theta }(\cdot ),p_{0}}.
  • แก้ปัญหา.สูงสุดθเจบันทึกพีθ(xเจ){\displaystyle \max _{\theta }\sum _{j}\log p_{\theta }(x_{j})}โดยการลดระดับความชัน
  • กลับ.θ^{\displaystyle {\hat {\theta }}}

ตัวแปร

การไหลแบบระนาบ

ตัวอย่างแรกสุด[ 11 ]แก้ไขฟังก์ชันการเปิดใช้งานบางอย่างชม.{\displaystyle h}และปล่อยให้θ=(คุณ,,){\displaystyle \theta =(u,w,b)}ด้วยขนาดที่เหมาะสมแล้วx=เอฟθ(z)=z+คุณชม.(,z+){\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}สิ่งที่ตรงกันข้ามเอฟθ1{\displaystyle f_{\theta }^{-1}}โดยทั่วไปแล้วไม่มีคำตอบในรูปแบบตายตัว

ค่า Jacobian คือ|เดท(ฉัน+ชม.(,z+)คุณที)|=|1+ชม.(,z+)คุณ,|{\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}.

เพื่อให้เมทริกซ์นั้นสามารถหาเมทริกซ์ผกผันได้ทุกที่ เมทริกซ์นั้นจะต้องมีค่าไม่เป็นศูนย์ทุกที่ ตัวอย่างเช่นชม.=ตันห์{\displaystyle h=\tanh }และคุณ,>1{\displaystyle \langle u,w\rangle >-1}ตรงตามข้อกำหนด

การประมาณค่าส่วนประกอบอิสระแบบไม่เชิงเส้น (NICE)

อนุญาตx,zอาร์2n{\displaystyle x,z\in \mathbb {R} ^{2n}}เป็นมิติคู่ และแบ่งตรงกลาง[ 6 ]จากนั้นฟังก์ชันการไหลปกติคือx=[x1x2]=เอฟθ(z)=[z1z2]+[0θ(z1)]{\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}ที่ไหนθ{\displaystyle m_{\theta }}คือโครงข่ายประสาทเทียมใดๆ ที่มีน้ำหนักθ{\displaystyle \theta }.

เอฟθ1{\displaystyle f_{\theta }^{-1}}ก็แค่z1=x1,z2=x2θ(x1){\displaystyle z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})}และเมทริกซ์จาโคเบียนมีค่าเท่ากับ 1 ซึ่งหมายความว่าการไหลนั้นรักษาปริมาตรไว้

เมื่อไรn=1{\displaystyle n=1}สิ่งนี้ถูกมองว่าเป็นการเฉือนโค้งไปตามแนวx2{\displaystyle x_{2}}ทิศทาง.

สารกันปริมาตรไม่คงที่ (Real NVP)

แบบจำลองที่ไม่รักษาปริมาตรที่แท้จริงจะขยายแบบจำลอง NICE โดย: [ 7 ]x=[x1x2]=เอฟθ(z)=[z1อีθ(z1)z2]+[0θ(z1)]{\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}

สิ่งที่ตรงกันข้ามกับมันคือz1=x1,z2=อีθ(x1)(x2θ(x1)){\displaystyle z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))}และเมทริกซ์จาโคเบียนของมันคือฉัน=1nอีθ(z1,){\displaystyle \prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}}โมเดล NICE จะถูกกู้คืนโดยการตั้งค่าθ=0{\displaystyle s_{\theta }=0}เนื่องจากแผนที่ NVP ที่แท้จริงจะเก็บครึ่งแรกและครึ่งหลังของเวกเตอร์ไว้x{\displaystyle x}แยกต่างหาก โดยปกติแล้วจะต้องเพิ่มการเรียงสับเปลี่ยนเข้าไปด้วย(x1,x2)(x2,x1){\displaystyle (x_{1},x_{2})\mapsto (x_{2},x_{1})}หลังจากเลเยอร์ NVP จริงทุกชั้น

กระแสการสร้าง (เรืองแสง)

ในแบบจำลองการไหลแบบกำเนิด[ 8 ]แต่ละชั้นมี 3 ส่วน:

  • การแปลงเชิงเส้นแบบช่องต่อช่องyฉันเจ=(xฉันเจ+){\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}ด้วยจาโคเบียนชม{\displaystyle \prod _{c}s_{c}^{HW}}.
  • การคอนโวลูชัน 1x1 ที่ผกผันได้zฉันเจ=เคyฉันเจ{\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}}ด้วยจาโคเบียนเดท(เค)ชม{\displaystyle \det(K)^{HW}}. ที่นี่เค{\displaystyle K}คือเมทริกซ์ผกผันใดๆ
  • NVP ที่แท้จริง โดยใช้ Jacobian ตามที่อธิบายไว้ใน NVP ที่แท้จริง

แนวคิดของการใช้การแปลงแบบคอนโวลูชัน 1x1 ที่ผกผันได้ คือการสลับตำแหน่งของทุกเลเยอร์โดยทั่วไป แทนที่จะสลับตำแหน่งเฉพาะครึ่งแรกและครึ่งหลัง เหมือนใน Real NVP

การไหลแบบอัตถารีเกรสซีฟแบบปิดบัง (MAF)

แบบจำลองอัตถารีเกรสซีฟของการกระจายตัวบนอาร์n{\displaystyle \mathbb {R} ^{n}}ถูกกำหนดให้เป็นกระบวนการสุ่ม ดังต่อไปนี้ : [ 12 ]

x1~เอ็น(μ1,σ12)x2~เอ็น(μ2(x1),σ2(x1)2)xn~เอ็น(μn(x1:n1),σn(x1:n1)2){\displaystyle {\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}}ที่ไหนμฉัน:อาร์ฉัน1อาร์{\displaystyle \mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R} }และσฉัน:อาร์ฉัน1(0,){\displaystyle \sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )}เป็นฟังก์ชันคงที่ที่กำหนดแบบจำลองอัตถารีเกรสซีฟ

ด้วยเทคนิคการปรับพารามิเตอร์ใหม่โมเดลอัตถารีเกรสซีฟจึงถูกขยายไปสู่กระแสการทำให้เป็นมาตรฐาน:x1=μ1+σ1z1x2=μ2(x1)+σ2(x1)z2xn=μn(x1:n1)+σn(x1:n1)zn{\displaystyle {\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}}แบบจำลองอัตถารีเกรสซีฟจะถูกกู้คืนโดยการตั้งค่าz~เอ็น(0,ฉันn){\displaystyle z\sim N(0,I_{n})}.

การแปลงข้อมูลไปข้างหน้าช้า (เพราะเป็นการประมวลผลแบบเรียงลำดับ) แต่การแปลงข้อมูลย้อนกลับเร็ว (เพราะเป็นการประมวลผลแบบขนาน)

เมทริกซ์จาโคเบียนเป็นเมทริกซ์ทแยงมุมล่าง ดังนั้น จาโคเบียนคือσ1σ2(x1)σn(x1:n1){\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}.

การสลับแผนที่ทั้งสองเอฟθ{\displaystyle f_{\theta }}และเอฟθ1{\displaystyle f_{\theta }^{-1}}ผลลัพธ์ของ MAF ส่งผลให้เกิดการไหลแบบอัตถารีเกรสซีฟผกผัน (IAF) ซึ่งมีการแมปไปข้างหน้าอย่างรวดเร็วและการแมปย้อนกลับที่ช้า[ 13 ]

การไหลแบบปรับมาตรฐานอย่างต่อเนื่อง (CNF)

แทนที่จะสร้างการไหลโดยการประกอบฟังก์ชัน อีกแนวทางหนึ่งคือการกำหนดการไหลเป็นไดนามิกแบบต่อเนื่องตามเวลา[ 14 ] [ 15 ]ให้z0{\displaystyle z_{0}}เป็นตัวแปรแฝงที่มีการกระจายตัวพี(z0){\displaystyle p(z_{0})}แปลงตัวแปรแฝงนี้ไปเป็นพื้นที่ข้อมูลโดยใช้ฟังก์ชันการไหลต่อไปนี้:

x=เอฟ(z0)=zที=z0+0ทีเอฟ(zที,ที)ที{\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt}

ที่ไหนเอฟ{\displaystyle f}เป็นฟังก์ชันที่กำหนดขึ้นเองได้ และสามารถจำลองได้ด้วยโครงข่ายประสาทเทียม เป็นต้น

ฟังก์ชันผกผันจึงเป็นดังนี้ตามธรรมชาติ: [ 14 ]

z0=เอฟ1(x)=zที+ที0เอฟ(zที,ที)ที=zที0ทีเอฟ(zที,ที)ที{\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt}

และค่าลอการิทึมความน่าจะเป็นของx{\displaystyle x}สามารถพบได้ดังนี้: [ 14 ]

บันทึก(พี(x))=บันทึก(พี(z0))0ทีท.[เอฟzที]ที{\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt}

เนื่องจากร่องรอยขึ้นอยู่กับแนวทแยงของเมทริกซ์จาโคเบียนเท่านั้นzทีเอฟ{\displaystyle \partial _{z_{t}}f}สิ่งนี้ทำให้ Jacobian มีรูปแบบ "อิสระ" [ 16 ]ในที่นี้ "รูปแบบอิสระ" หมายความว่าไม่มีข้อจำกัดใดๆ เกี่ยวกับรูปแบบของ Jacobian ซึ่งแตกต่างจากแบบจำลองการไหลแบบแยกส่วนก่อนหน้านี้ที่ Jacobian ได้รับการออกแบบอย่างระมัดระวังให้เป็นเพียงแนวทแยงมุมบนหรือล่างเท่านั้น เพื่อให้สามารถประเมิน Jacobian ได้อย่างมีประสิทธิภาพ

ร่องรอยสามารถประมาณได้ด้วย "เทคนิคของฮัทชินสัน": [ 17 ] [ 18 ]

กำหนดเมทริกซ์ใดๆอาร์n×n{\displaystyle W\in \mathbb {R} ^{n\times n}}และสุ่มเลือกใดๆคุณอาร์n{\displaystyle u\in \mathbb {R} ^{n}}กับอี[คุณคุณที]=ฉัน{\displaystyle E[uu^{T}]=I}เรามีอี[คุณทีคุณ]=ที(){\displaystyle E[u^{T}Wu]=tr(W)}(พิสูจน์: ขยายค่าคาดหวังโดยตรง)

โดยปกติ เวกเตอร์สุ่มจะถูกสุ่มมาจากเอ็น(0,ฉัน){\displaystyle N(0,I)}(การแจกแจงแบบปกติ) หรือ{±n1/2}n{\displaystyle \{\pm n^{-1/2}\}^{n}}( การแจกแจงแบบราเดมาเชอร์ )

เมื่อไรเอฟ{\displaystyle f}หากนำไปใช้เป็นเครือข่ายประสาทจะต้องใช้วิธีการ ODE ของระบบประสาท[ 19 ] อันที่จริง CNF ได้รับการเสนอครั้งแรกในเอกสารฉบับเดียวกันกับที่เสนอ ODE ของระบบประสาท

CNF มีข้อบกพร่องหลักสองประการ ประการแรกคือ การไหลอย่างต่อเนื่องจะต้องเป็นโฮมีโอเมอร์ฟิซึมซึ่งหมายความว่าต้องรักษาทิศทางและไอโซโทปีของสิ่งแวดล้อม (ตัวอย่างเช่น เป็นไปไม่ได้ที่จะพลิกมือซ้ายให้เป็นมือขวาโดยการเปลี่ยนรูปพื้นที่อย่างต่อเนื่อง และเป็นไปไม่ได้ที่จะพลิกทรงกลมจากด้านในออกด้านนอกหรือแก้ปม) และประการที่สองคือ การไหลที่เรียนรู้มานั้นเอฟ{\displaystyle f}อาจมีพฤติกรรมไม่ดีเนื่องจากความเสื่อม (กล่าวคือ มีความเป็นไปได้นับไม่ถ้วน)เอฟ{\displaystyle f}ซึ่งทั้งหมดนี้แก้ปัญหาเดียวกัน)

ด้วยการเพิ่มมิติพิเศษ CNF จะได้รับอิสระมากพอที่จะกลับทิศทางการวางแนวและก้าวข้ามไอโซโทปีแวดล้อม (เช่นเดียวกับการที่คนเราสามารถหยิบรูปหลายเหลี่ยมจากโต๊ะและพลิกมันไปรอบๆ ในพื้นที่ 3 มิติ หรือคลายปมในพื้นที่ 4 มิติ) ทำให้เกิด "ODE ประสาทเสริม" [ 20 ]

โฮโมมอร์ฟิซึมใดๆ ของอาร์n{\displaystyle \mathbb {R} ^{n}}สามารถประมาณได้ด้วย ODE ประสาทที่ทำงานบนอาร์2n+1{\displaystyle \mathbb {R} ^{2n+1}}พิสูจน์โดยการรวมทฤษฎีบทการฝังตัวของ Whitneyสำหรับแมนิโฟลด์และทฤษฎีบทการประมาณค่าสากลสำหรับเครือข่ายประสาท[ 21 ]

เพื่อปรับการไหลให้เป็นปกติเอฟ{\displaystyle f}สามารถกำหนดการสูญเสียแบบปรับให้เรียบได้ เอกสาร[ 17 ]เสนอการสูญเสียแบบปรับให้เรียบต่อไปนี้โดยอิงตามทฤษฎีการขนส่งที่เหมาะสมที่สุด :λเค0ทีเอฟ(zที,ที)2ที+λเจ0ทีzเอฟ(zที,ที)เอฟ2ที{\displaystyle \lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt}ที่ไหนλเค,λเจ>0{\displaystyle \lambda _{K},\lambda _{J}>0}เป็นพารามิเตอร์เสริม เทอมแรกจะลงโทษแบบจำลองหากสนามการไหลแกว่งไปมาตามเวลา และเทอมที่สองจะลงโทษแบบจำลองหากสนามการไหลแกว่งไปมาตามพื้นที่ ทั้งสองเทอมรวมกันจะช่วยนำทางแบบจำลองไปสู่การไหลที่ราบเรียบ (ไม่ใช่ "ขรุขระ") ทั้งในแง่ของพื้นที่และเวลา

การไหลบนท่อร่วม

เมื่อการไหลเชิงความน่าจะเป็นแปลงการกระจายบน{\displaystyle m}แมนิโฟลด์เรียบมิติ - ฝังอยู่ในอาร์n{\displaystyle \mathbb {R} ^{n}}, ที่ไหน<n{\displaystyle m<n}และในกรณีที่การแปลงถูกระบุเป็นฟังก์ชันอาร์nอาร์n{\displaystyle \mathbb {R} ^{n}\to \mathbb {R} ^{n}}ปัจจัยการปรับขนาดระหว่าง PDF ต้นฉบับและPDF ที่แปลงแล้วนั้น ไม่ได้มาจากการคำนวณดีเทอร์มิแนนต์แบบง่ายๆ ของn-โดย-n{\displaystyle n{\text{-by-}}n}แทนที่จะใช้ ค่า Jacobian (ซึ่งมีค่าเป็นศูนย์) แต่ใช้ค่า determinant ของเมทริกซ์ที่กำหนดไว้อย่างเหมาะสมอย่างน้อยหนึ่งเมทริกซ์แทน-โดย-{\displaystyle m{\text{-by-}}m}เมทริกซ์ ส่วนนี้เป็นการตีความบทช่วยสอนในภาคผนวกของ Sorrenson et al.(2023) [ 22 ]ซึ่งกรณีทั่วไปของแมนิโฟลด์รีมันน์ ที่ฝังแบบไม่สมมาตร ก็ได้รับการจัดการด้วยเช่นกัน ในที่นี้เราจำกัดความสนใจไว้ที่แมนิโฟลด์ที่ฝังแบบสมมาตร

ตัวอย่างการใช้งานของแมนิโฟลด์ที่มีการฝังแบบไอโซเมตริกที่ราบเรียบในอาร์n{\displaystyle \mathbb {R} ^{n}}เราจะใช้:

  • ไฮเปอร์สเฟียร์หน่วย:เอสn1={xอาร์n:xx=1}{\displaystyle \mathbb {S} ^{n-1}=\{\mathbf {x} \in \mathbb {R} ^{n}:\mathbf {x} '\mathbf {x} =1\}}โดยสามารถใช้การไหลเพื่อสรุปผลทั่วไป เช่น การ กระจายแบบ Von Mises-Fisherหรือการกระจายทรงกลมแบบสม่ำเสมอ
  • ภายใน ห้อง ซิมเพล็กซ์ :Δn1={พี=(พี1,,พีn)อาร์n:พีฉัน>0,ฉันพีฉัน=1}{\displaystyle \Delta ^{n-1}=\{\mathbf {p} =(p_{1},\dots ,p_{n})\in \mathbb {R} ^{n}:p_{i}>0,\sum _{i}p_{i}=1\}}, ที่ไหนn{\displaystyle n}การแจกแจงเชิงหมวดหมู่แบบหลายทางนั้นมีอยู่จริง และสามารถใช้การไหลเพื่อสรุปทั่วไป เช่น การแจกแจง แบบ Dirichletหรือการแจกแจงแบบ simplex ที่สม่ำเสมอได้

ตัวอย่างแรกของการแปลงการไหลบนแมนิโฟลด์ทรงกลม คือการแปลงเชิงเส้นแบบนอร์มาไลซ์ซึ่งฉายผลลัพธ์ของการแปลงเชิงเส้นแบบผกผันได้ลงบนทรงกลมหน่วย โดยมีพารามิเตอร์คือn-โดย-n{\displaystyle n{\text{-by-}}n}เมทริกซ์ผกผันเอ็ม{\displaystyle \mathbf {M} }:

เอฟลิน(x;เอ็ม)=เอ็มxเอ็มx{\displaystyle f_{\text{lin}}(\mathbf {x} ;\mathbf {M} )={\frac {\mathbf {Mx} }{\lVert \mathbf {Mx} \rVert }}}

ในปริภูมิยูคลิดแบบสมบูรณ์เอฟลิน:อาร์nอาร์n{\displaystyle f_{\text{lin}}:\mathbb {R} ^{n}\to \mathbb {R} ^{n}}ไม่สามารถหาเมทริกซ์ผกผันได้ แต่ถ้าเราจำกัดโดเมนและโคโดเมนให้อยู่ในทรงกลมหน่วยแล้วเอฟลิน:เอสn1เอสn1{\displaystyle f_{\text{lin}}:\mathbb {S} ^{n-1}\to \mathbb {S} ^{n-1}}สามารถผกผันได้ (โดยเฉพาะอย่างยิ่ง เป็นการจับคู่แบบหนึ่งต่อหนึ่งทั่วถึง การจับคู่แบบ โฮมีโอเมอร์ฟิ ซึม และการจับคู่แบบดิฟเฟโอเมอร์ฟิซึม ) โดยมีตัวผกผันเอฟลิน(;เอ็ม1){\displaystyle f_{\text{lin}}(\cdot \,;\mathbf {M} ^{-1})}จาโคเบียนของเอฟลิน:อาร์nอาร์n{\displaystyle f_{\text{lin}}:\mathbb {R} ^{n}\to \mathbb {R} ^{n}}, ที่y=เอฟลิน(x;เอ็ม){\displaystyle \mathbf {y} =f_{\text{lin}}(\mathbf {x} ;\mathbf {M} )} คือเอ็มx1(ฉันnyy)เอ็ม{\displaystyle \lVert \mathbf {Mx} \rVert ^{-1}(\mathbf {I} _{n}-\mathbf {yy} ')\mathbf {M} }ซึ่งมีอันดับn1{\displaystyle n-1}และดีเทอร์มิแนนต์ของศูนย์ ในขณะที่ตามที่อธิบายไว้ที่นี่ปัจจัย (ดูหัวข้อย่อยด้านล่าง) ที่เชื่อมโยงความหนาแน่นของแหล่งกำเนิดและความหนาแน่นที่แปลงแล้วคือ:เอ็มxn|เดทเอ็ม|{\displaystyle \lVert \mathbf {Mx} \rVert ^{-n}\left|\operatorname {det} \mathbf {M} \right|}.

อัตราส่วนปริมาตรที่แตกต่างกัน

สำหรับ<n{\displaystyle m<n}, อนุญาตเอ็มอาร์n{\displaystyle {\mathcal {M}}\subset \mathbb {R} ^{n}}เป็น{\displaystyle m}แมนิโฟลด์หลายมิติที่มีการฝังตัวแบบไอโซเมตริกที่ราบเรียบเข้าไปในอาร์n{\displaystyle \mathbb {R} ^{n}}. อนุญาตเอฟ:อาร์nอาร์n{\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ^{n}}เป็นการแปลงการไหลที่ราบรื่นโดยมีช่วงจำกัดไว้ที่เอ็ม{\displaystyle {\mathcal {M}}}. อนุญาตxเอ็ม{\displaystyle \mathbf {x} \in {\mathcal {M}}}สุ่มตัวอย่างจากการกระจายที่มีความหนาแน่นพีX{\displaystyle P_{X}}. อนุญาตy=เอฟ(x){\displaystyle \mathbf {y} =f(\mathbf {x} )}ส่งผลให้มีความหนาแน่น (แบบผลักไปข้างหน้า)พีวาย{\displaystyle P_{Y}}. อนุญาตยูเอ็ม{\displaystyle U\subset {\mathcal {M}}}เป็นบริเวณนูนขนาดเล็กที่บรรจุอยู่ภายในx{\displaystyle \mathbf {x} }และปล่อยให้วี=เอฟ(ยู){\displaystyle V=f(U)}เป็นภาพลักษณ์ของมัน ซึ่งประกอบด้วยy{\displaystyle \mathbf {y} }จากนั้นโดยอาศัยหลักการอนุรักษ์ความน่าจะเป็น:

พีX(x)ปริมาณ(ยู)พีวาย(y)ปริมาณ(วี){\displaystyle P_{X}(\mathbf {x} )\operatorname {volume} (U)\approx P_{Y}(\mathbf {y} )\operatorname {volume} (V)}

โดยปริมาตร (สำหรับบริเวณเล็ก ๆ) จะกำหนดโดยการวัดแบบเลเบสใน{\displaystyle m}ปริภูมิสัมผัสแบบหลายมิติโดยการทำให้บริเวณมีขนาดเล็กมากจนแทบไม่มีที่สิ้นสุด ปัจจัยที่เชื่อมโยงความหนาแน่นทั้งสองเข้าด้วยกันคืออัตราส่วนของปริมาตร ซึ่งเราเรียกว่าอัตราส่วนปริมาตรเชิงอนุพันธ์

เพื่อให้ได้สูตรที่ชัดเจนสำหรับการคำนวณปริมาตรบน{\displaystyle m}เราสร้างแมนิโฟลด์มิติ - มิติยู{\displaystyle U}โดยการทำแผนที่{\displaystyle m}แปลงสี่เหลี่ยมผืนผ้าหลายมิติในพื้นที่พิกัด (ท้องถิ่น) ไปยังแมนิโฟลด์ผ่านฟังก์ชันการฝังตัวแบบเรียบ:อาร์อาร์n{\displaystyle \mathbb {R} ^{m}\to \mathbb {R} ^{n}}ที่ระดับขนาดเล็กมาก ฟังก์ชันการฝังตัวจะกลายเป็นเชิงเส้นโดยพื้นฐาน ดังนั้นยู{\displaystyle U}เป็นรูปสี่เหลี่ยมด้านขนาน (การขยายรูปสี่เหลี่ยมด้านขนานไปเป็นหลายมิติ) ในทำนองเดียวกัน การแปลงการไหลเอฟ{\displaystyle f}กลายเป็นเส้นตรง ดังนั้นภาพจึงวี=เอฟ(ยู){\displaystyle V=f(U)}เป็นรูปสี่เหลี่ยมด้านขนานเช่นกัน ในอาร์{\displaystyle \mathbb {R} ^{m}}เราสามารถแสดงแทนได้{\displaystyle m}สี่เหลี่ยมด้านขนานมิติที่มี-โดย-{\displaystyle m{\text{-by-}}m}เมทริกซ์ที่มีเวกเตอร์คอลัมน์เป็นเซตของขอบ (ที่มาบรรจบกันที่จุดยอดร่วม) ซึ่งทอดข้ามรูปทรงขนาน ปริมาตรหาได้จากค่าสัมบูรณ์ของดีเทอร์มิแนนต์ของเมทริกซ์นี้ ในกรณีทั่วไป (เช่นในกรณีนี้){\displaystyle m}พาราเลลโลโทปมิติถูกฝังอยู่ในอาร์n{\displaystyle \mathbb {R} ^{n}}สามารถแสดงได้ด้วย (สิ่งสูง)n-โดย-{\displaystyle n{\text{-by-}}m}เมทริกซ์ เช่นวี{\displaystyle \mathbf {V} }โดยกำหนดให้รูปทรงสี่เหลี่ยมด้านขนานเป็น/วี/{\displaystyle /\mathbf {V} \!/}ปริมาตรของมันจะหาได้จากรากที่สองของค่าคงที่แกรม :

ปริมาณ/วี/=|เดท(วีวี)|{\displaystyle \operatorname {volume} /\mathbf {V} \!/={\sqrt {\left|\operatorname {det} (\mathbf {V} '\mathbf {V} )\right|}}}

ในหัวข้อด้านล่างนี้ เราจะแสดงวิธีการต่างๆ ในการใช้สูตรปริมาตรนี้เพื่อหาอัตราส่วนปริมาตรเชิงอนุพันธ์

การไหลแบบซิมเพล็กซ์

ตัวอย่างแรก เราจะพัฒนาสูตรสำหรับอัตราส่วนปริมาตรเชิงอนุพันธ์ของการไหลแบบซิมเพล็กซ์q=เอฟ(พี){\displaystyle \mathbf {q} =f(\mathbf {p} )}, ที่ไหนพี,qเอ็ม=Δn1{\displaystyle \mathbf {p} ,\mathbf {q} \in {\mathcal {M}}=\Delta ^{n-1}}กำหนดฟังก์ชันการฝังข้อมูล :

อี:พี~=(พี1,พีn1)พี=(พี1,พีn1,1ฉัน=1n1พีฉัน){\displaystyle e:{\tilde {\mathbf {p} }}=(p_{1}\dots ,p_{n-1})\mapsto \mathbf {p} =(p_{1}\dots ,p_{n-1},1-\sum _{i=1}^{n-1}p_{i})}

ซึ่งกำหนดแผนที่ที่เลือกไว้อย่างเหมาะสม(n1){\displaystyle (n-1)}การแสดงผลแบบหลายมิติพี~{\displaystyle {\tilde {\mathbf {p} }}}ไปยังแมนิโฟลด์ที่ฝังอยู่n-โดย-(n1){\displaystyle n{\text{-by-}}(n-1)}จาโคเบียนคือ อี=[ฉันn11]{\displaystyle \mathbf {E} ={\begin{bmatrix}\mathbf {I} _{n-1}\\-{\boldsymbol {1}}'\end{bmatrix}}}เพื่อกำหนดยู{\displaystyle U}องค์ประกอบปริมาตรเชิงอนุพันธ์ที่อินพุตการแปลง (พีΔn1{\displaystyle \mathbf {p} \in \Delta ^{n-1}}) เราเริ่มต้นด้วยรูปสี่เหลี่ยมผืนผ้าในพี~{\displaystyle {\tilde {\mathbf {p} }}}-ช่องว่างที่มีความยาวด้านต่างกัน (แบบมีเครื่องหมาย)พี1,,พีn1{\displaystyle dp_{1},\dots ,dp_{n-1}}จากนั้นเราจะสร้างเมทริกซ์ทแยงมุมสี่เหลี่ยมจัตุรัสขึ้นมาดี{\displaystyle \mathbf {D} }โดยที่เสาเหล่านั้นทอดยาวไปตามสี่เหลี่ยมผืนผ้า ในระดับที่เล็กมาก เราจะได้ยู=อี(ดี)=/อีดี/{\displaystyle U=e(\mathbf {D} )=/\mathbf {ED} \!/}, กับ:

สำหรับซิมเพล็กซ์ 1 ตัว (สีน้ำเงิน) ที่ฝังอยู่ในอาร์2{\displaystyle \mathbb {R} ^{2}}เมื่อเราดึงค่าการวัดของเลเบส กลับ จากปริภูมิสัมผัส (ขนานกับซิมเพล็กซ์) ผ่านการฝังตัวพี1(พี1,1พี1){\displaystyle p_{1}\mapsto (p_{1},1-p_{1})}โดยใช้จาโคเบียนอี=[11]{\displaystyle \mathbf {E} ={\begin{bmatrix}1&-1\end{bmatrix}}'}ปัจจัยการปรับขนาดของอีอี=2{\displaystyle {\sqrt {\mathbf {E} '\mathbf {E} }}={\sqrt {2}}}ผลลัพธ์.
ปริมาณ(ยู)=|เดท(ดีอีอีดี)|=|เดท(อีอี)||เดทดี)|=nฉัน=1n1|พีฉัน|{\displaystyle \operatorname {volume} (U)={\sqrt {\left|\operatorname {det} (\mathbf {DE} '\mathbf {ED} )\right|}}={\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {E} )\right|}}\,\left|\operatorname {det} \mathbf {D} )\right|={\sqrt {n}}\prod _{i=1}^{n-1}\left|dp_{i}\right|}

เพื่อทำความเข้าใจการตีความทางเรขาคณิตของตัวประกอบn{\displaystyle {\sqrt {n}}}โปรดดูตัวอย่างของซิมเพล็กซ์ 1 ในแผนภาพด้านขวา

องค์ประกอบปริมาตรเชิงอนุพันธ์ที่เอาต์พุตการแปลง (qΔn1{\displaystyle \mathbf {q} \in \Delta ^{n-1}}) คือรูปสี่เหลี่ยมด้านขนานวี=เอฟ(ยู)=/เอฟพีอีดี/{\displaystyle V=f(U)=/\mathbf {F_{p}ED} \!/}, ที่ไหนเอฟพี{\displaystyle \mathbf {F_{p}} }คือn-โดย-n{\displaystyle n{\text{-by-}}n}จาโคเบียนของเอฟ{\displaystyle f}ที่พี=อี(พี~){\displaystyle \mathbf {p} =e({\tilde {\mathbf {p} }})}ปริมาตรของมันคือ:

ปริมาณ(วี)=|เดท(ดีอีเอฟพีเอฟพีอีดี)|=|เดท(อีเอฟพีเอฟพีอี)||เดทดี)|{\displaystyle \operatorname {volume} (V)={\sqrt {\left|\operatorname {det} (\mathbf {DE} '\mathbf {F_{p}} '\mathbf {F_{p}ED} )\right|}}={\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {F_{p}} '\mathbf {F_{p}E} )\right|}}\,\left|\operatorname {det} \mathbf {D} )\right|}

ดังนั้นปัจจัยนั้น|เดทดี)|{\displaystyle \left|\operatorname {det} \mathbf {D} )\right|}ตัดกันในอัตราส่วนปริมาตร ซึ่งสามารถประเมินค่าเชิงตัวเลขได้แล้ว อย่างไรก็ตาม สามารถเขียนใหม่ในรูปแบบที่สะดวกกว่าได้ในบางครั้ง โดยการแนะนำฟังก์ชันการแสดงผล เพิ่มเติม ด้วย:พีพี~{\displaystyle r:\mathbf {p} \mapsto {\tilde {\mathbf {p} }}}ซึ่งเพียงแค่ดึงข้อมูลแรกออกมา(n1){\displaystyle (n-1)}ส่วนประกอบต่างๆ เมทริกซ์จาโคเบียนคืออาร์=[ฉันn0]{\displaystyle \mathbf {R} ={\begin{bmatrix}\mathbf {I} _{n}&{\boldsymbol {0}}\end{bmatrix}}}โปรดสังเกตว่า เนื่องจากอีเอฟ=เอฟ{\displaystyle e\circ r\circ f=f}กฎลูกโซ่สำหรับการประกอบฟังก์ชันให้ผลลัพธ์ดังนี้:อีอาร์เอฟพี=เอฟพี{\displaystyle \mathbf {ERF_{p}} =\mathbf {F_{p}} }โดยการนำการขยายนี้ไปใส่ในดีเทอร์มิแนนต์ของแกรมข้างต้น แล้วทำการปรับโครงสร้างใหม่ให้เป็นผลคูณของดีเทอร์มิแนนต์ของเมทริกซ์จัตุรัส เราสามารถแยกตัวประกอบออกมาได้|เดท(อีอี)|=n{\displaystyle {\sqrt {\left|\operatorname {det} (\mathbf {E} '\mathbf {E} )\right|}}={\sqrt {n}}}ซึ่งตอนนี้ก็ตัดกันในอัตราส่วนด้วย ซึ่งในที่สุดก็จะลดรูปเหลือเพียงดีเทอร์มิแนนต์ของจาโคเบียนของการแปลงการไหลแบบ "แซนด์วิช"เอฟอี{\displaystyle r\circ f\circ e}:

อาร์เอฟΔ(พี)=ปริมาณ(วี)ปริมาณ(ยู)=|เดท(อาร์เอฟพีอี)|{\displaystyle R_{f}^{\Delta }(\mathbf {p} )={\frac {\operatorname {volume} (V)}{\operatorname {volume} (U)}}=\left|\operatorname {det} (\mathbf {RF_{p}E} )\right|}

ซึ่งถ้าหากพี~พีพี{\displaystyle \mathbf {p} \sim P_{\mathbf {P} }}สามารถใช้เพื่อหาค่าความหนาแน่นของการผลักดันไปข้างหน้าหลังจากการเปลี่ยนตัวแปรได้q=เอฟ(พี){\displaystyle \mathbf {q} =f(\mathbf {p} )}:

พีคิว(q)=พีพี(พี)อาร์เอฟΔ(พี),ที่ไหนพี=เอฟ1(q){\displaystyle P_{\mathbf {Q} }(\mathbf {q} )={\frac {P_{\mathbf {P} }(\mathbf {p} )}{R_{f}^{\Delta }(\mathbf {p} )}}\,,\;{\text{where}}\;\;\mathbf {p} =f^{-1}(\mathbf {q} )}

สูตรนี้ใช้ได้เฉพาะในกรณีที่ซิมเพล็กซ์แบนราบและจาโคเบียนอี{\displaystyle \mathbf {E} }มีค่าคงที่ กรณีทั่วไปสำหรับแมนิโฟลด์โค้งจะกล่าวถึงต่อไปหลังจากที่เราได้นำเสนอตัวอย่างที่เป็นรูปธรรมสองตัวอย่างของการแปลงการไหลแบบซิมเพล็กซ์

การแปลงสอบเทียบซิมเพล็กซ์

การแปลงค่าสอบเทียบเอฟแคล:Δn1Δn1{\displaystyle f_{\text{cal}}:\Delta ^{n-1}\to \Delta ^{n-1}}ซึ่งบางครั้งใช้ในแมชชีนเลิร์นนิงสำหรับการประมวลผลภายหลังของผลลัพธ์ (ความน่าจะเป็นภายหลังของคลาส) ของแบบจำลองความน่าจะเป็นn{\displaystyle n}-ตัวจำแนกคลาส[ 23 ] [ 24 ]ใช้ฟังก์ชัน softmaxเพื่อปรับค่าการกระจายหมวดหมู่ใหม่หลังจากปรับขนาดและแปลการกระจายอินพุตในพื้นที่ความน่าจะเป็นลอการิทึม สำหรับพี,qΔn1{\displaystyle \mathbf {p} ,\mathbf {q} \in \Delta ^{n-1}}และด้วยพารามิเตอร์ต่างๆเอ0{\displaystyle a\neq 0}และอาร์n{\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}สามารถระบุการแปลงได้ดังนี้:

q=เอฟแคล(พี;เอ,)=ซอฟต์แม็กซ์(เอ1บันทึกพี+)พี=เอฟแคล1(q;เอ,)=ซอฟต์แม็กซ์(เอบันทึกqเอ){\displaystyle \mathbf {q} =f_{\text{cal}}(\mathbf {p} ;a,\mathbf {c} )=\operatorname {softmax} (a^{-1}\log \mathbf {p} +\mathbf {c} )\;\iff \;\mathbf {p} =f_{\text{cal}}^{-1}(\mathbf {q} ;a,\mathbf {c} )=\operatorname {softmax} (a\log \mathbf {q} -a\mathbf {c} )}

โดยที่ค่าลอการิทึมถูกนำไปใช้กับแต่ละองค์ประกอบ หลังจากทำการคำนวณทางพีชคณิตแล้วอัตราส่วนปริมาตรเชิงอนุพันธ์สามารถแสดงได้ดังนี้:

อาร์แคลΔ(พี;เอ,)=|เดท(อาร์เอฟพีอี)|=|เอ|1nฉัน=1nqฉันพีฉัน{\displaystyle R_{\text{cal}}^{\Delta }(\mathbf {p} ;a,\mathbf {c} )=\left|\operatorname {det} (\mathbf {RF_{p}E} )\right|=\left|a\right|^{1-n}\prod _{i=1}^{n}{\frac {q_{i}}{p_{i}}}}
  • ผลลัพธ์นี้ยังสามารถได้รับโดยการแยกความหนาแน่นของ การ กระจาย SGB [ 25 ]ซึ่งได้มาจากการส่ง ตัวแปร Dirichletผ่านเอฟแคล{\displaystyle f_{\text{cal}}}.

ในขณะที่การแปลงค่าสอบเทียบมักถูกฝึกฝนเป็นแบบจำลองจำแนกแต่การตีความใหม่ในที่นี้ในฐานะกระแสความน่าจะเป็นยังช่วยให้สามารถออกแบบ แบบจำลองสอบเทียบ แบบสร้างโดยอิงจากการแปลงค่านี้ได้ด้วย เมื่อใช้สำหรับการสอบเทียบ ข้อจำกัดเอ>0{\displaystyle a>0}สามารถกำหนดเงื่อนไขเพื่อป้องกันการกลับทิศทางในพื้นที่ความน่าจะเป็นแบบลอการิทึมได้ โดยมีข้อจำกัดเพิ่มเติม=0{\displaystyle \mathbf {c} ={\boldsymbol {0}}}การแปลงนี้ (ด้วยการฝึกฝนแบบจำแนก) เป็นที่รู้จักในด้านการเรียนรู้ของเครื่องจักรในชื่อการปรับขนาดอุณหภูมิ (temperature scaling )

การแปลงการปรับเทียบทั่วไป

การแปลงค่าสอบเทียบข้างต้นสามารถนำไปประยุกต์ใช้ได้โดยทั่วไปดังนี้เอฟแคลอรี่:Δn1Δn1{\displaystyle f_{\text{gcal}}:\Delta ^{n-1}\to \Delta ^{n-1}}โดยมีพารามิเตอร์อาร์n{\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}และเอ{\displaystyle \mathbf {A} }n-โดย-n{\displaystyle n{\text{-by-}}n}ผกผันได้: [ 26 ]

q=เอฟแคลอรี่(พี;เอ,)=ซอฟต์แม็กซ์(เอบันทึกพี+),ขึ้นอยู่กับเอ1=λ1{\displaystyle \mathbf {q} =f_{\text{gcal}}(\mathbf {p} ;\mathbf {A} ,\mathbf {c} )=\operatorname {softmax} (\mathbf {A} \log \mathbf {p} +\mathbf {c} )\,,\;{\text{subject to}}\;\mathbf {A1} =\lambda \mathbf {1} }

โดยที่เงื่อนไขที่ว่าเอ{\displaystyle \mathbf {A} }มี1{\displaystyle \mathbf {1} }เนื่องจากเวกเตอร์ลักษณะเฉพาะช่วยให้สามารถหาค่าผกผันได้โดยหลีกเลี่ยงการสูญเสียข้อมูลอันเนื่องมาจากความไม่เปลี่ยนแปลง:ซอฟต์แม็กซ์(x+α1)=ซอฟต์แม็กซ์(x){\displaystyle \operatorname {softmax} (\mathbf {x} +\alpha \mathbf {1} )=\operatorname {softmax} (\mathbf {x} )}โปรดสังเกตเป็นพิเศษว่าเอ=λฉันn{\displaystyle \mathbf {A} =\lambda \mathbf {I} _{n}}เป็นการ กำหนดพารามิเตอร์แนวทแยงมุมที่อนุญาต เพียงแบบเดียวซึ่งในกรณีนี้เราจะได้ผลลัพธ์กลับคืนมาเอฟแคล(พี;λ1,){\displaystyle f_{\text{cal}}(\mathbf {p} ;\lambda ^{-1},\mathbf {c} )} , ในขณะที่ (สำหรับn>2{\displaystyle n>2}) การสรุปทั่วไปสามารถทำได้กับเมทริกซ์ที่ไม่ใช่เมทริกซ์ทแยงมุมเมทริกซ์ผกผันคือ:

พี=เอฟแคลอรี่1(q;เอ,)=เอฟแคลอรี่(q;เอ1,เอ1),ที่ไหนเอ1=λ1เอ11=λ11{\displaystyle \mathbf {p} =f_{\text{gcal}}^{-1}(\mathbf {q} ;\mathbf {A} ,\mathbf {c} )=f_{\text{gcal}}(\mathbf {q}  ;\mathbf {A} ^{-1},-\mathbf {A} ^{-1}\mathbf {c} )\,,\;{\text{โดยที่}}\;\mathbf {A1} =\lambda \mathbf {1} \Longrightarrow \mathbf {A} ^{-1}\mathbf {1} =\lambda ^{-1}\mathbf {1} }

อัตราส่วนปริมาตรที่แตกต่างกันคือ:

อาร์แคลอรี่Δ(พี;เอ,)=|เดท(เอ)||λ|ฉัน=1nqฉันพีฉัน{\displaystyle R_{\text{gcal}}^{\Delta }(\mathbf {p} ;\mathbf {A} ,\mathbf {c} )={\frac {\left|\operatorname {det} (\mathbf {A} )\right|}{|\lambda |}}\prod _{i=1}^{n}{\frac {q_{i}}{p_{i}}}}

ถ้าเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}หากจะใช้เป็นการแปลงค่าเพื่อปรับเทียบ อาจมีการกำหนดข้อจำกัดเพิ่มเติมได้ เช่นเอ{\displaystyle \mathbf {A} }เป็นเมทริกซ์บวกแน่นอน ดังนั้น(เอx)x>0{\displaystyle (\mathbf {Ax} )'\mathbf {x} >0}ซึ่งจะช่วยหลีกเลี่ยงการกลับทิศทาง (นี่คือการสรุปทั่วไปที่เป็นไปได้ประการหนึ่งของเอ>0{\displaystyle a>0}ในเอฟแคล{\displaystyle f_{\text{cal}}}พารามิเตอร์.)

สำหรับn=2{\displaystyle n=2},เอ>0{\displaystyle a>0}และเอ{\displaystyle \mathbf {A} }บวกแน่นอน ดังนั้นเอฟแคล{\displaystyle f_{\text{cal}}}และเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}ถือว่าเทียบเท่ากันในแง่ที่ว่าในทั้งสองกรณีบันทึกพี1พี2บันทึกq1q2{\displaystyle \log {\frac {p_{1}}{p_{2}}}\mapsto \log {\frac {q_{1}}{q_{2}}}}เป็นเส้นตรง ซึ่งความชัน (ที่เป็นบวก) และค่าชดเชยเป็นฟังก์ชันของพารามิเตอร์การแปลง สำหรับn>2,{\displaystyle n>2,}เอฟแคลอรี่{\displaystyle f_{\text{gcal}}}เป็นการสรุปโดยทั่วไปเอฟแคล{\displaystyle f_{\text{cal}}}.

อย่างไรก็ตาม ต้องสังเกตว่าการเชื่อมต่อหลายๆ ครั้งเข้าด้วยกันนั้นเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}การแปลงการไหลไม่ได้ให้ข้อสรุปทั่วไปเพิ่มเติม เนื่องจาก:

เอฟแคลอรี่(;เอ1,1)เอฟแคลอรี่(;เอ2,2)=เอฟแคลอรี่(;เอ1เอ2,1+เอ12){\displaystyle f_{\text{gcal}}(\cdot \,;\mathbf {A} _{1},\mathbf {c} _{1})\circ f_{\text{gcal}}(\cdot \,;\mathbf {A} _{2},\mathbf {c} _{2})=f_{\text{gcal}}(\cdot \,;\mathbf {A} _{1}\mathbf {A} _{2},\mathbf {c} _{1}+\mathbf {A} _{1}\mathbf {c} _{2})}

ในความเป็นจริง ชุดของเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}การแปลงต่างๆ ก่อตัวเป็นกลุ่มภายใต้การประกอบฟังก์ชัน เซตของเอฟแคล{\displaystyle f_{\text{cal}}}การแปลงต่างๆ ก่อให้เกิดกลุ่มย่อย

ดูเพิ่มเติม: การปรับเทียบ Dirichlet [ 27 ]ซึ่งเป็นการสรุปทั่วไปเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}โดยไม่กำหนดข้อจำกัดใดๆ ให้กับเมทริกซ์เอ{\displaystyle \mathbf {A} }ดังนั้นจึงไม่รับประกันความสามารถในการผกผัน ในขณะที่การปรับเทียบแบบ Dirichlet ได้รับการฝึกฝนให้เป็นแบบจำลองเชิงจำแนกเอฟแคลอรี่{\displaystyle f_{\text{gcal}}}นอกจากนี้ยังสามารถฝึกฝนได้ในฐานะส่วนหนึ่งของแบบจำลองการปรับเทียบแบบสร้างสรรค์

อัตราส่วนปริมาตรที่แตกต่างกันสำหรับท่อร่วมโค้ง

พิจารณาการไหลy=เอฟ(x){\displaystyle \mathbf {y} =f(\mathbf {x} )}บนท่อโค้ง ตัวอย่างเช่นเอสn1{\displaystyle \mathbb {S} ^{n-1}}ซึ่งเราได้ติดตั้งฟังก์ชันการฝังข้อมูลไว้ด้วยอี{\displaystyle e}ที่แมปชุดของ(n1){\displaystyle (n-1)}พิกัดทรงกลมเชิงมุมไปยังเอสn1{\displaystyle \mathbb {S} ^{n-1}}จาโคเบียนของอี{\displaystyle e}เป็นค่าที่ไม่คงที่ และเราต้องประเมินค่าที่อินพุตทั้งสอง (อีx{\displaystyle \mathbf {E_{x}} }) และผลลัพธ์ (อีy{\displaystyle \mathbf {E_{y}} }หลักการเดียวกันนี้ใช้ได้กับ{\displaystyle r}ฟังก์ชันการแสดงผลที่กู้คืนพิกัดทรงกลมจากจุดบนเอสn1{\displaystyle \mathbb {S} ^{n-1}}ซึ่งเราต้องการ Jacobian ที่เอาต์พุต (อาร์y{\displaystyle \mathbf {R_{y}} }). อัตราส่วนปริมาตรที่แตกต่างกันสามารถสรุปได้ดังนี้:

อาร์เอฟ(x)=|เดท(อาร์yเอฟxอีx)||เดท(อีyอีy)||เดท(อีxอีx)|{\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {R_{y}F_{x}E_{x}} )\right|\,{\frac {\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {y} }'\mathbf {E_{y}} )\right|}}{\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {x} }'\mathbf {E_{x}} )\right|}}}}

เพื่อให้ได้ความเข้าใจเชิงเรขาคณิต ลองพิจารณาดูเอส2{\displaystyle \mathbf {S} ^{2}}โดยที่พิกัดทรงกลมนั้นอยู่ในแนวละติจูดเดียวกันθ[0,π]{\displaystyle \theta \in [0,\pi ]}และลองจิจูดϕ[0,2π){\displaystyle \phi \in [0,2\pi )}. ที่x=อี(θ,ϕ){\displaystyle \mathbf {x} =e(\theta ,\phi )}เราได้รับ|เดท(อีxอีx)|=บาปθ{\displaystyle {\sqrt {\left|\operatorname {det} (\mathbf {E} _{\mathbf {x} }'\mathbf {E_{x}} )\right|}}=\sin \theta }ซึ่งจะให้รัศมีของวงกลมที่ละติจูดนั้น (เช่น เปรียบเทียบวงกลมขั้วโลกกับเส้นศูนย์สูตร) ​​ปริมาตรเชิงอนุพันธ์ (พื้นที่ผิวบนทรงกลม) คือ:บาปθθϕ{\displaystyle \sin \theta \,d\theta \,d\phi }.

การคำนวณข้างต้นสำหรับอาร์เอฟ{\displaystyle R_{f}}มีความเปราะบางในแง่ที่ว่าเมื่อใช้ฟังก์ชันคงที่อี,{\displaystyle e,r}อาจมีบางจุดที่พิกัดไม่ชัดเจน เช่น ที่ขั้วของทรงกลม 2 มิติ ซึ่งเส้นลองจิจูดไม่แน่นอน ปัญหานี้สามารถหลีกเลี่ยงได้ (โดยใช้กลไกแมนิโฟลด์มาตรฐาน) โดยการขยายไปสู่ พิกัด ท้องถิ่น (แผนที่) ซึ่งในบริเวณใกล้เคียงกับx,yเอ็ม{\displaystyle \mathbf {x} ,\mathbf {y} \in {\mathcal {M}}}เราสร้างแผนที่จากข้อมูลท้องถิ่น{\displaystyle m}พิกัดหลายมิติอาร์n{\displaystyle \mathbb {R} ^{n}}และย้อนกลับโดยใช้คู่ฟังก์ชันที่เกี่ยวข้องอีx,x{\displaystyle e_{\mathbf {x} },r_{\mathbf {x} }}และอีy,y{\displaystyle e_{\mathbf {y} },r_{\mathbf {y} }}เรายังคงใช้สัญลักษณ์เดียวกันสำหรับเมทริกซ์จาโคเบียนของฟังก์ชันเหล่านี้ (อีx,อีy,อาร์y{\displaystyle \mathbf {E_{x}} ,\mathbf {E_{y}} ,\mathbf {R_{y}} }) ดังนั้นสูตรข้างต้นสำหรับอาร์เอฟ{\displaystyle R_{f}}ยังคงมีผลใช้ได้

อย่างไรก็ตาม เราสามารถเลือกใช้ระบบพิกัดท้องถิ่นของเราในลักษณะที่ทำให้การแสดงออกของสมการง่ายขึ้นได้อาร์เอฟ{\displaystyle R_{f}}และรวมถึงการนำไปใช้ในทางปฏิบัติด้วย[ 22 ]ให้π:พีอาร์n{\displaystyle \pi :{\mathcal {P}}\to \mathbb {R} ^{n}} เป็นการฉายภาพเอกลักษณ์เรียบ (ππ=π{\displaystyle \pi \circ \pi =\pi }) จากเซตที่ฉายได้ ,พีอาร์n{\displaystyle {\mathcal {P}}\subseteq \mathbb {R} ^{n}}บนแมนิโฟลด์ที่ฝังตัวอยู่ ตัวอย่างเช่น:

  • ออร์แธนต์บวกของอาร์n{\displaystyle \mathbb {R} ^{n}}ฉายลงบนซิมเพล็กซ์ดังนี้:π(z)=(ฉัน=1nzฉัน)1z{\displaystyle \pi (\mathbf {z} )={\bigl (}\sum _{i=1}^{n}z_{i}{\bigr )}^{-1}\mathbf {z} }
  • เวกเตอร์ที่ไม่เป็นศูนย์ในอาร์n{\displaystyle \mathbb {R} ^{n}}ฉายลงบนทรงกลมหน่วยดังนี้:π(z)=(ฉัน=1nzฉัน2)12z{\displaystyle \pi (\mathbf {z} )={\bigl (}\sum _{i=1}^{n}z_{i}^{2}{\bigr )}^{-{\frac {1}{2}}}\mathbf {z} }

สำหรับทุกๆxเอ็ม{\displaystyle \mathbf {x} \in {\mathcal {M}}}เราต้องการπ{\displaystyle \pi }ว่ามันn-โดย-n{\displaystyle n{\text{-by-}}n}จาโคเบียนΠx{\displaystyle {\boldsymbol {\Pi _{x}}}}มีอันดับ{\displaystyle m}(มิติของแมนิโฟลด์) ในกรณีนั้นΠx{\displaystyle {\boldsymbol {\Pi _{x}}}}เป็นการฉายภาพเชิงเส้นแบบเอกลักษณ์ลงบนปริภูมิสัมผัสเฉพาะที่ ( ตั้งฉากกับทรงกลมหน่วย)ฉันnxx{\displaystyle \mathbf {I} _{n}-\mathbf {xx} '}เฉียง สำหรับซิมเพล็ ซ์:ฉันnx1{\displaystyle \mathbf {I} _{n}-{\boldsymbol {x1}}'}คอลัมน์ของΠx{\displaystyle {\boldsymbol {\Pi _{x}}}}ครอบคลุม{\displaystyle m}ปริภูมิสัมผัสแบบหลายมิติที่x{\displaystyle \mathbf {x} }เราใช้สัญลักษณ์ว่าทีx{\displaystyle \mathbf {T_{x}} }สำหรับใดๆn-โดย-{\displaystyle n{\text{-by-}}m}เมทริกซ์ที่มีคอลัมน์ตั้งฉากกัน (ทีxทีx=ฉัน{\displaystyle \mathbf {T} _{\mathbf {x} }'\mathbf {T_{x}} =\mathbf {I} _{m}}) ที่ครอบคลุมพื้นที่สัมผัสเฉพาะที่ โปรดทราบด้วยว่า:Πxทีx=ทีx{\displaystyle {\boldsymbol {\Pi _{x}}}\mathbf {T_{x}} =\mathbf {T_{x}} }ตอนนี้เราสามารถเลือกฟังก์ชันการฝังพิกัดท้องถิ่นได้แล้วอีx:อาร์อาร์n{\displaystyle e_{\mathbf {x} }:\mathbb {R} ^{m}\to \mathbb {R} ^{n}}:

อีx(x~)=π(x+ทีxx~),ด้วยจาโคเบียน:อีx=ทีxที่x~=0.{\displaystyle e_{\mathbf {x} }({\tilde {x}})=\pi (\mathbf {x} +\mathbf {T_{x}{\tilde {x}}} )\,,{\text{with Jacobian:}}\,\mathbf {E_{x}} =\mathbf {T_{x}} \,{\text{at}}\,{\tilde {\mathbf {x} }}=\mathbf {0} .}

เนื่องจากเมทริกซ์จาโคเบียนเป็นเมทริกซ์หนึ่งต่อหนึ่ง (อันดับเต็ม:{\displaystyle m}) ตัวผกผันซ้าย เฉพาะที่ (ไม่จำเป็นต้องเป็นเอกลักษณ์) เช่นx*{\displaystyle r_{\mathbf {x} }^{*}}ด้วยจาโคเบียนอาร์x*{\displaystyle \mathbf {R} _{\mathbf {x} }^{*}}มีอยู่จริงซึ่งx*(อีx(x~))=x~{\displaystyle r_{\mathbf {x} }^{*}(e_{\mathbf {x} }({\tilde {x}}))={\tilde {x}}}และอาร์x*ทีx=ฉัน{\displaystyle \mathbf {R} _{\mathbf {x} }^{*}\mathbf {T_{x}} =\mathbf {I} _{m}}ในทางปฏิบัติ เราไม่จำเป็นต้องใช้ฟังก์ชันผกผันซ้ายเอง แต่เราจำเป็นต้องใช้เมทริกซ์จาโคเบียน ซึ่งสมการข้างต้นไม่ได้ให้คำตอบที่ไม่ซ้ำกัน อย่างไรก็ตาม เราสามารถบังคับให้เมทริกซ์จาโคเบียนมีคำตอบที่ไม่ซ้ำกันได้โดยการเลือกฟังก์ชันผกผันซ้ายดังนี้x:อาร์nอาร์{\displaystyle r_{\mathbf {x} }:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}:

x(z)=x*(π(z)),ด้วยจาโคเบียน:อาร์x=ทีx{\displaystyle r_{\mathbf {x} }(\mathbf {z} )=r_{\mathbf {x} }^{*}(\pi (\mathbf {z} ))\,,{\text{with Jacobian:}}\,\mathbf {R_{x}} =\mathbf {T} _{\mathbf {x} }'}

ในที่สุดเราก็สามารถเสียบปลั๊กได้แล้วอีx=ทีx{\displaystyle \mathbf {E_{x}} =\mathbf {T_{x}} }และอาร์y=ทีy{\displaystyle \mathbf {R_{y}} =\mathbf {T} _{\mathbf {y} }'}เข้าสู่การแสดงออกก่อนหน้านี้ของเราสำหรับอาร์เอฟ{\displaystyle R_{f}}อัตราส่วนปริมาตรที่แตกต่างกันซึ่งเนื่องจาก Jacobian ออร์โทนอร์มอล จึงทำให้ง่ายขึ้นเป็น: [ 28 ]

อาร์เอฟ(x)=|เดท(ทีyเอฟxทีx)|{\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {T_{y}} '\mathbf {F_{x}T_{x}} )\right|}

การนำไปปฏิบัติจริง

ในการเรียนรู้พารามิเตอร์ของการแปลงการไหลแบบหลายทาง เราจำเป็นต้องเข้าถึงอัตราส่วนปริมาตรที่แตกต่างกันอาร์เอฟ{\displaystyle R_{f}}หรืออย่างน้อยก็หาค่าความชันเทียบกับพารามิเตอร์ นอกจากนี้ สำหรับงานอนุมานบางอย่าง เราจำเป็นต้องเข้าถึงข้อมูลเหล่านี้อาร์เอฟ{\displaystyle R_{f}}ตัวมันเอง แนวทางแก้ไขที่เป็นรูปธรรม ได้แก่:

  • Sorrenson et al.(2023) [ 22 ]เสนอวิธีแก้ปัญหาสำหรับการประมาณค่าความชันของพารามิเตอร์สุ่มที่มีประสิทธิภาพในการคำนวณสำหรับบันทึกอาร์เอฟ.{\displaystyle \log R_{f}.}
  • สำหรับการปรับเปลี่ยนการไหลที่ออกแบบด้วยมือบางส่วนอาร์เอฟ{\displaystyle R_{f}}สามารถหาอนุพันธ์เชิงวิเคราะห์ได้ในรูปแบบปิด เช่น การแปลงการปรับเทียบซิมเพล็กซ์ที่กล่าวถึงข้างต้น ตัวอย่างเพิ่มเติมจะแสดงไว้ด้านล่างในส่วนเกี่ยวกับการไหลทรงกลมแบบง่าย
  • บนแพลตฟอร์มซอฟต์แวร์ที่มีพีชคณิตเชิงเส้นและ การ หาอนุพันธ์อัตโนมัติอาร์เอฟ(x)=|เดท(ทีyเอฟxทีx)|{\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {T_{y}} '\mathbf {F_{x}T_{x}} )\right|}สามารถประเมินผลได้โดยอัตโนมัติ เมื่อได้รับสิทธิ์การเข้าถึงเท่านั้นx,เอฟ,π{\displaystyle \mathbf {x} ,f,\pi }[ 29 ]แต่วิธีนี้มีราคาแพงสำหรับข้อมูลที่มีมิติสูง โดยอย่างน้อยต้องมีโอ(n3){\displaystyle {\mathcal {O}}(n^{3})}ต้นทุนการคำนวณ ถึงกระนั้นก็ตาม วิธีแก้ปัญหาอัตโนมัติที่ช้าก็ยังมีคุณค่าอย่างยิ่งในฐานะเครื่องมือสำหรับการตรวจสอบเชิงตัวเลขของวิธีแก้ปัญหาแบบปิดที่ออกแบบด้วยมือ

การไหลทรงกลมอย่างง่าย

ในวรรณกรรมการเรียนรู้ของเครื่อง อาจพบการไหลทรงกลมที่ซับซ้อนต่างๆ ที่เกิดจากสถาปัตยกรรมเครือข่ายประสาทแบบลึก[ 22 ]ในทางตรงกันข้าม ส่วนนี้ได้รวบรวมรายละเอียดจาก วรรณกรรม ทางสถิติของการแปลงการไหลทรงกลมที่ง่ายมากสามแบบ พร้อมด้วยนิพจน์แบบปิดที่เรียบง่ายสำหรับส่วนกลับและอัตราส่วนปริมาตรเชิงอนุพันธ์ การไหลเหล่านี้สามารถใช้แยกกันหรือเชื่อมโยงกันเพื่อสรุปการกระจายบนทรงกลมหน่วยได้เอสn1{\displaystyle \mathbb {S} ^{n-1}}การไหลทั้งสามแบบนี้เป็นองค์ประกอบของการแปลงเชิงเส้นผกผันในอาร์n{\displaystyle \mathbb {R} ^{n}}ตามด้วยการฉายภาพรัศมีกลับไปยังทรงกลม รูปแบบที่เราพิจารณาสำหรับการแปลงเชิงเส้นคือ การเลื่อนแบบบริสุทธิ์ การแปลงเชิงเส้นแบบบริสุทธิ์ และการแปลงเชิงเส้นทั่วไป เพื่อให้การไหลเหล่านี้ใช้งานได้อย่างเต็มประสิทธิภาพสำหรับการเรียนรู้ การอนุมาน และการสุ่มตัวอย่าง งานที่ต้องทำคือ:

  • เพื่อหาอนุพันธ์ของการแปลงผกผัน โดยมีข้อจำกัดที่เหมาะสมเกี่ยวกับพารามิเตอร์เพื่อให้มั่นใจได้ว่าสามารถหาอนุพันธ์ผกผันได้
  • เพื่อหาอัตราส่วนปริมาตรเชิงอนุพันธ์ ใน รูป แบบปิดที่ง่ายอาร์เอฟ{\displaystyle R_{f}}.

คุณสมบัติที่น่าสนใจอย่างหนึ่งของการไหลทรงกลมแบบง่ายเหล่านี้คือ พวกมันไม่ได้ใช้ความไม่เป็นเชิงเส้นใดๆ นอกจากการฉายภาพในแนวรัศมี แม้แต่การไหลที่ง่ายที่สุดอย่างการไหลแบบแปลนมาตรฐาน ก็สามารถเชื่อมต่อกันเพื่อสร้างการกระจายที่ยืดหยุ่นได้อย่างน่าประหลาดใจ

การไหลของการแปลแบบปกติ

กระแสการแปลแบบมาตรฐานเอฟทรานส์:เอสn1เอสn1{\displaystyle f_{\text{trans}}:\mathbb {S} ^{n-1}\to \mathbb {S} ^{n-1}}โดยมีพารามิเตอร์อาร์n{\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}กำหนดโดย:

y=เอฟทรานส์(x;)=x+x+,ที่ไหน<1{\displaystyle \mathbf {y} =f_{\text{trans}}(\mathbf {x} ;\mathbf {c} )={\frac {\mathbf {x} +\mathbf {c} }{\lVert \mathbf {x} +\mathbf {c} \rVert }}\,,\;{\text{โดยที่}}\;\lVert \mathbf {c} \rVert <1}

ฟังก์ชันผกผันสามารถหาได้โดยพิจารณาจาก>0{\displaystyle \ell >0}:y=1(x+){\displaystyle \mathbf {y} =\ell ^{-1}(\mathbf {x} +\mathbf {c} )}แล้วจึงใช้xx=1{\displaystyle \mathbf {x} '\mathbf {x} =1}เพื่อให้ได้สมการกำลังสองเพื่อกู้คืน{\displaystyle \ell }ซึ่งจะได้ผลลัพธ์ดังนี้:

x=เอฟทรานส์1(y;)=y,ที่ไหน=y+(y)2+1{\displaystyle \mathbf {x} =f_{\text{trans}}^{-1}(\mathbf {y} ;\mathbf {c} )=\ell \mathbf {y} -\mathbf {c} \,,{\text{โดยที่}}\;\ell =\mathbf {y} '\mathbf {c} +{\sqrt {(\mathbf {y} '\mathbf {c} )^{2}+1-\mathbf {c} '\mathbf {c} }}}

จากนั้นเราจะเห็นว่าเราต้องการ<1{\displaystyle \lVert \mathbf {c} \rVert <1}เพื่อรักษาไว้{\displaystyle \ell }เป็นจริงและเชิงบวกสำหรับทุกคนyเอสn1{\displaystyle \mathbf {y} \in \mathbb {S} ^{n-1}}อัตราส่วนปริมาตรที่แตกต่างกันนั้นกำหนดโดย Boulerice & Ducharme (1994) (โดยไม่ต้องพิสูจน์) ดังนี้: [ 30 ]

อาร์ทรานส์(x;)=1+xx+n{\displaystyle R_{\text{trans}}(\mathbf {x} ;\mathbf {c} )={\frac {1+\mathbf {x} '\mathbf {c} }{\lVert \mathbf {x} +\mathbf {c} \rVert ^{n}}}}

สามารถตรวจสอบยืนยันได้ด้วยวิธีการวิเคราะห์:

  • โดยการจัดการอย่างยากลำบากของอาร์เอฟ(x)=|เดท(ทีyเอฟxทีx)|{\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {T_{y}} '\mathbf {F_{x}T_{x}} )\right|}.
  • โดยการตั้งค่าเอ็ม=ฉันn{\displaystyle \mathbf {M} =\mathbf {I} _{n}}ในอาร์อัฟ(x;เอ็ม,){\displaystyle R_{\text{aff}}(\mathbf {x} ;\mathbf {M} ,\mathbf {c} )} ซึ่งแสดงไว้ด้านล่าง

สุดท้ายนี้ เป็นที่น่าสังเกตว่าเอฟทรานส์{\displaystyle f_{\text{trans}}}และเอฟทรานส์1{\displaystyle f_{\text{trans}}^{-1}}ไม่ได้มีรูปแบบการทำงานเหมือนกัน

การไหลเชิงเส้นแบบปกติ

อัตราการไหลเชิงเส้นปกติเอฟลิน:เอสn1เอสn1{\displaystyle f_{\text{lin}}:\mathbb {S} ^{n-1}\to \mathbb {S} ^{n-1}}โดยที่พารามิเตอร์เอ็ม{\displaystyle \mathbf {M} }เป็นค่าผกผันn-โดย-n{\displaystyle n{\text{-by-}}n}เมทริกซ์ กำหนดโดย:

y=เอฟลิน(x;เอ็ม)=เอ็มxเอ็มxx=เอฟลิน1(y;เอ็ม)=เอฟลิน(y;เอ็ม1)=เอ็ม1yเอ็ม1y{\displaystyle \mathbf {y} =f_{\text{lin}}(\mathbf {x} ;\mathbf {M} )={\frac {\mathbf {Mx} }{\lVert \mathbf {Mx} \rVert }}\;\iff \;\mathbf {x} =f_{\text{lin}}^{-1}(\mathbf {y}  ;\mathbf {M} )=f_{\text{lin}}(\mathbf {y}  ;\mathbf {M} ^{-1})={\frac {\mathbf {M^{-1}y} }{\lVert \mathbf {M^{-1}y} \rVert }}}

อัตราส่วนปริมาตรที่แตกต่างกันคือ:

อาร์ลิน(x;เอ็ม)=|เดทเอ็ม|เอ็มxn{\displaystyle R_{\text{lin}}(\mathbf {x} ;\mathbf {M} )={\frac {\left|\operatorname {det} \mathbf {M} \right|}{\lVert \mathbf {Mx} \rVert ^{n}}}}

ผลลัพธ์นี้สามารถได้มาโดยอ้อมผ่าน การกระจายแบบเกาส์เซียนกลางเชิงมุม ( ACG) [ 31 ]ซึ่งสามารถหาได้จากการแปลงเชิงเส้นปกติของตัวแปรทรงกลมแบบเกาส์เซียนหรือแบบสม่ำเสมอ ความสัมพันธ์แรกสามารถใช้เพื่อหาความหนาแน่นของ ACG โดยใช้ปริพันธ์มาร์จินัลไลเซชันเหนือรัศมี หลังจากนั้นความสัมพันธ์ที่สองสามารถใช้เพื่อแยกอัตราส่วนปริมาตรที่แตกต่างกัน สำหรับรายละเอียด โปรดดู การ กระจายACG

การไหลเชิงเส้นแบบนอร์มาไลซ์

การไหลเชิงเส้นแบบนอร์มาไลซ์เอฟอัฟ:เอสn1เอสn1{\displaystyle f_{\text{aff}}:\mathbb {S} ^{n-1}\to \mathbb {S} ^{n-1}}โดยมีพารามิเตอร์อาร์n{\displaystyle \mathbf {c} \in \mathbb {R} ^{n}}และเอ็ม{\displaystyle \mathbf {M} },n-โดย-n{\displaystyle n{\text{-by-}}n}ผกผันได้ กำหนดโดย:

เอฟอัฟ(x;เอ็ม,)=เอ็มx+เอ็มx+,ที่ไหนเอ็ม1<1{\displaystyle f_{\text{aff}}(\mathbf {x} ;\mathbf {M} ,\mathbf {c} )={\frac {\mathbf {Mx} +\mathbf {c} }{\lVert \mathbf {Mx} +\mathbf {c} \rVert }}\,,\;{\text{โดยที่}}\;\lVert \mathbf {M^{-1}c} \rVert <1}

ฟังก์ชันผกผัน ซึ่งได้มาในลักษณะเดียวกับฟังก์ชันผกผันการแปลแบบนอร์มาไลซ์ คือ:

x=เอฟอัฟ1(y;เอ็ม,)=เอ็ม1(y),ที่ไหน=y+(y)2+yy(1)yy{\displaystyle \mathbf {x} =f_{\text{aff}}^{-1}(\mathbf {y} ;\mathbf {M} ,\mathbf {c} )=\mathbf {M} ^{-1}(\ell \mathbf {y} -\mathbf {c} )\,,{\text{โดยที่}}\;\ell ={\frac {\mathbf {y} '\mathbf {Wc} +{\sqrt {(\mathbf {y} '\mathbf {Wc} )^{2}+\mathbf {y} '\mathbf {Wy} (1-\mathbf {c} '\mathbf {Wc} )}}}{\mathbf {y} '\mathbf {Wy} }}}

ที่ไหน=(เอ็มเอ็ม)1{\displaystyle \mathbf {W} =(\mathbf {MM} ')^{-1}}อัตราส่วนปริมาตรที่แตกต่างกันคือ:

อาร์อัฟ(x;เอ็ม,)=อาร์ลิน(x;เอ็ม+x)=|เดทเอ็ม|(1+xเอ็ม1)เอ็มx+n{\displaystyle R_{\text{aff}}(\mathbf {x} ;\mathbf {M} ,\mathbf {c} )=R_{\text{lin}}(\mathbf {x}  ;\mathbf {M} +\mathbf {c} \mathbf {x} ')={\frac {\left|\operatorname {det} \mathbf {M} \right|(1+\mathbf {x} '\mathbf {M^{-1}c} )}{\lVert \mathbf {Mx+c} \rVert ^{n}}}}

ตัวเศษด้านขวาสุดถูกขยายจากเดท(เอ็ม+x){\displaystyle \operatorname {det} (\mathbf {M} +\mathbf {cx} ')}โดยอาศัยทฤษฎีบทเกี่ยวกับดีเทอร์มิแนนต์ของเมทริกซ์เมื่อนึกถึงอาร์เอฟ(x)=|เดท(ทีyเอฟxทีx)|{\displaystyle R_{f}(\mathbf {x} )=\left|\operatorname {det} (\mathbf {T} _{\mathbf {y} }'\mathbf {F_{x}T_{x}} )\right|}ความเท่าเทียมกันระหว่างอาร์อัฟ{\displaystyle R_{\text{aff}}}และอาร์ลิน{\displaystyle R_{\text{lin}}}เป็นเช่นนั้นเพราะไม่เพียงแต่:

xx=1y=เอฟอัฟ(x;เอ็ม,)=เอฟลิน(x;เอ็ม+x){\displaystyle \mathbf {x} '\mathbf {x} =1\;\Longrightarrow \;\mathbf {y} =f_{\text{aff}}(\mathbf {x} ;\mathbf {M,c} )=f_{\text{lin}}(\mathbf {x}  ;\mathbf {M+cx} ')}

แต่ยังรวมถึงคุณสมบัติการตั้งฉากของด้วยx{\displaystyle \mathbf {x} }ไปยังพื้นที่สัมผัสท้องถิ่น:

xทีx=0เอฟxอัฟทีx=เอฟxลินทีx{\displaystyle \mathbf {x} '\mathbf {T_{x}} ={\boldsymbol {0}}\;\Longrightarrow \;\mathbf {F} _{\mathbf {x} }^{\text{aff}}\mathbf {T_{x}} =\mathbf {F} _{\mathbf {x} }^{\text{lin}}\mathbf {T_{x}} }

ที่ไหนเอฟxลิน=เอ็มx+1(ฉันnyy)(เอ็ม+x){\displaystyle \mathbf {F} _{\mathbf {x} }^{\text{lin}}=\lVert \mathbf {Mx} +\mathbf {c} \rVert ^{-1}(\mathbf {I} _{n}-\mathbf {yy} ')(\mathbf {M+cx} ')}คือเมทริกซ์จาโคเบียนของเอฟลิน{\displaystyle f_{\text{lin}}}แตกต่างกันตามอินพุต แต่ไม่แตกต่างกันตามพารามิเตอร์

ข้อเสีย

แม้ว่าการทำให้การไหลเป็นมาตรฐานจะประสบความสำเร็จในการประมาณความหนาแน่นมิติสูง แต่ก็ยังมีข้อเสียบางประการในการออกแบบ ประการแรก พื้นที่แฝงที่ข้อมูลอินพุตถูกฉายลงไปนั้นไม่ใช่พื้นที่มิติที่ต่ำกว่า ดังนั้นแบบจำลองที่ใช้การไหลจึงไม่อนุญาตให้บีบอัดข้อมูลโดยค่าเริ่มต้นและต้องใช้การคำนวณจำนวนมาก อย่างไรก็ตาม ยังคงสามารถทำการบีบอัดภาพได้ด้วยแบบจำลองเหล่านี้[ 32 ]

โมเดลแบบอิงการไหลยังมีชื่อเสียงในเรื่องการล้มเหลวในการประมาณความน่าจะเป็นของตัวอย่างที่อยู่นอกการกระจาย (เช่น ตัวอย่างที่ไม่ได้ถูกดึงมาจากการกระจายเดียวกันกับชุดฝึกอบรม) [ 33 ]มีการกำหนดสมมติฐานบางประการเพื่ออธิบายปรากฏการณ์นี้ ซึ่งรวมถึงสมมติฐานชุดทั่วไป[ 34 ]ปัญหาการประมาณเมื่อฝึกอบรมโมเดล[ 35 ]หรือปัญหาพื้นฐานเนื่องจากเอนโทรปีของการกระจายข้อมูล[ 36 ]

หนึ่งในคุณสมบัติที่น่าสนใจที่สุดของการไหลแบบปกติคือความสามารถในการผกผันของ แผนที่ แบบไบเจกทีฟ ที่เรียนรู้ คุณสมบัตินี้ได้รับจากข้อจำกัดในการออกแบบโมเดล (เช่น RealNVP, Glow) ซึ่งรับประกันความสามารถในการผกผันทางทฤษฎี ความสมบูรณ์ของส่วนกลับมีความสำคัญเพื่อให้มั่นใจถึงความสามารถในการใช้งานของทฤษฎีบทการเปลี่ยนตัวแปรการคำนวณJacobianของแผนที่ รวมถึงการสุ่มตัวอย่างด้วยโมเดล อย่างไรก็ตาม ในทางปฏิบัติ ความสามารถในการผกผันนี้ถูกละเมิด และแผนที่ผกผันจะระเบิดเนื่องจากความไม่แม่นยำเชิงตัวเลข[ 37 ]

แอปพลิเคชัน

แบบจำลองเชิงกำเนิดตามกระแสข้อมูลถูกนำไปประยุกต์ใช้กับงานสร้างแบบจำลองที่หลากหลาย รวมถึง:

  • การสร้างเสียง[ 38 ]
  • การสร้างภาพ[ 8 ]
  • การสร้างกราฟโมเลกุล[ 39 ]
  • การสร้างแบบจำลองจุดเมฆ[ 40 ]
  • การสร้างวิดีโอ[ 41 ]
  • การบีบอัดภาพแบบสูญเสียข้อมูล[ 32 ]
  • การตรวจจับความผิดปกติ[ 42 ]
  • โมเดลสร้างข้อมูลเชิงลึกแบบอิงตามกระแส
  • แบบจำลองการไหลแบบปกติ

สรุปเนื้อหา

ข้อมูลสำคัญจากบทความ

ข้อมูลสำคัญเกี่ยวกับ ไม่มีชื่อบทความ

แบบ จำลองการสร้างตามการไหล เป็น แบบจำลองการสร้าง ที่ใช้ใน การเรียน รู้ ของเครื่อง ซึ่งจำลอง การกระจายความน่าจะ เป็นอย่างชัดเจน โดยใช้ประโยชน์จาก การไหลแบบปกติ [ 1 ] [ 2 ] [ 3 ]...

วิธี

อนุญาต z 0 {\displaystyle z_{0}} เป็น ตัวแปรสุ่ม (อาจเป็นตัวแปรสุ่มหลายตัว) ที่มีการกระจายตัว พี 0 ( z 0 ) {\displaystyle p_{0}(z_{0})} .

การหาค่าลอการิทึมความน่าจะเป็น

พิจารณา z 1 {\displaystyle z_{1}} และ z 0 {\displaystyle z_{0}} โปรดทราบว่า z 0 = เอฟ 1 − 1 ( z 1 ) {\displaystyle z_{0}=f_{1}^{-1}(z_{1})} .

วิธีการฝึกอบรม

โดยทั่วไปแล้ว เมื่อฝึกโมเดลการเรียนรู้เชิงลึก เป้าหมายของการทำให้การไหลเป็นมาตรฐานคือการลด ค่าความแตกต่าง Kullback–Leibler ระหว่างความน่าจะเป็นของโมเดลและการกระจายเป้าหมายที่จะประมาณค่าให้เหลือน้อยที่สุด โดยกำหนดให้ พี θ {\displaystyle p_{\theta }}...