แบบจำลองการสร้างตามกระแส
แบบจำลองการสร้างตามการไหลเป็นแบบจำลองการสร้างที่ใช้ใน การเรียน รู้ของเครื่องซึ่งจำลองการกระจายความน่าจะ เป็นอย่างชัดเจน โดยใช้ประโยชน์จากการไหลแบบปกติ [ 1 ] [ 2 ] [ 3 ]ซึ่งเป็นวิธีการทางสถิติที่ใช้ กฎ การเปลี่ยนแปลงตัวแปรของความน่าจะเป็นเพื่อแปลงการกระจายแบบง่ายให้เป็นการกระจายที่ซับซ้อน
การสร้างแบบจำลองความน่าจะเป็นโดยตรงมีข้อดีหลายประการ ตัวอย่างเช่น สามารถคำนวณและลดค่าลอการิทึมความน่าจะเป็นเชิงลบได้โดยตรงในฐานะฟังก์ชันความสูญเสียนอกจากนี้ ยังสามารถสร้างตัวอย่างใหม่ได้โดยการสุ่มตัวอย่างจากการกระจายเริ่มต้น และใช้การแปลงการไหล
ในทางตรงกันข้าม วิธีการสร้างแบบจำลองเชิงกำเนิดทางเลือกอื่นๆ มากมาย เช่นตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAEs)เครือข่ายปฏิปักษ์เชิงกำเนิด (GANs)หรือแบบจำลองการแพร่กระจายไม่ได้แสดงฟังก์ชันความน่าจะเป็นอย่าง ชัดเจน
วิธี

อนุญาตเป็นตัวแปรสุ่ม (อาจเป็นตัวแปรสุ่มหลายตัว) ที่มีการกระจายตัว.
สำหรับ, อนุญาตเป็นลำดับของตัวแปรสุ่มที่แปลงมาจากฟังก์ชันต่างๆควรเป็นฟังก์ชันผกผันได้ กล่าวคือฟังก์ชันผกผันมีอยู่จริง ผลลัพธ์สุดท้ายแบบจำลองการกระจายเป้าหมาย
ความน่าจะเป็นล็อกของคือ (ดูที่มา ):
การเรียนรู้การกระจายความน่าจะเป็นโดยการหาอนุพันธ์ของลอการิทึมจาโคเบียนดังกล่าวมีต้นกำเนิดมาจากแนวทางอินโฟแม็กซ์ (ความน่าจะเป็นสูงสุด) สำหรับ ICA [ 4 ]ซึ่งสร้างแบบจำลองการไหลแบบชั้นเดียว (K=1) ที่เกี่ยวข้อง ต้นแบบชั้นเดียวของการไหลแบบสร้างเงื่อนไขปรากฏใน[ 5 ]
เพื่อคำนวณค่าลอการิทึมความน่าจะเป็นอย่างมีประสิทธิภาพ ฟังก์ชันต่างๆ จะต้อง...เมทริกซ์ควรสามารถหาเมทริกซ์ผกผันได้ง่าย และค่าดีเทอร์มิแนนต์ของเมทริกซ์จาโคเบียนควรคำนวณได้ง่าย ในทางปฏิบัติ ฟังก์ชันเหล่านี้แบบจำลองนี้ใช้โครงข่ายประสาทเทียมเชิงลึกและได้รับการฝึกฝนเพื่อลดค่าลบของลอการิทึมความน่าจะเป็นของตัวอย่างข้อมูลจากการกระจายเป้าหมาย สถาปัตยกรรมเหล่านี้มักได้รับการออกแบบเพื่อให้เฉพาะการส่งผ่านไปข้างหน้าของโครงข่ายประสาทเทียมเท่านั้นที่จำเป็นในการคำนวณทั้งแบบผกผันและแบบดีเทอร์มิแนนต์ของจาโคเบียน ตัวอย่างของสถาปัตยกรรมดังกล่าว ได้แก่ NICE [ 6 ] RealNVP [ 7 ]และ Glow [ 8 ]
การหาค่าลอการิทึมความน่าจะเป็น
พิจารณาและโปรดทราบว่า.
โดยใช้ สูตร การเปลี่ยนตัวแปรการกระจายของเป็น:
ที่ไหนคือดีเทอร์มิแนนต์ของเมทริกซ์จาโคเบียนของ.
โดยทฤษฎีบทฟังก์ชันผกผัน :
โดยอัตลักษณ์(ที่ไหนถ้าเมทริกซ์ นั้นเป็นเมทริกซ์ผกผันได้เราจะได้ว่า:
ค่าลอการิทึมความน่าจะเป็นจึงเป็นดังนี้:
โดยทั่วไปแล้ว ข้อความข้างต้นใช้ได้กับทุกกรณีและ. เนื่องจากเท่ากับเมื่อลบด้วยพจน์ที่ไม่เวียนเกิด เราสามารถอนุมานโดยการอุปมานได้ว่า:
วิธีการฝึกอบรม
โดยทั่วไปแล้ว เมื่อฝึกโมเดลการเรียนรู้เชิงลึก เป้าหมายของการทำให้การไหลเป็นมาตรฐานคือการลดค่าความแตกต่าง Kullback–Leiblerระหว่างความน่าจะเป็นของโมเดลและการกระจายเป้าหมายที่จะประมาณค่าให้เหลือน้อยที่สุด โดยกำหนดให้ความน่าจะเป็นของแบบจำลองและการกระจายเป้าหมายที่จะเรียนรู้ ค่าความแตกต่าง KL (ไปข้างหน้า) คือ:
พจน์ที่สองทางด้านขวามือของสมการสอดคล้องกับเอนโทรปีของการกระจายเป้าหมายและไม่ขึ้นอยู่กับพารามิเตอร์เราต้องการให้แบบจำลองเรียนรู้ ซึ่งเหลือเพียงค่าคาดหวังของลอการิทึมลบความน่าจะเป็นที่จะต้องลดให้เหลือน้อยที่สุดภายใต้การแจกแจงเป้าหมาย เทอมที่คำนวณได้ยากนี้สามารถประมาณได้ด้วยวิธีมอนเตคาร์โลโดยใช้การสุ่มตัวอย่างแบบสำคัญแท้จริงแล้ว ถ้าเรามีชุดข้อมูลโดยแต่ละตัวอย่างถูกสุ่มอย่างอิสระจากกลุ่มตัวอย่างเป้าหมายดังนั้น เทอมนี้สามารถประมาณค่าได้ดังนี้:
ดังนั้นวัตถุประสงค์การเรียนรู้
ถูกแทนที่ด้วย
กล่าวอีกนัยหนึ่ง การลดความแตกต่างของ Kullback–Leiblerระหว่างความน่าจะเป็นของแบบจำลองและการกระจายเป้าหมายให้เหลือน้อยที่สุดนั้นเทียบเท่ากับการเพิ่มความน่าจะเป็นของแบบจำลองให้สูงสุดภายใต้ตัวอย่างที่สังเกตได้ของการกระจายเป้าหมาย[ 9 ]
รหัสเทียมสำหรับการฝึกการไหลปกติมีดังนี้: [ 10 ]
- ชุดข้อมูลอินพุตแบบจำลองการไหลแบบปกติ.
- แก้ปัญหา.โดยการลดระดับความชัน
- กลับ.
ตัวแปร
การไหลแบบระนาบ
ตัวอย่างแรกสุด[ 11 ]แก้ไขฟังก์ชันการเปิดใช้งานบางอย่างและปล่อยให้ด้วยขนาดที่เหมาะสมแล้วสิ่งที่ตรงกันข้ามโดยทั่วไปแล้วไม่มีคำตอบในรูปแบบตายตัว
ค่า Jacobian คือ.
เพื่อให้เมทริกซ์นั้นสามารถหาเมทริกซ์ผกผันได้ทุกที่ เมทริกซ์นั้นจะต้องมีค่าไม่เป็นศูนย์ทุกที่ ตัวอย่างเช่นและตรงตามข้อกำหนด
การประมาณค่าส่วนประกอบอิสระแบบไม่เชิงเส้น (NICE)
อนุญาตเป็นมิติคู่ และแบ่งตรงกลาง[ 6 ]จากนั้นฟังก์ชันการไหลปกติคือที่ไหนคือโครงข่ายประสาทเทียมใดๆ ที่มีน้ำหนัก.
ก็แค่และเมทริกซ์จาโคเบียนมีค่าเท่ากับ 1 ซึ่งหมายความว่าการไหลนั้นรักษาปริมาตรไว้
เมื่อไรสิ่งนี้ถูกมองว่าเป็นการเฉือนโค้งไปตามแนวทิศทาง.
สารกันปริมาตรไม่คงที่ (Real NVP)
แบบจำลองที่ไม่รักษาปริมาตรที่แท้จริงจะขยายแบบจำลอง NICE โดย: [ 7 ]
สิ่งที่ตรงกันข้ามกับมันคือและเมทริกซ์จาโคเบียนของมันคือโมเดล NICE จะถูกกู้คืนโดยการตั้งค่าเนื่องจากแผนที่ NVP ที่แท้จริงจะเก็บครึ่งแรกและครึ่งหลังของเวกเตอร์ไว้แยกต่างหาก โดยปกติแล้วจะต้องเพิ่มการเรียงสับเปลี่ยนเข้าไปด้วยหลังจากเลเยอร์ NVP จริงทุกชั้น
กระแสการสร้าง (เรืองแสง)
ในแบบจำลองการไหลแบบกำเนิด[ 8 ]แต่ละชั้นมี 3 ส่วน:
- การแปลงเชิงเส้นแบบช่องต่อช่องด้วยจาโคเบียน.
- การคอนโวลูชัน 1x1 ที่ผกผันได้ด้วยจาโคเบียน. ที่นี่คือเมทริกซ์ผกผันใดๆ
- NVP ที่แท้จริง โดยใช้ Jacobian ตามที่อธิบายไว้ใน NVP ที่แท้จริง
แนวคิดของการใช้การแปลงแบบคอนโวลูชัน 1x1 ที่ผกผันได้ คือการสลับตำแหน่งของทุกเลเยอร์โดยทั่วไป แทนที่จะสลับตำแหน่งเฉพาะครึ่งแรกและครึ่งหลัง เหมือนใน Real NVP
การไหลแบบอัตถารีเกรสซีฟแบบปิดบัง (MAF)
แบบจำลองอัตถารีเกรสซีฟของการกระจายตัวบนถูกกำหนดให้เป็นกระบวนการสุ่ม ดังต่อไปนี้ : [ 12 ]
ที่ไหนและเป็นฟังก์ชันคงที่ที่กำหนดแบบจำลองอัตถารีเกรสซีฟ
ด้วยเทคนิคการปรับพารามิเตอร์ใหม่โมเดลอัตถารีเกรสซีฟจึงถูกขยายไปสู่กระแสการทำให้เป็นมาตรฐาน:แบบจำลองอัตถารีเกรสซีฟจะถูกกู้คืนโดยการตั้งค่า.
การแปลงข้อมูลไปข้างหน้าช้า (เพราะเป็นการประมวลผลแบบเรียงลำดับ) แต่การแปลงข้อมูลย้อนกลับเร็ว (เพราะเป็นการประมวลผลแบบขนาน)
เมทริกซ์จาโคเบียนเป็นเมทริกซ์ทแยงมุมล่าง ดังนั้น จาโคเบียนคือ.
การสลับแผนที่ทั้งสองและผลลัพธ์ของ MAF ส่งผลให้เกิดการไหลแบบอัตถารีเกรสซีฟผกผัน (IAF) ซึ่งมีการแมปไปข้างหน้าอย่างรวดเร็วและการแมปย้อนกลับที่ช้า[ 13 ]
การไหลแบบปรับมาตรฐานอย่างต่อเนื่อง (CNF)
แทนที่จะสร้างการไหลโดยการประกอบฟังก์ชัน อีกแนวทางหนึ่งคือการกำหนดการไหลเป็นไดนามิกแบบต่อเนื่องตามเวลา[ 14 ] [ 15 ]ให้เป็นตัวแปรแฝงที่มีการกระจายตัวแปลงตัวแปรแฝงนี้ไปเป็นพื้นที่ข้อมูลโดยใช้ฟังก์ชันการไหลต่อไปนี้:
ที่ไหนเป็นฟังก์ชันที่กำหนดขึ้นเองได้ และสามารถจำลองได้ด้วยโครงข่ายประสาทเทียม เป็นต้น
ฟังก์ชันผกผันจึงเป็นดังนี้ตามธรรมชาติ: [ 14 ]
และค่าลอการิทึมความน่าจะเป็นของสามารถพบได้ดังนี้: [ 14 ]
เนื่องจากร่องรอยขึ้นอยู่กับแนวทแยงของเมทริกซ์จาโคเบียนเท่านั้นสิ่งนี้ทำให้ Jacobian มีรูปแบบ "อิสระ" [ 16 ]ในที่นี้ "รูปแบบอิสระ" หมายความว่าไม่มีข้อจำกัดใดๆ เกี่ยวกับรูปแบบของ Jacobian ซึ่งแตกต่างจากแบบจำลองการไหลแบบแยกส่วนก่อนหน้านี้ที่ Jacobian ได้รับการออกแบบอย่างระมัดระวังให้เป็นเพียงแนวทแยงมุมบนหรือล่างเท่านั้น เพื่อให้สามารถประเมิน Jacobian ได้อย่างมีประสิทธิภาพ
ร่องรอยสามารถประมาณได้ด้วย "เทคนิคของฮัทชินสัน": [ 17 ] [ 18 ]
กำหนดเมทริกซ์ใดๆและสุ่มเลือกใดๆกับเรามี(พิสูจน์: ขยายค่าคาดหวังโดยตรง)
โดยปกติ เวกเตอร์สุ่มจะถูกสุ่มมาจาก(การแจกแจงแบบปกติ) หรือ( การแจกแจงแบบราเดมาเชอร์ )
เมื่อไรหากนำไปใช้เป็นเครือข่ายประสาทจะต้องใช้วิธีการ ODE ของระบบประสาท[ 19 ] อันที่จริง CNF ได้รับการเสนอครั้งแรกในเอกสารฉบับเดียวกันกับที่เสนอ ODE ของระบบประสาท
CNF มีข้อบกพร่องหลักสองประการ ประการแรกคือ การไหลอย่างต่อเนื่องจะต้องเป็นโฮมีโอเมอร์ฟิซึมซึ่งหมายความว่าต้องรักษาทิศทางและไอโซโทปีของสิ่งแวดล้อม (ตัวอย่างเช่น เป็นไปไม่ได้ที่จะพลิกมือซ้ายให้เป็นมือขวาโดยการเปลี่ยนรูปพื้นที่อย่างต่อเนื่อง และเป็นไปไม่ได้ที่จะพลิกทรงกลมจากด้านในออกด้านนอกหรือแก้ปม) และประการที่สองคือ การไหลที่เรียนรู้มานั้นอาจมีพฤติกรรมไม่ดีเนื่องจากความเสื่อม (กล่าวคือ มีความเป็นไปได้นับไม่ถ้วน)ซึ่งทั้งหมดนี้แก้ปัญหาเดียวกัน)
ด้วยการเพิ่มมิติพิเศษ CNF จะได้รับอิสระมากพอที่จะกลับทิศทางการวางแนวและก้าวข้ามไอโซโทปีแวดล้อม (เช่นเดียวกับการที่คนเราสามารถหยิบรูปหลายเหลี่ยมจากโต๊ะและพลิกมันไปรอบๆ ในพื้นที่ 3 มิติ หรือคลายปมในพื้นที่ 4 มิติ) ทำให้เกิด "ODE ประสาทเสริม" [ 20 ]
โฮโมมอร์ฟิซึมใดๆ ของสามารถประมาณได้ด้วย ODE ประสาทที่ทำงานบนพิสูจน์โดยการรวมทฤษฎีบทการฝังตัวของ Whitneyสำหรับแมนิโฟลด์และทฤษฎีบทการประมาณค่าสากลสำหรับเครือข่ายประสาท[ 21 ]
เพื่อปรับการไหลให้เป็นปกติสามารถกำหนดการสูญเสียแบบปรับให้เรียบได้ เอกสาร[ 17 ]เสนอการสูญเสียแบบปรับให้เรียบต่อไปนี้โดยอิงตามทฤษฎีการขนส่งที่เหมาะสมที่สุด :ที่ไหนเป็นพารามิเตอร์เสริม เทอมแรกจะลงโทษแบบจำลองหากสนามการไหลแกว่งไปมาตามเวลา และเทอมที่สองจะลงโทษแบบจำลองหากสนามการไหลแกว่งไปมาตามพื้นที่ ทั้งสองเทอมรวมกันจะช่วยนำทางแบบจำลองไปสู่การไหลที่ราบเรียบ (ไม่ใช่ "ขรุขระ") ทั้งในแง่ของพื้นที่และเวลา
การไหลบนท่อร่วม
เมื่อการไหลเชิงความน่าจะเป็นแปลงการกระจายบนแมนิโฟลด์เรียบมิติ - ฝังอยู่ใน, ที่ไหนและในกรณีที่การแปลงถูกระบุเป็นฟังก์ชันปัจจัยการปรับขนาดระหว่าง PDF ต้นฉบับและPDF ที่แปลงแล้วนั้น ไม่ได้มาจากการคำนวณดีเทอร์มิแนนต์แบบง่ายๆ ของแทนที่จะใช้ ค่า Jacobian (ซึ่งมีค่าเป็นศูนย์) แต่ใช้ค่า determinant ของเมทริกซ์ที่กำหนดไว้อย่างเหมาะสมอย่างน้อยหนึ่งเมทริกซ์แทนเมทริกซ์ ส่วนนี้เป็นการตีความบทช่วยสอนในภาคผนวกของ Sorrenson et al.(2023) [ 22 ]ซึ่งกรณีทั่วไปของแมนิโฟลด์รีมันน์ ที่ฝังแบบไม่สมมาตร ก็ได้รับการจัดการด้วยเช่นกัน ในที่นี้เราจำกัดความสนใจไว้ที่แมนิโฟลด์ที่ฝังแบบสมมาตร
ตัวอย่างการใช้งานของแมนิโฟลด์ที่มีการฝังแบบไอโซเมตริกที่ราบเรียบในเราจะใช้:
- ไฮเปอร์สเฟียร์หน่วย:โดยสามารถใช้การไหลเพื่อสรุปผลทั่วไป เช่น การ กระจายแบบ Von Mises-Fisherหรือการกระจายทรงกลมแบบสม่ำเสมอ
- ภายใน ห้อง ซิมเพล็กซ์ :, ที่ไหนการแจกแจงเชิงหมวดหมู่แบบหลายทางนั้นมีอยู่จริง และสามารถใช้การไหลเพื่อสรุปทั่วไป เช่น การแจกแจง แบบ Dirichletหรือการแจกแจงแบบ simplex ที่สม่ำเสมอได้
ตัวอย่างแรกของการแปลงการไหลบนแมนิโฟลด์ทรงกลม คือการแปลงเชิงเส้นแบบนอร์มาไลซ์ซึ่งฉายผลลัพธ์ของการแปลงเชิงเส้นแบบผกผันได้ลงบนทรงกลมหน่วย โดยมีพารามิเตอร์คือเมทริกซ์ผกผัน:
- ;\mathbf {M} )={\frac {\mathbf {Mx} }{\lVert \mathbf {Mx} \rVert }}}
ในปริภูมิยูคลิดแบบสมบูรณ์ไม่สามารถหาเมทริกซ์ผกผันได้ แต่ถ้าเราจำกัดโดเมนและโคโดเมนให้อยู่ในทรงกลมหน่วยแล้วสามารถผกผันได้ (โดยเฉพาะอย่างยิ่ง เป็นการจับคู่แบบหนึ่งต่อหนึ่งทั่วถึง การจับคู่แบบ โฮมีโอเมอร์ฟิ ซึม และการจับคู่แบบดิฟเฟโอเมอร์ฟิซึม ) โดยมีตัวผกผันจาโคเบียนของ, ที่ ;\mathbf {M} )} คือซึ่งมีอันดับและดีเทอร์มิแนนต์ของศูนย์ ในขณะที่ตามที่อธิบายไว้ที่นี่ปัจจัย (ดูหัวข้อย่อยด้านล่าง) ที่เชื่อมโยงความหนาแน่นของแหล่งกำเนิดและความหนาแน่นที่แปลงแล้วคือ:.
อัตราส่วนปริมาตรที่แตกต่างกัน
สำหรับ, อนุญาตเป็นแมนิโฟลด์หลายมิติที่มีการฝังตัวแบบไอโซเมตริกที่ราบเรียบเข้าไปใน. อนุญาตเป็นการแปลงการไหลที่ราบรื่นโดยมีช่วงจำกัดไว้ที่. อนุญาตสุ่มตัวอย่างจากการกระจายที่มีความหนาแน่น. อนุญาตส่งผลให้มีความหนาแน่น (แบบผลักไปข้างหน้า). อนุญาตเป็นบริเวณนูนขนาดเล็กที่บรรจุอยู่ภายในและปล่อยให้เป็นภาพลักษณ์ของมัน ซึ่งประกอบด้วยจากนั้นโดยอาศัยหลักการอนุรักษ์ความน่าจะเป็น:
โดยปริมาตร (สำหรับบริเวณเล็ก ๆ) จะกำหนดโดยการวัดแบบเลเบสในปริภูมิสัมผัสแบบหลายมิติโดยการทำให้บริเวณมีขนาดเล็กมากจนแทบไม่มีที่สิ้นสุด ปัจจัยที่เชื่อมโยงความหนาแน่นทั้งสองเข้าด้วยกันคืออัตราส่วนของปริมาตร ซึ่งเราเรียกว่าอัตราส่วนปริมาตรเชิงอนุพันธ์
เพื่อให้ได้สูตรที่ชัดเจนสำหรับการคำนวณปริมาตรบนเราสร้างแมนิโฟลด์มิติ - มิติโดยการทำแผนที่แปลงสี่เหลี่ยมผืนผ้าหลายมิติในพื้นที่พิกัด (ท้องถิ่น) ไปยังแมนิโฟลด์ผ่านฟังก์ชันการฝังตัวแบบเรียบ:ที่ระดับขนาดเล็กมาก ฟังก์ชันการฝังตัวจะกลายเป็นเชิงเส้นโดยพื้นฐาน ดังนั้นเป็นรูปสี่เหลี่ยมด้านขนาน (การขยายรูปสี่เหลี่ยมด้านขนานไปเป็นหลายมิติ) ในทำนองเดียวกัน การแปลงการไหลกลายเป็นเส้นตรง ดังนั้นภาพจึงเป็นรูปสี่เหลี่ยมด้านขนานเช่นกัน ในเราสามารถแสดงแทนได้สี่เหลี่ยมด้านขนานมิติที่มีเมทริกซ์ที่มีเวกเตอร์คอลัมน์เป็นเซตของขอบ (ที่มาบรรจบกันที่จุดยอดร่วม) ซึ่งทอดข้ามรูปทรงขนาน ปริมาตรหาได้จากค่าสัมบูรณ์ของดีเทอร์มิแนนต์ของเมทริกซ์นี้ ในกรณีทั่วไป (เช่นในกรณีนี้)พาราเลลโลโทปมิติถูกฝังอยู่ในสามารถแสดงได้ด้วย (สิ่งสูง)เมทริกซ์ เช่นโดยกำหนดให้รูปทรงสี่เหลี่ยมด้านขนานเป็นปริมาตรของมันจะหาได้จากรากที่สองของค่าคงที่แกรม :
ในหัวข้อด้านล่างนี้ เราจะแสดงวิธีการต่างๆ ในการใช้สูตรปริมาตรนี้เพื่อหาอัตราส่วนปริมาตรเชิงอนุพันธ์
การไหลแบบซิมเพล็กซ์
ตัวอย่างแรก เราจะพัฒนาสูตรสำหรับอัตราส่วนปริมาตรเชิงอนุพันธ์ของการไหลแบบซิมเพล็กซ์, ที่ไหนกำหนดฟังก์ชันการฝังข้อมูล :
ซึ่งกำหนดแผนที่ที่เลือกไว้อย่างเหมาะสมการแสดงผลแบบหลายมิติไปยังแมนิโฟลด์ที่ฝังอยู่จาโคเบียนคือ เพื่อกำหนดองค์ประกอบปริมาตรเชิงอนุพันธ์ที่อินพุตการแปลง () เราเริ่มต้นด้วยรูปสี่เหลี่ยมผืนผ้าใน-ช่องว่างที่มีความยาวด้านต่างกัน (แบบมีเครื่องหมาย)จากนั้นเราจะสร้างเมทริกซ์ทแยงมุมสี่เหลี่ยมจัตุรัสขึ้นมาโดยที่เสาเหล่านั้นทอดยาวไปตามสี่เหลี่ยมผืนผ้า ในระดับที่เล็กมาก เราจะได้, กับ:

เพื่อทำความเข้าใจการตีความทางเรขาคณิตของตัวประกอบโปรดดูตัวอย่างของซิมเพล็กซ์ 1 ในแผนภาพด้านขวา
องค์ประกอบปริมาตรเชิงอนุพันธ์ที่เอาต์พุตการแปลง () คือรูปสี่เหลี่ยมด้านขนาน, ที่ไหนคือจาโคเบียนของที่ปริมาตรของมันคือ:
ดังนั้นปัจจัยนั้นตัดกันในอัตราส่วนปริมาตร ซึ่งสามารถประเมินค่าเชิงตัวเลขได้แล้ว อย่างไรก็ตาม สามารถเขียนใหม่ในรูปแบบที่สะดวกกว่าได้ในบางครั้ง โดยการแนะนำฟังก์ชันการแสดงผล เพิ่มเติม ด้วยซึ่งเพียงแค่ดึงข้อมูลแรกออกมาส่วนประกอบต่างๆ เมทริกซ์จาโคเบียนคือโปรดสังเกตว่า เนื่องจากกฎลูกโซ่สำหรับการประกอบฟังก์ชันให้ผลลัพธ์ดังนี้:โดยการนำการขยายนี้ไปใส่ในดีเทอร์มิแนนต์ของแกรมข้างต้น แล้วทำการปรับโครงสร้างใหม่ให้เป็นผลคูณของดีเทอร์มิแนนต์ของเมทริกซ์จัตุรัส เราสามารถแยกตัวประกอบออกมาได้ซึ่งตอนนี้ก็ตัดกันในอัตราส่วนด้วย ซึ่งในที่สุดก็จะลดรูปเหลือเพียงดีเทอร์มิแนนต์ของจาโคเบียนของการแปลงการไหลแบบ "แซนด์วิช":
ซึ่งถ้าหากสามารถใช้เพื่อหาค่าความหนาแน่นของการผลักดันไปข้างหน้าหลังจากการเปลี่ยนตัวแปรได้:
สูตรนี้ใช้ได้เฉพาะในกรณีที่ซิมเพล็กซ์แบนราบและจาโคเบียนมีค่าคงที่ กรณีทั่วไปสำหรับแมนิโฟลด์โค้งจะกล่าวถึงต่อไปหลังจากที่เราได้นำเสนอตัวอย่างที่เป็นรูปธรรมสองตัวอย่างของการแปลงการไหลแบบซิมเพล็กซ์
การแปลงสอบเทียบซิมเพล็กซ์
การแปลงค่าสอบเทียบซึ่งบางครั้งใช้ในแมชชีนเลิร์นนิงสำหรับการประมวลผลภายหลังของผลลัพธ์ (ความน่าจะเป็นภายหลังของคลาส) ของแบบจำลองความน่าจะเป็น-ตัวจำแนกคลาส[ 23 ] [ 24 ]ใช้ฟังก์ชัน softmaxเพื่อปรับค่าการกระจายหมวดหมู่ใหม่หลังจากปรับขนาดและแปลการกระจายอินพุตในพื้นที่ความน่าจะเป็นลอการิทึม สำหรับและด้วยพารามิเตอร์ต่างๆและสามารถระบุการแปลงได้ดังนี้:
โดยที่ค่าลอการิทึมถูกนำไปใช้กับแต่ละองค์ประกอบ หลังจากทำการคำนวณทางพีชคณิตแล้วอัตราส่วนปริมาตรเชิงอนุพันธ์สามารถแสดงได้ดังนี้:
- ผลลัพธ์นี้ยังสามารถได้รับโดยการแยกความหนาแน่นของ การ กระจาย SGB [ 25 ]ซึ่งได้มาจากการส่ง ตัวแปร Dirichletผ่าน.
ในขณะที่การแปลงค่าสอบเทียบมักถูกฝึกฝนเป็นแบบจำลองจำแนกแต่การตีความใหม่ในที่นี้ในฐานะกระแสความน่าจะเป็นยังช่วยให้สามารถออกแบบ แบบจำลองสอบเทียบ แบบสร้างโดยอิงจากการแปลงค่านี้ได้ด้วย เมื่อใช้สำหรับการสอบเทียบ ข้อจำกัดสามารถกำหนดเงื่อนไขเพื่อป้องกันการกลับทิศทางในพื้นที่ความน่าจะเป็นแบบลอการิทึมได้ โดยมีข้อจำกัดเพิ่มเติมการแปลงนี้ (ด้วยการฝึกฝนแบบจำแนก) เป็นที่รู้จักในด้านการเรียนรู้ของเครื่องจักรในชื่อการปรับขนาดอุณหภูมิ (temperature scaling )
การแปลงการปรับเทียบทั่วไป
การแปลงค่าสอบเทียบข้างต้นสามารถนำไปประยุกต์ใช้ได้โดยทั่วไปดังนี้โดยมีพารามิเตอร์และผกผันได้: [ 26 ]
- ;\mathbf {A} ,\mathbf {c} )=\operatorname {softmax} (\mathbf {A} \log \mathbf {p} +\mathbf {c} )\,,\;{\text{subject to}}\;\mathbf {A1} =\lambda \mathbf {1} }
โดยที่เงื่อนไขที่ว่ามีเนื่องจากเวกเตอร์ลักษณะเฉพาะช่วยให้สามารถหาค่าผกผันได้โดยหลีกเลี่ยงการสูญเสียข้อมูลอันเนื่องมาจากความไม่เปลี่ยนแปลง:โปรดสังเกตเป็นพิเศษว่าเป็นการ กำหนดพารามิเตอร์แนวทแยงมุมที่อนุญาต เพียงแบบเดียวซึ่งในกรณีนี้เราจะได้ผลลัพธ์กลับคืนมา ;\lambda ^{-1},\mathbf {c} )} , ในขณะที่ (สำหรับ) การสรุปทั่วไปสามารถทำได้กับเมทริกซ์ที่ไม่ใช่เมทริกซ์ทแยงมุมเมทริกซ์ผกผันคือ:
- ;\mathbf {A} ,\mathbf {c} )=f_{\text{gcal}}(\mathbf {q} ;\mathbf {A} ^{-1},-\mathbf {A} ^{-1}\mathbf {c} )\,,\;{\text{โดยที่}}\;\mathbf {A1} =\lambda \mathbf {1} \Longrightarrow \mathbf {A} ^{-1}\mathbf {1} =\lambda ^{-1}\mathbf {1} }
อัตราส่วนปริมาตรที่แตกต่างกันคือ:
- ;\mathbf {A} ,\mathbf {c} )={\frac {\left|\operatorname {det} (\mathbf {A} )\right|}{|\lambda |}}\prod _{i=1}^{n}{\frac {q_{i}}{p_{i}}}}
ถ้าหากจะใช้เป็นการแปลงค่าเพื่อปรับเทียบ อาจมีการกำหนดข้อจำกัดเพิ่มเติมได้ เช่นเป็นเมทริกซ์บวกแน่นอน ดังนั้นซึ่งจะช่วยหลีกเลี่ยงการกลับทิศทาง (นี่คือการสรุปทั่วไปที่เป็นไปได้ประการหนึ่งของในพารามิเตอร์.)
สำหรับ,และบวกแน่นอน ดังนั้นและถือว่าเทียบเท่ากันในแง่ที่ว่าในทั้งสองกรณีเป็นเส้นตรง ซึ่งความชัน (ที่เป็นบวก) และค่าชดเชยเป็นฟังก์ชันของพารามิเตอร์การแปลง สำหรับเป็นการสรุปโดยทั่วไป.
อย่างไรก็ตาม ต้องสังเกตว่าการเชื่อมต่อหลายๆ ครั้งเข้าด้วยกันนั้นการแปลงการไหลไม่ได้ให้ข้อสรุปทั่วไปเพิ่มเติม เนื่องจาก:
ในความเป็นจริง ชุดของการแปลงต่างๆ ก่อตัวเป็นกลุ่มภายใต้การประกอบฟังก์ชัน เซตของการแปลงต่างๆ ก่อให้เกิดกลุ่มย่อย
ดูเพิ่มเติม: การปรับเทียบ Dirichlet [ 27 ]ซึ่งเป็นการสรุปทั่วไปโดยไม่กำหนดข้อจำกัดใดๆ ให้กับเมทริกซ์ดังนั้นจึงไม่รับประกันความสามารถในการผกผัน ในขณะที่การปรับเทียบแบบ Dirichlet ได้รับการฝึกฝนให้เป็นแบบจำลองเชิงจำแนกนอกจากนี้ยังสามารถฝึกฝนได้ในฐานะส่วนหนึ่งของแบบจำลองการปรับเทียบแบบสร้างสรรค์
อัตราส่วนปริมาตรที่แตกต่างกันสำหรับท่อร่วมโค้ง
พิจารณาการไหลบนท่อโค้ง ตัวอย่างเช่นซึ่งเราได้ติดตั้งฟังก์ชันการฝังข้อมูลไว้ด้วยที่แมปชุดของพิกัดทรงกลมเชิงมุมไปยังจาโคเบียนของเป็นค่าที่ไม่คงที่ และเราต้องประเมินค่าที่อินพุตทั้งสอง () และผลลัพธ์ (หลักการเดียวกันนี้ใช้ได้กับฟังก์ชันการแสดงผลที่กู้คืนพิกัดทรงกลมจากจุดบนซึ่งเราต้องการ Jacobian ที่เอาต์พุต (). อัตราส่วนปริมาตรที่แตกต่างกันสามารถสรุปได้ดังนี้:
เพื่อให้ได้ความเข้าใจเชิงเรขาคณิต ลองพิจารณาดูโดยที่พิกัดทรงกลมนั้นอยู่ในแนวละติจูดเดียวกันและลองจิจูด. ที่เราได้รับซึ่งจะให้รัศมีของวงกลมที่ละติจูดนั้น (เช่น เปรียบเทียบวงกลมขั้วโลกกับเส้นศูนย์สูตร) ปริมาตรเชิงอนุพันธ์ (พื้นที่ผิวบนทรงกลม) คือ:.
การคำนวณข้างต้นสำหรับมีความเปราะบางในแง่ที่ว่าเมื่อใช้ฟังก์ชันคงที่อาจมีบางจุดที่พิกัดไม่ชัดเจน เช่น ที่ขั้วของทรงกลม 2 มิติ ซึ่งเส้นลองจิจูดไม่แน่นอน ปัญหานี้สามารถหลีกเลี่ยงได้ (โดยใช้กลไกแมนิโฟลด์มาตรฐาน) โดยการขยายไปสู่ พิกัด ท้องถิ่น (แผนที่) ซึ่งในบริเวณใกล้เคียงกับเราสร้างแผนที่จากข้อมูลท้องถิ่นพิกัดหลายมิติและย้อนกลับโดยใช้คู่ฟังก์ชันที่เกี่ยวข้องและเรายังคงใช้สัญลักษณ์เดียวกันสำหรับเมทริกซ์จาโคเบียนของฟังก์ชันเหล่านี้ () ดังนั้นสูตรข้างต้นสำหรับยังคงมีผลใช้ได้
อย่างไรก็ตาม เราสามารถเลือกใช้ระบบพิกัดท้องถิ่นของเราในลักษณะที่ทำให้การแสดงออกของสมการง่ายขึ้นได้และรวมถึงการนำไปใช้ในทางปฏิบัติด้วย[ 22 ]ให้ :{\mathcal {P}}\to \mathbb {R} ^{n}} เป็นการฉายภาพเอกลักษณ์เรียบ () จากเซตที่ฉายได้ ,บนแมนิโฟลด์ที่ฝังตัวอยู่ ตัวอย่างเช่น:
- ออร์แธนต์บวกของฉายลงบนซิมเพล็กซ์ดังนี้:
- เวกเตอร์ที่ไม่เป็นศูนย์ในฉายลงบนทรงกลมหน่วยดังนี้:
สำหรับทุกๆเราต้องการว่ามันจาโคเบียนมีอันดับ(มิติของแมนิโฟลด์) ในกรณีนั้นเป็นการฉายภาพเชิงเส้นแบบเอกลักษณ์ลงบนปริภูมิสัมผัสเฉพาะที่ ( ตั้งฉากกับทรงกลมหน่วย)เฉียง สำหรับซิมเพล็ กซ์:คอลัมน์ของครอบคลุมปริภูมิสัมผัสแบบหลายมิติที่เราใช้สัญลักษณ์ว่าสำหรับใดๆเมทริกซ์ที่มีคอลัมน์ตั้งฉากกัน () ที่ครอบคลุมพื้นที่สัมผัสเฉพาะที่ โปรดทราบด้วยว่า:ตอนนี้เราสามารถเลือกฟังก์ชันการฝังพิกัดท้องถิ่นได้แล้ว:
เนื่องจากเมทริกซ์จาโคเบียนเป็นเมทริกซ์หนึ่งต่อหนึ่ง (อันดับเต็ม:) ตัวผกผันซ้าย เฉพาะที่ (ไม่จำเป็นต้องเป็นเอกลักษณ์) เช่นด้วยจาโคเบียนมีอยู่จริงซึ่งและในทางปฏิบัติ เราไม่จำเป็นต้องใช้ฟังก์ชันผกผันซ้ายเอง แต่เราจำเป็นต้องใช้เมทริกซ์จาโคเบียน ซึ่งสมการข้างต้นไม่ได้ให้คำตอบที่ไม่ซ้ำกัน อย่างไรก็ตาม เราสามารถบังคับให้เมทริกซ์จาโคเบียนมีคำตอบที่ไม่ซ้ำกันได้โดยการเลือกฟังก์ชันผกผันซ้ายดังนี้:
ในที่สุดเราก็สามารถเสียบปลั๊กได้แล้วและเข้าสู่การแสดงออกก่อนหน้านี้ของเราสำหรับอัตราส่วนปริมาตรที่แตกต่างกันซึ่งเนื่องจาก Jacobian ออร์โทนอร์มอล จึงทำให้ง่ายขึ้นเป็น: [ 28 ]
การนำไปปฏิบัติจริง
ในการเรียนรู้พารามิเตอร์ของการแปลงการไหลแบบหลายทาง เราจำเป็นต้องเข้าถึงอัตราส่วนปริมาตรที่แตกต่างกันหรืออย่างน้อยก็หาค่าความชันเทียบกับพารามิเตอร์ นอกจากนี้ สำหรับงานอนุมานบางอย่าง เราจำเป็นต้องเข้าถึงข้อมูลเหล่านี้ตัวมันเอง แนวทางแก้ไขที่เป็นรูปธรรม ได้แก่:
- Sorrenson et al.(2023) [ 22 ]เสนอวิธีแก้ปัญหาสำหรับการประมาณค่าความชันของพารามิเตอร์สุ่มที่มีประสิทธิภาพในการคำนวณสำหรับ
- สำหรับการปรับเปลี่ยนการไหลที่ออกแบบด้วยมือบางส่วนสามารถหาอนุพันธ์เชิงวิเคราะห์ได้ในรูปแบบปิด เช่น การแปลงการปรับเทียบซิมเพล็กซ์ที่กล่าวถึงข้างต้น ตัวอย่างเพิ่มเติมจะแสดงไว้ด้านล่างในส่วนเกี่ยวกับการไหลทรงกลมแบบง่าย
- บนแพลตฟอร์มซอฟต์แวร์ที่มีพีชคณิตเชิงเส้นและ การ หาอนุพันธ์อัตโนมัติสามารถประเมินผลได้โดยอัตโนมัติ เมื่อได้รับสิทธิ์การเข้าถึงเท่านั้น[ 29 ]แต่วิธีนี้มีราคาแพงสำหรับข้อมูลที่มีมิติสูง โดยอย่างน้อยต้องมีต้นทุนการคำนวณ ถึงกระนั้นก็ตาม วิธีแก้ปัญหาอัตโนมัติที่ช้าก็ยังมีคุณค่าอย่างยิ่งในฐานะเครื่องมือสำหรับการตรวจสอบเชิงตัวเลขของวิธีแก้ปัญหาแบบปิดที่ออกแบบด้วยมือ
การไหลทรงกลมอย่างง่าย
ในวรรณกรรมการเรียนรู้ของเครื่อง อาจพบการไหลทรงกลมที่ซับซ้อนต่างๆ ที่เกิดจากสถาปัตยกรรมเครือข่ายประสาทแบบลึก[ 22 ]ในทางตรงกันข้าม ส่วนนี้ได้รวบรวมรายละเอียดจาก วรรณกรรม ทางสถิติของการแปลงการไหลทรงกลมที่ง่ายมากสามแบบ พร้อมด้วยนิพจน์แบบปิดที่เรียบง่ายสำหรับส่วนกลับและอัตราส่วนปริมาตรเชิงอนุพันธ์ การไหลเหล่านี้สามารถใช้แยกกันหรือเชื่อมโยงกันเพื่อสรุปการกระจายบนทรงกลมหน่วยได้การไหลทั้งสามแบบนี้เป็นองค์ประกอบของการแปลงเชิงเส้นผกผันในตามด้วยการฉายภาพรัศมีกลับไปยังทรงกลม รูปแบบที่เราพิจารณาสำหรับการแปลงเชิงเส้นคือ การเลื่อนแบบบริสุทธิ์ การแปลงเชิงเส้นแบบบริสุทธิ์ และการแปลงเชิงเส้นทั่วไป เพื่อให้การไหลเหล่านี้ใช้งานได้อย่างเต็มประสิทธิภาพสำหรับการเรียนรู้ การอนุมาน และการสุ่มตัวอย่าง งานที่ต้องทำคือ:
- เพื่อหาอนุพันธ์ของการแปลงผกผัน โดยมีข้อจำกัดที่เหมาะสมเกี่ยวกับพารามิเตอร์เพื่อให้มั่นใจได้ว่าสามารถหาอนุพันธ์ผกผันได้
- เพื่อหาอัตราส่วนปริมาตรเชิงอนุพันธ์ ใน รูป แบบปิดที่ง่าย.
คุณสมบัติที่น่าสนใจอย่างหนึ่งของการไหลทรงกลมแบบง่ายเหล่านี้คือ พวกมันไม่ได้ใช้ความไม่เป็นเชิงเส้นใดๆ นอกจากการฉายภาพในแนวรัศมี แม้แต่การไหลที่ง่ายที่สุดอย่างการไหลแบบแปลนมาตรฐาน ก็สามารถเชื่อมต่อกันเพื่อสร้างการกระจายที่ยืดหยุ่นได้อย่างน่าประหลาดใจ
การไหลของการแปลแบบปกติ
กระแสการแปลแบบมาตรฐานโดยมีพารามิเตอร์กำหนดโดย:
- ;\mathbf {c} )={\frac {\mathbf {x} +\mathbf {c} }{\lVert \mathbf {x} +\mathbf {c} \rVert }}\,,\;{\text{โดยที่}}\;\lVert \mathbf {c} \rVert <1}
ฟังก์ชันผกผันสามารถหาได้โดยพิจารณาจาก:แล้วจึงใช้เพื่อให้ได้สมการกำลังสองเพื่อกู้คืนซึ่งจะได้ผลลัพธ์ดังนี้:
- ;\mathbf {c} )=\ell \mathbf {y} -\mathbf {c} \,,{\text{โดยที่}}\;\ell =\mathbf {y} '\mathbf {c} +{\sqrt {(\mathbf {y} '\mathbf {c} )^{2}+1-\mathbf {c} '\mathbf {c} }}}
จากนั้นเราจะเห็นว่าเราต้องการเพื่อรักษาไว้เป็นจริงและเชิงบวกสำหรับทุกคนอัตราส่วนปริมาตรที่แตกต่างกันนั้นกำหนดโดย Boulerice & Ducharme (1994) (โดยไม่ต้องพิสูจน์) ดังนี้: [ 30 ]
- ;\mathbf {c} )={\frac {1+\mathbf {x} '\mathbf {c} }{\lVert \mathbf {x} +\mathbf {c} \rVert ^{n}}}}
สามารถตรวจสอบยืนยันได้ด้วยวิธีการวิเคราะห์:
- โดยการจัดการอย่างยากลำบากของ.
- โดยการตั้งค่าใน ;\mathbf {M} ,\mathbf {c} )} ซึ่งแสดงไว้ด้านล่าง
สุดท้ายนี้ เป็นที่น่าสังเกตว่าและไม่ได้มีรูปแบบการทำงานเหมือนกัน
การไหลเชิงเส้นแบบปกติ
อัตราการไหลเชิงเส้นปกติโดยที่พารามิเตอร์เป็นค่าผกผันเมทริกซ์ กำหนดโดย:
- ;\mathbf {M} )={\frac {\mathbf {Mx} }{\lVert \mathbf {Mx} \rVert }}\;\iff \;\mathbf {x} =f_{\text{lin}}^{-1}(\mathbf {y} ;\mathbf {M} )=f_{\text{lin}}(\mathbf {y} ;\mathbf {M} ^{-1})={\frac {\mathbf {M^{-1}y} }{\lVert \mathbf {M^{-1}y} \rVert }}}
อัตราส่วนปริมาตรที่แตกต่างกันคือ:
- ;\mathbf {M} )={\frac {\left|\operatorname {det} \mathbf {M} \right|}{\lVert \mathbf {Mx} \rVert ^{n}}}}
ผลลัพธ์นี้สามารถได้มาโดยอ้อมผ่าน การกระจายแบบเกาส์เซียนกลางเชิงมุม ( ACG) [ 31 ]ซึ่งสามารถหาได้จากการแปลงเชิงเส้นปกติของตัวแปรทรงกลมแบบเกาส์เซียนหรือแบบสม่ำเสมอ ความสัมพันธ์แรกสามารถใช้เพื่อหาความหนาแน่นของ ACG โดยใช้ปริพันธ์มาร์จินัลไลเซชันเหนือรัศมี หลังจากนั้นความสัมพันธ์ที่สองสามารถใช้เพื่อแยกอัตราส่วนปริมาตรที่แตกต่างกัน สำหรับรายละเอียด โปรดดู การ กระจายACG
การไหลเชิงเส้นแบบนอร์มาไลซ์
การไหลเชิงเส้นแบบนอร์มาไลซ์โดยมีพารามิเตอร์และ,ผกผันได้ กำหนดโดย:
- ;\mathbf {M} ,\mathbf {c} )={\frac {\mathbf {Mx} +\mathbf {c} }{\lVert \mathbf {Mx} +\mathbf {c} \rVert }}\,,\;{\text{โดยที่}}\;\lVert \mathbf {M^{-1}c} \rVert <1}
ฟังก์ชันผกผัน ซึ่งได้มาในลักษณะเดียวกับฟังก์ชันผกผันการแปลแบบนอร์มาไลซ์ คือ:
- ;\mathbf {M} ,\mathbf {c} )=\mathbf {M} ^{-1}(\ell \mathbf {y} -\mathbf {c} )\,,{\text{โดยที่}}\;\ell ={\frac {\mathbf {y} '\mathbf {Wc} +{\sqrt {(\mathbf {y} '\mathbf {Wc} )^{2}+\mathbf {y} '\mathbf {Wy} (1-\mathbf {c} '\mathbf {Wc} )}}}{\mathbf {y} '\mathbf {Wy} }}}
ที่ไหนอัตราส่วนปริมาตรที่แตกต่างกันคือ:
- ;\mathbf {M} ,\mathbf {c} )=R_{\text{lin}}(\mathbf {x} ;\mathbf {M} +\mathbf {c} \mathbf {x} ')={\frac {\left|\operatorname {det} \mathbf {M} \right|(1+\mathbf {x} '\mathbf {M^{-1}c} )}{\lVert \mathbf {Mx+c} \rVert ^{n}}}}
ตัวเศษด้านขวาสุดถูกขยายจากโดยอาศัยทฤษฎีบทเกี่ยวกับดีเทอร์มิแนนต์ของเมทริกซ์เมื่อนึกถึงความเท่าเทียมกันระหว่างและเป็นเช่นนั้นเพราะไม่เพียงแต่:
- ;\mathbf {M,c} )=f_{\text{lin}}(\mathbf {x} ;\mathbf {M+cx} ')}
แต่ยังรวมถึงคุณสมบัติการตั้งฉากของด้วยไปยังพื้นที่สัมผัสท้องถิ่น:
ที่ไหนคือเมทริกซ์จาโคเบียนของแตกต่างกันตามอินพุต แต่ไม่แตกต่างกันตามพารามิเตอร์
ข้อเสีย
แม้ว่าการทำให้การไหลเป็นมาตรฐานจะประสบความสำเร็จในการประมาณความหนาแน่นมิติสูง แต่ก็ยังมีข้อเสียบางประการในการออกแบบ ประการแรก พื้นที่แฝงที่ข้อมูลอินพุตถูกฉายลงไปนั้นไม่ใช่พื้นที่มิติที่ต่ำกว่า ดังนั้นแบบจำลองที่ใช้การไหลจึงไม่อนุญาตให้บีบอัดข้อมูลโดยค่าเริ่มต้นและต้องใช้การคำนวณจำนวนมาก อย่างไรก็ตาม ยังคงสามารถทำการบีบอัดภาพได้ด้วยแบบจำลองเหล่านี้[ 32 ]
โมเดลแบบอิงการไหลยังมีชื่อเสียงในเรื่องการล้มเหลวในการประมาณความน่าจะเป็นของตัวอย่างที่อยู่นอกการกระจาย (เช่น ตัวอย่างที่ไม่ได้ถูกดึงมาจากการกระจายเดียวกันกับชุดฝึกอบรม) [ 33 ]มีการกำหนดสมมติฐานบางประการเพื่ออธิบายปรากฏการณ์นี้ ซึ่งรวมถึงสมมติฐานชุดทั่วไป[ 34 ]ปัญหาการประมาณเมื่อฝึกอบรมโมเดล[ 35 ]หรือปัญหาพื้นฐานเนื่องจากเอนโทรปีของการกระจายข้อมูล[ 36 ]
หนึ่งในคุณสมบัติที่น่าสนใจที่สุดของการไหลแบบปกติคือความสามารถในการผกผันของ แผนที่ แบบไบเจกทีฟ ที่เรียนรู้ คุณสมบัตินี้ได้รับจากข้อจำกัดในการออกแบบโมเดล (เช่น RealNVP, Glow) ซึ่งรับประกันความสามารถในการผกผันทางทฤษฎี ความสมบูรณ์ของส่วนกลับมีความสำคัญเพื่อให้มั่นใจถึงความสามารถในการใช้งานของทฤษฎีบทการเปลี่ยนตัวแปรการคำนวณJacobianของแผนที่ รวมถึงการสุ่มตัวอย่างด้วยโมเดล อย่างไรก็ตาม ในทางปฏิบัติ ความสามารถในการผกผันนี้ถูกละเมิด และแผนที่ผกผันจะระเบิดเนื่องจากความไม่แม่นยำเชิงตัวเลข[ 37 ]
แอปพลิเคชัน
แบบจำลองเชิงกำเนิดตามกระแสข้อมูลถูกนำไปประยุกต์ใช้กับงานสร้างแบบจำลองที่หลากหลาย รวมถึง:
ลิงก์ภายนอก
- โมเดลสร้างข้อมูลเชิงลึกแบบอิงตามกระแส
- แบบจำลองการไหลแบบปกติ