ในด้านคอมพิวเตอร์วิชั่นและคอมพิวเตอร์กราฟิกโมเดล 3 มิติแบบปรับเปลี่ยนรูปร่างได้ ( 3D Morphable Modelหรือ3DMM ) เป็นเทคนิคการสร้างที่ใช้ระเบียบวิธีวิเคราะห์รูปร่างทางสถิติเพื่อสร้างแบบจำลองวัตถุ 3 มิติ โมเดลนี้ใช้แนวทางการวิเคราะห์โดยการสังเคราะห์บนชุดข้อมูลของรูปร่างตัวอย่าง 3 มิติของวัตถุประเภทเดียวกัน (เช่น ใบหน้า มือ) ข้อกำหนดเบื้องต้นที่สำคัญคือรูปร่าง 3 มิติทั้งหมดต้องมีการจับคู่จุดต่อจุดอย่างหนาแน่น กล่าวคือแต่ละจุดมีความหมายเชิงความหมายเดียวกันในทุกรูปร่าง ด้วยวิธีนี้ เราสามารถดึงสถิติที่มีความหมายจากชุดข้อมูลและใช้เพื่อแสดงรูปร่างใหม่ที่เป็นไปได้ของวัตถุประเภทนั้น เมื่อกำหนดภาพ 2 มิติ เราสามารถแสดงรูปร่าง 3 มิติผ่านกระบวนการปรับให้พอดีหรือสร้างรูปร่างใหม่โดยการสุ่มตัวอย่างโดยตรงจากการกระจายรูปร่างทางสถิติของประเภทนั้น^{[ 1 ]}

คำถามที่จุดประกายการวิจัยเกี่ยวกับ 3DMMs คือการทำความเข้าใจว่าระบบการมองเห็นสามารถจัดการกับภาพที่หลากหลายซึ่งเกิดจากวัตถุประเภทเดียวได้อย่างไร และจะสามารถแสดงภาพเหล่านี้ได้อย่างไร สมมติฐานหลักในการพัฒนา 3DMMs คือความรู้เบื้องต้นเกี่ยวกับประเภทของวัตถุมีความสำคัญอย่างยิ่งต่อการมองเห็น โมเดลใบหน้าแบบปรับเปลี่ยนได้ 3 มิติ (3D Face Morphable Models)เป็น 3DMMs ที่ได้รับความนิยมมากที่สุด เนื่องจากเป็นโมเดลแรกที่ได้รับการพัฒนาในด้าน การ จดจำใบหน้า^{[ 2 ]}นอกจากนี้ยังถูกนำไปใช้กับร่างกายมนุษย์ทั้งหมด^{[ 3 ]}มือ^{[ 4 ]}หู^{[ 5 ]}รถยนต์^{[ 6 ]}และสัตว์^{[ 7 ]}

ในด้านคอมพิวเตอร์วิชั่นและคอมพิวเตอร์กราฟิกโมเดลใบหน้า 3 มิติแบบปรับเปลี่ยนรูปร่างได้ ( 3DFMM ) เป็นเทคนิคการสร้างแบบจำลองใบหน้า 3 มิติที่มีพื้นผิว^{[ 8 ]}การสร้างใบหน้าใหม่จะขึ้นอยู่กับฐานข้อมูลใบหน้าตัวอย่างที่มีอยู่แล้วซึ่งได้มาจาก การ สแกน 3 มิติใบหน้าเหล่านี้ทั้งหมดมีการจับคู่จุดต่อจุดอย่างหนาแน่น ซึ่งทำให้สามารถสร้างใบหน้าที่สมจริงใหม่ ( morph ) ได้โดยการรวมใบหน้าที่ได้มา ใบหน้า 3 มิติใหม่สามารถอนุมานได้จากภาพใบหน้าที่มีอยู่หนึ่งภาพหรือหลายภาพ หรือโดยการรวมใบหน้าตัวอย่างเข้าด้วยกันอย่างตามอำเภอใจ 3DFMM ให้วิธีการแสดงรูปร่างและพื้นผิวของใบหน้าที่แยกออกจากปัจจัยภายนอก เช่น พารามิเตอร์ของกล้องและแสงสว่าง^{[ 9 ]}

แบบจำลอง 3 มิติที่ปรับเปลี่ยนรูปร่างได้ (3DMM) เป็นกรอบงานทั่วไปที่ถูกนำไปใช้กับวัตถุต่างๆ นอกเหนือจากใบหน้า เช่น ร่างกายมนุษย์ทั้งหมด^{[ 10 ] [ 11 ]}ส่วนต่างๆ ของร่างกาย^{[ 12 ] [ 13 ]}และสัตว์^{[ 14 ]} 3DMM ถูกพัฒนาขึ้นครั้งแรกเพื่อแก้ปัญหางานด้านการมองเห็นโดยการแสดงวัตถุในแง่ของความรู้เบื้องต้นที่สามารถรวบรวมได้จากคลาสของวัตถุนั้น ความรู้เบื้องต้นจะถูกสกัดทางสถิติจากฐานข้อมูลของตัวอย่าง 3 มิติและใช้เป็นพื้นฐานในการแสดงหรือสร้างวัตถุใหม่ที่สมเหตุสมผลของคลาสนั้น ประสิทธิภาพของมันอยู่ที่ความสามารถในการเข้ารหัสข้อมูลเบื้องต้นนี้อย่างมีประสิทธิภาพ ทำให้สามารถแก้ปัญหาที่ไม่เหมาะสมได้ (เช่น การสร้างวัตถุ 3 มิติจากมุมมองเดียว) ^{[ 9 ]}

ในอดีต โมเดลใบหน้าถือเป็นตัวอย่างแรกของโมเดลที่ปรับเปลี่ยนรูปร่างได้ และสาขา 3DFMM ยังคงเป็นสาขาการวิจัยที่คึกคักมากในปัจจุบัน อันที่จริง 3DFMM ได้ถูกนำไปใช้อย่างประสบความสำเร็จในการจดจำใบหน้า^{[ 15 ]}อุตสาหกรรมบันเทิง ( เกมและ ความ ^เป็นจริงเสมือน [ ^{16 ] [ 17 ]}การลองสวมเสมือนจริง [ ^{18 ] การ}แทนที่ใบหน้า [ ^{19 ]}การจำลองใบหน้า^{[ 20 ]} ) นิติวิทยาศาสตร์ดิจิทัล^{[ 21 ]}และ การ ^ใช้งานทางการแพทย์^{[ 22 ]}

โดยทั่วไปแล้ว ใบหน้า 3 มิติสามารถสร้างแบบจำลองได้โดยใช้ส่วนประกอบแปรผันสามส่วนที่สกัดจากชุดข้อมูลใบหน้า: ^{[ 9 ]}

• แบบจำลองรูปทรง - แบบจำลองการกระจายตัวของรูปทรงเรขาคณิตในวิชาต่างๆ
• แบบจำลองการแสดงออกทางสีหน้า - แบบจำลองการกระจายของรูปทรงเรขาคณิตในสีหน้าต่างๆ
• แบบจำลองลักษณะปรากฏ - แบบจำลองการกระจายของพื้นผิว (สีและแสงสว่าง)

3DFMM ใช้การวิเคราะห์ทางสถิติเพื่อกำหนดพื้นที่รูปร่างทางสถิติซึ่ง เป็น พื้นที่เวกเตอร์ที่มีการกระจายความน่าจะเป็นหรือค่าก่อนหน้า^{[ 24 ]}ในการดึงค่าก่อนหน้าจากชุดข้อมูลตัวอย่าง ใบหน้า 3 มิติทั้งหมดจะต้องมีการจับคู่จุดต่อจุดอย่างหนาแน่น ซึ่งหมายความว่าแต่ละจุดมีความหมายเชิงความหมายเดียวกันบนแต่ละใบหน้า (เช่น ปลายจมูก ขอบตา) ด้วยวิธีนี้ โดยการกำหนดจุด เราสามารถหาการกระจายความน่าจะเป็นของ ค่า ช่องสีแดง ของพื้นผิว เหนือใบหน้าทั้งหมดได้ ตัวอย่างเช่น รูปร่างใบหน้าของจุดยอดถูกกำหนดให้เป็นเวกเตอร์ที่มีพิกัด 3 มิติของจุดยอดในลำดับที่กำหนด นั่นคือพื้นที่รูปร่างถือเป็นพื้นที่มิติที่สร้างใบหน้า 3 มิติที่สมเหตุสมผลโดยการทำการกำหนดพารามิเตอร์มิติที่ต่ำกว่า ( ) ของฐานข้อมูล^{[ 9 ]}ดังนั้น รูปร่างสามารถแสดงได้ผ่านฟังก์ชันตัวสร้างโดยพารามิเตอร์, . ^{[ 24 ]}เทคนิคทางสถิติที่ใช้กันทั่วไปใน 3DFMM เพื่อสร้างพื้นที่รูปร่างคือการวิเคราะห์ส่วนประกอบหลัก (PCA) ^{[ 8 ]}ซึ่งสร้างฐานที่เพิ่มความแปรปรวนของข้อมูลให้สูงสุด เมื่อทำการวิเคราะห์ PCA ฟังก์ชันตัวสร้างจะเป็นเชิงเส้นและกำหนดเป็น โดยที่คือค่าเฉลี่ยของข้อมูลการฝึกอบรม และคือเมทริกซ์ที่มีเวกเตอร์ลักษณะเฉพาะที่โดดเด่นที่สุด ${\textstyle S}$${\textstyle n}$${\displaystyle n}$${\displaystyle S\in \mathbb {R} ^{3n}}$${\textstyle d}$${\textstyle d\ll n}$${\textstyle S}$${\textstyle \mathbf {c} :\mathbb {R} ^{d}\rightarrow \mathbb {R} ^{3n}}$${\displaystyle \mathbf {w} \in \mathbb {R} ^{d}}$${\textstyle \mathbf {c} (\mathbf {w} )=S\in \mathbb {R} ^{3n}}$$${\displaystyle \mathbf {c} (\mathbf {w} )=\mathbf {\bar {c}} +\mathbf {E} \mathbf {w} }$$${\textstyle \mathbf {\bar {c}} }$${\displaystyle \mathbf {E} \in \mathbb {R} ^{3n\times d}}$${\textstyle d}$

การใช้ฟังก์ชันตัวสร้างที่ไม่ซ้ำกันสำหรับใบหน้าทั้งหมดส่งผลให้การแสดงรายละเอียดปลีกย่อยไม่สมบูรณ์ วิธีแก้ปัญหาคือการใช้โมเดลเฉพาะที่ของใบหน้าโดยการแบ่งส่วนที่สำคัญ เช่น ดวงตา ปาก และจมูก^{[ 25 ]}

การสร้างแบบจำลองการแสดงออกทางสีหน้าทำได้โดยการแบ่งย่อยการแสดงอัตลักษณ์ออกจากสีหน้าอย่างชัดเจน โดยขึ้นอยู่กับวิธีการรวมอัตลักษณ์และสีหน้าเข้าด้วยกัน วิธีการเหล่านี้สามารถจำแนกได้เป็นแบบบวก แบบคูณ และแบบไม่เชิงเส้น

แบบจำลองแบบเพิ่มค่าถูกกำหนดให้เป็นแบบจำลองเชิงเส้น และการแสดงออกเป็นการชดเชยแบบเพิ่มค่าโดยสัมพันธ์กับเอกลักษณ์โดยที่, และ, คือเมทริกซ์ฐานและเวกเตอร์สัมประสิทธิ์ของพื้นที่รูปร่างและพื้นที่การแสดงออกตามลำดับ ด้วยแบบจำลองนี้ เมื่อกำหนดรูปร่าง 3 มิติของบุคคลในการแสดงออกที่เป็นกลางและในการแสดงออกเฉพาะเราสามารถถ่ายโอนการแสดงออกไปยังบุคคลอื่นได้โดยการเพิ่มค่าชดเชย[ ^{8 ] สามารถ}ดำเนินการ PCA สองครั้งเพื่อเรียนรู้พื้นที่สองแบบที่แตกต่างกันสำหรับรูปร่างและการแสดงออก^{[ 26 ]}$${\displaystyle \mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{w})=\mathbf {\bar {c}} +\mathbf {E} ^{s}\mathbf {w} ^{s}+\mathbf {E} ^{e}\mathbf {w} ^{e}}$$${\textstyle \mathbf {E} ^{s}}$${\textstyle \mathbf {E} ^{e}}$${\textstyle \mathbf {w} ^{s}}$${\textstyle \mathbf {w} ^{e}}$${\textstyle \mathbf {c} _{ne}}$${\displaystyle \mathbf {c} ^{exp}}$${\displaystyle \Delta _{\mathbf {c} }=\mathbf {c} ^{exp}-\mathbf {c} ^{ne}}$

ในแบบจำลองการคูณ รูปร่างและการแสดงออกสามารถรวมกันได้หลายวิธี ตัวอย่างเช่น โดยการใช้ตัวดำเนินการที่แปลงการแสดงออกที่เป็นกลางให้เป็นรูปร่างผสมเป้าหมาย เราสามารถเขียนได้ว่าโดยที่และเป็นเวกเตอร์ที่จะแก้ไขให้เป็นการแสดงออกเป้าหมาย^{[ 27 ]}${\textstyle d_{e}}$${\displaystyle \mathbf {T} _{j}:\mathbb {R} ^{3n}\rightarrow \mathbb {R} ^{3n}}$$${\displaystyle \mathbf {c} (\mathbf {w} ^{s},\mathbf {w} ^{e})=\sum _{j=1}^{d_{e}}w_{j}^{e}\mathbf {T} _{j}(\mathbf {c} (\mathbf {w} ^{s})+\mathbf {\delta } ^{s})+\mathbf {\delta } _{j}^{e}}$$${\displaystyle \mathbf {\delta } ^{s}}$${\textstyle \mathbf {\delta } _{j}^{s}}$

แบบจำลองที่ไม่เป็นเชิงเส้นใช้การแปลงที่ไม่เป็นเชิงเส้นเพื่อแสดงนิพจน์^{[ 28 ] [ 29 ] [ 30 ]}

ข้อมูลสีมักจะเชื่อมโยงกับจุดยอดแต่ละจุดของรูปทรงสามมิติ ความสัมพันธ์แบบหนึ่งต่อหนึ่งนี้ทำให้เราสามารถแสดงลักษณะที่ปรากฏได้ในลักษณะเดียวกับแบบจำลองรูปทรงเชิงเส้นโดยที่คือเวกเตอร์สัมประสิทธิ์ที่กำหนดบนเมทริกซ์ฐานPCA สามารถนำมาใช้เพื่อเรียนรู้พื้นที่ลักษณะที่ปรากฏได้อีกครั้ง $${\displaystyle \mathbf {d} (\mathbf {w} ^{t})=\mathbf {\bar {d}} +\mathbf {E} ^{t}\mathbf {w} ^{t}}$$${\displaystyle \mathbf {w} ^{t}}$${\displaystyle \mathbf {E} ^{t}}$

การจดจำใบหน้าถือได้ว่าเป็นสาขาที่ริเริ่มแนวคิดที่ต่อมาได้มาบรรจบกันในการสร้างแบบจำลองที่สามารถปรับ เปลี่ยนรูปร่างได้ แนวทาง eigenfaceที่ใช้ในการจดจำใบหน้าแสดงใบหน้าในพื้นที่เวกเตอร์และใช้การวิเคราะห์ส่วนประกอบหลักเพื่อระบุโหมดหลักของการเปลี่ยนแปลง อย่างไรก็ตาม วิธีนี้มีข้อจำกัด คือ ถูกจำกัดด้วยท่าทางและแสงสว่างที่คงที่ และขาดการแสดงความแตกต่างของรูปร่างอย่างมีประสิทธิภาพ ส่งผลให้การเปลี่ยนแปลงในเวกเตอร์ลักษณะเฉพาะไม่ได้แสดงถึงการเปลี่ยนแปลงในโครงสร้างใบหน้าอย่างแม่นยำ แต่ทำให้โครงสร้างจางหายไปและปรากฏขึ้นใหม่ เพื่อแก้ไขข้อจำกัดเหล่านี้ นักวิจัยได้เพิ่มการแยกส่วนลักษณะเฉพาะของการเปลี่ยนแปลงรูปร่าง 2 มิติระหว่างใบหน้า แนวทาง eigenface ดั้งเดิมจัดเรียงภาพตามจุดเดียว ในขณะที่วิธีการใหม่สร้างการจับคู่บนหลายจุด การบิดเบี้ยวใบหน้าตามจุดสังเกตได้รับการแนะนำโดย Craw และ Cameron (1991) ^{[ 31 ]}และแบบจำลองรูปร่างทางสถิติแบบแรกActive Shape Modelได้รับการเสนอโดย Cootes et al. (1995) ^{[ 32 ]}โมเดลนี้ใช้รูปร่างเพียงอย่างเดียว แต่โมเดล Active Appearance Modelโดย Cootes et al. (1998) ^{[ 33 ]}ได้รวมรูปร่างและลักษณะเข้าด้วยกัน เนื่องจากวิธีการ 2 มิติเหล่านี้มีประสิทธิภาพเฉพาะกับท่าทางและแสงสว่างที่คงที่เท่านั้น Vetter และ Poggio (1997) ^{[ 34 ]} จึงได้ขยายวิธีการเหล่านี้ เพื่อรองรับการตั้งค่าที่หลากหลายมากขึ้น แม้ว่าการแยกรูปร่างและพื้นผิวจะมีประสิทธิภาพสำหรับการแสดงใบหน้า แต่การจัดการกับท่าทางและการเปลี่ยนแปลงของแสงสว่างนั้นจำเป็นต้องใช้โมเดลแยกกันหลายแบบ ในทางกลับกัน ความก้าวหน้าในกราฟิกคอมพิวเตอร์ 3 มิติแสดงให้เห็นว่าการจำลองท่าทางและการเปลี่ยนแปลงของแสงสว่างนั้นทำได้ง่าย การผสมผสานวิธีการกราฟิกกับการสร้างแบบจำลองใบหน้าทำให้เกิดการกำหนดสูตร 3DMM ครั้งแรกโดย Blanz และ Vetter (1999) ^{[ 8 ]}แนวทางการวิเคราะห์โดยการสังเคราะห์ทำให้สามารถแมปโดเมน 3 มิติและ 2 มิติ และการแสดงรูปร่างและลักษณะ 3 มิติแบบใหม่ได้ งานของพวกเขาถือเป็นงานแรกที่นำเสนอแบบจำลองทางสถิติสำหรับใบหน้า ซึ่งทำให้สามารถสร้างภาพ 3 มิติขึ้นใหม่จากภาพ 2 มิติได้ และมีพื้นที่ใบหน้าแบบพาราเมตริกสำหรับการจัดการแบบควบคุม^{[ 9 ]}

ในคำจำกัดความดั้งเดิมของ Blanz และ Vetter ^{[ 8 ]}รูปร่างของใบหน้าแสดงเป็นเวกเตอร์ที่ประกอบด้วยพิกัด 3 มิติของจุดยอด ในทำนองเดียวกัน พื้นผิวแสดงเป็นเวกเตอร์ ที่ประกอบด้วย ช่องสี RGBสามช่องที่เกี่ยวข้องกับจุดยอดที่สอดคล้องกันแต่ละจุด เนื่องจากความสอดคล้องกันอย่างสมบูรณ์ระหว่างใบหน้า 3 มิติตัวอย่าง รูปร่างและพื้นผิว ใหม่ สามารถกำหนดได้เป็นการรวมเชิงเส้นของใบหน้าตัวอย่างดังนั้น รูปร่างและพื้นผิวของใบหน้าใหม่จึงถูกกำหนดพารามิเตอร์โดยสัมประสิทธิ์รูปร่างและพื้นผิวเพื่อดึงสถิติจากชุดข้อมูล พวกเขาดำเนินการ PCA เพื่อสร้างพื้นที่รูปร่างที่มีมิติถึงและใช้แบบจำลองเชิงเส้นสำหรับการสร้างแบบจำลองรูปร่างและลักษณะ ในกรณีนี้ สามารถสร้างแบบจำลองใหม่ในฐานตั้งฉากโดยใช้เวกเตอร์ลักษณะเฉพาะของรูปร่างและพื้นผิวและตามลำดับ: ${\displaystyle S=(X_{1},Y_{1},Z_{1},...,X_{n},Y_{n},Z_{n})^{T}\in \mathbb {R} ^{3n}}$${\displaystyle n}$${\displaystyle T=(R_{1},G_{1},B_{1},...,R_{n},G_{n},B_{n})^{T}\in \mathbb {R} ^{3n}}$${\displaystyle \mathbf {S} _{models}}$${\displaystyle \mathbf {T} _{models}}$${\textstyle m}$$${\displaystyle \mathbf {S} _{model}=\sum _{i=1}^{m}a_{i}\mathbf {S} _{i}\qquad \mathbf {T} _{model}=\sum _{i=1}^{m}b_{i}\mathbf {T} _{i}\qquad {\text{with}}\;\sum _{i=1}^{m}a_{i}=\sum _{i=1}^{m}b_{i}=1}$$${\displaystyle \mathbf {a} =(a_{1},a_{2},...,a_{m})^{T}}$${\displaystyle \mathbf {b} =(b_{1},b_{2},...,b_{m})^{T}}$${\textstyle d}$${\textstyle s_{i}}$${\textstyle t_{i}}$

${\displaystyle \mathbf {S} _{model}=\mathbf {\bar {S}} +\sum _{i=1}^{m}a_{i}\mathbf {s} _{i}\qquad \mathbf {T} _{model}=\mathbf {\bar {T}} +\sum _{i=1}^{m}b_{i}\mathbf {t} _{i}\qquad }$

โดยที่และคือค่าเฉลี่ยของรูปร่างและพื้นผิวของชุดข้อมูล ${\displaystyle \mathbf {\bar {S}} }$${\textstyle \mathbf {\bar {T}} }$

ตารางต่อไปนี้แสดงรายการฐานข้อมูลใบหน้ามนุษย์ที่เปิดเผยต่อสาธารณะ ซึ่งสามารถนำมาใช้กับ 3DFMM ได้

• การวิเคราะห์รูปร่างทางสถิติ

• "รายการซอฟต์แวร์และข้อมูลโมเดล 3 มิติที่ปรับเปลี่ยนรูปร่างได้" GitHub สืบค้นเมื่อ11 กรกฎาคม 2024