โมเดลหัวข้อแบบไดนามิกเป็นโมเดลเชิงกำเนิดในการประมวลผลภาษาธรรมชาติที่วิเคราะห์วิวัฒนาการของหัวข้อแฝงภายในชุดเอกสารเมื่อเวลาผ่านไปโมเดลหัวข้อ ตระกูลนี้ ได้รับการเสนอโดยDavid Bleiและ John Lafferty และในตอนแรกเป็นส่วนขยายของLatent Dirichlet Allocation (LDA) ที่สามารถจัดการเอกสารตามลำดับได้^{[ 1 ]}

ใน LDA ทั้งลำดับการปรากฏของคำในเอกสารและลำดับการปรากฏของเอกสารในคลังข้อมูลนั้นไม่มีผลต่อแบบจำลอง ในขณะที่ยังคงถือว่าคำสามารถสลับเปลี่ยนกันได้แต่ในแบบจำลองหัวข้อแบบไดนามิก ลำดับของเอกสารมีบทบาทสำคัญอย่างยิ่ง กล่าวคือ เอกสารจะถูกจัดกลุ่มตามช่วงเวลา โดยมีสมมติฐานว่าหัวข้อของแต่ละกลุ่มยังคงอยู่และพัฒนามาจากชุดหัวข้อของกลุ่มก่อนหน้า

นับตั้งแต่เริ่มแรก การสร้างแบบจำลองหัวข้อแบบไดนามิกได้มีการนำแบบจำลองใหม่หลายแบบมาใช้ รวมถึง BERTopic ด้วย^{[ 2 ] [ 3 ]}

เช่นเดียวกับLDAและpLSAในแบบจำลองหัวข้อแบบไดนามิก เอกสารแต่ละฉบับจะถูกมองว่าเป็นส่วนผสมของหัวข้อที่ไม่สามารถสังเกตได้ ยิ่งไปกว่านั้น แต่ละหัวข้อจะกำหนดการแจกแจงแบบพหุนามเหนือชุดของคำ ดังนั้น สำหรับแต่ละคำในแต่ละเอกสาร หัวข้อจะถูกสุ่มเลือกจากส่วนผสม และคำจะถูกสุ่มเลือกจากชุดการแจกแจงแบบพหุนามที่สอดคล้องกับหัวข้อนั้น

อย่างไรก็ตาม หัวข้อต่างๆ จะเปลี่ยนแปลงไปตามเวลา ตัวอย่างเช่น คำศัพท์ที่น่าจะเป็นไปได้มากที่สุดสองคำสำหรับหัวข้อหนึ่งๆ ในเวลาtอาจเป็น "เครือข่าย" และ "Zipf" (เรียงลำดับจากมากไปน้อย) ในขณะที่คำศัพท์ที่น่าจะเป็นไปได้มากที่สุดในเวลาt+1อาจเป็น "Zipf" และ "การแพร่กระจาย" (เรียงลำดับจากมากไปน้อย)

กำหนด

${\displaystyle \alpha _{t}}$โดยพิจารณาจากการ กระจายหัวข้อต่อเอกสาร ณ เวลาt

${\displaystyle \beta _{t,k}}$โดย พิจารณาจากการกระจายคำของหัวข้อkในเวลาt

${\displaystyle \eta _{t,d}}$โดยที่การ กระจายหัวข้อสำหรับเอกสารdในช่วงเวลาt

${\displaystyle z_{t,d,n}}$โดยถือเป็นหัวข้อสำหรับ คำที่ nในเอกสารdในเวลาtและ

${\displaystyle w_{t,d,n}}$ในฐานะคำเฉพาะเจาะจง

ในแบบจำลองนี้ การแจกแจงแบบพหุนาม${\displaystyle \alpha _{t+1}}$และ${\displaystyle \beta _{t+1,k}}$ถูกสร้างขึ้นจาก${\displaystyle \alpha _{t}}$และ${\displaystyle \beta _{t,k}}$ตามลำดับ แม้ว่าการแจกแจงแบบพหุนามมักจะเขียนในรูปของพารามิเตอร์ค่าเฉลี่ย แต่การแสดงในรูปของพารามิเตอร์ตามธรรมชาติจะเหมาะสมกว่าในบริบทของแบบจำลองหัวข้อแบบไดนามิก

การแสดงผลแบบเดิมมีข้อเสียบางประการเนื่องจากพารามิเตอร์ถูกจำกัดให้เป็นค่าที่ไม่เป็นลบและรวมกันได้เท่ากับหนึ่ง^{[ 4 ]}เมื่อกำหนดวิวัฒนาการของการกระจายเหล่านี้ จำเป็นต้องตรวจสอบให้แน่ใจว่าข้อจำกัดดังกล่าวเป็นไปตามเงื่อนไข เนื่องจากทั้งสองการกระจายอยู่ในตระกูลเอกซ์โพเนนเชียลวิธีแก้ปัญหาหนึ่งคือการแสดงผลในรูปของพารามิเตอร์ธรรมชาติ ซึ่งสามารถมีค่าจริงใดๆ ก็ได้และสามารถเปลี่ยนแปลงได้ทีละตัว

เมื่อใช้การกำหนดพารามิเตอร์ตามธรรมชาติ พลวัตของแบบจำลองหัวข้อจะแสดงโดย

${\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)}$

และ

${\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}$.

ดังนั้น กระบวนการสร้างข้อมูลในช่วงเวลา 't' จึงเป็นดังนี้:

1. วาดหัวข้อ${\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)\forall k}$
2. วาดแบบจำลองส่วนผสม${\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}$
3. สำหรับเอกสารแต่ละฉบับ:
   1. วาด${\displaystyle \eta _{t,d}\sim N(\alpha _{t},a^{2}I)}$
   2. สำหรับแต่ละคำ:
      1. วาดหัวข้อ${\displaystyle Z_{t,d,n}\sim {\textrm {Mult}}(\pi (\eta _{t,d}))}$
      2. วาดคำศัพท์${\displaystyle W_{t,d,n}\sim {\textrm {Mult}}(\pi (\beta _{t,Z_{t,d,n}}))}$

ที่ไหน${\displaystyle \pi (x)}$เป็นการแมปจากพารามิเตอร์ธรรมชาติxไปยังพารามิเตอร์เฉลี่ย กล่าวคือ

${\displaystyle \pi (x_{i})={\frac {\exp(x_{i})}{\sum _{i}\exp(x_{i})}}}$.

ในโมเดลหัวข้อแบบไดนามิก มีเพียง${\displaystyle W_{t,d,n}}$สามารถสังเกตได้ การเรียนรู้พารามิเตอร์อื่นๆ ถือเป็นปัญหาการอนุมาน Blei และ Lafferty โต้แย้งว่าการใช้การสุ่มตัวอย่างแบบ Gibbsเพื่อทำการอนุมานในแบบจำลองนี้ทำได้ยากกว่าในแบบจำลองคงที่ เนื่องจากความไม่สอดคล้องกันของการแจกแจงแบบเกาส์เซียนและการแจกแจงแบบพหุนาม พวกเขาเสนอให้ใช้วิธีการแปรผันโดยเฉพาะอย่างยิ่ง การกรอง Kalman แบบแปรผัน และการถดถอยเวฟเล็ตแบบแปรผัน

ในเอกสารต้นฉบับ โมเดลหัวข้อแบบไดนามิกถูกนำไปใช้กับคลังบทความวิทยาศาสตร์ที่ตีพิมพ์ระหว่างปี 1881 ถึง 1999 โดยมีเป้าหมายเพื่อแสดงให้เห็นว่าวิธีการนี้สามารถใช้ในการวิเคราะห์แนวโน้มการใช้คำภายในหัวข้อได้^{[ 1 ]}ผู้เขียนยังแสดงให้เห็นว่าโมเดลที่ฝึกฝนด้วยเอกสารในอดีตสามารถปรับให้เข้ากับเอกสารของปีที่กำลังจะมาถึงได้ดีกว่า LDA

Wang et al. ได้พัฒนารูปแบบหัวข้อแบบไดนามิกต่อเนื่องและนำไปใช้ในการทำนายเวลาประทับของเอกสาร^{[ 5 ]}

นอกเหนือจากเอกสารข้อความแล้ว ยังมีการใช้โมเดลหัวข้อแบบไดนามิกเพื่อศึกษาอิทธิพลทางดนตรี โดยการเรียนรู้หัวข้อทางดนตรีและวิวัฒนาการของหัวข้อเหล่านั้นในประวัติศาสตร์ล่าสุด^{[ 6 ]}