คำอธิบายโมเดลนี้มาจาก^{[ 1 ]} HDP เป็นโมเดลสำหรับข้อมูลที่จัดกลุ่ม ซึ่งหมายความว่ารายการข้อมูลมีหลายกลุ่มที่แตกต่างกัน ตัวอย่างเช่น ในโมเดลหัวข้อคำต่างๆ จะถูกจัดระเบียบเป็นเอกสาร โดยแต่ละเอกสารประกอบด้วยกลุ่มคำ (รายการข้อมูล) การจัดทำดัชนีกลุ่มโดย${\displaystyle j=1,...J}$สมมติว่าแต่ละกลุ่มประกอบด้วยรายการข้อมูล${\displaystyle x_{j1},...x_{jn}}$.

HDP ถูกกำหนดพารามิเตอร์โดยการแจกแจงพื้นฐาน${\displaystyle H}$ซึ่งควบคุมการกระจายตัวล่วงหน้าของรายการข้อมูล และพารามิเตอร์ความเข้มข้นจำนวนหนึ่งที่ควบคุมจำนวนคลัสเตอร์ล่วงหน้าและปริมาณการแบ่งปันระหว่างกลุ่มต่างๆ${\displaystyle j}$กลุ่มนี้เกี่ยวข้องกับการวัดความน่าจะเป็นแบบสุ่ม${\displaystyle G_{j}}$ซึ่งมีการกระจายตัวตามกระบวนการ Dirichlet:

${\displaystyle {\begin{aligned}G_{j}|G_{0}&\sim \operatorname {DP} (\alpha _{j},G_{0})\end{aligned}}}$

ที่ไหน${\displaystyle \alpha _{j}}$คือพารามิเตอร์ความเข้มข้นที่เกี่ยวข้องกับกลุ่ม และ${\displaystyle G_{0}}$เป็นการแจกแจงพื้นฐานที่ใช้ร่วมกันในทุกกลุ่ม ในทางกลับกัน การแจกแจงพื้นฐานทั่วไปนั้นมีการแจกแจงแบบกระบวนการ Dirichlet:

${\displaystyle {\begin{aligned}G_{0}&\sim \operatorname {DP} (\alpha _{0},H)\end{aligned}}}$

โดยมีพารามิเตอร์ความเข้มข้น${\displaystyle \alpha _{0}}$และการกระจายฐาน${\displaystyle H}$สุดท้ายนี้ เพื่อเชื่อมโยงกระบวนการ Dirichlet กลับไปยังข้อมูลที่สังเกตได้ แต่ละรายการข้อมูล${\displaystyle x_{ji}}$เกี่ยวข้องกับพารามิเตอร์แฝง${\displaystyle \theta _{ji}}$:

${\displaystyle {\begin{aligned}\theta _{ji}|G_{j}&\sim G_{j}\\x_{ji}|\theta _{ji}&\sim F(\theta _{ji})\end{aligned}}}$

บรรทัดแรกระบุว่าพารามิเตอร์แต่ละตัวมีการแจกแจงความน่าจะเป็นล่วงหน้า (prior distribution)ที่กำหนดโดย${\displaystyle G_{j}}$ในขณะที่บรรทัดที่สองระบุว่าข้อมูลแต่ละรายการมีการกระจายตัว${\displaystyle F(\theta _{ji})}$ parameterized by its associated parameter. The resulting model above is called a HDP mixture model, with the HDP referring to the hierarchically linked set of Dirichlet processes, and the mixture model referring to the way the Dirichlet processes are related to the data items.

To understand how the HDP implements a clustering model, and how clusters become shared across groups, recall that draws from a Dirichlet process are atomic probability measures with probability one. This means that the common base distribution ${\displaystyle G_{0}}$ has a form which can be written as:

${\displaystyle {\begin{aligned}G_{0}&=\sum _{k=1}^{\infty }\pi _{0k}\delta _{\theta _{k}^{*}}\end{aligned}}}$

where there are an infinite number of atoms, ${\displaystyle \theta _{k}^{*},k=1,2,...}$, assuming that the overall base distribution ${\displaystyle H}$ has infinite support. Each atom is associated with a mass ${\displaystyle \pi _{0k}}$. The masses have to sum to one since ${\displaystyle G_{0}}$ is a probability measure. Since ${\displaystyle G_{0}}$ is itself the base distribution for the group specific Dirichlet processes, each ${\displaystyle G_{j}}$ will have atoms given by the atoms of ${\displaystyle G_{0}}$, and can itself be written in the form:

${\displaystyle {\begin{aligned}G_{j}&=\sum _{k=1}^{\infty }\pi _{jk}\delta _{\theta _{k}^{*}}\end{aligned}}}$

Thus the set of atoms is shared across all groups, with each group having its own group-specific atom masses. Relating this representation back to the observed data, we see that each data item is described by a mixture model:

${\displaystyle {\begin{aligned}x_{ji}|G_{j}&\sim \sum _{k=1}^{\infty }\pi _{jk}F(\theta _{k}^{*})\end{aligned}}}$

where the atoms ${\displaystyle \theta _{k}^{*}}$ play the role of the mixture component parameters, while the masses ${\displaystyle \pi _{jk}}$ play the role of the mixing proportions. In conclusion, each group of data is modeled using a mixture model, with mixture components shared across all groups but mixing proportions being group-specific. In clustering terms, we can interpret each mixture component as modeling a cluster of data items, with clusters shared across all groups, and each group, having its own mixing proportions, composed of different combinations of clusters.

The HDP mixture model is a natural nonparametric generalization of Latent Dirichlet allocation, where the number of topics can be unbounded and learnt from data.^[1] Here each group is a document consisting of a bag of words, each cluster is a topic, and each document is a mixture of topics. The HDP is also a core component of the infinite hidden Markov model,^[3] which is a nonparametric generalization of the hidden Markov model allowing the number of states to be unbounded and learnt from data.^[1][4]

HDP สามารถขยายความได้หลายทิศทาง กระบวนการ Dirichlet สามารถแทนที่ด้วยกระบวนการ Pitman-Yorและกระบวนการ Gammaส่งผลให้เกิดกระบวนการ Pitman-Yor แบบลำดับชั้นและกระบวนการ Gamma แบบลำดับชั้น ลำดับชั้นสามารถลึกขึ้นได้ โดยมีกลุ่มหลายระดับจัดเรียงเป็นลำดับชั้น การจัดเรียงดังกล่าวถูกนำไปใช้ประโยชน์ในsequence memoizerซึ่งเป็นแบบจำลอง Bayesian แบบไม่ใช้พารามิเตอร์สำหรับลำดับที่มีลำดับชั้นหลายระดับของกระบวนการ Pitman-Yor นอกจากนี้ แบบจำลอง Bayesian Multi-Domain Learning (BMDL) ยังได้มาจากการแสดงแทนแฝงที่ขึ้นอยู่กับโดเมนของข้อมูลการนับ ที่มีการกระจายเกิน โดยอาศัยการแยกตัวประกอบทวินามเชิงลบแบบลำดับชั้นเพื่อการจำแนกประเภทย่อยของมะเร็งที่แม่นยำแม้ว่าจำนวนตัวอย่างสำหรับมะเร็งชนิดใดชนิดหนึ่งจะมีน้อยก็ตาม^{[ 5 ]}

• กระบวนการร้านอาหารจีน