ห่วงโซ่มาร์คอฟแบบต่อเนื่อง ( CTMC ) คือกระบวนการสุ่ม แบบต่อเนื่อง ซึ่งในแต่ละสถานะ กระบวนการจะเปลี่ยนสถานะตามตัวแปรสุ่มแบบเอกซ์โปเนน เชียล แล้วจึงเคลื่อนไปยังสถานะอื่นตามที่ระบุโดยความน่าจะเป็นของ เมทริกซ์สุ่ม สูตรที่เทียบเท่ากันอธิบายกระบวนการนี้ว่าเป็นการเปลี่ยนสถานะตามค่าต่ำสุดของชุดตัวแปรสุ่มแบบเอกซ์โปเนนเชียล โดยแต่ละตัวแปรแทนสถานะที่เป็นไปได้แต่ละสถานะ โดยพารามิเตอร์จะถูกกำหนดโดยสถานะปัจจุบัน

ตัวอย่างของ CTMC ที่มีสามสถานะมีดังนี้: กระบวนการจะเปลี่ยนสถานะหลังจากระยะเวลาที่กำหนดโดยเวลาคงค้างซึ่งเป็นตัวแปรสุ่มแบบเอกซ์โปเนนเชียลโดยที่iคือสถานะปัจจุบัน ตัวแปรสุ่มแต่ละตัวเป็นอิสระต่อกันและเป็นไปตามเงื่อนไขและเมื่อจะเปลี่ยนสถานะ กระบวนการจะเคลื่อนที่ตามลำดับการกระโดดซึ่งเป็นลูกโซ่ Markov แบบเวลาไม่ต่อเนื่องที่มีเมทริกซ์สุ่ม: ${\displaystyle \{0,1,2\}}$${\displaystyle E_{i}}$${\displaystyle E_{0}\sim {\text{Exp}}(6)}$${\displaystyle E_{1}\sim {\text{Exp}}(12)}$${\displaystyle E_{2}\sim {\text{Exp}}(18)}$

${\displaystyle {\begin{bmatrix}0&{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{3}}&0&{\frac {2}{3}}\\{\frac {5}{6}}&{\frac {1}{6}}&0\end{bmatrix}}.}$

ในทำนองเดียวกัน โดยอาศัยคุณสมบัติของเลขชี้กำลังที่แข่งขันกัน CTMC นี้จะเปลี่ยนสถานะจากสถานะiตามค่าต่ำสุดของตัวแปรสุ่มสองตัว ซึ่งเป็นอิสระต่อกันและเป็นไปตามเงื่อนไขที่ว่า โดยที่พารามิเตอร์กำหนดโดยเมทริกซ์ Q${\displaystyle E_{i,j}\sim {\text{Exp}}(q_{i,j})}$${\displaystyle i\neq j}$${\displaystyle Q=(q_{i,j})}$

${\displaystyle {\begin{bmatrix}-6&3&3\\4&-12&8\\15&3&-18\end{bmatrix}}.}$

แต่ละค่าที่ไม่ใช่ค่าในแนวทแยงมุมสามารถคำนวณได้จากความน่าจะเป็นที่สายโซ่การกระโดดจะเคลื่อนจากสถานะiไปยังสถานะjหารด้วยเวลาที่คาดว่าจะคงอยู่ในสถานะiส่วนค่าในแนวทแยงมุมจะถูกเลือกเพื่อให้ผลรวมของแต่ละแถวเท่ากับ 0 ${\displaystyle q_{i,j}}$

CTMC เป็นไปตามคุณสมบัติของมาร์คอฟกล่าวคือ พฤติกรรมของมันขึ้นอยู่กับสถานะปัจจุบันเท่านั้น ไม่ขึ้นอยู่กับพฤติกรรมในอดีต เนื่องจากคุณสมบัติไร้ความจำของการแจกแจงแบบเอกซ์โปเนนเชียลและโซ่มาร์คอฟแบบเวลาไม่ต่อเนื่อง

ให้เป็นปริภูมิความน่าจะเป็น ให้เป็นเซตที่นับได้และไม่ว่าง และให้( แทน "เวลา") กำหนดให้ มีเมตริกแบบไม่ต่อเนื่องเพื่อให้เราสามารถเข้าใจความต่อเนื่องทางขวาของฟังก์ชันได้ โซ่ Markov แบบเวลาต่อเนื่องถูกกำหนดโดย: ^{[ 1 ]}${\displaystyle (\Omega ,{\cal {A}},\Pr )}$${\displaystyle S}$${\displaystyle T=\mathbb {R} _{\geq 0}}$${\displaystyle T}$${\displaystyle S}$${\displaystyle \mathbb {R} _{\geq 0}\to S}$

• เวกเตอร์ความน่าจะ เป็นบน(ซึ่งต่อไปนี้เราจะตีความว่าเป็นการกระจายเริ่มต้นของห่วงโซ่มาร์คอฟ) และ${\displaystyle \lambda }$${\displaystyle S}$
• เมทริกซ์อัตรา บนนั่นคือ ฟังก์ชันที่${\displaystyle Q}$${\displaystyle S}$${\displaystyle Q:S^{2}\to \mathbb {R} }$

1. สำหรับความแตกต่างทั้งหมด${\displaystyle i,j\in S,0\leq q_{i,j}}$
2. สำหรับทุก(แม้ว่า จะเป็นอนันต์ ผลรวมนี้ได้ รับการกำหนดไว้อย่างดี โดยปริยาย (อาจเท่ากับ) เนื่องจากแต่ละพจน์ที่ปรากฏในผลรวมเป็นค่าที่ไม่เป็นลบโดยภายหลังเรารู้ว่าผลรวมต้องมีค่าจำกัด (ไม่เท่ากับ) เนื่องจากเราสมมติว่ามันเท่ากับและเราสมมติว่าเป็นค่าจริง ผู้เขียนบางคนใช้คำจำกัดความที่เหมือนกันทุกประการ ยกเว้นข้อกำหนดที่แก้ไขและกล่าวว่ามีเสถียรภาพหรือมีเสถียรภาพอย่างสมบูรณ์เพื่อหมายถึง นั่นคือ ทุกรายการเป็นค่าจริง) ^{[ 2 ] [ 3 ] [ 4 ]}${\displaystyle i\in S,}$${\displaystyle \sum _{j\in S:j\neq i}q_{i,j}=-q_{i,i}.}$${\displaystyle S}$${\displaystyle +\infty }$${\displaystyle +\infty }$${\displaystyle -q_{i,i}}$${\displaystyle Q}$${\displaystyle Q:S^{2}\to \mathbb {R} \cup \{-\infty \}}$${\displaystyle Q}$${\displaystyle \operatorname {range} Q\subseteq \mathbb {R} }$

โปรดสังเกตว่าผลรวมของแถวในเมทริกซ์มีค่าเป็น 0 หรือกล่าวโดยย่อคือสถานการณ์นี้แตกต่างจากสถานการณ์ของลูกโซ่ Markov แบบเวลาไม่ต่อเนื่องซึ่งผลรวมของแถวทั้งหมดในเมทริกซ์การเปลี่ยนสถานะมีค่าเท่ากับหนึ่ง ${\displaystyle Q}$${\displaystyle \forall i\in S,~\sum _{j\in S}q_{i,j}=0,}$${\displaystyle Q\cdot 1=0}$

ตอนนี้ ให้เป็นเช่นนั้นที่สามารถวัดได้ มีสามวิธีที่เทียบเท่ากันในการกำหนดให้เป็นมาร์คอฟด้วยการกระจายเริ่มต้นและเมทริกซ์อัตรา : ผ่านความน่าจะเป็นของการเปลี่ยนผ่านหรือผ่านห่วงโซ่การกระโดดและเวลาการถือครอง^{[ 5 ]}${\displaystyle X:T\to S^{\Omega }}$${\displaystyle \forall t\in T~X(t)}$${\displaystyle ({\cal {A}},{\cal {P}}(S))}$${\displaystyle X}$${\displaystyle \lambda }$${\displaystyle Q}$

ก่อนที่จะกล่าวถึงนิยามของความน่าจะเป็นของการเปลี่ยนสถานะ เราจะเริ่มต้นด้วยการให้เหตุผลเกี่ยวกับนิยามของเมทริกซ์อัตราปกติ ก่อน เราจะใช้เมทริกซ์อัตราการเปลี่ยนสถานะเพื่อระบุพลวัตของห่วงโซ่มาร์คอฟโดยการสร้างชุดของเมทริกซ์การเปลี่ยนสถานะบน( ) ผ่านทฤษฎีบทต่อไปนี้ ${\displaystyle Q}$${\displaystyle P(t)}$${\displaystyle S}$${\displaystyle t\in \mathbb {R} _{\geq 0}}$

การมีอยู่ของคำตอบสำหรับสมการย้อนกลับของ Kolmogorov  ( ^{[ 6 ]} ) —มีอยู่เช่นนั้นสำหรับรายการ ทั้งหมด รายการ นั้นสามารถหาอนุพันธ์ได้และสอดคล้องกับสมการย้อนกลับของ Kolmogorov : ${\displaystyle P\in ([0,1]^{S\times S})^{T}}$${\displaystyle i,j\in S}$${\displaystyle (P(t)_{i,j})_{t\in T}}$${\displaystyle P}$

$${\displaystyle P(0)=([i=j])_{i,j\in S},~\forall t\in T~\forall i,j\in S~~(P(t)_{i,j})'=\sum _{k\in S}q_{i,k}P(t)_{k,j}.}$$

0

เรากล่าวว่าเป็นแบบปกติหมายความว่าเรามีความไม่ซ้ำกันสำหรับระบบข้างต้น กล่าวคือ มีคำตอบเพียงหนึ่งเดียวเท่านั้น^{[ 7 ] [ 8 ]}เรากล่าวว่าเป็นแบบไม่สม่ำเสมอหมายความว่าไม่เป็นแบบปกติ ถ้าเป็นค่าจำกัด จะมีคำตอบเพียงหนึ่งเดียวเท่านั้น นั่นคือและดังนั้นจึงเป็นแบบปกติ มิฉะนั้น จะเป็น ค่าอนันต์ และมีเมทริกซ์อัตราการเปลี่ยนผ่านที่ไม่สม่ำเสมออยู่บน[ ^{a ] ​​ถ้า}เป็นแบบปกติ สำหรับคำตอบที่ไม่ซ้ำกันสำหรับแต่ละจะเป็น เมท ริกซ์สุ่ม^{[ 6 ]}เราจะถือว่าเป็นแบบปกติ ตั้งแต่ต้นส่วนย่อยต่อไปนี้จนถึงส่วนท้ายของส่วนนี้ แม้ว่าจะเป็นธรรมเนียม^{[ 10 ] [ 11 ] [ 12 ]} ที่จะไม่รวมสมมติฐานนี้ (หมายเหตุสำหรับผู้เชี่ยวชาญ: ดังนั้นเราจึงไม่ได้กำหนดลูกโซ่ Markov แบบต่อเนื่องในเวลาโดยทั่วไป แต่กำหนดเฉพาะลูกโซ่ Markov แบบต่อเนื่องในเวลา ที่ไม่ระเบิดเท่านั้น) ${\displaystyle Q}$${\displaystyle Q}$${\displaystyle Q}$${\displaystyle S}$${\displaystyle P=(e^{tQ})_{t\in T},}$${\displaystyle Q}$${\displaystyle S}$${\displaystyle S}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle t\in T}$${\displaystyle P(t)}$${\displaystyle Q}$

ให้เป็นคำตอบ (ที่ไม่ซ้ำกัน) ของระบบ ( 0 ) (รับประกันความไม่ซ้ำกันโดยสมมติฐานของเราว่าเป็นแบบปกติ) เรากล่าวว่าเป็นมาร์คอฟที่มีการกระจายเริ่มต้นและเมทริกซ์อัตรา หมายความว่า: สำหรับจำนวนเต็มที่ไม่เป็นลบใดๆสำหรับทุกที่สำหรับทุก${\displaystyle P}$${\displaystyle Q}$${\displaystyle X}$${\displaystyle \lambda }$${\displaystyle Q}$${\displaystyle n\geq 0}$${\displaystyle t_{0},\dots ,t_{n+1}\in T}$${\displaystyle t_{0}<\dots <t_{n+1},}$${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

${\displaystyle \Pr(X_{0}=i_{0},\dots ,X_{t_{n+1}}=i_{n+1})=\lambda _{i_{0}}\prod _{k\in \mathbb {Z} :0\leq k\leq n}P(t_{k+1}-t_{k})_{i_{k},i_{k+1}}}$[ 10 ]​

1

โดยใช้การอุปนัยและข้อเท็จจริงที่ว่าเราสามารถแสดงความเท่าเทียมกันของข้อความข้างต้นที่มี ( 1 ) และข้อความต่อไปนี้: สำหรับทุกและสำหรับจำนวนเต็มที่ไม่เป็นลบใดๆสำหรับทุกที่สำหรับทุกที่(ดังนั้น) ${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$${\displaystyle n\geq 0}$${\displaystyle t_{0},\dots ,t_{n+1}\in T}$${\displaystyle t_{0}<\dots <t_{n+1},}$${\displaystyle i_{0},\dots ,i_{n+1}\in I}$${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$

${\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{n}}=i_{n},\dots ,X_{t_{0}}=i_{0})=P(t_{n+1}-t_{n})_{i_{n},i_{n+1}}.}$

2

จากความต่อเนื่องของฟังก์ชัน( ) จะเห็นได้ว่าวิถีการเคลื่อนที่เกือบจะต่อเนื่องทางขวา (โดยสัมพันธ์กับเมตริกแบบไม่ต่อเนื่องบน): มีเซตว่าง -null อยู่ เช่นนั้น^{[ 13 ]}${\displaystyle (P(t)_{i,j})_{t\in T}}$${\displaystyle i,j\in S}$${\displaystyle (X_{t}(\omega ))_{t\in T}}$${\displaystyle S}$${\displaystyle \Pr }$${\displaystyle N}$${\displaystyle \{\omega \in \Omega :(X_{t}(\omega ))_{t\in T}{\text{ is right continuous}}\}\subseteq N}$

ให้เป็นฟังก์ชันต่อเนื่องทางขวา (เมื่อเรากำหนดเมตริกแบบไม่ต่อเนื่อง ) กำหนดให้ ${\displaystyle f:T\to S}$${\displaystyle S}$

${\displaystyle h=h(f)=(\inf\{u\in (0,+\infty ):f(t+u)\neq f(t)\})_{t\in T})\cup \{+\infty ,0\},}$

อนุญาต

${\displaystyle H=H(f)=(h^{\circ n}0)_{n\in \mathbb {Z} _{\geq 0}}}$

เป็นลำดับเวลาการถือครองที่เกี่ยวข้องกับเลือกและปล่อยให้ ${\displaystyle f}$${\displaystyle s\in S,}$

${\displaystyle y=y(f)=\left({\begin{cases}f(\sum _{k\in n}H_{k})&{\text{ if }}\sum _{k\in n}H_{k}<+\infty ,\\s&{\text{ else}}\end{cases}}\right)_{n\in \omega }}$

เป็น " ลำดับสถานะ " ที่เกี่ยวข้องกับ ${\displaystyle f}$

เมทริกซ์การกระโดด หรือเขียนอีกแบบหนึ่งหากเราต้องการเน้นการพึ่งพาคือเมทริกซ์ ที่เป็นเซตศูนย์ของฟังก์ชัน^{[ 14 ]}${\displaystyle \Pi }$${\displaystyle \Pi (Q)}$${\displaystyle Q}$$${\displaystyle \Pi =([i=j])_{i\in Z,j\in S}\cup \bigcup _{i\in S\setminus Z}(\{((i,j),-q_{i,j}/q_{i,i}):j\in S\setminus \{i\}\}\cup \{((i,i),0)\}),}$$${\displaystyle Z=Z(Q)=\{k\in S:q_{k,k}=0\}}$${\displaystyle (q_{k,k})_{k\in S}.}$

เรากล่าวว่าเป็นมาร์คอฟที่มีการกระจายเริ่มต้นและเมทริกซ์อัตรา หมายความว่า: วิถีของเกือบแน่นอนต่อเนื่องทางขวา ให้เป็นการดัดแปลงของ เพื่อให้มีวิถีต่อเนื่องทางขวา (ทุกที่) เกือบแน่นอน (หมายเหตุสำหรับผู้เชี่ยวชาญ: เงื่อนไขนี้บอกว่า ไม่ระเบิด) ลำดับสถานะเป็นลูกโซ่มาร์คอฟแบบเวลาไม่ต่อเนื่องที่มีการกระจายเริ่มต้น(คุณสมบัติของลูกโซ่กระโดด) และเมทริกซ์การเปลี่ยนสถานะและ(คุณสมบัติของเวลาคงอยู่) ${\displaystyle X}$${\displaystyle \lambda }$${\displaystyle Q}$${\displaystyle X}$${\displaystyle f}$${\displaystyle X}$${\displaystyle \sum _{n\in \mathbb {Z} _{\geq 0}}H(f(\omega ))_{n}=+\infty }$${\displaystyle X}$${\displaystyle y(f(\omega ))}$${\displaystyle \lambda }$${\displaystyle \Pi (Q),}$${\displaystyle \forall n\in \mathbb {Z} _{\geq 0}~\forall B\in {\cal {B}}(\mathbb {R} _{\geq 0})~\Pr(H_{n}(f)\in B)=\operatorname {Exp} (-q_{Y_{n},Y_{n}})(B)}$

เรากล่าวว่าเป็นมาร์คอฟที่มีการกระจายเริ่มต้นและเมทริกซ์อัตรา หมายความว่า: สำหรับทุกและสำหรับทุกสำหรับทุกและสำหรับค่าบวกอย่างเคร่งครัดขนาดเล็กของ สิ่งต่อไปนี้เป็นจริงสำหรับทุกที่: ${\displaystyle X}$${\displaystyle \lambda }$${\displaystyle Q}$${\displaystyle i\in S,}$${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$${\displaystyle i,j}$${\displaystyle t}$${\displaystyle h}$${\displaystyle t\in T}$${\displaystyle 0<\Pr(X(t)=i)}$

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$,

โดยที่เงื่อนไขคือถ้าและมิฉะนั้นและเงื่อนไขเล็กๆจะขึ้นอยู่กับในบางวิธี^{[ 15 ] [ 16 ]}${\displaystyle [i=j]}$${\displaystyle 1}$${\displaystyle i=j}$${\displaystyle 0}$${\displaystyle o(h)}$${\displaystyle i,j,h}$

สมการข้างต้นแสดงให้เห็นว่าสามารถมองได้ว่าเป็นการวัดว่าการเปลี่ยนจากไปเกิดขึ้นเร็วแค่ไหนสำหรับและการเปลี่ยนออกจาก เกิดขึ้นเร็วแค่ไหน สำหรับ${\displaystyle q_{i,j}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle i\neq j}$${\displaystyle i}$${\displaystyle i=j}$

คลาสการสื่อสาร สภาวะชั่วคราว การเกิดซ้ำ และการเกิดซ้ำเชิงบวกและการเกิดซ้ำเป็นศูนย์ ถูกกำหนดไว้เหมือนกันกับที่ใช้สำหรับลูกโซ่ Markov แบบเวลาไม่ต่อเนื่อง

เขียน P( t ) แทนเมทริกซ์ที่มีสมาชิกp _ij = P( X _t  =  j  |  X ₀  =  i ) จากนั้นเมทริกซ์ P( t ) จะสอดคล้องกับสมการไปข้างหน้า ซึ่งเป็นสมการเชิงอนุพันธ์อันดับหนึ่ง

${\displaystyle P'(t)=P(t)Q}$,

โดยที่เครื่องหมายไพรม์หมายถึงการหาอนุพันธ์เทียบกับtคำตอบของสมการนี้แสดงด้วยเมทริกซ์เอกซ์โพเนนเชียล

${\displaystyle P(t)=e^{tQ}}$.

ในกรณีง่ายๆ เช่น CTMC บนปริภูมิสถานะ {1,2} เมทริกซ์ Q ทั่วไป สำหรับกระบวนการดังกล่าวคือเมทริกซ์ 2 × 2 ต่อไปนี้ โดยที่α , β  > 0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

ความสัมพันธ์ข้างต้นสำหรับเมทริกซ์ส่งต่อสามารถหาคำตอบได้อย่างชัดเจนในกรณีนี้เพื่อให้ได้

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

การคำนวณหาคำตอบโดยตรงนั้นซับซ้อนในเมทริกซ์ขนาดใหญ่ ข้อเท็จจริงที่ว่าQเป็นตัวสร้างสำหรับเซมิกรุปของเมทริกซ์

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

ถูกใช้

การแจกแจงแบบคงที่ คือการแจกแจงที่เป็นจุดคงที่ของเมทริกซ์อัตราการเปลี่ยนสถานะสังเกตว่าสำหรับกระบวนการสองสถานะที่พิจารณาก่อนหน้านี้ โดยที่ P( t ) กำหนดโดย ${\displaystyle \pi }$${\displaystyle Q(\pi )=\pi }$

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$,

เมื่อt  → ∞ การกระจายตัวมีแนวโน้มไปทาง

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

สังเกตว่าแต่ละแถวมีการกระจายตัวแบบเดียวกัน เนื่องจากไม่ขึ้นอยู่กับสถานะเริ่มต้น เวกเตอร์แถวπสามารถหาได้โดยการแก้สมการ

${\displaystyle \pi Q=0}$

โดยมีข้อจำกัด

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

ภาพทางด้านขวามือแสดงถึงแบบจำลอง Markov chain แบบต่อเนื่องที่มีสถานะ {ตลาดกระทิง, ตลาดหมี, ตลาดซบเซา} และเมทริกซ์อัตราการเปลี่ยนสถานะ

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

การกระจายตัวแบบคงที่ของสายโซ่นี้สามารถหาได้โดยการแก้สมการโดยมีเงื่อนไขว่าผลรวมขององค์ประกอบต้องเท่ากับ 1 เพื่อให้ได้ ${\displaystyle \pi Q=0}$

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

ภาพด้านขวามือแสดงถึงแบบจำลองลูกโซ่ Markov แบบเวลาไม่ต่อเนื่องที่จำลองเกมPac-Manโดยมีปริภูมิสถานะ {1,2,3,4,5,6,7,8,9} ผู้เล่นควบคุม Pac-Man ผ่านเขาวงกตและกินจุด Pac-Dot ในขณะเดียวกันก็ถูกผีไล่ล่า เพื่อความสะดวก เขาวงกตจะเป็นตารางขนาดเล็ก 3x3 และผีจะเคลื่อนที่แบบสุ่มในแนวนอนและแนวตั้ง ทางลับระหว่างสถานะ 2 และ 8 สามารถใช้ได้ทั้งสองทิศทาง ค่าที่มีความน่าจะเป็นเป็นศูนย์จะถูกลบออกในเมทริกซ์อัตราการเปลี่ยนสถานะต่อไปนี้:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

ห่วงโซ่ Markov นี้ไม่สามารถลดทอนได้ เนื่องจากผีสามารถบินจากทุกสถานะไปยังทุกสถานะได้ภายในระยะเวลาที่จำกัด เนื่องจากทางลับ ห่วงโซ่ Markov จึงไม่เป็นคาบด้วย เพราะผีสามารถเคลื่อนที่จากสถานะใดก็ได้ไปยังสถานะใดก็ได้ ทั้งในจำนวนการเปลี่ยนสถานะที่เป็นเลขคู่และเลขคี่ ดังนั้นจึงมีการกระจายสถานะคงที่ที่ไม่ซ้ำกัน และสามารถหาได้โดยการแก้สมการโดยมีข้อจำกัดว่าผลรวมขององค์ประกอบต้องเท่ากับ 1 คำตอบของสมการเชิงเส้นนี้ภายใต้ข้อจำกัดคือ สถานะกลางและสถานะขอบเขต 2 และ 8 ของทางลับที่อยู่ติดกันถูกเยี่ยมชมมากที่สุด และสถานะมุมถูกเยี่ยมชมน้อยที่สุด ${\displaystyle \pi Q=0}$${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$

สำหรับ CTMC X _tกระบวนการย้อนเวลาจะถูกกำหนดให้เป็นโดยทฤษฎีบทของเคลลี่กระบวนการนี้มีการกระจายสถานะคงที่เช่นเดียวกับกระบวนการไปข้างหน้า ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

กล่าวได้ว่าปฏิกิริยาลูกโซ่สามารถย้อนกลับได้ หากกระบวนการย้อนกลับเหมือนกับกระบวนการไปข้างหน้าเกณฑ์ของโคลโมโกโรฟระบุว่า เงื่อนไขที่จำเป็นและเพียงพอสำหรับกระบวนการที่จะย้อนกลับได้คือ ผลคูณของอัตราการเปลี่ยนสถานะรอบวงปิดต้องเท่ากันในทั้งสองทิศทาง

วิธีหนึ่งในการหา การ แจกแจงความน่าจะเป็นแบบคงที่πของลูกโซ่ Markov แบบต่อเนื่องเวลาที่มีคุณสมบัติ ergodic , Q , คือการหา ลูกโซ่ Markov ฝังตัว (EMC)ก่อนกล่าวอย่างเคร่งครัดแล้ว EMC คือลูกโซ่ Markov แบบไม่ต่อเนื่องเวลาปกติ แต่ละองค์ประกอบของเมทริกซ์ความน่าจะเป็นการเปลี่ยนสถานะหนึ่งขั้นของ EMC, S , จะถูกแทนด้วยs _ijและแสดงถึงความน่าจะเป็นแบบมีเงื่อนไขของการเปลี่ยนสถานะจากสถานะiไปยังสถานะjความน่าจะเป็นแบบมีเงื่อนไขเหล่านี้สามารถหาได้โดย

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

จากตรงนี้เราสามารถเขียน S ได้ดังนี้

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

โดยที่Iคือเมทริกซ์เอกลักษณ์และ diag( Q ) คือเมทริกซ์แนวทแยงมุมที่สร้างขึ้นโดยการเลือกองค์ประกอบแนวทแยงมุมหลักจากเมทริกซ์Qและกำหนดให้องค์ประกอบอื่นๆ ทั้งหมดเป็นศูนย์

ในการหาเวกเตอร์การกระจายความน่าจะเป็นแบบคงที่ เราต้องหาค่าต่อไปนี้ที่ทำให้ ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

โดยที่เป็นเวกเตอร์แถวซึ่งองค์ประกอบทั้งหมดในมีค่ามากกว่า 0 และ= 1 จากนั้นสามารถหา ค่า π ได้ดังนี้${\displaystyle \varphi }$${\displaystyle \varphi }$${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( Sอาจเป็นฟังก์ชันคาบ แม้ว่าQจะไม่มีก็ตาม เมื่อพบค่า π แล้ว จะต้องแปลงให้เป็น เวกเตอร์หน่วย )

กระบวนการเวลาไม่ต่อเนื่องอีกกระบวนการหนึ่งที่อาจได้มาจากลูกโซ่ Markov เวลาต่อเนื่องคือ δ-skeleton ซึ่งเป็นลูกโซ่ Markov (เวลาไม่ต่อเนื่อง) ที่เกิดจากการสังเกตX ( t ) ในช่วงเวลา δ หน่วย ตัวแปรสุ่มX (0),  X (δ),  X (2δ), ... จะให้ลำดับของสถานะที่ δ-skeleton ไปเยือน

• สมการโคลโมโกรอฟ (กระบวนการกระโดดแบบมาร์คอฟ)