บทความนี้มีตัวอย่างการใช้งานของห่วงโซ่มาร์คอฟและกระบวนการมาร์คอฟ

ตัวอย่างทั้งหมดอยู่ในปริภูมิสถานะ ที่นับได้ สำหรับภาพรวมของลูกโซ่ Markov ในปริภูมิสถานะทั่วไป โปรดดูที่ลูกโซ่ Markov ในปริภูมิสถานะที่วัดได้

เกมงูและบันไดหรือเกมอื่นๆ ที่การเดินหมากขึ้นอยู่กับลูกเต๋า เพียงอย่างเดียว ถือ เป็นห่วงโซ่มาร์คอฟ (Markov chain) และเป็นห่วง โซ่มาร์คอฟแบบดูด ซับ (absorbing Markov chain ) ด้วย ซึ่งแตกต่างจากเกมไพ่ เช่นแบล็กแจ็กที่ไพ่เปรียบเสมือน 'ความทรงจำ' ของการเดินหมากในอดีต เพื่อให้เห็นความแตกต่าง ลองพิจารณาความน่าจะเป็นของเหตุการณ์บางอย่างในเกม ในเกมลูกเต๋าที่กล่าวมาข้างต้น สิ่งเดียวที่สำคัญคือสถานะปัจจุบันของกระดาน สถานะต่อไปของกระดานขึ้นอยู่กับสถานะปัจจุบันและการทอยลูกเต๋าครั้งต่อไป ไม่ได้ขึ้นอยู่กับว่าสิ่งต่างๆ มาถึงสถานะปัจจุบันได้อย่างไร ในเกมอย่างแบล็กแจ็ก ผู้เล่นสามารถได้เปรียบโดยการจำได้ว่าไพ่ใบใดถูกแสดงไปแล้ว (และไพ่ใบใดที่ไม่อยู่ในสำรับแล้ว) ดังนั้นสถานะต่อไป (หรือมือต่อไป) ของเกมจึงไม่เป็นอิสระจากสถานะในอดีต

พิจารณาการเดินแบบสุ่มบนเส้นจำนวน โดยในแต่ละก้าว ตำแหน่ง (เรียกว่าx ) อาจเปลี่ยนแปลงไป +1 (ไปทางขวา) หรือ −1 (ไปทางซ้าย) ด้วยความน่าจะเป็นดังนี้:

${\displaystyle P_{\mathrm {move~left} }={\dfrac {1}{2}}+{\dfrac {1}{2}}\left({\dfrac {x}{c+|x|}}\right)}$

${\displaystyle P_{\mathrm {move~right} }=1-P_{\mathrm {move~left} }}$

(โดยที่cเป็นค่าคงที่ที่มากกว่า 0)

ตัวอย่างเช่น ถ้าค่าคงที่cเท่ากับ 1 ความน่าจะเป็นของการเคลื่อนที่ไปทางซ้ายที่ตำแหน่งx = −2, −1, 0, 1, 2 จะกำหนดโดยตามลำดับ การเดินแบบสุ่มมีผลในการรวมศูนย์ซึ่งจะอ่อนลงเมื่อcเพิ่มขึ้น ${\displaystyle {\dfrac {1}{6}},{\dfrac {1}{4}},{\dfrac {1}{2}},{\dfrac {3}{4}},{\dfrac {5}{6}}}$

เนื่องจากความน่าจะเป็นขึ้นอยู่กับตำแหน่งปัจจุบัน (ค่าของx ) เท่านั้น และไม่ขึ้นอยู่กับตำแหน่งก่อนหน้าใดๆ การเดินสุ่มแบบมีอคตินี้จึงตรงตามนิยามของห่วงโซ่มาร์คอฟ

สมมติว่าเริ่มต้นด้วยเงิน 10 ดอลลาร์ และเดิมพัน 1 ดอลลาร์ในการโยนเหรียญที่ไม่มีที่สิ้นสุดและยุติธรรมไปเรื่อยๆ หรือจนกว่าเงินทั้งหมดจะหมด ถ้าแทนจำนวนเงินที่แต่ละคนมีหลังจากโยนเหรียญn ครั้ง โดยที่ ลำดับนี้จะเป็นกระบวนการมาร์คอฟ ถ้าเรารู้ว่าตอนนี้เรามี 12 ดอลลาร์ ก็คาดได้ว่าด้วยอัตราต่อรองที่เท่ากัน เราจะมี 11 หรือ 13 ดอลลาร์หลังจากโยนเหรียญครั้งต่อไป การคาดเดานี้ไม่ได้ดีขึ้นด้วยความรู้เพิ่มเติมว่าเริ่มต้นด้วย 10 ดอลลาร์ จากนั้นเพิ่มขึ้นเป็น 11 ดอลลาร์ ลดลงเหลือ 10 ดอลลาร์ เพิ่มขึ้นเป็น 11 ดอลลาร์ และจากนั้นเป็น 12 ดอลลาร์ ข้อเท็จจริงที่ว่าการคาดเดาไม่ดีขึ้นด้วยความรู้เกี่ยวกับการโยนเหรียญครั้งก่อนๆ แสดงให้เห็นถึง^{คุณสมบัติ}ของมาร์คอฟซึ่งเป็นคุณสมบัติที่ไม่มีความทรงจำของกระบวนการสุ่ม [ ^{1 ]}${\displaystyle X_{n}}$${\displaystyle X_{0}=10}$${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$

ตัวอย่างนี้มาจากมาร์คอฟเอง^{[ 2 ]} มาร์คอฟเลือกตัวอักษร 20,000 ตัวจาก Eugene Oneginของพุชกิน จำแนกเป็นสระและพยัญชนะ และนับความน่าจะเป็นของการเปลี่ยนสถานะการกระจายตัวแบบคงที่คือสระ 43.2 เปอร์เซ็นต์และพยัญชนะ 56.8 เปอร์เซ็นต์ ซึ่งใกล้เคียงกับจำนวนจริงในหนังสือ^{[ 3 ]}$${\displaystyle {\begin{array}{lll}&{\text{สระ}}&{\text{พยัญชนะ}}\\{\text{สระ}}&.128&.872\\{\text{พยัญชนะ}}&.663&.337\end{array}}}$$

ความน่าจะเป็นของสภาพอากาศ (จำลองเป็นฝนตกหรือแดดออก) โดยพิจารณาจากสภาพอากาศในวันก่อนหน้า สามารถแสดงได้ด้วยเมทริกซ์การเปลี่ยนสถานะ :

${\displaystyle P={\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}}$

เมทริกซ์Pแสดงถึงแบบจำลองสภาพอากาศที่วันที่มีแดดจัดมีโอกาส 90% ที่จะตามด้วยวันที่มีแดดจัดอีกวัน และวันที่มีฝนตกมีโอกาส 50% ที่จะตามด้วยวันที่มีฝนตกอีกวัน คอลัมน์สามารถกำหนดชื่อเป็น "แดดจัด" และ "ฝนตก" ได้ และแถวสามารถกำหนดชื่อในลำดับเดียวกันได้

( P ) _ijคือความน่าจะเป็นที่หากวันใดวันหนึ่งเป็นประเภทiแล้ว วันนั้นจะตามมาด้วยวันประเภทj

สังเกตว่าผลรวมของแถวในเมทริกซ์Pเท่ากับ 1: นั่นเป็นเพราะPเป็นเมทริกซ์สุ่ม

ทราบว่าสภาพอากาศในวันที่ 0 (วันนี้) มีแดดจัด ซึ่งแสดงด้วยเวกเตอร์สถานะเริ่มต้น โดยที่ช่อง "แดดจัด" มีค่า 100% และช่อง "ฝนตก" มีค่า 0%:

${\displaystyle \mathbf {x} ^{(0)}={\begin{bmatrix}1&0\end{bmatrix}}}$

สามารถพยากรณ์อากาศในวันที่ 1 (พรุ่งนี้) ได้โดยการคูณเวกเตอร์สถานะจากวันที่ 0 ด้วยเมทริกซ์การเปลี่ยนสถานะ:

${\displaystyle \mathbf {x} ^{(1)}=\mathbf {x} ^{(0)}P={\begin{bmatrix}1&0\end{bmatrix}}{\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}={\begin{bmatrix}0.9&0.1\end{bmatrix}}}$

ดังนั้น จึงมีโอกาส 90% ที่วันแรกจะมีแดดจัดเช่นกัน

สภาพอากาศในวันที่ 2 (วันมะรืนนี้) สามารถพยากรณ์ได้ด้วยวิธีเดียวกัน โดยใช้เวกเตอร์สถานะที่เราคำนวณไว้สำหรับวันที่ 1:

${\displaystyle \mathbf {x} ^{(2)}=\mathbf {x} ^{(1)}P=\mathbf {x} ^{(0)}P^{2}={\begin{bmatrix}1&0\end{bmatrix}}{\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}^{2}={\begin{bmatrix}0.86&0.14\end{bmatrix}}}$

หรือ

${\displaystyle \mathbf {x} ^{(2)}=\mathbf {x} ^{(1)}P={\begin{bmatrix}0.9&0.1\end{bmatrix}}{\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}={\begin{bmatrix}0.86&0.14\end{bmatrix}}}$

กฎทั่วไปสำหรับวันที่nมีดังนี้:

${\displaystyle \mathbf {x} ^{(n)}=\mathbf {x} ^{(n-1)}P}$

${\displaystyle \mathbf {x} ^{(n)}=\mathbf {x} ^{(0)}P^{n}}$

ในตัวอย่างนี้ การพยากรณ์สภาพอากาศในวันต่อๆ ไปจะเปลี่ยนแปลงน้อยลงเรื่อยๆ ในแต่ละวัน และมีแนวโน้มเข้าสู่เวกเตอร์สถานะคงที่เวกเตอร์นี้แสดงถึงความน่าจะเป็นของสภาพอากาศที่มีแดดจัดและฝนตกในทุกวัน และไม่ขึ้นอยู่กับสภาพอากาศเริ่มต้น

เวกเตอร์สภาวะคงที่ถูกกำหนดดังนี้:

${\displaystyle \mathbf {q} =\lim _{n\to \infty }\mathbf {x} ^{(n)}}$

แต่จะลู่เข้าสู่เวกเตอร์ที่เป็นบวกอย่างแท้จริงก็ต่อเมื่อPเป็นเมทริกซ์การเปลี่ยนผ่านปกติ (นั่นคือ มีP ⁿ อย่างน้อยหนึ่ง เมทริกซ์ที่มีค่าไม่เป็นศูนย์ทั้งหมด)

เนื่องจากqเป็นอิสระจากเงื่อนไขเริ่มต้น จึงต้องไม่เปลี่ยนแปลงเมื่อแปลงโดยP [ ^{4 ]} ซึ่งทำให้เป็น เวก เตอร์ ลักษณะเฉพาะ (มีค่าลักษณะเฉพาะ เท่ากับ 1) และหมายความ ^ว่าสามารถหาได้จากP

ในภาษาชาวบ้าน เวกเตอร์สถานะคงที่คือเวกเตอร์ที่เมื่อเราคูณด้วยPแล้วจะได้เวกเตอร์เดิมกลับมา^{[ 5 ]}สำหรับตัวอย่างสภาพอากาศ เราสามารถใช้สิ่งนี้เพื่อตั้งสมการเมทริกซ์ได้:

${\displaystyle {\begin{aligned}P&={\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}\\\mathbf {q} P&=\mathbf {q} &&{\text{(}}\mathbf {q} {\text{ is unchanged by }}P{\text{.)}}\\&=\mathbf {q} I\\\mathbf {q} (P-I)&=\mathbf {0} \\\mathbf {q} \left({\begin{bmatrix}0.9&0.1\\0.5&0.5\end{bmatrix}}-{\begin{bmatrix}1&0\\0&1\end{bmatrix}}\right)&=\mathbf {0} \\\mathbf {q} {\begin{bmatrix}-0.1&0.1\\0.5&-0.5\end{bmatrix}}&=\mathbf {0} \\{\begin{bmatrix}q_{1}&q_{2}\end{bmatrix}}{\begin{bmatrix}-0.1&0.1\\0.5&-0.5\end{bmatrix}}&={\begin{bmatrix}0&0\end{bmatrix}}\\-0.1q_{1}+0.5q_{2}&=0\end{aligned}}}$

และเนื่องจากเป็นเวกเตอร์ความน่าจะเป็น เราจึงทราบว่า

${\displaystyle q_{1}+q_{2}=1.}$

การแก้สมการสองตัวแปรพร้อมกันนี้จะได้เวกเตอร์สภาวะคงที่:

${\displaystyle {\begin{bmatrix}q_{1}&q_{2}\end{bmatrix}}={\begin{bmatrix}0.833&0.167\end{bmatrix}}}$

โดยสรุป ในระยะยาวประมาณ 83.3% ของวันจะมีแดดจัด กระบวนการมาร์คอฟบางกระบวนการไม่มีเวกเตอร์สถานะคงที่ โดยเฉพาะอย่างยิ่ง เมทริกซ์การเปลี่ยนสถานะต้องเป็นเมทริกซ์ปกติมิเช่นนั้น เวกเตอร์สถานะจะแกว่งไปมาตามเวลาโดยไม่ลู่เข้าสู่ค่าคงที่

แผนภาพสถานะสำหรับตัวอย่างง่ายๆ แสดงอยู่ในรูปทางด้านขวา โดยใช้กราฟแบบมีทิศทางเพื่อแสดงการเปลี่ยนสถานะสถานะต่างๆ แสดงว่าตลาดหุ้นสมมติอยู่ในช่วงตลาดกระทิงตลาดหมีหรือตลาดทรงตัวในช่วงสัปดาห์ใดสัปดาห์หนึ่ง ตามรูปแล้ว สัปดาห์ที่เป็นตลาดกระทิงจะตามมาด้วยสัปดาห์ที่เป็นตลาดกระทิงอีกสัปดาห์หนึ่ง 90% ของเวลา สัปดาห์ที่เป็นตลาดหมี 7.5% ของเวลา และสัปดาห์ที่เป็นตลาดทรงตัวอีก 2.5% ของเวลา การกำหนดป้ายกำกับให้กับพื้นที่สถานะ {1 = ตลาดกระทิง, 2 = ตลาดหมี, 3 = ตลาดทรงตัว} เมทริกซ์การเปลี่ยนสถานะสำหรับตัวอย่างนี้คือ

${\displaystyle P={\begin{bmatrix}0.9&0.075&0.025\\0.15&0.8&0.05\\0.25&0.25&0.5\end{bmatrix}}.}$

การกระจายตัวของสถานะต่างๆ สามารถเขียนได้เป็นเวกเตอร์แถวสุ่มxโดยมีความสัมพันธ์x ^{( n  + 1)}  =  x ^{( n )} Pดังนั้น ถ้า ณ เวลาnระบบอยู่ในสถานะx ^{( n )}แล้ว สามช่วงเวลาต่อมา ณ เวลาn  + 3การกระจายตัวจะเป็นดังนี้

${\displaystyle {\begin{aligned}x^{(n+3)}&=x^{(n+2)}P=\left(x^{(n+1)}P\right)P\\\\&=x^{(n+1)}P^{2}=\left(x^{(n)}P\right)P^{2}\\&=x^{(n)}P^{3}\\\end{aligned}}}$

โดยเฉพาะอย่างยิ่ง ถ้า ณ เวลาnระบบอยู่ในสถานะ 2 (หมี) แล้ว ณ เวลาn  + 3การกระจายจะเป็นดังนี้

${\displaystyle {\begin{aligned}x^{(n+3)}&={\begin{bmatrix}0&1&0\end{bmatrix}}{\begin{bmatrix}0.9&0.075&0.025\\0.15&0.8&0.05\\0.25&0.25&0.5\end{bmatrix}}^{3}\\[5pt]&={\begin{bmatrix}0&1&0\end{bmatrix}}{\begin{bmatrix}0.7745&0.17875&0.04675\\0.3575&0.56825&0.07425\\0.4675&0.37125&0.16125\\\end{bmatrix}}\\[5pt]&={\begin{bmatrix}0.3575&0.56825&0.07425\end{bmatrix}}.\end{aligned}}}$

การใช้เมทริกซ์การเปลี่ยนสถานะทำให้สามารถคำนวณได้ เช่น สัดส่วนระยะยาวของสัปดาห์ที่ตลาดอยู่ในภาวะชะงักงัน หรือจำนวนสัปดาห์โดยเฉลี่ยที่จะใช้ในการเปลี่ยนจากภาวะชะงักงันไปสู่ตลาดกระทิง โดยใช้ความน่าจะเป็นของการเปลี่ยนสถานะ ความน่าจะเป็นของสภาวะคงที่บ่งชี้ว่า 62.5% ของสัปดาห์จะอยู่ในตลาดกระทิง 31.25% ของสัปดาห์จะอยู่ในตลาดหมี และ 6.25% ของสัปดาห์จะอยู่ภาวะชะงักงัน เนื่องจาก:

${\displaystyle \lim _{N\to \infty }\,P^{N}={\begin{bmatrix}0.625&0.3125&0.0625\\0.625&0.3125&0.0625\\0.625&0.3125&0.0625\end{bmatrix}}}$

การพัฒนาอย่างละเอียดและตัวอย่างมากมายสามารถพบได้ในเอกสารออนไลน์ Meyn & Tweedie 2005 ^{[ 6 ]}

เครื่องจักรสถานะจำกัดสามารถใช้เป็นตัวแทนของห่วงโซ่มาร์คอฟได้ โดยสมมติว่ามีลำดับของ สัญญาณอินพุต ที่เป็นอิสระและมีการกระจายแบบเดียวกัน (ตัวอย่างเช่น สัญลักษณ์จากตัวอักษรไบนารีที่เลือกโดยการโยนเหรียญ) หากเครื่องจักรอยู่ในสถานะyในเวลาnความน่าจะเป็นที่มันจะเปลี่ยนไปยังสถานะxในเวลาn  + 1 จะขึ้นอยู่กับสถานะปัจจุบันเท่านั้น

อั ลกอริทึม PageRankซึ่งเดิมที Google ใช้ในการจัดอันดับเว็บไซต์ในผลการค้นหาของเครื่องมือค้นหา มีพื้นฐานมาจากแบบจำลอง Markov chain แบบเวลาไม่ต่อเนื่อง โดยพื้นที่สถานะประกอบด้วยหน้าเว็บทั้งหมดที่ถูกจัดทำดัชนีโดยเครื่องมือค้นหา แบบจำลองนี้จินตนาการถึง "ผู้ท่องเว็บแบบสุ่ม" ที่เริ่มต้นบนหน้าเว็บที่เลือกแบบสุ่มและเริ่มคลิกลิงก์ต่างๆ

ในแต่ละช่วงเวลาที่กำหนด นักเล่นกระดานโต้คลื่นจะทำอย่างใดอย่างหนึ่งดังต่อไปนี้:

• คลิกที่ลิงก์ภายนอกที่ถูกเลือกแบบสุ่มจากหน้าปัจจุบันด้วยความน่าจะเป็น("ปัจจัยการลดทอน" ซึ่งโดยทั่วไปกำหนดไว้ที่ประมาณ 0.85)${\displaystyle d}$
• เทเลพอร์ตไปยังหน้าเว็บแบบสุ่มบนอินเทอร์เน็ตทั้งหมดด้วยความน่าจะเป็น.${\displaystyle 1-d}$

เนื่องจากหน้าเว็บถัดไปของผู้ใช้งานขึ้นอยู่กับลิงก์ในหน้าเว็บปัจจุบันและความน่าจะเป็นในการเคลื่อนย้ายที่คงที่ กระบวนการนี้จึงเป็นไปตามคุณสมบัติของมาร์คอฟ ค่า PageRank ของเว็บไซต์ใดเว็บไซต์หนึ่งก็คือค่าความน่าจะเป็นในเวกเตอร์สถานะคงที่ของห่วงโซ่มาร์คอฟขนาดใหญ่ ซึ่งแสดงถึงสัดส่วนของเวลาในระยะยาวที่ผู้ใช้งานแบบสุ่มใช้ไปกับหน้าเว็บนั้น

ลำดับการทำคะแนนในเกมเทนนิสหนึ่งเกมสามารถจำลองได้ด้วยแบบจำลอง Markov chain แบบดูดซับพื้นที่สถานะประกอบด้วยชุดคะแนนปัจจุบัน (เช่น "0–0", "15–0", "30–15", "เสมอ", "ผู้เสิร์ฟได้เปรียบ", "ผู้รับได้เปรียบ", "ผู้เสิร์ฟชนะ", "ผู้รับชนะ")

สมมติว่าผู้เล่นฝ่ายเสิร์ฟชนะในแต่ละแต้มด้วยความน่าจะเป็นคงที่และผู้เล่นฝ่ายรับชนะด้วยความน่าจะเป็นการเปลี่ยนจากสถานะหนึ่งไปอีกสถานะหนึ่งขึ้นอยู่กับคะแนนปัจจุบันเท่านั้น ไม่ได้ขึ้นอยู่กับลำดับของแต้มที่นำไปสู่คะแนนนั้น ${\displaystyle p}$${\displaystyle q=1-p}$

ตัวอย่างเช่น จากสถานะ "เสมอ" (Deuce) ห่วงโซ่จะเปลี่ยนไปสู่ ​​"เซิร์ฟเวอร์ได้เปรียบ" (Advantage Server) ด้วยความน่าจะเป็นและไปสู่ ​​"ผู้รับได้เปรียบ" (Advantage Receiver) ด้วยความน่าจะเป็นสถานะ "เซิร์ฟเวอร์เกม" (Game Server) และ "ผู้รับเกม" (Game Receiver) ทำหน้าที่เป็นสถานะดูดซับ เมื่อถึงสถานะนี้แล้ว เกมจะจบลง และห่วงโซ่จะคงอยู่ในสถานะนั้นด้วยความน่าจะเป็น 1 แบบจำลองนี้สามารถใช้ในการคำนวณความน่าจะเป็นที่แน่นอนที่ผู้เล่นจะชนะเกมจากคะแนนกลางใดๆ ก็ได้ ${\displaystyle p}$${\displaystyle q}$

โซ่ Markov ถูกนำมาใช้บ่อยครั้งในการสร้างดนตรีด้วยอัลกอริทึม เพื่อสร้างทำนองใหม่ที่เลียนแบบสไตล์ของนักแต่งเพลง แนวเพลง หรือชุดข้อมูลฝึกฝนเฉพาะเจาะจง

ปริภูมิสถานะประกอบด้วยระดับเสียงดนตรี คอร์ด หรือค่าจังหวะ โดยการวิเคราะห์ข้อมูลชุดข้อมูลดนตรีที่มีอยู่แล้ว (ตัวอย่างเช่น ทำนองเพลงของโยฮันน์ เซบาสเตียน บาค) ด้วยวิธีการคำนวณ จะมีการสร้างเมทริกซ์การเปลี่ยนสถานะขึ้น ซึ่งกำหนดความน่าจะเป็นของโน้ตเฉพาะที่ตามหลังโน้ตปัจจุบัน หากสถานะปัจจุบันเป็น "โน้ตตัวควอเตอร์ C" เมทริกซ์จะให้ความน่าจะเป็นที่คำนวณได้ว่าสถานะถัดไปจะเป็น "โน้ตตัวเอท E" "โน้ตตัวควอเตอร์ G" และอื่นๆ

เนื่องจากการเลือกโน้ตตัวถัดไปขึ้นอยู่กับโน้ตปัจจุบันเท่านั้น กระบวนการสร้างจึงเป็นการเดินแบบสุ่มผ่านเมทริกซ์การเปลี่ยนสถานะ โซ่ Markov ลำดับสูงกว่าก็มักใช้ในสาขานี้เช่นกัน โดยที่สถานะถัดไปขึ้นอยู่กับลำดับของโน้ตก่อนหน้า ซึ่งทำได้โดยการกำหนดพื้นที่สถานะใหม่ให้ประกอบด้วยคู่ลำดับที่มีความยาว ${\displaystyle k}$${\displaystyle k}$

กระบวนการปัวซง (Poisson process)เป็นหนึ่งในตัวอย่างที่ง่ายที่สุดและพื้นฐานที่สุดของห่วงโซ่มาร์คอฟแบบต่อเนื่องตามเวลา มันจำลองลำดับเหตุการณ์ที่เกิดขึ้นแบบสุ่มในช่วงเวลา เช่น การสลายตัวของกัมมันตรังสี การมาถึงของอีเมลในกล่องจดหมาย หรือการคลิกบนเว็บไซต์ ถ้าแทนจำนวนเหตุการณ์ทั้งหมดที่เกิดขึ้นจนถึงเวลา t กระบวนการนี้จะมีปริภูมิสถานะเป็นจำนวนเต็มที่ไม่เป็นลบ ห่วงโซ่จะเคลื่อนที่ขึ้นไปข้างบนเท่านั้น (กระบวนการ "เกิดบริสุทธิ์") โดยเปลี่ยนจากสถานะ t ไปยัง สถานะ n ในอัตราคงที่เวลาที่ใช้ในแต่ละสถานะเป็น ตัวแปรสุ่มอิสระ ที่มีการแจกแจงแบบเอก ซ์โพเนนเชียล โดยมีพารามิเตอร์χ ${\displaystyle X_{t}}$${\displaystyle t}$${\displaystyle \{0,1,2,\dots \}}$${\displaystyle i}$${\displaystyle i+1}$${\displaystyle \lambda }$${\displaystyle \lambda }$

ถ้าหากนำเมล็ดข้าวโพด 100 เมล็ดไปคั่วในเตาอบ โดยแต่ละเมล็ดแตกตัว ใน เวลาที่เป็นอิสระและมีการกระจายแบบเอกซ์โปเนนเชียล นี่จะเป็นกระบวนการมาร์คอฟแบบต่อเนื่องถ้าแทนจำนวนเมล็ดข้าวโพดที่แตกตัวแล้วจนถึงเวลาปัญหาสามารถกำหนดได้ว่าเป็นการหาจำนวนเมล็ดข้าวโพดที่จะแตกตัวในเวลาต่อมา สิ่งเดียวที่ต้องรู้คือจำนวนเมล็ดข้าวโพดที่แตกตัวแล้วก่อนเวลาไม่จำเป็นต้องรู้ว่า เมล็ดข้าวโพดแตกตัว เมื่อใดดังนั้นการรู้ลำดับที่แน่นอนของในช่วงเวลาก่อนหน้าจึงไม่เกี่ยวข้องกับการทำนายอนาคต ${\displaystyle X_{t}}$${\displaystyle t}$${\displaystyle t}$${\displaystyle X_{t}}$

ในทางคณิตศาสตร์ นี่คือกระบวนการเกิดบริสุทธิ์ที่มีปริภูมิสถานะจำกัดแตกต่างจากกระบวนการปัวซงมาตรฐาน อัตราการแตกตัวจะเปลี่ยนแปลงไปตามสถานะปัจจุบัน หากเคอร์เนลแตกตัวไปแล้ว ก็จะมีเคอร์เนลที่ยังไม่แตกตัวเหลืออยู่ หากแต่ละเคอร์เนลแตกตัวด้วยอัตราอัตราการเปลี่ยนสถานะโดยรวมจากสถานะหนึ่งไปยังอีกสถานะหนึ่ง คือ${\displaystyle \{0,1,\dots ,100\}}$${\displaystyle i}$${\displaystyle 100-i}$${\displaystyle \lambda }$${\displaystyle i}$${\displaystyle i+1}$${\displaystyle (100-i)\lambda }$

หนึ่งในแบบจำลองลูกโซ่ Markov แบบต่อเนื่องที่ใช้งานได้จริงมากที่สุดคือแบบจำลองสองสถานะ ซึ่งมักใช้ในวิศวกรรมความน่าเชื่อถือเพื่อจำลองเครื่องจักรที่สลับระหว่างการทำงานและการชำรุด พื้นที่สถานะคือโดยที่ 0 แทน "ทำงาน" และ 1 แทน "ชำรุด" ${\displaystyle \{0,1\}}$

• เมื่อเครื่องจักรทำงานอยู่ มันจะเสียหลังจากช่วงเวลาที่มีการแจกแจงแบบเอกซ์โปเนนเชียล โดยมีอัตราการเสียตามที่กำหนด${\displaystyle \lambda }$
• เมื่อเครื่องจักรเกิดขัดข้อง จะใช้เวลาในการซ่อมแซมซึ่งเป็นไปตามการกระจายแบบเอกซ์โปเนนเชียล โดยมีอัตราการซ่อมแซม${\displaystyle \mu }$

ระบบนี้ไม่มีหน่วยความจำโดยสมบูรณ์: ความน่าจะเป็นที่เครื่องจะเสียในนาทีถัดไปขึ้นอยู่กับเพียงแค่ว่าเครื่องกำลังทำงานอยู่หรือไม่ ไม่ได้ขึ้นอยู่กับว่าเครื่องทำงานมานานแค่ไหนแล้วนับตั้งแต่ได้รับการซ่อมแซมครั้งล่าสุดเมทริกซ์อัตราการเปลี่ยนสถานะ (หรือเมทริกซ์กำเนิด) สำหรับระบบนี้คือ: ${\displaystyle Q}$

${\displaystyle Q={\begin{pmatrix}-\lambda &\lambda \\\mu &-\mu \end{pmatrix}}}$

ตัวอย่างคลาสสิกของกระบวนการเกิด-ตาย คือ คิว M/M/1 ซึ่งจำลองเซิร์ฟเวอร์เดียวที่จัดการแถวของลูกค้า เช่น พนักงานเก็บเงินในร้านขายของชำ หรือเราเตอร์ที่ประมวลผลแพ็กเก็ตข้อมูล

• การเกิด (การมาถึง):ลูกค้ามาถึงตามกระบวนการปัวซงด้วยอัตราซึ่งจะทำให้จำนวนคนในระบบเพิ่มขึ้นจากเป็น.${\displaystyle \lambda }$${\displaystyle i}$${\displaystyle i+1}$
• การเสียชีวิต (การออกจากระบบ):เซิร์ฟเวอร์จะประมวลผลลูกค้าทีละราย เวลาในการให้บริการมีการกระจายแบบเอกซ์โปเนนเชียลตามอัตราการให้บริการเสร็จสิ้นจะลดสถานะจากเป็น(สำหรับ)${\displaystyle \mu }$${\displaystyle i}$${\displaystyle i-1}$${\displaystyle i>0}$

ปริภูมิสถานะคือเซตของจำนวนเต็มที่ไม่เป็นลบซึ่งแสดงจำนวนลูกค้าในระบบ เนื่องจากทั้งเวลาการมาถึงและเวลาการให้บริการมีการกระจายแบบเอกซ์โปเนนเชียล สถานะในอนาคตของระบบจึงขึ้นอยู่กับจำนวนลูกค้าที่อยู่ในคิวในปัจจุบันเท่านั้น ทำให้ระบบนี้จัดเป็นลูกโซ่ Markov แบบเวลาต่อเนื่อง ${\displaystyle \{0,1,2,\dots \}}$

แบบจำลองลูกโซ่ Markov แบบต่อเนื่องถูกนำมาใช้กันอย่างแพร่หลายในการจำลองการแพร่กระจายของโรคติดเชื้อ ตัวอย่างคลาสสิกคือแบบจำลอง SIS (Susceptible-Infected-Susceptible) แบบสุ่ม ซึ่งติดตามจำนวนผู้ติดเชื้อในประชากรที่มีขนาดคงที่และผสมกันอย่างทั่วถึง ปริภูมิสถานะคือซึ่งแทนจำนวนผู้ติดเชื้อในปัจจุบัน ${\displaystyle N}$${\displaystyle \{0,1,\dots ,N\}}$${\displaystyle I}$

• การติดเชื้อ:บุคคลที่อ่อนแอต่อการติดเชื้อสัมผัสกับบุคคลที่ติดเชื้อและติดโรค อัตราการเปลี่ยนสถานะจากสถานะหนึ่งไปอีก สถานะ หนึ่งเป็นสัดส่วนกับจำนวนผู้ติดเชื้อและจำนวนบุคคลที่อ่อนแอต่อการติดเชื้อ: โดยที่คืออัตราการแพร่เชื้อ${\displaystyle I}$${\displaystyle I+1}$${\displaystyle \beta I(N-I)}$${\displaystyle \beta }$
• การฟื้นตัว:ผู้ติดเชื้อฟื้นตัวและกลับมาติดเชื้อได้อีกครั้งทันที อัตราการเปลี่ยนสถานะจากสถานะหนึ่งไปอีก สถานะหนึ่ง คือโดยที่คืออัตราการฟื้นตัว${\displaystyle I}$${\displaystyle I-1}$${\displaystyle \gamma I}$${\displaystyle \gamma }$

เนื่องจากอัตราการติดเชื้อและการฟื้นตัวขึ้นอยู่กับจำนวนผู้ติดเชื้อ ณ ช่วงเวลาใดเวลาหนึ่งเท่านั้น คุณสมบัติไร้ความทรงจำจึงเป็นจริง โปรดสังเกตว่าสถานะ 0 เป็นสถานะดูดซับ : เมื่อการติดเชื้อหมดไปโดยสมบูรณ์แล้ว จะไม่สามารถกลับมาได้อีก

ในทางพันธุศาสตร์ แบบจำลองโมแรนอธิบายถึงวิวัฒนาการแบบสุ่มของอัลลีลสองชนิดที่แข่งขันกัน (เช่น อัลลีล A และอัลลีล B) ในประชากรที่มีขนาดคงที่อย่างเคร่งครัดสถานะของห่วงโซ่มาร์คอฟคือจำนวนของบุคคลที่มียีนอัลลีล A ซึ่งสามารถมีค่าได้ตั้งแต่ ถึง${\displaystyle N}$${\displaystyle 0}$${\displaystyle N}$

ในระยะเวลาต่อเนื่อง เหตุการณ์การสืบพันธุ์เกิดขึ้นในอัตราคงที่ เมื่อเหตุการณ์เกิดขึ้น:

• จะสุ่มเลือกสิ่งมีชีวิตหนึ่งตัวเพื่อทำการสืบพันธุ์ (สร้างสำเนาของอัลลีลของมัน)
• จะสุ่มเลือกบุคคลหนึ่งให้ตาย (เพื่อให้มีพื้นที่สำหรับสำเนาใหม่เพื่อรักษาระดับประชากร)

อัตราการเปลี่ยนสถานะจากสถานะ(ที่มีบุคคลที่มีอัลลีล A และอัลลีล B) ไปยัง สถานะ หรือขึ้นอยู่กับสัดส่วนของอัลลีลในประชากรในปัจจุบันเท่านั้น ทั้งสถานะ 0 (อัลลีล A หายไปอย่างถาวร) และสถานะ(อัลลีล A คงที่อย่างถาวร) ทำหน้าที่เป็นขอบเขตดูดซับ ${\displaystyle i}$${\displaystyle i}$${\displaystyle N-i}$${\displaystyle i+1}$${\displaystyle i-1}$${\displaystyle N}$

ในวิชาเคมีเชิงกายภาพและชีววิทยาเชิงระบบ ปฏิสัมพันธ์ของโมเลกุลในปริมาตรขนาดเล็กที่มีการผสมกันอย่างดีจะถูกจำลองเป็นลูกโซ่ Markov แบบต่อเนื่องตามเวลา สถานะของระบบคือเวกเตอร์ที่แสดงจำนวนเต็มที่แน่นอนของโมเลกุลแต่ละชนิดที่มีอยู่

ปฏิกิริยาต่างๆ ถูกมองว่าเป็นการกระโดดแบบสุ่มระหว่างสถานะที่ไม่ต่อเนื่องเหล่านี้ ตัวอย่างเช่น ปฏิกิริยาที่โมเลกุล A และโมเลกุล B ชนกันเพื่อสร้างโมเลกุล C ( ) เกิดขึ้นที่อัตราการเปลี่ยนสถานะซึ่งเป็นสัดส่วนกับจำนวนโมเลกุล A คูณด้วยจำนวนโมเลกุล B คุณสมบัติที่ไม่จดจำยังคงอยู่เนื่องจากความน่าจะเป็นของการชนที่ส่งผลให้เกิดปฏิกิริยาที่ประสบความสำเร็จในช่วงเวลาที่เล็กมากถัดไปนั้นขึ้นอยู่กับความเข้มข้นของสารตั้งต้น ณ ขณะนั้นเท่านั้น ไม่ได้ขึ้นอยู่กับระยะเวลาที่สารตั้งต้นเหล่านั้นเคลื่อนที่ไปมาในภาชนะ ${\displaystyle A+B\to C}$

• มาร์ค วี. เชนีย์
• ระบบอนุภาคที่มีปฏิสัมพันธ์
• ออโตมาตาเซลลูลาร์แบบสุ่ม

• การผูกขาดในรูปแบบห่วงโซ่มาร์คอฟ