ลองพิจารณาการทดลองที่สามารถให้ผลลัพธ์ได้หลายอย่าง เซตของผลลัพธ์ทั้งหมดเรียกว่า ปริภูมิของ ตัวอย่าง (sample space ) ของการทดลองเซตกำลัง (power set ) ของปริภูมิของตัวอย่าง (หรือเทียบเท่ากับปริภูมิเหตุการณ์) เกิดจากการพิจารณาชุดผลลัพธ์ที่เป็นไปได้ทั้งหมดที่แตกต่างกัน ตัวอย่างเช่น การทอยลูกเต๋าอย่างยุติธรรมจะให้ผลลัพธ์ที่เป็นไปได้ 6 แบบ ชุดผลลัพธ์หนึ่งคือการได้เลขคี่ ดังนั้น เซตย่อย {1,3,5} จึงเป็นสมาชิกของเซตกำลังของปริภูมิของการทอยลูกเต๋า ชุดผลลัพธ์เหล่านี้เรียกว่าเหตุการณ์ในกรณีนี้ {1,3,5} คือเหตุการณ์ที่ลูกเต๋าตกได้เลขคี่ ถ้าผลลัพธ์ที่เกิดขึ้นจริงตรงกับเหตุการณ์ใดเหตุการณ์หนึ่ง เหตุการณ์นั้นก็ถือว่าเกิดขึ้นแล้ว

ความน่าจะเป็นเป็นวิธีการกำหนด ค่าให้ กับ "เหตุการณ์" แต่ละเหตุการณ์ให้มีค่าระหว่างศูนย์ถึงหนึ่ง โดยมีข้อกำหนดว่าเหตุการณ์ที่ประกอบด้วยผลลัพธ์ที่เป็นไปได้ทั้งหมด (ในตัวอย่างของเราคือเหตุการณ์ {1,2,3,4,5,6}) จะต้องได้รับการกำหนดค่าเป็นหนึ่ง การกำหนดค่าเพื่อให้มีคุณสมบัติเป็นการกระจายความน่าจะเป็นจะต้องเป็นไปตามข้อกำหนดที่ว่า หากคุณพิจารณาชุดของเหตุการณ์ที่ไม่เกี่ยวข้องกัน (เหตุการณ์ที่ไม่มีผลลัพธ์ร่วมกัน เช่น เหตุการณ์ {1,6}, {3} และ {2,4} ล้วนเป็นเหตุการณ์ที่ไม่เกี่ยวข้องกัน) ความน่าจะเป็นที่เหตุการณ์ใดเหตุการณ์หนึ่งเหล่านี้จะเกิดขึ้นจะเท่ากับผลรวมของความน่าจะเป็นของเหตุการณ์เหล่านั้น^{[ 10 ]}

ความน่าจะเป็นที่เหตุการณ์ใดเหตุการณ์หนึ่งใน {1,6}, {3} หรือ {2,4} จะเกิดขึ้นคือ 5/6 ซึ่งก็เหมือนกับการกล่าวว่าความน่าจะเป็นของเหตุการณ์ {1,2,3,4,6} คือ 5/6 เหตุการณ์นี้ครอบคลุมความเป็นไปได้ที่ลูกเต๋าจะออกเลขใดๆ ก็ได้ยกเว้นเลขห้า เหตุการณ์ {5} ซึ่งเป็นเหตุการณ์ที่ไม่เกิดขึ้นพร้อมกัน มีความน่าจะเป็น 1/6 และเหตุการณ์ {1,2,3,4,5,6} มีความน่าจะเป็น 1 นั่นคือ ความแน่นอนอย่างสมบูรณ์

เมื่อทำการคำนวณโดยใช้ผลลัพธ์ของการทดลอง จำเป็นต้องกำหนดหมายเลขให้กับเหตุการณ์พื้นฐาน ทั้งหมดเหล่านั้น ซึ่งทำได้โดยใช้ ตัวแปรสุ่มตัวแปรสุ่มคือฟังก์ชันที่กำหนดจำนวนจริง ให้กับเหตุการณ์พื้นฐานแต่ละเหตุการณ์ในปริภูมิของตัวอย่าง ฟังก์ชันนี้มักจะแสดงด้วยตัวอักษรตัวใหญ่^{[ 11 ]}ในกรณีของลูกเต๋า การกำหนดหมายเลขให้กับเหตุการณ์พื้นฐานบางอย่างสามารถทำได้โดยใช้ฟังก์ชันเอกลักษณ์ซึ่งไม่ได้ผลเสมอไป ตัวอย่างเช่น เมื่อโยนเหรียญผลลัพธ์ที่เป็นไปได้สองอย่างคือ "หัว" และ "ก้อย" ในตัวอย่างนี้ ตัวแปรสุ่มXอาจกำหนดหมายเลข "0" ( ) ให้กับผลลัพธ์ "หัว" และหมายเลข "1" ( ) ให้กับผลลัพธ์ "ก้อย"$X(หัว) = 0$${\displaystyle X({\text{tails}})=1}$

ทฤษฎีความน่าจะเป็นแบบไม่ต่อเนื่องเกี่ยวข้องกับเหตุการณ์ที่เกิดขึ้นในปริภูมิของตัวอย่างที่นับได้

ตัวอย่างเช่น การทอยลูกเต๋าการทดลองกับสำรับไพ่การเดินแบบสุ่มและการโยนเหรียญ

นิยามแบบดั้งเดิม : ในขั้นต้น ความน่าจะเป็นของการเกิดเหตุการณ์หนึ่งๆ ถูกกำหนดให้เป็นจำนวนกรณีที่เอื้อต่อการเกิดเหตุการณ์นั้น หารด้วยจำนวนผลลัพธ์ทั้งหมดที่เป็นไปได้ในปริภูมิของตัวอย่างที่มีความน่าจะเป็นเท่ากัน: ดูนิยามแบบดั้งเดิมของความน่าจะเป็น

ตัวอย่างเช่น ถ้าเหตุการณ์คือ "การปรากฏของเลขคู่เมื่อทอยลูกเต๋า" ความน่าจะเป็นจะคำนวณได้จากเนื่องจากมี 3 หน้าจากทั้งหมด 6 หน้าที่มีเลขคู่ และแต่ละหน้ามีความน่าจะเป็นที่จะปรากฏเท่ากัน${\displaystyle {\tfrac {3}{6}}={\tfrac {1}{2}}}$

นิยามสมัยใหม่ : นิยามสมัยใหม่เริ่มต้นด้วยเซตจำกัดหรือเซตที่นับได้เรียกว่าปริภูมิของตัวอย่างซึ่งมีความสัมพันธ์กับเซตของผลลัพธ์ที่เป็นไปได้ ทั้งหมด ในความหมายแบบคลาสสิก โดยใช้สัญลักษณ์ แทน จากนั้นจึงถือว่าสำหรับแต่ละองค์ประกอบ จะมี ค่า "ความน่าจะเป็น" ภายในที่กำหนดไว้ ซึ่งมีคุณสมบัติดังต่อไปนี้:${\displaystyle \Omega }$${\displaystyle x\in \Omega \,}$${\displaystyle f(x)\,}$

1. ${\displaystyle f(x)\in [0,1]{\mbox{ สำหรับทุก }}x\in \Omega \,;}$
2. ${\displaystyle \sum _{x\in \Omega }f(x)=1\,.}$

นั่นคือ ฟังก์ชันความน่าจะเป็นf ( x ) อยู่ระหว่างศูนย์และหนึ่งสำหรับทุกค่าของxในปริภูมิตัวอย่างΩและผลรวมของf ( x ) เหนือค่า xทั้งหมดในปริภูมิตัวอย่างΩเท่ากับ 1 เหตุการณ์ถูกนิยามว่าเป็นเซตย่อย ใดๆ ของปริภูมิตัวอย่างความน่าจะเป็นของเหตุการณ์ถูกนิยามว่า${\displaystyle E\,}$${\displaystyle \Omega \,}$${\displaystyle E\,}$

${\displaystyle \mathbb {P} (E)=\sum _{x\in E}f(x)\,.}$

ดังนั้น ความน่าจะเป็นของปริภูมิเหตุการณ์ทั้งหมดคือ 1 และความน่าจะเป็นของเหตุการณ์ว่างคือ 0

ฟังก์ชันที่แปลงจุดในปริภูมิของตัวอย่างไปเป็นค่า "ความน่าจะเป็น" เรียกว่าฟังก์ชันมวลความน่าจะเป็น ซึ่ง ย่อว่าpmf${\displaystyle f(x)\,}$

ทฤษฎีความน่าจะเป็นแบบต่อเนื่องเกี่ยวข้องกับเหตุการณ์ที่เกิดขึ้นในปริภูมิของตัวอย่างแบบต่อเนื่อง

นิยามแบบคลาสสิก : นิยามแบบคลาสสิกใช้ไม่ได้ผลเมื่อเผชิญกับกรณีต่อเนื่อง ดูได้จากปรากฏการณ์ขัดแย้งของแบร์ทรองด์

Modern definition: If the sample space of a random variable X is the set of real numbers (${\displaystyle \mathbb {R} }$) or a subset thereof, then a function called the cumulative distribution function (CDF) ${\displaystyle F\,}$ exists, defined by ${\displaystyle F(x)=\mathbb {P} (X\leq x)\,}$. That is, F(x) returns the probability that X will be less than or equal to x.

The CDF necessarily satisfies the following properties.

1. ${\displaystyle F\,}$ is a monotonically non-decreasing, right-continuous function;
2. ${\displaystyle \lim _{x\rightarrow -\infty }F(x)=0\,;}$
3. ${\displaystyle \lim _{x\rightarrow \infty }F(x)=1\,.}$

The random variable ${\displaystyle X}$ is said to have a continuous probability distribution if the corresponding CDF ${\displaystyle F}$ is continuous. If ${\displaystyle F\,}$ is absolutely continuous, then its derivative exists almost everywhere and integrating the derivative gives us the CDF back again. In this case, the random variable X is said to have a probability density function (PDF) or simply density${\displaystyle f(x)={\frac {dF(x)}{dx}}\,.}$

For a set ${\displaystyle E\subseteq \mathbb {R} }$, the probability of the random variable X being in ${\displaystyle E\,}$ is

${\displaystyle \mathbb {P} (X\in E)=\int _{x\in E}dF(x)\,.}$

In case the PDF exists, this can be written as

${\displaystyle \mathbb {P} (X\in E)=\int _{x\in E}f(x)\,dx\,.}$

Whereas the PDF exists only for continuous random variables, the CDF exists for all random variables (including discrete random variables) that take values in ${\displaystyle \mathbb {R} \,.}$

These concepts can be generalized for multidimensional cases on ${\displaystyle \mathbb {R} ^{n}}$ and other continuous sample spaces.

The utility of the measure-theoretic treatment of probability is that it unifies the discrete and the continuous cases, and makes the difference a question of which measure is used. Furthermore, it covers distributions that are neither discrete nor continuous nor mixtures of the two.

An example of such distributions could be a mix of discrete and continuous distributions—for example, a random variable that is 0 with probability 1/2, and takes a random value from a normal distribution with probability 1/2. It can still be studied to some extent by considering it to have a PDF of ${\displaystyle (\delta [x]+\varphi (x))/2}$, where ${\displaystyle \delta [x]}$ is the Dirac delta function and ${\displaystyle \varphi (x)}$ is the PDF of the normal distribution.

Other distributions may not even be a mix, for example, the Cantor distribution has no positive probability for any single point, neither does it have a density. The modern approach to probability theory solves these problems using measure theory to define the probability space:

กำหนดให้เซตใดๆ(เรียกอีกอย่างว่าปริภูมิของตัวอย่าง ) และพีชคณิต σบนเซตนั้นการวัดที่กำหนดบนเซตนั้นเรียกว่าการวัดความน่าจะเป็นถ้า${\displaystyle \Omega \,}$${\displaystyle {\mathcal {F}}\,}$${\displaystyle \mathbb {P} }$${\displaystyle {\mathcal {F}}\,}$${\displaystyle \mathbb {P} (\Omega )=1.\,}$

ถ้าเป็นพีชคณิตบอเรล σบนเซตของจำนวนจริงแล้ว จะมีมาตรวัดความน่าจะเป็นที่ไม่ซ้ำกันเพียงหนึ่งเดียวบนสำหรับฟังก์ชันการกระจายสะสม (CDF) ใดๆ และในทางกลับกัน มาตรวัดที่สอดคล้องกับ CDF เรียกว่า มาตรวัดที่เหนี่ยวนำโดย CDF มาตรวัดนี้ตรงกับฟังก์ชันความน่าจะเป็นมวล (pmf) สำหรับตัวแปรไม่ต่อเนื่องและฟังก์ชันความหนาแน่นความน่าจะเป็น (PDF) สำหรับตัวแปรต่อเนื่อง ทำให้แนวทางเชิงทฤษฎีมาตรวัดปราศจากข้อผิดพลาด${\displaystyle {\mathcal {F}}\,}$${\displaystyle {\mathcal {F}}\,}$

ความน่าจะเป็นของเซตในพีชคณิต σ ถูกกำหนดดังนี้${\displaystyle E\,}$${\displaystyle {\mathcal {F}}\,}$

${\displaystyle \mathbb {P} (E)=\int _{\omega \in E}\mu _{F}(d\omega )\,}$

โดยการอินทิเกรตนั้นเกี่ยวข้องกับการวัดที่เกิดจาก${\displaystyle \mu _{F}\,}$${\displaystyle F\,.}$

นอกจากจะช่วยให้เข้าใจและรวมความน่าจะเป็นแบบไม่ต่อเนื่องและแบบต่อเนื่องได้ดียิ่งขึ้นแล้ว การวิเคราะห์เชิงทฤษฎีการวัดยังช่วยให้เราสามารถศึกษาความน่าจะเป็นนอกเหนือจาก ขอบเขตของความน่าจะเป็นแบบต่อเนื่องได้ เช่น ในทฤษฎีของกระบวนการสุ่มตัวอย่างเช่น ในการศึกษาการเคลื่อนที่แบบบราวน์ความน่าจะเป็นจะถูกกำหนดบนปริภูมิของฟังก์ชัน${\displaystyle \mathbb {R} ^{n}}$

เมื่อสะดวกที่จะใช้มาตรวัดที่ครอบคลุมทฤษฎีบท Radon–Nikodymจะถูกนำมาใช้เพื่อกำหนดความหนาแน่นเป็นอนุพันธ์ Radon–Nikodym ของการแจกแจงความน่าจะเป็นที่สนใจเทียบกับมาตรวัดที่ครอบคลุมนี้ ความหนาแน่นแบบไม่ต่อเนื่องมักถูกกำหนดเป็นอนุพันธ์นี้เทียบกับมาตรวัดการนับเหนือเซตของผลลัพธ์ที่เป็นไปได้ทั้งหมด ความหนาแน่นสำหรับ การแจกแจง แบบต่อเนื่องอย่างสมบูรณ์มักถูกกำหนดเป็นอนุพันธ์นี้เทียบกับมาตรวัด Lebesgueหากสามารถพิสูจน์ทฤษฎีบทได้ในบริบททั่วไปนี้ ทฤษฎีบทนั้นจะใช้ได้กับการแจกแจงแบบไม่ต่อเนื่องและแบบต่อเนื่อง รวมถึงการแจกแจงอื่นๆ ด้วย ไม่จำเป็นต้องมีการพิสูจน์แยกต่างหากสำหรับการแจกแจงแบบไม่ต่อเนื่องและแบบต่อเนื่อง

โดยทั่วไปแล้ว หากโยนเหรียญที่ยุติธรรมหลายครั้งโอกาสที่เหรียญจะออกหัวประมาณ ครึ่งหนึ่ง และออกก้อย อีกครึ่งหนึ่งจะมากกว่าครึ่งหนึ่ง ยิ่งไปกว่านั้น ยิ่งโยนเหรียญบ่อยเท่าไร อัตราส่วนของจำนวนหัวต่อจำนวนก้อยก็จะยิ่งเข้าใกล้หนึ่งมากขึ้นเท่านั้น ทฤษฎีความน่าจะเป็นสมัยใหม่ได้นำเสนอแนวคิดเชิงสัญชาตญาณนี้ในรูปแบบที่เป็นทางการ ซึ่งรู้จักกันในชื่อกฎของจำนวนมากกฎนี้มีความโดดเด่นเพราะไม่ได้ถูกสมมติไว้ในพื้นฐานของทฤษฎีความน่าจะเป็น แต่กลับเกิดขึ้นจากพื้นฐานเหล่านี้ในฐานะทฤษฎีบท เนื่องจากกฎของจำนวนมากเชื่อมโยงความน่าจะเป็นที่ได้มาจากทฤษฎีกับความถี่ที่เกิดขึ้นจริงในโลกแห่งความเป็นจริง จึงถือเป็นเสาหลักในประวัติศาสตร์ของทฤษฎีทางสถิติและมีอิทธิพลอย่างกว้างขวาง^{[ 12 ]}

กฎของจำนวนมาก (LLN) ระบุว่าค่าเฉลี่ยของตัวอย่าง

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

ลำดับของตัวแปรสุ่มอิสระที่มีการแจกแจงเหมือนกัน จะลู่เข้าสู่ค่าคาดหวัง ร่วม (ค่าคาดหวัง) ของตัวแปรสุ่มเหล่านั้น โดยมีเงื่อนไขว่าค่าคาดหวังของตัวแปรสุ่มนั้นมีค่าจำกัด${\displaystyle X_{k}}$${\displaystyle \mu }$${\displaystyle |X_{k}|}$

รูปแบบการบรรจบกันที่แตกต่างกันของตัวแปรสุ่มเป็นตัวแยกกฎจำนวนมากแบบอ่อนและแบบแข็ง^{[ 13 ]}

กฎหมายที่อ่อนแอ: สำหรับ${\displaystyle \displaystyle {\overline {X}}_{n}\,\xrightarrow {\mathbb {P} } \,\mu }$${\displaystyle n\to \infty }$

กฎหมายที่เข้มงวด: สำหรับ${\displaystyle \displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathrm {a.\,s.} }}\,\mu }$${\displaystyle n\to \infty .}$

จากกฎของจำนวนเต็มบวก (LLN) สรุปได้ว่า หากเหตุการณ์ที่มีความน่าจะเป็นpถูกสังเกตซ้ำๆ ในระหว่างการทดลองอิสระ อัตราส่วนของความถี่ที่สังเกตได้ของเหตุการณ์นั้นต่อจำนวนครั้งของการสังเกตซ้ำทั้งหมดจะลู่เข้าสู่p

ตัวอย่างเช่น ถ้าเป็นตัวแปรสุ่มเบอร์นูลีอิสระที่รับค่า 1 ด้วยความน่าจะเป็นpและ 0 ด้วยความน่าจะเป็น 1- pแล้วสำหรับทุกiดังนั้นจะลู่เข้าสู่p เกือบแน่นอน${\displaystyle Y_{1},Y_{2},...\,}$${\displaystyle {\textrm {E}}(Y_{i})=p}$${\displaystyle {\bar {Y}}_{n}}$

ทฤษฎีบทขีดจำกัดกลาง (CLT) อธิบายถึงการเกิดขึ้นทั่วไปของการกระจายแบบปกติในธรรมชาติ และทฤษฎีบทนี้ ตามที่เดวิด วิลเลียมส์กล่าวไว้ว่า "เป็นหนึ่งในผลลัพธ์ที่ยิ่งใหญ่ของคณิตศาสตร์" ^{[ 14 ]}

ทฤษฎีบทกล่าวว่าค่าเฉลี่ยของตัวแปรสุ่มอิสระหลายตัวที่มีการแจกแจงเหมือนกันและมีค่าความแปรปรวนจำกัด จะมีแนวโน้มเข้าใกล้การแจกแจงแบบปกติโดยไม่ขึ้นอยู่กับการแจกแจงของตัวแปรสุ่มดั้งเดิม กล่าวคือ ให้และ เป็นตัวแปรสุ่มอิสระที่มีค่าเฉลี่ยและค่าความแปรปรวนดังนั้นลำดับของตัวแปรสุ่ม${\displaystyle X_{1},X_{2},\dots \,}$${\displaystyle \mu }$${\displaystyle \sigma ^{2}>0.\,}$

${\displaystyle Z_{n}={\frac {\sum _{i=1}^{n}(X_{i}-\mu )}{\sigma {\sqrt {n}}}}\,}$

มีลักษณะการกระจายตัวลู่เข้าสู่ตัวแปรสุ่มปกติมาตรฐาน

สำหรับตัวแปรสุ่มบางประเภท ทฤษฎีบทลิมิตกลางแบบคลาสสิกจะทำงานได้ค่อนข้างเร็ว ดังที่แสดงให้เห็นในทฤษฎีบทเบอร์รี-เอสซีนตัวอย่างเช่น การแจกแจงที่มีโมเมนต์อันดับแรก อันดับสอง และอันดับสามจำกัดจากตระกูลเอกซ์โพเนน เชียล ในทางกลับกัน สำหรับตัวแปรสุ่มบางประเภทที่มีหางหนักและหางหนาทฤษฎีบทนี้ทำงานช้ามากหรืออาจใช้ไม่ได้เลย ในกรณีเช่นนี้ อาจใช้ทฤษฎีบทลิมิตกลางแบบทั่วไป (GCLT) แทนได้

• แคตตาล็อกบทความในทฤษฎีความน่าจะเป็น
• รายการหัวข้อความน่าจะเป็น
• รายชื่อผลงานตีพิมพ์ด้านสถิติ
• รายชื่อหัวข้อทางสถิติ