AI数学基础 - 第1讲: 概率论基础概念

1.1 什么是概率论

概率论是研究随机现象数量规律的数学分支。在人工智能中，概率论为处理不确定性提供了数学基础，是机器学习、深度学习等领域的重要理论工具。

随机现象的特点

不确定性：在相同条件下，结果可能不同
统计规律性：大量重复试验会呈现某种规律
可预测性：虽然单次结果不确定，但可以预测概率

1.2 样本空间与随机事件

样本空间 (Sample Space)

样本空间 $\Omega$：随机试验所有可能结果的集合
样本点 $\omega$：样本空间中的每一个元素，表示试验的一个可能结果

示例：

掷一枚硬币：$\Omega = {\text{正面}, \text{反面}}$
掷一个骰子：$\Omega = {1, 2, 3, 4, 5, 6}$
从[0,1]区间随机选择一个数：$\Omega = [0,1]$
记录一天的最高温度：$\Omega = (-\infty, +\infty)$

随机事件 (Random Event)

随机事件：样本空间 $\Omega$ 的子集
基本事件：只包含一个样本点的事件
必然事件：样本空间 $\Omega$ 本身
不可能事件：空集 $\emptyset$

1.3 事件的运算

设 A、B 是两个随机事件：

基本运算

事件的并 (Union)：$A \cup B = {\omega : \omega \in A \text{ 或 } \omega \in B}$
- 表示”A发生或B发生”
事件的交 (Intersection)：$A \cap B = {\omega : \omega \in A \text{ 且 } \omega \in B}$
- 表示”A发生且B发生”
事件的差 (Difference)：$A - B = {\omega : \omega \in A \text{ 且 } \omega \notin B}$
- 表示”A发生但B不发生”
事件的补 (Complement)：$A^c = {\omega : \omega \notin A}$
- 表示”A不发生”

事件的关系

互不相容：$A \cap B = \emptyset$
对立事件：$A \cap B = \emptyset$ 且 $A \cup B = \Omega$

运算法则

交换律：$A \cup B = B \cup A$，$A \cap B = B \cap A$
结合律：$(A \cup B) \cup C = A \cup (B \cup C)$
分配律：$A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$
德摩根定律：
- $(A \cup B)^c = A^c \cap B^c$
- $(A \cap B)^c = A^c \cup B^c$

1.4 概率的公理化定义

概率空间

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，其中：

$\Omega$：样本空间
$\mathcal{F}$：事件域（$\sigma$-代数），满足：
- $\Omega \in \mathcal{F}$
- 若 $A \in \mathcal{F}$，则 $A^c \in \mathcal{F}$
- 若 $A_1, A_2, \ldots \in \mathcal{F}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$
P：概率测度

概率的三大公理

概率函数 P 满足以下三个公理：

非负性：对任意事件 $A \in \mathcal{F}$，有 $P(A) \geq 0$
规范性：$P(\Omega) = 1$
可列可加性：对于两两互不相容的事件序列 ${A_i}$，有 $P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)$

概率的基本性质

由三大公理可以推导出：

空集的概率：$P(\emptyset) = 0$
有限可加性：若 $A_1, A_2, \ldots, A_n$ 两两互不相容，则 $P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + \cdots + P(A_n)$
补集的概率：$P(A^c) = 1 - P(A)$
单调性：若 $A \subseteq B$，则 $P(A) \leq P(B)$
加法公式：
- 两个事件：$P(A \cup B) = P(A) + P(B) - P(A \cap B)$
- 三个事件：$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(A \cap B) - P(A \cap C) - P(B \cap C) + P(A \cap B \cap C)$

1.5 古典概型

定义与条件

如果随机试验满足：

有限性：样本空间 Ω 只包含有限个样本点
等可能性：每个样本点出现的可能性相等

则称该随机试验为古典概型（等可能概型）。

概率计算公式

\[P(A) = \frac{|A|}{|\Omega|} = \frac{\text{A包含的样本点数}}{\text{样本空间的样本点总数}}\]

排列组合基础

排列数：从 n 个不同元素中取 r 个进行排列： $A_n^r = \frac{n!}{(n-r)!}$
组合数：从 n 个不同元素中取 r 个进行组合： $C_n^r = \binom{n}{r} = \frac{n!}{r!(n-r)!}$

经典例题

例1：生日问题 n 个人中至少有两人生日相同的概率是多少？

解：设 A 表示”n 个人中至少有两人生日相同”，则： $P(A) = 1 - P(A^c) = 1 - \frac{365 \times 364 \times \cdots \times (365-n+1)}{365^n}$

当 n = 23 时，P(A) > 0.5

例2：摸球问题 袋中有 5 个白球和 3 个黑球，随机摸取 3 个球，求恰好有 2 个白球的概率。

解： $P = \frac{C_5^2 \times C_3^1}{C_8^3} = \frac{10 \times 3}{56} = \frac{15}{28}$

例3：超几何分布 从 N 个产品中（其中有 M 个次品）随机抽取 n 个，恰好有 k 个次品的概率： $P(X = k) = \frac{C_M^k \cdot C_{N-M}^{n-k}}{C_N^n}$

1.6 几何概型

定义

如果随机试验满足：

样本空间是某个几何区域
事件发生的概率与其几何度量（长度、面积、体积）成正比

则称为几何概型。

概率计算

\[P(A) = \frac{\text{A的几何度量}}{\text{Ω的几何度量}}\]

例题：Buffon投针问题 在平行线距离为 d 的纸上投掷长度为 l (l < d) 的针，求针与平行线相交的概率。

解：P = 2l/(πd)

1.7 统计概型

频率的定义

在 n 次重复试验中，事件 A 发生了 nₐ 次，则称 nₐ/n 为事件 A 发生的频率，记作 fₙ(A)。

频率的性质

非负性：fₙ(A) ≥ 0
规范性：fₙ(Ω) = 1
可加性：若 A ∩ B = ∅，则 fₙ(A ∪ B) = fₙ(A) + fₙ(B)

频率与概率的关系

统计定义：当试验次数 n 趋于无穷时，频率 fₙ(A) 稳定在某个常数附近，这个常数就是事件 A 的概率 P(A)。

\[P(A) = \lim_{n \to \infty} f_n(A)\]

小结

核心概念

概率空间：(Ω, F, P) 为概率论的基本框架
事件运算：并、交、差、补及其运算法则
概率公理：非负性、规范性、可列可加性
古典概型：等可能性是关键，需要正确计算有利事件数

重要思想

公理化方法：从少数几个基本假设出发建立整个理论体系
集合论语言：用集合运算描述事件关系
度量思想：概率是事件”大小”的度量

这些基础概念为后续学习条件概率、独立性等内容奠定了坚实基础。