Author: Eiko

Tags: Probability Theory, Measure Theory, Dominated Convergence, Independence, Random Variables, Sigma Algebras, Conditional Probability, Bayesian Statistics, Kolmogorov Zero One Law, Distribution, Convergence of Random Variables, Weak Convergence, Almost Sure Convergence, Convergence In Probability, Poisson Limit Theorem

这是我2022年讲概率论课程所编写和使用的讲义。其中很多内容和例子都是我自己编写的。

基础知识

本章的目的是从最基础的集合操作和极限的复习开始，介绍拓扑等基础概念。然后我们将学习一个迷你版本的测度与积分理论，这将不仅是概率论的基石，也对分析学的学习乃至于对逻辑与关系的理解大有帮助。

集合的基本操作

我们不去复述集合的基本概念，而着重复习一下集合的基本操作。以下所有内容都极为浅显，如果你从来没有见过，你应该逐个验证它们。

1. 集族，指标集

   对于一个集合$X$,一个子集族是指$X$的一些子集构成的集合或序列。通常我们用一个指标集$I$来编号这些子集，即把它们写成$\{A_i|i\in I\}$或$(A_i{)}_{i\in I}$.

2. 集合的交 对于一个集合的某个子集族$(A_i{)}_{i\in I}$,可以定义它们的交 $$\bigcap _{i\in I}{A}_i=\{x\in X|x\in A_i\mathrm{\forall }i\}.$$ 这也是$X$的一个子集。

3. 类似的，定义集合的并 $$\bigcup _{i\in I}{A}_i=\{x\in X|\text{存在一个}i\text{使得}x\in A_i\}.$$ 还可以定义集合的无交并，记为$\coprod A_i$，即把$A_i$的所有元素放在一起，即使有相同的元素，在不同的$A_i$里面也要视为不同的。

4. 笛卡尔乘积 给定一列集合$(X_i{)}_{i\in I}$, 它们的笛卡尔乘积是由所有有序对$\{(\dots ,x_i,\dots ):x_i\in X_i\}$组成的集合。更精确的说，它是所有映射$f:I\to \coprod X_i$组成的集合，这里要求$f(i)\in X_i$.

5. 分配律

   如果把$\cup$看成加法，$\cap$看成乘法，那么有如下’乘法分配律’ $$A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$$ $$A\cap \left(\bigcup _{i\in I}{B}_i\right)=\bigcup _{i\in I}(A\cap B_i)$$ 事实上，运用下面将要叙述的对偶律，还可以得到反过来的分配律 $$A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$$ $$A\cup \left(\bigcap _{i\in I}{B}_i\right)=\bigcap _{i\in I}(A\cup B_i).$$

6. 补集

   设$A\subset X$是某个大空间的子集，其补集记为 $$A^c=\{x\in X:x\notin A\}.$$ 容易看出，取两次补集会回到自身$(A^c{)}^c=A$

7. 对偶律

   补集把交变成并，并变成交 $${\left(\bigcup _{i\in I}{A}_i\right)}^c=\bigcap _{i\in I}{A}_i^c.$$ $${\left(\bigcap _{i\in I}{A}_i\right)}^c=\bigcup _{i\in I}{A}_i^c.$$ 因此，一个对大空间$X$中的任意子集成立的集合恒等式中，将并和交全部互换得到的仍然是恒等式。

8. 定义集合的差为 $$A\mathrm{\setminus }B=A-B:=A\cap B^c=\{x\in A:x\notin B\}.$$

9. 映射与集合操作的关系

   设$f:X\to Y$是集合之间的映射，那么

   • 对于$A\subset X$,定义$A$的像$f(A)$为 $$f(A):=\{f(a):a\in A\}.$$

   • 对于$B\subset Y$,定义$B$的原像$f^{-1}(B)$为 $$f^{-1}(B):=\{a\in A:f(a)\in B\}.$$

   • 原像$f^{-1}$与交，并，补都可交换。

   • 像$f$与并可交换，但一般不与交，补交换。

   • 不过有一个有用的例外情形是$f(f^{-1}(A)\cap B)=A\cap f(B)$.

10. 实数集上的特殊运算

    对于$\mathbb{R}$的一个子集$A$,如果$A$内所有元素都$\le s$, 我们就说$s$是$A$的一个上界，这里$s$可以取无穷。实数集的一个基本性质就在于，一定存在一个最小的上界(这与实数的完备性有关)，称为$A$的上确界，记为$supA$.它可以看成是最大值$max$的一个推广。

    类似的可以定义下确界$infA$，它们可以由下式联系起来 $$infA=-sup(-A).$$ 对一个实数数列$(a_n)$，还可以定义上极限： $$lim sup{a}_n:=\underset{n\to \mathrm{\infty }}{lim}\underset{k\ge n}{sup}{a}_k=\underset{n}{inf}\underset{k\ge n}{sup}{a}_k$$ 和下极限 $$lim inf{a}_n:=\underset{n\to \mathrm{\infty }}{lim}\underset{k\ge n}{inf}{a}_k=\underset{n}{sup}\underset{k\ge n}{inf}{a}_k.$$ 它们之间也有类似的联系 $$lim sup{a}_n=-lim inf(-a_n).$$

拓扑

连续性与${\mathbb{R}}^n$中的拓扑

在${\mathbb{R}}^n$中，有一类起着基础作用的集合，它们就是球。定义 $$B(x_0,r):=\{x\in {\mathbb{R}}^n:|x-x_0|<r\}$$ 称之为开球，而 $$\overline{B(x_0,r)}:=\{x\in {\mathbb{R}}^n:|x-x_0|\le r\}$$ 称之为闭球。注意到$n=1$时，开球就是开区间，闭球就是闭区间。下面是一个重要概念

注意，集合并不是非开即闭，大部分集合既不是开集也不是闭集。

拓扑最初是用来描述连续变化的现象。回忆一个函数$f:\mathbb{R}\to \mathbb{R}$在$x_0$处连续，是指 $$\underset{x\to x_0}{lim}f(x)=f(x_0)$$ 或者，等价的来说，就是指只要$x$离$x_0$足够近，$f(x)$就能离$f(x_0)$任意近。如果我们取一族越来越小的区间$U_i\ni f(x_0)$, 无论这个区间多么小，$f^{-1}(U_i)$都必须包含一个包含了$x$的(开)区间。用开集的理论来说，就是对于任何一个$f(x_0)$附近的开集$U$, $f^{-1}(U)$都需要包含一个$x_0$附近的开集。如果我们要求函数对所有$x$连续，这就要求$f^{-1}(U)$中的每一点都需要有一个开邻域被包含在$f^{-1}(U)$里面，因此$f^{-1}(U)$成为开集。这就给出了如下定义

一般集合上的拓扑

上述关于开集的理论可以推广到任何一个集合$X$,我们称$X$的一个子集族$\mathcal{U}$构成一个拓扑，是指

1. $\mathcal{U}$中的集合的任意并还在$\mathcal{U}$中，即如果取出一族$U_i\subset \mathcal{U}$,那么 $$\bigcup _{i\in I}{U}_i\in \mathcal{U}.$$

2. $\mathcal{U}$中的集合的有限交还在$\mathcal{U}$中。

3. $\varnothing ,X\in \mathcal{U}$.

那么，集合$X$和其上的拓扑$\mathcal{U}$就构成一个拓扑空间 $(X,\mathcal{U})$,这个$\mathcal{U}$里面的集合就叫拓扑空间$X$的开集。类似的，闭集就是指开集的补集。我们称$U$是$x$的开邻域，如果$U$包含$x$并且是一个开集。今后，当我们谈到’拓扑空间$X$’时，总是指$X$是一个集合，并且在其上已经指定了一族满足上述定义的’开集’$\mathcal{U}$.

拓扑空间可以想象成带有’连续性’概念和点与点之间的’远近’概念的一种空间，如果包含两个点的开集越多并且越小，两个点就可以看成越近。

上述说法启发我们，验证一个集合是不是开集只需要给出一组基本的开集，比如${\mathbb{R}}^n$中的开球，就可以了。事实上，我们想要找的这类基本的开集就可以称为拓扑空间$X$的一个拓扑基.准确的说，如果$X$是一个拓扑空间，$\mathcal{B}\subset \mathcal{U}$是一族开集，我们说这族开集是$X$的一个拓扑基或者开集基，如果任何开集都是$\mathcal{B}$中集合的并。根据上一命题，这等价于说任何开集中的每一点都包含一个$\mathcal{B}$中的集合作为邻域。

接下来我们研究这样一个问题，给定$X$中的一族集合$\mathcal{B}$,通过让$\mathcal{B}$中集合任意并的方式，我们可以生成集合$\mathcal{U}$。那么，这个$\mathcal{U}$什么时候构成一个拓扑呢？

$\mathbb{R},\mathbb{C},[-\mathrm{\infty },\mathrm{\infty }]$上的拓扑

1. $\mathbb{R}$上的拓扑如前所述，是由开区间(一维的开球)生成的，即开集定义为任一点都包含一个在该集合内的开区间的集合，而所有开集都是开区间的并。

   换而言之，所有开区间是$\mathbb{R}$的拓扑基。

   练习 1.2. 证明，所有以有理数为端点的开区间也构成$\mathbb{R}$的拓扑基，即它定义的拓扑与$\mathbb{R}$上的通常拓扑等价。

2. $\mathbb{C}$上的拓扑则按${\mathbb{R}}^2$即平面上的拓扑给出，即开集定义为任一点都包含一个在该集合内的开球(当然，二维的球是圆)的集合，而所有开集都是开球的并。

   练习 1.3. 事实上，这句话中的所有’开球’也可以改成’开矩形’,所定义的拓扑是一样的。换而言之，证明开球，开矩形，开正方形这三种拓扑基是等价的。

3. 在扩充实数$[-\mathrm{\infty },\mathrm{\infty }]$上的拓扑，即实数加上正负无穷两个点的空间上的拓扑和$\mathbb{R}$上几乎类似，它是在$\mathbb{R}$的所有开集之外，添加了 $[-\mathrm{\infty },a)$ 和 $(a,\mathrm{\infty }]$ 这两种开区间得到的拓扑。

抽象测度

一个测度空间是指如下一组内容

1. 一个空间$X$

2. 一个$X$的子集族$\mathcal{F}$，叫做$\sigma$-代数,里面的集合叫可测集或者$\mathcal{F}$-可测集.

3. 一个测量子集大小的函数(允许取无穷值) $$\mu :\mathcal{F}\to [0,\mathrm{\infty }]$$

它们需要满足如下性质：

1. ($\sigma$-代数) $\mathcal{F}$中的元素在可数交，可数并，补集等运算下封闭。(事实上，根据对偶律，只需要验证可数并、可数交中的一个，以及对补集封闭)

2. (测度的可数可加性) 如果$A_i\in \mathcal{F}$是一列(可数)的互不相交子集，那么 $$\mu \left(\bigcup _{i=1}^{\mathrm{\infty }}{A}_i\right)=\sum _{i=1}^{\mathrm{\infty }}\mu (A_i).$$ 这里两边需要同时为正无穷或者同时有限。

也可以记为$(X,\mathcal{F},\mu )$. 在这个定义下，一个概率空间是指一个满足$\mu (X)=1$的测度空间，通常记为$(\mathrm{\Omega },\mathcal{F},\mathbb{P})$. 对于一般的测度，通常有使用不同的记号，常用的记号如$\nu ,\mu ,m,\lambda$等。

集族生成的$\sigma$-代数

给定$X$的一些子集$A_i$,我们可以对这些些子集进行可数交，可数并，和取补操作(为什么这保证了$\varnothing ,X$一定在其中？)，来得到一个由$\{A_i\}$生成的$\sigma$-代数，它是包含所有 $A_i$ 的最小$\sigma$-代数，所以也可以定义为$X$的所有包含了 $\{A_i\}$ 的 $\sigma$-代数的交，由于$2^X$即$X$的所有子集构成$\sigma$-代数并且该$\sigma$-代数包含$\{A_i\}$，这个交是非空的，于是这保证了由$\{A_i\}$生成的最小$\sigma$-代数是存在的。

可测函数的概念

一个从测度空间$X$到拓扑空间$Y$的函数$f:X\to Y$称为$\mathcal{F}$-可测的，或者简称可测，如果对任意开集$V\subset Y$, $f^{-1}(V)$都是$\mathcal{F}$里的可测集。什么意思呢？回忆Lesbegue的积分理论中我们希望对函数进行值域分解，那么就需要$f$在$y\in Y$这个值附近时，对应的原象$f^{-1}(V)$的大小可以用测度精确的测量出来。事实上，对于$f:X\to \mathbb{R}$的函数，它可测当且仅当$f^{-1}([-\mathrm{\infty },a))$对任意$a$是可测的。首先这是一个必要条件，因为$[-\mathrm{\infty },a)$是开集，而可测函数在可数交并补下封闭，由此可以由这个开集生成$\mathbb{R}$上的任何开集。

虽然可测函数的概念如我们所说可以定义在一般的拓扑空间上，但是绝大多数时候我们所用的都是实可测函数$f:X\to \mathbb{R}$,因此我们将后一句话作为实可测函数的定义，即要求$\{x\in X:f<a\}$对任意$a$都是可测的。更精确的来说，我们可以用如下一个命题来叙述。

在一般的拓扑空间$X$中，由所有开集生成的$\sigma$-代数叫做$X$的Borel $\sigma$-代数，其中的元素称作Borel可测集。

例子：${\mathbb{R}}^n$中的Lesbegue测度

这是最早构造出的测度的例子，对于${\mathbb{R}}^n$上的一个集合$U$，我们希望能定义出一个测度$m$来测量$U$的体积。 遗憾的是这样的体积函数并不能对${\mathbb{R}}^n$的所有子集定义出来！这是因为${\mathbb{R}}^n$的子集实在是太多了，里面可以有很多很坏的子集，这些子集的存在会阻碍任何一个具有良好的性质的体积概念的存在。比方说 解决方案是，要么引入外测度来对所有集合定义出体积，但是这个外测度不一定满足可加性。要么就不再追求对所有的子集定义体积，而是将视野限制在所谓’可测集’上，从而在可测集上，可加性等良好性质得到保持。

事实上，${\mathbb{R}}^n$上的Lesbegue外测度定义为 $$m^{\ast }(A):=\underset{\bigcup _{i=1}^{\mathrm{\infty }}{Q}_i\supset A}{inf}\sum _{i=1}^{\mathrm{\infty }}|Q_i|$$ 这里$Q_i$是一族$n$-维正方体，它们的并要求盖住$A$,$|Q_i|$表示通常意义下立方体$Q_i$的体积。可以由这个外测度引出Lesbegue测度， 不过，我们不打算详细讲解Lesbegue测度的构造，因为其过程是非平凡的，会花去太多时间。而这与我们概率论的主题相悖。简单来说，${\mathbb{R}}^n$中的可测集$\mathcal{F}$就是由所有开集再加上所有$0$-测集(即外测度为$0$的集合)生成的$\sigma$-代数(即所有开集和零测集通过反复使用可数交，并，补得到的集合构成的集族)。在这些可测集上，测度$m$可以由长方体的体积$m(Q)=(b_1-a_1)\dots (b_n-a_n)$唯一确定下来，这里$Q$是$\{x\in {\mathbb{R}}^n:x_i\in (a_i,b_i)\}$.

例子：离散空间上的测度

这里设$X=\{x_1,\dots ,x_n\}$是一个有限集，$\mathcal{F}$是$X$的所有子集，定义 $$\mu (\{x_i\})=a_i\ge 0$$ 是某些给定的非负实数。那么$(X,\mathcal{F},\mu )$构成一个简单的测度空间。当$a_i=1$时这个测度就是计数测度，对于这个测度，任何子集$U\subset X$的$\mu (U)$就是集合$U$的元素个数。

例子：概率测度

这里把符号换成$(\mathrm{\Omega },\mathcal{A},\mathbb{P})$，如果$\mathbb{P}(\mathrm{\Omega })=1$,那么我们称这个测度空间是一个概率空间，$\mathrm{\Omega }$可以称作状态空间，$\sigma$-代数$\mathcal{A}$里面的元素也叫事件,$\mathbb{P}$也叫概率测度。而$\mathrm{\Omega }\to \mathbb{R}$的可测函数称作随机变量。这是今后我们会反复见到的例子。

投硬币的例子

假设我们要投$n$次硬币，投的过程是独立的并且每次正反面的机会相等。如果我们用一个序列$(x_1,x_2,\dots ,x_n)$来表示投硬币的结果，其中$x_i=1$或$0$分别表示正面和反面。那么在这个问题中，状态空间就是 $$\mathrm{\Omega }=\{(x_1,\dots ,x_n):x_i\in \{0,1\}\}.$$ 它的$\sigma$-代数，即所有可测集$\mathcal{F}$由$\mathrm{\Omega }$的所有子集构成， 其上的概率测度为由每个序列都赋予概率$1/2^n$得到的离散概率测度 $$\mathbb{P}(A):=\frac{|A|}{2^n},A\in \mathcal{F}.$$ 那么可测函数是什么呢？比如可以定义$X_i:\mathrm{\Omega }\to \mathbb{R}$为第$i$枚硬币的结果 $$X_i((x_1,\dots ,x_n)):=x_i$$ 这就是$\mathrm{\Omega }$上的一个随机变量。类似的，$X_1+X_2,X_1-X_2{X}_3$等等这些都是不同的随机变量(也即可测函数). 事实上，由于我们定义的$\mathrm{\Omega }$里面的所有子集都是可测集，所有函数$f:\mathrm{\Omega }\to \mathbb{R}$都是可测的。

测度和可测函数的基本性质

测度的积分

简单函数的积分

对于任何一个可测集$A\in \mathcal{F}$, 定义如下称之为$A$ 的示性函数或特征函数(不要将它与后面要讲的随机变量的特征函数即傅里叶变换混淆), 记为$1_A$,为 $$1_A(x)=\{\begin{array}{lc}1& x\in A\\ 0& x\notin A.\end{array}$$ 在许多文献中也记为${\chi }_A(x)$,这是记号上的差别。

对于一些常数$0\le c_i<\mathrm{\infty }$和一些可测集$A_i\in \mathcal{F}$, 形如$c_1{1}_{A_1}+\cdots +c_n{1}_{A_n}$的函数叫做(非负)简单函数。简单函数的特点是其值域仅为有限多个点，那么我们可以对简单函数的值域进行重新分解，使得集合$A_i$互不相交。令$h$为一个简单函数，其值域由有限个值$a_i$组成，那么定义 $$A_i=\{x\in X:s(x)=a_i\}$$ 我们就有如下分解 $$h=\sum _{i=1}^n{a}_i{1}_{A_i}.$$ 这称为简单函数的标准分解(注意到简单函数可以有很多种不同的分解)。简单函数的积分可以很容易地定义出来,可以定义 $$\int h:=\sum _{i=1}^n{a}_i\mu (A_i).$$ 这里约定$0\cdot \mathrm{\infty }=0$.然后对于可测集$E\in \mathcal{F}$, 定义 $${\int }_{E}h:=\int 1_{E}h.$$ 有一个麻烦的地方是，需要说明这个定义不依赖于简单函数的分解的选取。

下面一个命题留作练习

非负可测函数的积分

事实上，(非负)简单函数是构造整个积分理论的’砖块’。下一步是对于任何非负可测函数$f:X\to [0,\mathrm{\infty }]$，我们定义

$$\int f:=\underset{0\le h\le f}{sup}\int h$$ 这里$h$取遍$0\le h\le f$的所有简单函数，并约定$0\cdot \mathrm{\infty }=0.$ 容易看出非负可测函数的积分满足如下性质

1. (单调性I) 如果$0\le f\le g$是可测函数，那么 $${\int }_{E}f\le {\int }_{E}g.$$ 这是上确界的性质。

2. (单调性II) 如果$f\ge 0$, $E\subset F$是可测集，那么 $${\int }_{E}f\le {\int }_{F}f.$$ 可由单调性I得出。

3. (线性性I) $f\ge 0$, $c\ge 0$是常数，那么 $${\int }_{E}cf=c{\int }_{E}f.$$ 基本上就是定义。

4. 若$f(E)=0$,则无关$\mu (E)$的值， $${\int }_{E}f=0.$$

5. 若$\mu (E)=0$,即使$f=\mathrm{\infty }$,也有 $${\int }_{E}f=0.$$

收敛定理

下面的Fatou引理是证明测度积分论的里程碑，Lesbegue控制收敛定理的关键。

一般函数的积分

对于取值在$[-\mathrm{\infty },+\mathrm{\infty }]$的一般可测函数$f$, 设$f_{+}=f\cdot 1_{f\ge 0}$, $f_{-}=-f\cdot 1_{f<0}$是两个非负可测函数,那么显然$f=f_{+}-f_{-}$. 在测度意义下的一般的函数的积分由下式定义 $$\int f=\int f_{+}-\int f_{-}$$ 这里由于涉及两个非负数相减，需要避免$\mathrm{\infty }-\mathrm{\infty }$的情况，于是只要当上述两个积分至少有一个不为无穷时，$f$的积分是可以唯一的被确定下来的。不过一般意义上我们所说的可积函数是指满足 $$\int |f|<\mathrm{\infty }$$ 的函数，此时$\int f_{+},\int f_{-}$都小于无穷。有时我们需要考虑取值为复数的可测函数$f=u+iv:X\to \mathbb{C}$.根据$\mathbb{C}$上的拓扑，它可测当且仅当$u,v$都可测，这时我们可以定义它的积分为 $$\int f=\int u+i\int v$$ 而我们说$f$可积等价于$u,v$都可积，这也等价于说$\int |f|<\mathrm{\infty }$.我们记$(X,\mathcal{F},\mu )$上所有可积(实或复)函数构成的空间为$L^1(X,\mathcal{F},\mu )$,简记为$L^1(\mu )$.

一般积分的定理

接下来我们终于迎来了本章最后一个重要定理，它将是测度积分论中处理各种极限过程的有力手段。

积分记号说明

如前所述，在明确对哪一个空间，测度和变量积分时，$f$的积分可以直接记为 $$\int f.$$ 当我们想要强调在对$\mu$这个测度积分时，或者要强调被积函数的变量是$x$，亦或者强调积分的空间是$\mathrm{\Omega }$时，我们将上述积分写成 $${\int }_{\mathrm{\Omega }}f\mathrm{d}\mu ={\int }_{\mathrm{\Omega }}f(x)\mathrm{d}\mu (x)={\int }_{\mathrm{\Omega }}f(x)\mu (\mathrm{d}x).$$ 特别的，对于$\mathbb{R}$或${\mathbb{R}}^n$上的勒贝格测度，可以写为$\mathrm{d}m(x)$，通常也直接写为$\mathrm{d}x$.

非负可测函数的Radon-Nikodým定理

本节是硬核的测度论内容，想尽快进入概率论的同学可以选择先将该定理承认。

如果$\mu (X)<\mathrm{\infty }$,我们就说$\mu$是有限的。如果存在一族$A_i\in \mathcal{F}$使得$X=\bigcup _{i=1}^{\mathrm{\infty }}{A}_i$且$\mu (A_i)<\mathrm{\infty }$,我们就说$\mu$是$\sigma$-有限的。

对于可测空间$X,\mathcal{F}$上的两个测度${\mu }_1,{\mu }_2$,如果对任何可测集$A\in \mathcal{F}$有， $${\mu }_1(A)=0\Rightarrow {\mu }_2(A)=0$$ 我们就称${\mu }_2$关于${\mu }_1$绝对连续，记为${\mu }_2\ll {\mu }_1$。如果存在集合$C$使得${\mu }_1(A)={\mu }_1(A\cap C)$对任意$A\in \mathcal{F}$成立，我们就说${\mu }_1$集中于$C$上. 如果${\mu }_1$集中于$C$上而${\mu }_2$集中于$C^c$上(这等价于说${\mu }_1(C^c)={\mu }_2(C)=0$)，我们就说${\mu }_1$和${\mu }_2$互相奇异，记为${\mu }_1\perp {\mu }_2$.

设$X$是一个测度空间，回忆前面证明过，如果$f$是一个非负可测函数，那么 $$E\in \mathcal{F}\mapsto {\int }_{E}f\mathrm{d}\mu$$ 是一个测度。它相当于在原来的测度上进行了’加权’。那么自然我们想问，是否所有$X$上的测度都能写成这个样子？答案当然是否定的，因为这个积分的定义依赖于你原来的测度$\mu$的定义。如果你原来的测度就是$0$测度，即什么集合都给出$0$的测度，那么任何非零测度都不能写成上述形式。由积分的性质我们容易观察到，任何上述形式的测度都是关于$\mu$绝对连续的，那么这给出了一个将任意测度表达为指定测度的积分的必要条件。而事实上这是一个充分条件。

为证明该定理，我们需要讲一些别的内容，首先定义一个有趣的概念。我们说一个有界符号测度$\mu$是指一个$\mathcal{F}$上的有界函数 $$\mu :\mathcal{F}\to \mathbb{R}$$ 满足可数可加性。准确的来讲，这就要求对任意可数的不交并$A=\bigcup _{i=1}^{\mathrm{\infty }}{A}_i$, 我们有 $$\mu (A)=\sum _{i=1}^{\mathrm{\infty }}\mu (A_i)$$ 其中右边的级数我们要求绝对收敛(因为不像非负和与求和次序无关，一般的收敛级数与求和次序无关当且仅当它绝对收敛)。那么我们注意到，两个有限测度的差是有界符号测度。反过来，能否将有界符号测度写为两个测度的差？这个过程就是如下的Hahn分解。

那么接下来，我们看看Radon-Nikodym的证明还需要什么。先考虑$\mu ,\nu$都是有限测度的情形，我们定义 $$\alpha =\underset{f\in M}{sup}\int f\mathrm{d}\mu ,M=\{f\text{可测}:\mathrm{d}\nu \ge f\mathrm{d}\mu \}.$$ 那么可以取出一系列可测函数$f_i\in M$使得它们的积分$\int f_i\to \alpha$.注意到，如果$f,g\in M$,即满足$\mathrm{d}\nu \ge (\cdot )\mathrm{d}\mu$,那么它们的最大值也满足，即 $sup\{f(x),g(x)\}\in M$.这是因为可以取$A_1:=\{f>g\}$和$A_2=\{f\le g\}$,因而对任意$E$, $$\nu (E)=\nu (E\cap A_1)+\nu (E\cap A_2)\ge {\int }_{E\cap A_1}f+{\int }_{E\cap A_2}g={\int }_{E}sup\{f,g\}\mathrm{d}\mu .$$ 这表明$\underset{i\le n}{sup}{f}_i\in M$也满足条件。对$n\to \mathrm{\infty }$取极限，由单调收敛定理有$g=\underset{i}{sup}{f}_i\in M$并事实上取到积分的最大值$\int g\mathrm{d}\mu =\alpha$. 考虑 $${\nu }_2(E):=\nu (E)-{\int }_{E}g\mathrm{d}\mu \ge 0,$$ 我们希望证明${\nu }_2\perp \mu$.那么也就是说，如果它们不互相奇异,我们希望能找出一个$\mu$积分非零的函数$h$使得$\mathrm{d}{\nu }_2\ge h\mathrm{d}\mu$,这样$g+h\in M$于是就会和$g$的积分极大性质冲突，从而得到矛盾。为了做到这一点，我们需要用到Hahn分解这个非平凡的结论。为了尝试得到这样一个函数，我们要考虑越来越小的可能的$h$.考虑一族有界符号测度 $${\lambda }_n:={\nu }_2-\frac{1}{n}\mu$$ 并根据Hahn分解，设${\lambda }_{n+}$集中在$A_n$上，对应的${\lambda }_{n-}$集中在$A_n^c$上。那么我们就有$\frac{1_{A_n}}{n}\in M$,但是$\frac{1_{A_n}}{n}$关于$\mu$的积分还不知道是不是正的。由于$n$递增时，${\lambda }_n$也递增，故可以假定$A_n$是一个递增集，那么令 $$A_{\mathrm{\infty }}:=\bigcup _{n=1}^{\mathrm{\infty }}{A}_n,A_{\mathrm{\infty }}^c=\bigcap _{n=1}^{\mathrm{\infty }}{A}_n^c.$$ 注意到${\lambda }_n(A_n^c)\le 0$,从而 $${\nu }_2(A_{\mathrm{\infty }}^c)\le {\nu }_2(A_n^c)\le \frac{1}{n}\mu (A_n^c)\le \frac{1}{n}\mu (X)\to 0$$ 这表明${\nu }_2$集中在$A_{\mathrm{\infty }}$上。 由于假定了$\mu$和${\nu }_2$不互相奇异，这也就是说，对任意可测集$E$,$\mu (E),{\nu }_2(E^c)$至少有一个不是$0$.那么取$E=A_{\mathrm{\infty }}$就会有$\mu (A_{\mathrm{\infty }})>0$,从而由递增极限知存在$n$使得$\mu (A_n)>0$.这就表明$\frac{1_{A_n}}{n}$的积分是正的并且$\mathrm{d}{\nu }_2\ge \frac{1_{A_n}}{n}\mathrm{d}\mu$.

对于唯一性，考虑$\nu ={\nu }_a^{\prime }+{\nu }_s^{\prime }$是另一组分解，那么${\nu }_a-{\nu }_a^{\prime }={\nu }_s-{\nu }_s^{\prime }$,由于左边关于$\mu$绝对连续，右边关于$\mu$互相奇异，这样关于一个测度既绝对连续又互相奇异的测度或者有界符号测度只能是$0$.具体来说，可设右边集中于$E$上，这里$\mu (E)=0$.则对任意$F\subset E$由于绝对连续，$\mu (F)=0\Rightarrow {\nu }_a(F)-{\nu }_a^{\prime }(F)=0$.这就表明对任意可测集合，上述等式两边都是$0$. 至于$f$关于$\mu$在至多相差一个零测集上的唯一性则是显然的。

现在我们回到$\sigma$-有限测度$\nu ,\mu$上来，由于空间可以分解成至多可数个可测集的不交并$X=\bigcup _{n=1}^{\mathrm{\infty }}{X}_i$,其中每个关于$\nu ,\mu$的测度都是有限的(这可以将$\nu ,\mu$分别得到的$\sigma$-有限分解相交来得到)。那么这就化归回了有限测度的情形，将得到的集中于$X_i$上的测度和可测函数$f_i{1}_{X_i}$相加即可得到$X$上所需的结论。

测度论的其他重要内容（非主线，不讲）

本节内容是测度论的进一步的一些内容。它们在概率论中当然也有用，但我们不打算讲，今后要用到时会承认这些结论，留给感兴趣的同学阅读。

几类子集结构，单调类定理

设$\mathcal{A}\subset X$是一族子集，我们称它是

1. 一个$\pi$-集，或者$\pi$-类，如果$\mathcal{A}$保持有限交。

2. 一个单调类，如果$\mathcal{A}$保持递增极限和递降极限。

3. 一个$\lambda$-集或者$\lambda$类，如果它是单调类，并且子集之间可以作差(简称为真差)，即$E\subset F\Rightarrow F-E\in \mathcal{A}$, 另外还要求$\varnothing ,X\in \mathcal{A}$.(事实上，由于$\lambda$-集内可以取补，单调类的假设等价于只假定递增极限)

4. 一个环，如果$\mathcal{A}$保持作差(不需要是真差)和有限并(从而也包含有限交)。

5. 一个半环，如果$\mathcal{A}$保持有限交，并且作差产生的集合是有限个$\mathcal{A}$内不交的集合的并。

6. 一个代数，如果$\mathcal{A}$保持有限交并补，并且包含$\varnothing ,X$.

类似于前面讲过的集合生成的$\sigma$代数，我们分别记$\mathcal{A}$生成的$\pi$-集，单调类，$\lambda$集和$\sigma$代数为$\pi (\mathcal{A}),M(\mathcal{A}),\lambda (\mathcal{A}),\sigma (\mathcal{A})$.

测度的扩张，Lesbegue测度

乘积测度，Fubini定理

设$(X,\mathcal{F},{\mu }_1)$,$(Y,\mathcal{G},{\mu }_2)$是两个测度空间，我们可以定义所谓乘积$\sigma$代数，是由所有形如$\{X\times G:G\in \mathcal{G}\}$和$\{F\times Y:F\in \mathcal{F}\}$生成的$\sigma$-代数，记为$\mathcal{F}\otimes \mathcal{G}$. 在这个$\sigma$-代数上，可以定义乘积测度${\mu }_1\otimes {\mu }_2$,为 $${\mu }_1\otimes {\mu }_2(A\times B):={\mu }_1(A){\mu }_2(B)$$ 所唯一确定的测度(唯一性由测度的唯一性定理给出)。具体来说，对任意可测子集$A\in \mathcal{F}\otimes \mathcal{G}$,我们试图用积分来定义乘积测度 $${\mu }_1\otimes {\mu }_2(A):={\int }_Y({\int }_X{1}_{(x,y)\in A}{\mu }_1(\mathrm{d}x)){\mu }_2(\mathrm{d}y)$$ 但是这里我们会遇到一个问题：内层积分里$x\mapsto f(x,y)$可测吗？以及整个积分是否对$y$是可测函数？为此我们需要如下基本的引理

概率空间

回忆一个概率空间$(\mathrm{\Omega },\mathcal{A},\mathbb{P})$是指一个测度为$1$的测度空间，即要求 $$\mathbb{P}(\mathrm{\Omega })=1.$$ $\mathrm{\Omega }$上的一个随机变量是指一个可测函数$X:\mathrm{\Omega }\to \mathbb{R}$. 通常，我们用大写字母如$X,Y,Z$来表示随机变量，而大写字母$A,B,C$等则通常表示$\mathcal{A}$内的可测集。用小写字母$\omega \in \mathrm{\Omega }$表示空间$\mathrm{\Omega }$中的点。

更一般的我们可以考虑一般的可测函数$\mathrm{\Omega }\to S$，这里$S$通常是拓扑空间或者度量空间。不过最常用的情形还是所谓的随机向量，即可测函数$X:\mathrm{\Omega }\to {\mathbb{R}}^n$.这等价于给出$n$个随机变量$X=(X_1,X_2,\dots ,X_n)$.

期望值

对于随机变量$X:\mathrm{\Omega }\to \mathbb{R}$,如果它是可积的，即$X\in L^1(\mathbb{P})$,则可以定义它的期望值 $$\mathbb{E}X:={\int }_{\mathrm{\Omega }}X$$ 换而言之，$\mathbb{E}$就是概率空间中的’积分号’。那么期望值的性质就可以直接从积分的性质得到，这包括单调性，线性性，单调收敛定理和控制收敛定理等。一般而言，将期望值$\mathbb{E}$视为概率学中积分号的特殊写法即可。

注意到对于任意事件$A\in \mathcal{A}$,我们有$1_A$可测并且 $$\mathbb{E}{1}_A={\int }_{\mathrm{\Omega }}{1}_A\mathrm{d}\mathbb{P}=\mathbb{P}(A).$$ 这给出了表达事件概率的期望写法，即$A$的概率等于随机变量$1_A$的期望。

有了期望值之后，可以定义一系列基本的关于随机变量的不变量。我们定义随机变量$X$的方差，记为$\mathrm{V}\mathrm{a}\mathrm{r}(X)$或者$\mathrm{D}X$,是指 $$\mathrm{V}\mathrm{a}\mathrm{r}(X):=\mathbb{E}(X-\mathbb{E}X{)}^2$$ 只要$\mathbb{E}{X}_{+},\mathbb{E}{X}_{-}$至少有一个可积，那么由于方差里的$(X-\mathbb{E}X{)}^2$是非负随机变量，这个积分总是有定义的(可以是$\mathrm{\infty }$)，但不一定有限。我们说$X$的方差存在，或者有方差，或者有二阶矩则是指它的方差有限(这蕴含了$X$可积)。

为了衡量两个随机变量的数值正相关性，我们通常引入如下协方差的概念，对于随机变量$X,Y$,我们定义它们的协方差为 $$\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)=\mathbb{E}(X-\mathbb{E}X)(Y-\mathbb{E}Y).$$ 由Cauchy不等式$(\mathbb{E}fg{)}^2\le \mathbb{E}{f}^2\mathbb{E}{g}^2$显然有 $$|\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)|\le \sqrt{\mathrm{V}\mathrm{a}\mathrm{r}(X)\mathrm{V}\mathrm{a}\mathrm{r}(Y)}.$$ 于是我们定义$X,Y$的相关系数为$\frac{\mathrm{C}\mathrm{o}\mathrm{v}(X,Y)}{\sqrt{\mathrm{V}\mathrm{a}\mathrm{r}(X)\mathrm{V}\mathrm{a}\mathrm{r}(Y)}}$.这是一个$[-1,1]$之间的实数，它反映$X,Y$之间的正相关性。

条件与独立性

初等条件概率

设$A,B\in \mathcal{F}$是两个事件，满足$\mathbb{P}(B)>0$.那么定义 $$\mathbb{P}(A|B)=\frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}$$ 称作$B$发生时，$A$的条件概率。这可以理解为我们在已知事件$B$发生时，$A$发生的概率(可能)发生了变化。关于条件概率，有一个很简单但有用的式子

下面一个练习可能会让你们沉思一会

我们再举一个经典的’Bayes统计推断’的例子。

事件的独立性

我们称事件$A,B\in \mathcal{F}$是独立的，是指 $$\mathbb{P}(A\cap B)=\mathbb{P}(A)\cdot \mathbb{P}(B).$$ 形象的来说，就是说已知$B$发生并不影响$A$发生的概率，即$\mathbb{P}(A|B)=\mathbb{P}(A)$(但这个式子中需要假定$\mathbb{P}(B)>0$故不作为定义使用)，或者已知$A$发生并不影响$B$的概率。 有时记为$A\perp \perp B$.

容易验证，$A\perp \perp B$能推出$\{\varnothing ,A,A^c,X\}$ 里每一个元素与 $\{\varnothing ,B,B^c,X\}$ 里每一个元素独立，即$A$,$B$各自生成的$\sigma$代数互相独立。这启发我们定义，对于两个$\sigma$-代数$\mathcal{F}$,$\mathcal{G}$,如果对任意$F\in \mathcal{F}$ 和 $G\in \mathcal{G}$ 总有 $\mathbb{P}(F\cap G)=\mathbb{P}(F)\cap \mathbb{P}(G)$,我们就说$\mathcal{F}$与$\mathcal{G}$独立，记作$\mathcal{F}\perp \perp \mathcal{G}$.

随机变量的独立性

对于一个随机变量$X:\mathrm{\Omega }\to \mathbb{R}$，或者一般的可测函数$\mathrm{\Omega }\to T$,我们说$X$生成的$\sigma$代数，记为$\sigma (X)$,是指$X^{-1}(\mathcal{B})$,即所有Borel集的原象$\{f^{-1}(B)\subset \mathrm{\Omega }:B\in \mathcal{B}\}$构成的$\sigma$-代数(由于原象的性质，这显然是一个$\sigma$代数)。这个$\sigma$代数可以理解为所有与$X$直接关联的事件，里面包含所有形如$\{X\in A\}$这样的事件，$A\in \mathcal{B}$.

我们说$\mathrm{\Omega }\to \mathbb{R}$的两个随机变量$X,Y$，或者更一般的，两个到一般拓扑空间的可测函数，是独立的，是指它们生成的$\sigma$-代数$\sigma (X)$与$\sigma (Y)$独立。那么我们很容易想象，要验证独立性，应该只需对一部分Borel子集验证即可。

多个随机变量的独立性

我们说一族$\sigma$-代数${\mathcal{F}}_i$是独立的，是指对任意有限个来自不同$i$的子集$A_i\in {\mathcal{F}}_i$,都有 $$\mathbb{P}\left(\bigcap _i{A}_i\right)=\prod _i\mathbb{P}(A_i).$$ 而一族随机变量是独立的，则是指它们对应的$\sigma$-代数独立。值得注意的是，这个要求强于假定它们两两独立。

Kolmogorov 0-1律

下一个引理的证明十分简单，我们留作作业。

Kolmogorov 0-1律是一个关于独立性的非常有趣的结论，它说的是一列独立事件的尾巴必然是概率0或1，即只要一个事件只依赖于一列独立事件的尾巴，那么它只能以概率0或1发生。虽然它的证明看似简单，但导出的结论常常是非显然的。这也要归功于我们将独立性归结于$\sigma$-代数的系统性的理解。

初等条件期望

我们知道，当$\mathbb{P}(B)>0$时，$A\mapsto \mathbb{P}(A|B)$构成一个测度。那么对这个测度进行积分的话，我们知道 $$\mathbb{P}(A|B)=\frac{\mathbb{E}{1}_A{1}_B}{\mathbb{P}(B)}$$ 这提示我们$\mathbb{E}(1_A|B)=\mathbb{E}(1_B{1}_A)/\mathbb{P}(B)$.利用简单函数逼近，单调收敛定理，在假定随机变量$X$可积时，这给出了条件期望的如下定义 $$\mathbb{E}(X|B):={\int }_{B}X(\omega )\mathbb{P}(\mathrm{d}\omega |B)=\frac{\mathbb{E}{1}_{B}X}{\mathbb{P}(B)}.$$ 特别的，如果$Y$是一个取值在可数个离散点$y_i$上的随机变量，满足$\mathbb{P}(Y=y_i)>0$,那么可以定义 $$\mathbb{E}(X|Y=y_i):=\frac{\mathbb{E}{1}_{Y=y_i}X}{\mathbb{P}(Y=y_i)}.$$ 我们发现，$\mathbb{E}(X|Y=y)$成为了一个关于$y\in \{y_i\}$的函数，暂时记该函数为$f:\{y_i\}\to \mathbb{R}$,那么我们定义$\mathbb{E}(X|Y)$是如下一个复合的随机变量$\mathrm{\Omega }\to \{y_i\}\to \mathbb{R}$ $$\mathbb{E}(X|Y):=\mathbb{E}(X|Y=y)\circ Y=f(Y).$$ 以下习题都假定$Y$满足初等条件期望所需的假设，即$Y$只取可数个离散值并且每个值的概率为正。

随机变量的分布律

对于一个实值随机变量$X:\mathrm{\Omega }\to \mathbb{R}$,利用$\mathrm{\Omega }$上的概率测度$\mathbb{P}$,它可以诱导一个$\mathbb{R}$上的测度${\mu }_X$,对任意Borel可测集$A\subset \mathcal{B}(\mathbb{R})$ $${\mu }_X(A):=\mathbb{P}(X^{-1}(A))=\mathbb{P}(X\in A).$$ 容易验证上述确实定义了一个$(\mathbb{R},\mathcal{B})$上的测度(这里$\mathcal{B}$是博雷尔可测集，不是拓扑基)。称之为随机变量$X$的分布,或分布测度。类似的也可以定义一般可测函数$f:\mathrm{\Omega }\to S$的分布，以及随机向量$X=(X_1,\dots ,X_n):\mathrm{\Omega }\to {\mathbb{R}}^n$在${\mathbb{R}}^n$上诱导的分布测度，通常称为$X_1,\dots ,X_n$的联合概率分布。在不引起混淆的情况下，我们有时也把分布测度记为${\mathbb{P}}_X$或者$\mathbb{P}(X)$,满足${\mathbb{P}}_X(A)=\mathbb{P}(X\in A)={\mu }_X(A)$. 联合概率分布有时记为${\mu }_{X_1,\dots ,X_n}$或者${\mathbb{P}}_{X_1,\dots ,X_n}$.特别地，对于随机变量$X$和实数$x\in \mathbb{R}$,记 $$F_X(x):={\mu }_X((-\mathrm{\infty },x])=\mathbb{P}(X\le x)$$ 称为$X$的分布函数(也叫累计分布函数)。我们说两个随机变量$X,Y$是同分布的，如果他们在$\mathbb{R}$上的分布相等，即${\mu }_X={\mu }_Y$.

连续型分布

记$m$或$\mathrm{d}x$表示$\mathbb{R}$上的Lesbegue测度。如果一个随机变量的分布${\mu }_X$对$m$绝对连续，即${\mu }_X\ll m$,那我们就说$X$是一个连续型随机变量，对应的分布${\mu }_X$称作连续型分布。根据Radon-Nikodym定理可知，存在非负可测函数 $f_X:\mathbb{R}\to [0,\mathrm{\infty }]$ 使得 $$\mathrm{d}{\mu }_X(x)=f_X(x)\mathrm{d}x.$$ 其含义为，对任意Borel可测集$A\subset \mathbb{R}$, $${\int }_{A}1\mathrm{d}{\mu }_X={\mu }_X(A)={\int }_A{f}_X(x)\mathrm{d}x.$$ 此时称$f_X(x)$是$X$的概率密度函数。这个函数在相差一个Lesbegue-$0$测集的意义下是唯一的，给出这个概率密度函数就唯一确定了其分布。还可以算出，它的分布函数可以由概率密度函数的定积分给出 $$F_X(x)={\int }_{(-\mathrm{\infty },x]}{f}_X(t)\mathrm{d}t={\int }_{-\mathrm{\infty }}^x{f}_X(t)\mathrm{d}t.$$ 接下来我们举一些常见的连续型分布的例子。

均匀分布

所谓均匀分布，就是指$\mathbb{R}$上这样一个概率测度 $$E\mapsto \frac{m(E\cap [a,b])}{b-a}.$$ 记为$U(a,b)$,这里$a<b$, $m$是Lesbegue测度。它的含义是，$[a,b]$中的值出现的概率是均匀均等的。举例来说，我们常说’取一个$0$到$1$的随机数’，就是指给一个服从均匀分布的随机变量$X$,使得${\mu }_X=U(0,1)$. 显然，这个测度关于$m$是绝对连续的，因此可以写$\mathrm{d}U(a,b)=1_{[a,b]}\frac{\mathrm{d}x}{b-a}.$

指数分布

指数分布是指由概率密度函数 $$f(x)=\lambda e^{-\lambda x}{1}_{x\ge 0}\mathrm{d}x$$ 确定的分布，即如下关于$m$绝对连续的测度 $$E\mapsto {\int }_E\lambda e^{-\lambda x}{1}_{x\ge 0}\mathrm{d}x.$$ 记为$\mathrm{E}\mathrm{x}\mathrm{p}(\lambda )$,这里要求参数$\lambda >0$.

其证明是简单的微积分计算，故留作读者的练习。

正态分布

关于均值$\mu$,方差${\sigma }^2$的正态分布是指由如下概率密度函数确定的分布 $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}.$$ 记为$N(\mu ,{\sigma }^2)$.这个分布十分重要，其原因需要留到后面我们讲中心极限定理时才能知道。可以说这是自然界中最广泛存在的一类连续型分布之一。

Gamma分布

Gamma分布可以视为指数分布的一种形式上的推广，它通常用来作为一种单峰的非负随机变量的经验分布。其概率密度函数为 $$f(x):=1_{x\ge 0}\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{x}^{\alpha -1}{e}^{-\beta x},\alpha >0.$$ 这里 $$\mathrm{\Gamma }(s):={\int }_0^{\mathrm{\infty }}{t}^{s-1}{e}^{-t}\mathrm{d}t$$ 是Gamma函数。对应的分布记为$\mathrm{Gamma}(\alpha ,\beta )$. 特别的，当$\alpha =1$时，$\mathrm{Gamma}(1,\beta )=\mathrm{Exp}(\beta )$.

Beta分布

Beta分布则通常用来作为限制在有界区间上的单峰的经验分布。其概率密度函数为 $$f(x):=\frac{1_{x\in [0,1]}}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1},\alpha ,\beta >0.$$ 这里 $$B(a,b):={\int }_0^1{t}^{a-1}(1-t{)}^{b-1}\mathrm{d}t=\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)\mathrm{\Gamma }(b)}$$ 是Beta函数。对应的分布记为$\mathrm{Beta}(\alpha ,\beta )$.

离散型分布

离散型分布是指这样一种$\mathbb{R}$上的概率测度，它在且只在一些孤立点上取正的测度。这些点只能是至多可数个，因为不可数个正数加起来只能是正无穷而不可能是$1$.事实上，设$a_i>0$是一族由集合$I$编号的正数，满足 $$\sum _{i\in I}{a}_i=1.$$ 那么设$I_n=\{i\in I:a_i>1/n\}$我们有$I=\bigcup _{n=1}^{\mathrm{\infty }}{I}_n$并且$|I_n|<n$,从而$I$是可数的。于是我们可以说离散型分布是一个只集中在一个至多可数的点集 $\{x_1,x_2,\dots \}\subset \mathbb{R}$ 上的概率测度,即满足 $$\sum _{i=1}^{\mathrm{\infty }}\mu (\{x_i\})=1,\mu (\{x_i\})\ge 0.$$ 如果一个随机变量的分布${\mu }_X$是一个$\mathbb{R}$上的离散概率测度，我们就称$X$是一个离散型随机变量。值得注意的是这个测度${\mu }_X$是关于$m$互相奇异的。容易看出其分布函数为 $$F_X(x)=\sum _i{1}_{x_i\le x}\mu (\{x_i\}).$$

接下来我们举一些常见的离散型分布的例子。

Bernoulli二项分布

假设你在投一枚不均匀硬币，每次投出正面的概率是$p\in [0,1]$,那么$n$次独立的投掷产生的正面数量$X_n$的分布就是Bernoulli二项分布，其分布密度为 $${\mu }_{X_n}(\{k\})=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k},0\le k\le n.$$ 这个分布记作$\mathrm{B}(n,p)$或者$\mathrm{Binom}(n,p)$. 具体的来说，如果令$\mathrm{\Omega }=\{(x_1,\dots ,x_n)\}$表示每次投掷构成的结果的状态空间，令$Y_i(\omega )=x_i$表示每次投掷的结果，那么利用$Y_i$之间的独立性，我们有 $$\begin{array}{rl}\mathbb{P}(X_n=k)& =\mathbb{P}(\bigcup _{1\le i_1<i_2<\cdots <i_k\le n}\{Y_{i_1}=Y_{i_2}=\cdots =Y_{i_k}=1,Y_{\text{others}}=0\})\\ & =\sum _{1\le i_1<\cdots <i_k\le n}\mathbb{P}(\{Y_{i_1}=Y_{i_2}=\cdots =Y_{i_k}=1,Y_{\text{others}}=0\})\\ & =\sum _{1\le i_1<\cdots <i_k\le n}\prod _{r=1}^k\mathbb{P}(Y_{i_r}=1)\times \prod _{j\notin \{i_r\}}\mathbb{P}(Y_j=0)\\ & =\sum _{1\le i_1<\cdots <i_k\le n}{p}^k(1-p{)}^{n-k}\\ & =(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}.\end{array}$$

几何分布

几何分布可以理解为一种离散版本的指数分布，即相同概率的独立发生的离散事件之间的等待时间。举例来说明，在独立的投掷正面概率为$p$的硬币的时候，令随机变量$G$表示投到正面所需花的次数，那么$G$具有分布 $${\mu }_G(\{k\})=p(1-p{)}^{k-1},k\ge 1.$$ 精确的来说，考虑$\mathrm{\Omega }=\{\omega =(x_1,x_2,\dots ,x_n,\dots ):x_1\in \{0,1\}\}$ 为投硬币正面与否的无穷序列构成的状态空间，那么 $$G(\omega )=inf(\{\mathrm{\infty }\}\cup \{i:x_i=1\})$$ 并设 $$X_i(\omega )=x_i$$ 为独立的表示每次硬币的结果的随机变量。 注意$G$可以取值$\mathrm{\infty }$,但$\{G=\mathrm{\infty }\}\subset \{X_1=0,X_2=0,\dots ,X_n=0\}$对任意$n$成立，于是由独立性， $$\mathbb{P}(G=\mathrm{\infty })\le \mathbb{P}(X_1=0,\dots ,X_n=0)=(1-p{)}^n\to 0$$ 故$\mathbb{P}(G=\mathrm{\infty })=0$.而 $$\mathbb{P}(G=k)=\mathbb{P}(X_1=0,\dots ,X_{k-1}=0,X_k=1)=p(1-p{)}^{k-1}.$$

Poisson分布

Poisson分布代表的是以一定频率发生的’稀有事件’的次数的分布，由于Poisson极限定律，这也是一个广泛存在的分布，具有很高的实用性。我们说参数为$\lambda$的Poisson分布的分布式为 $${\mu }_X(\{k\})=\frac{{\lambda }^k{e}^{-\lambda }}{k!},0\le k.$$ 记为$X\sim \mathrm{Poisson}(\lambda )$或$\mathrm{Poi}(\lambda )$.其精确解释我们在后面讲到Poisson小数定律时才能解释清楚。举例来说明，假定一个地区平均每$t_0$年发生一起罕见灾难，那么灾难的发生频率为$\frac{1}{t_0}$,时间$t$内平均发生$\lambda =\frac{t}{t_0}$次灾难，时间$t$内灾难发生的次数就服从参数为$\lambda =\frac{t}{t_0}$的Poisson分布。

常见分布总结

由于上述表格中关于期望和方差的简单的计算居多，我们不打算将所有计算过程写下来，感兴趣的读者可以自行去做。

收敛概念

测度的收敛

给定$\mathbb{R}$上一族测度${\mu }_i$,我们称它们弱收敛到$\mu$,如果对任意有界连续函数$f$都有 $${\int }_{\mathbb{R}}f(x)\mathrm{d}{\mu }_i\to {\int }_{\mathbb{R}}f(x)\mathrm{d}\mu .$$ 记作${\mu }_i\stackrel{w}{\to }\mu$.

随机变量的收敛

几乎处处收敛

假定我们给了一列随机变量${\xi }_1,{\xi }_2,\dots$,有很多种不同的概念来描述${\xi }_i$如何收敛到某一个极限随机变量$\xi$. 首先想到的是可测函数的逐点收敛，即对几乎每一点，都有${\xi }_i\to \xi$,或者说 $$\mathbb{P}(\omega \in \mathrm{\Omega }:{\xi }_i(\omega )\to \xi (\omega ))=1.$$ 这时我们就说${\xi }_i$几乎处处收敛到$\xi$,记为${\xi }_i\to \xi a.s.$或者$a.e.$ 不收敛的点至多构成一个零测集。我们容易推出以下关于几乎处处收敛的引理

依概率(测度)收敛

如果对任意$ϵ>0$都有$\mathbb{P}(|{\xi }_i-\xi |>ϵ)\to 0$,我们就说${\xi }_i$依概率收敛到$\xi$,也叫依测度收敛，记为${\xi }_i\stackrel{P}{\to }\xi$.

依分布收敛(弱收敛)

如果${\xi }_i$的分布弱收敛到$\xi$的分布，即$\mathbb{P}({\xi }_i)\stackrel{w}{\to }\mathbb{P}(\xi )$,我们就说${\xi }_i$弱收敛到$\xi$或者${\xi }_i$依分布收敛到$\xi$,记作${\xi }_i\stackrel{d}{\to }\xi$.

Poisson小数定律

该定律一般是由特征函数(Fourier变换)得出的，但我们这里给出一个直接证明，一方面是因为可以作为我们刚刚学习的收敛概念的应用，另一方面弄清楚这个详细的过程会提升大家对这个现象的理解。

大数定律

弱大数定律

测度的变换

内容概要：Fourier变换，Laplace变换，中心极限定理，Poisson极限定理(小数定律)。

条件期望

定义

我们已经定义了初等条件概率，这使得我们能谈论诸如$\mathbb{P}(A|B)$, $\mathbb{P}(X=x_i|Y=y_i)$, $\mathbb{E}(X|Y=y_i)$等条件概率和条件期望，并且条件概率可以看成是条件期望的一种特殊情形$\mathbb{E}(1_A|B)$.但是这个式子需要$\mathbb{P}(Y=y_i)>0$时才有意义，否则完全就是意义不明的’非法操作’。那么如果我们面对的是连续型随机变量，每一点的取值上$\mathbb{P}(Y=y_i)$都等于零怎么办呢？现代概率论的一大重要突破就是将$\mathbb{E}(X|Y)$看成一个’信息弱化版’的$X$.其意义为从$Y$能获得的信息里面你能获得的关于$X$的全部信息，即将它看成一个$\sigma (Y)$可测的随机变量而不是一个数，并在一般的$\sigma$-代数$\mathcal{F}$可测的意义下引入了条件期望$\mathbb{E}(X|\mathcal{F})$.

在这个意义下，$\mathbb{E}(X|\{\varnothing ,\mathrm{\Omega }\})=\mathbb{E}(X)$是’信息最弱’版的$X$,被弱化成了一个常数。而$\mathbb{E}(X|\mathcal{A})=X$是’未经弱化’的完全体，因为$X$是$\mathcal{A}$可测的，所有信息都得到了保留，其条件期望还是它自己。

不妨先设$X$是非负的，如果记${\mathbb{P}}_{\mathcal{F}}$是$\mathbb{P}$限制在$\mathcal{F}$上得到的测度，那么上式按积分的意义理解，就是说 $$X\mathrm{d}\mathbb{P}=\mathbb{E}(X|\mathcal{F})\mathrm{d}{\mathbb{P}}_{\mathcal{F}}.$$ 换句话说，条件期望$\mathbb{E}(X|\mathcal{F})$就是测度$\mathcal{A}\ni A\mapsto {\int }_{A}X\mathrm{d}\mathbb{P}$限制在$\mathcal{F}$上之后，在${\mathbb{P}}_{\mathcal{F}}$下的Radon-Nikodym导数。由于左边的测度显然关于${\mathbb{P}}_{\mathcal{F}}$绝对连续，由Radon-Nikodym定理我们知道这个函数是存在的，并且在至多相差一个${\mathbb{P}}_{\mathcal{F}}$零测集的意义下唯一。对于一般可积的$X$,我们可以通过作差得到条件期望的存在性。 为了看出$\mathbb{E}(X|Y)$的含义，我们先来看一个引理。

条件分布

接下来的章节计划(考虑，顺序还没确定)

1. 随机过程

2. 鞅，选择停止定理

3. Markov模型

4. 统计推断

5. 高维Gauss分布

6. Brown运动与Ito微积分