实值随机变量
本文继续研究有限概率空间,重点关注其中实值随机变量的特点。
在此文中,我们总是考虑不含零测事件的样本空间。 对可数(无论有限还是无限)的集合,我们都可以将零测事件排除出去,然后研究新的样本空间。 但是对更一般的空间,这个假设不一定是易于满足的。 比如,对于无限次进行的抛硬币游戏,任何可能的结果都是零测的,但是其仍然是良好定义的样本空间。
无论如何,既然我们目前仅研究有限的概率空间,我们总是将零测事件排除出去。
我们记集合
数学期望Permalink
设
数学期望只与随机变量的分布,即其密度函数
- 伯努利分布的期望为:
- 二项分布
的期望为:
期望的性质Permalink
(期望恒正)若
设
我们知道,
(期望的线性)映射
设两个随机变量
这个命题的证明较为显然。
设
我们知道:
若
设
二阶矩Permalink
设
根据期望的性质,我们知道这个值也只取决于随机变量的分布。
更进一步地,我们有:
方差与标准差Permalink
设
标准差或方差表征了数据距离其平均值
以下几个公式可以用来非常方便地计算方差:
- 随机变量
的方差为 - 随机变量的方差是二次齐次的:
- 随机变量的方差为零,当且仅当其为常数。
这些命题都可以非常容易地用计算验证。
期望、二次型与协方差Permalink
对有限概率空间中的两个实随机变量
设
根据代数所学知识,很容易发现,
接下来,我们自然关心两个随机变量之间是否存在类似的关系,答案是当然。
实际上,方差也是一个二次型,而协方差就是这个二次型对应的
设映射:
设映射:
对双线性型
这两个命题可由简单的计算验证。
从定义上不难看出,协方差也可以作为范数,表征两个随机变量在线性空间上的某种距离,可以作为相关性的一种度量。 为了表征这种相关性,我们选择使用其“夹角”:
定义两个随机变量
考虑到
若两个随机变量是独立的,那么它们是线性无关的。
这个命题的证明比较容易,此处不再赘述。
反之,两个线性无关的随机变量不一定是独立的,这是因为,正如其名,相关系数只能表示
若随机变量
这个命题由简单的计算即可验证。 需要注意的是,这里要求随机变量两两无关,不同于此前要求独立。
典型不等式Permalink
此处列出几个和期望相关的典型不等式。
(柯西-施瓦茨不等式)
考虑到
(琴生不等式)对非零区间上的凸(Convex)函数
(马尔可夫不等式)设
有:
(切比雪夫不等式)设
取
假设一个盒子中有10个除颜色以外完全相同的球,各自染上黑色或白色。
有人希望通过从盒子中随机取一个球,查看其颜色,然后放回的方式,估计其中黑色球的数量。
请利用切比雪夫不等式估计,至少要取多少次,才能使出错的概率小于
我们用伯努利变量来描述一次实验,记第
现在,我们需要确定“不确定度”,即切比雪夫不等式中的
最后补充一个和切比雪夫不等式密切相关的结论。
(单边切比雪夫不等式)设
设
生成函数Permalink
设
注意到本章之中我们只研究有限概率空间,因此这个“级数”实际上只有有限项,从而总是良定义的多项式函数,不必关心其收敛问题。
设
令
设
由于
两个自然数上分布的随机变量的分布相同,当且仅当其母函数相同。
不难注意到母函数是由分布唯一确定的。
对自然数上分布的随机变量
简单计算可证。
由最后一条定理,不难发现,对自然数上分布的随机变量
这就终结了我们关于有限概率空间的所有讨论,接下来我们将关注无限的概率空间下的问题。
-
这种范数实际上称为
半范数 (seminorm)。 ↩