笔记2-《程序员的数学2:概率统计》随机变量与概率分布  

目录
  1. 随机变量与概率分布
  2. 用 Ruby 验证
  3. 这一节真正重要的是那句话

随机变量与概率分布

  • 1.4 随机变量

    • 从舞台到表演

      • 1.3 节已经构建了舞台(Ω 与上帝视角),接下来讨论如何在这一舞台上表现随机量
      • 这种随机量称为随机变量
      • 从 (Ω,F,P)(\Omega, \mathcal{F}, P) 的角度看,随机变量只是 Ω 中的函数
        • 对 Ω 中各元素 ω\omega,函数 f(ω)f(\omega) 返回相应整数,这些整数就是随机变量 AA
        • ff 只是一个函数,返回情况完全确定,与 g(x)=x+3g(x) = x + 3 之类的函数没有区别
        • 图 1.7:左侧是整数值(离散值)的随机变量,右侧是实数值(连续值)的随机变量
    • 两种视角的切换(这一节很重要)

      • 上帝视角:随机变量是完全确定的函数 f(ω)f(\omega),问题变成完全确定的面积问题
      • 人类视角:因为不知道自己身处哪个世界 ω\omega,无法得知 f(ω)f(\omega) 的值,问题变成结果不确定的概率问题
      • 如果能在两种视角之间自由切换,后续的概率讨论就不会有太大问题
      • 习惯上用大写字母表示随机变量,如 X(ω)X(\omega)
    • 具体例子

      • Ω 是正方形,由 0 至 1 间的实数二元组组成:ω=(u,v)\omega = (u, v),其中 0≤u≤10 \le u \le 1、0≤v≤10 \le v \le 1
      • PP 是传统意义上的面积,整个 Ω 面积为 1
      • 定义随机变量 XX:X(ω)=X(\omega) = 中选,若 2u+v≤12u + v \le 1;否则落空
        • 这类既非整数又非实数的值也能作为随机变量
      • X(ω)=X(\omega) = 中选 对应的面积是 1/41/4,所以 XX 有 1/41/4 的概率值为中选
    • 区域边界怎么画

      • 「Y(u,v)=Y(u, v) = 中选」实际上就是要求 2u+v≤12u + v \le 1 的区域
      • 把边界方程变形:v=−2u+1v = -2u + 1,斜率 −2-2、y 轴截距 1
      • 画直线后判断区域在哪一侧 —— 随意取点检验即可
        • (0,0)(0, 0):2u+v=0≤12u + v = 0 \le 1,在该区域内
        • (1,0)(1, 0):2u+v=2>12u + v = 2 > 1,不在区域内
      • 区域与 (0,0)(0, 0) 位于直线同侧
  • 1.5 概率分布

    • 概率分布 vs 随机变量

      • 随机变量涉及具体的平行世界;概率分布只考虑面积,不涉及具体发生在哪个世界
      • 只要知道随机变量就能算出概率分布;反过来不成立 —— 仅凭概率分布无法求出随机变量的值
      • 表 1.2 与表 1.3:XX 与 YY 是不同的随机变量,但概率分布相同(各 1/4、3/4)
    • 老千骰子的概率分布(表 1.1)

      骰子的点数123456
      掷出该点的概率0.40.10.10.10.10.2
    • 概率分布的两条性质

      • 每一项概率都 ≥0\ge 0 且 ≤1\le 1
      • 所有概率的和必定为 1
      • 从面积角度这是理所当然的(前提是 Ω 面积为 1)
    • 表述方式

      • P(X=k)=P(X = k) =「X(ω)=kX(\omega) = k 时区域 ω\omega 的面积」
      • 更一般的:P(X=k)P(X = k) 为 k 的概率,「这类方程式的集合就是相应的概率分布」
      • 表述习惯:「随机变量 XX 遵从式 1.4 中的概率分布」,而不是「式 1.4 是 XX 的概率分布」
      • 连续值随机变量 ZZ 也定义了概率分布,但表述略复杂,第 4 章再讨论
  • 1.6 适于实际使用的简记方式

    • 随机变量的表示方法

      • 原则上随机变量用大写字母,X(ω)=aX(\omega) = a 这样写能清楚区分 XX(随机变量)和 aa(普通数字)
      • 但情况复杂时字母不够用,用其他名称也无可厚非
      • 换用其他字母表述分布是一种妥当做法:「将 XX 的概率分布记为 PP,YY 的概率分布记为 QQ」
        • P(3)P(3) 表示 P(X=3)P(X = 3),Q(3)Q(3) 表示 P(Y=3)P(Y = 3)
        • 优点是不必用下标,书写方便;不足是要引入新字母
    • 概率的表示方法

      • P(X=x)P(X = x) 可简记为 P(x)P(x),P(Y=y)P(Y = y) 简记为 P(y)P(y)
      • 这种写法存在歧义 —— 没有上下文的 P(3)P(3) 无法辨别具体含义
      • 本书有时用 Pr(… )\mathrm{Pr}(\dots) 或 Prob(… )\mathrm{Prob}(\dots) 代替 PP,含义相同
      • 建议初学者如果困惑,先改用原本的表示方法
  • 1.7 Ω 是幕后角色

    • 不必在意 Ω 究竟是什么

      • 前几节把 Ω 定义为面积是 1 的正方形,但即使改成其他形状,概率论的原理也不变
      • 我们不关心 Ω 及其中区域 A 的形状,只对面积 P(A)P(A) 感兴趣
      • 图 1.13:Ω 定义为面积为 1 的圆盘,相关概率不变
      • 图 1.14:Ω 定义为体积为 1 的立方体或球体,把 PP 视作相应的体积问题也没有不同
      • 前提条件始终是 P(Ω)=1P(\Omega) = 1
    • Ω 的两种习惯处理方式

      • 宽泛 Ω(本书采用):准备一个通用的巨大舞台 Ω,每个问题设定为其中不同的随机变量
        • 用上帝视角的平行世界来解释,非常合理
      • 小 Ω:针对每个具体问题设定更小的集合
        • 内容较浅的概率论书籍常采用
        • 投一次硬币只需 Ω={正面,反面}\Omega = \{\text{正面}, \text{反面}\}
        • 蒙提霍尔问题总共只有 3×3×3=273 \times 3 \times 3 = 27 种结果组合(正确的门、挑战者选的、主持人开的),定义一个含 27 个元素的集合即可
          • 有些组合不可能实际出现,把它们的 PP 定义为 0 就行
    • 不含 Ω(不含上帝视角)的概率论

      • 概率分布只是一列概率一览表,无需引入上帝视角也能解释
      • 但不足在于:随机变量的概念变得无足轻重,只能靠语言描述
      • 问题仅涉及一个随机变量时问题不大;多个随机变量时就变得棘手
        • 「即使概率分布相同,对应的随机变量也可能不同」
        • 常规视角下的语言和直觉难以解决,上帝视角更有效
      • 对这类复杂随机变量组合的分析是现代概率统计学的关键之一
  • 1.8 一些注意事项

    • 「想做什么」

      • 仅凭语言难以讨论概率问题,容易陷入各执一词的无休止争论
      • 只用语言表述,讨论可能莫名其妙地转化为哲学问题,不知不觉中做出错误判断
      • 所以本书试图一同介绍纯粹的数学定义,并在后文中结合数学讨论

用 Ruby 验证

老千骰子的分布可以直接算期望值和方差:

# 老千骰子:各点概率
dist = [0.4, 0.1, 0.1, 0.1, 0.1, 0.2]

puts "概率和 = #{dist.sum}" # 概率和 = 1.0

# 期望值 = Σ k * p(k)
exp = dist.each_with_index.sum { |p, i| (i + 1) * p }
puts "期望值 = #{exp}" # 期望值 = 3.0000000000000004

# 方差 = Σ (k - E)^2 * p(k)
var = dist.each_with_index.sum { |p, i| ((i + 1) - exp)**2 * p }
puts "方差 = #{var.round(6)}" # 方差 = 4.0
puts "标准差 = #{Math.sqrt(var).round(6)}" # 标准差 = 2.0

老千骰子的期望值是 3(比公平骰子的 3.5 小),方差 4.0 是公平骰子的 1.25 倍 —— 概率全压在 1 和 6 上,波动更大。

再验证随机变量的面积定义:X(ω)=X(\omega) = 中选 对应区域 2u+v≤12u + v \le 1,这是个直角三角形,面积为 1/2×1×1/2=1/41/2 \times 1 \times 1/2 = 1/4。用蒙特卡洛采样估计:

n = 1000
hits = 0
n.times do |i|
u = (i + 0.5) / n
v = (i * 7 % n + 0.5) / n
hits += 1 if 2 * u + v <= 1
end
puts "蒙特卡罗估计 P(X=中选) = #{hits.to_f / n}" # 蒙特卡罗估计 P(X=中选) = 0.255
puts "精确值 = 0.25" # 精确值 = 0.25

蒙特卡洛估计 0.255 与精确值 0.25 接近。误差来自采样 —— 这正是第 7 章「伪随机数与蒙特卡罗方法」要处理的问题。

这一节真正重要的是那句话

书里反复提醒:「即使概率分布相同,对应的随机变量也可能不同。」

表 1.2 和表 1.3 里 XX 和 YY 概率分布完全相同,但它们是不同的随机变量。差别在于「哪个世界里得到哪个值」。

这就是为什么第 1.7.3 节说「不含 Ω 的概率论」在多随机变量场景下会失效:只盯着概率分布那一张表,会丢掉「具体哪个世界」这层信息;而多个随机变量之间的联合结构恰恰住在这一层里。第 2 章要讲的联合概率、边缘概率、条件概率,全都是在这个层面上做文章。

123.8k