Session 2: Sampling in Statistics
- 所属系列：统计基础 · 2021 系列
- 视频：YouTube · 时长 24:14 · 字幕
- 内容判断：概念笔记与算例｜画面依赖低：讲义全是文字，已看过｜总体与样本、抽样方法、偏差、噪音、独立同分布、大数定律和中心极限定理
- 处理方式与范围：全片梳理，附测验重算和对定理表述的补充
- 讲义 / 资料：Session 2 讲义（10 页）· 课后测验 · 答案
- 素材依据：英文字幕，仓库存档，663 行；字幕类型未核实
- 核对范围：已读全片字幕 00:02–24:10，讲义全部 10 页，课后测验和答案；已重算抛硬币和民调的标准误、切比雪夫界和测验第 4 题；视频画面未核对
- 发布日期：2021-08-24
- 数据截至：不依赖数据
- 状态：已提炼
抽样几乎是统计的默认状态，因为总体太大、太贵或太慢。抽样有两宗罪：偏差和噪音。噪音随样本变大而减小，偏差不会，这是这一讲最重要的区别。Damodaran 接着讲独立同分布、大数定律和中心极限定理，并提醒股票回报很难满足这些假设。
视频总结
时间戳取自 YouTube 英文字幕，标题中的时间区间可点击跳转；讲义页码指 PDF 页码。
00:18–02:47 总体和样本
总体是你想研究的全部，样本是你真正拿到数据的那部分。
研究企业如何应对危机时，总体是世界上所有企业。他在疫情期间看了 46,000 家上市公司，这是很大的样本，但仍然只是样本（00:53）。
样本有两种。时间序列（Time Series）：美国股票数据可追溯到 1871 年，只用 1960–2020 年的数据就是抽样（01:30）。横截面（Cross Section）：约 9,000 家美国上市公司里，只看市值超过 1,000 万美元的（02:11）。
02:47–04:57 为什么要抽样
抽样是常态，因为总体可能够不着，也可能太贵或太慢。
三个原因：不现实，有时根本够不着总体（02:53）；成本太高（03:53）；时间来不及，民调不能花三个月，所以用 800 到 2,000 人外推（04:17）。
04:57–07:09 抽样方法
概率抽样靠随机，非概率抽样靠研究者的标准，标普 500 属于后者。
从 9,000 家里随机抽 500 家是概率抽样。挑市值最大的 500 家是非概率抽样，这就是标普 500（05:16）。
| 方法 | 做法 | 他的例子 | 问题 |
|---|---|---|---|
| 简单随机 | 从全体随机抽 | 9,000 家抽 500 家 | 可能抽到太多公用事业（05:47） |
| 分层随机 | 先分组，每组内随机抽 | 分 100 个行业，每个抽 5 家 | 覆盖所有行业，但见下文测验第 2 题 |
| 整群随机 | 随机选组，组内全要 | 按首字母分 26 组，选 5 组全要 | 金融里很少用（06:14） |
07:09–12:21 偏差的四个来源
偏差很难避免，它会在你以为自己很小心时溜进来。
| 来源 | 机制 | 例子 |
|---|---|---|
| 排除 | 一部分总体根本不在抽样框里 | 用电话簿抽样，没电话的人被排除（07:47） |
| 自选择 | 一部分总体更容易进入样本 | 诊所检测 1,000 人 250 人阳性，不能推出全市 25%，来的人本来就更不舒服（08:38） |
| 不响应 | 一部分人不回应 | 2020 年民调里，支持某位候选人的人拒绝作答（09:34） |
| 幸存者 | 失败者离开了样本 | 用现存对冲基金回溯，会漏掉那 25–30% 没撑下来的（10:50） |
对冲基金这个例子要反过来做：从 2010 年的全部基金出发往后看，把失败者也算上（12:03）。
12:21–14:04 发现偏差后怎么办
不知道偏差最危险，知道了就修正，修不了就把结论说窄。
第 6 页的三种情形：不知道或者装作不知道，这最危险（12:26）；知道就修正，2020 年部分民调已经这样做（12:50）；修正不了就收窄结论，标普 500 的股息减少了，只能说最大的美国公司如此，不能说所有美国公司（13:12）。
14:04–16:04 噪音
噪音不是你的错，它是抽样本身的代价，能做的是加大样本并如实报告。
无偏硬币抛 100 次，也很少正好 50 比 50（14:47）。样本变大，结果向真相收敛，标准误下降（15:24）。正确做法是报告结论时也报告误差和区间（15:46）。
16:04–21:11 独立同分布和大数定律
大数定律是样本能代表总体的理由，但股票回报很可能既不独立，也不同分布。
独立（Independent）：一个事件是否发生，和其他事件无关。硬币满足，年度股票回报是否满足则要检验（16:40）。同分布（Identically Distributed）：每次观察来自同一分布。1928 年的回报反映当时的经济和上市公司，假定它和 2020 年同分布太勉强了（18:24）。金融研究常这样假设，因为可以省事，并得出强结论（18:57）。
大数定律（Law of Large Numbers）：样本越大，样本均值越接近总体均值（19:26）。第 9 页列了两个例外，不满足独立同分布，或者分布有肥尾（20:07）。他还说金融依赖的其实是“弱大数定律”：即使不独立同分布，只要方差有限，收敛仍会发生，只是更慢（20:24）。这个说法要小心，见“复算与实操”。
21:11–24:10 中心极限定理和切比雪夫不等式
即使总体不正态，样本均值也近似正态；再不济，切比雪夫也给出一个下限。
中心极限定理（Central Limit Theorem）让我们能对样本均值使用正态分布的性质（21:24）。切比雪夫不等式（Chebyshev's Inequality）更宽松，不假设分布形状（22:20）。第 10 页把两者放在一起：
| 区间 | 正态分布 | 切比雪夫下限 |
|---|---|---|
| ±1 个标准差 | 约 2/3 | 无约束 |
| ±2 个标准差 | 约 95% | 75% |
| ±3 个标准差 | 约 99.7% | 88.89% |
正态列的 ±3 个标准差是我补的，讲义没有。
提炼
概念与公式
偏差和噪音的区别：
| 偏差 | 噪音 | |
|---|---|---|
| 来源 | 样本和总体不一样 | 样本有限 |
| 加大样本 | 没有帮助 | 减小 |
| 对策 | 修正或收窄结论 | 加大样本，报告误差 |
方法与判断依据
- 看到任何研究，先问样本是怎样形成的。
- 回测和基金业绩首先要查幸存者偏差。
- 结论的范围不能超过样本的范围。
- 分层抽样要按比例分配，否则小组会被放大。
复算与实操
抛硬币的噪音，95% 区间按 ±1.96 个标准误：
| 次数 | 标准误 | 95% 区间 |
|---|---|---|
| 100 | 5.00% | ±9.80% |
| 1,000 | 1.58% | ±3.10% |
| 10,000 | 0.50% | ±0.98% |
| 100,000 | 0.16% | ±0.31% |
样本每扩大 100 倍，误差只缩小 10 倍。100 次里正好 50 次的概率约 8.0%，落在 45–55 次的概率约 72.9%。
同样的算式解释了民调的样本量：800 人约 ±3.5%，1,000 人约 ±3.1%，2,000 人约 ±2.2%。这是把比例取 50% 的最大值，并假设样本无偏。
测验第 2 题：选项都有偏差。最大或最活跃的公司有选择偏差，要求十年数据会偏向老公司，每个行业抽十家则放大小行业。这和口述中每个行业抽五家的例子是同一个问题。
测验第 4 题：题目给标准差 25%，n = 25，标准误 5%，95% 区间约 12% ± 10%，即 2% 到 22%（用 1.96 是 2.2% 到 21.8%）。答案用了 30%，得到 0% 到 24%，见“疑问与待核实”。
讲义对定理的表述比较松，以下是我按标准教科书的说法做的补充：
- 中心极限定理是极限结论，要 n 足够大，且方差有限。样本小或者尾部很肥时，样本均值不一定接近正态。
- 大数定律的强弱，标准定义指收敛方式的不同（依概率收敛和几乎必然收敛），不是能否放弃独立同分布。放宽独立性需要额外条件，强相关的序列不会自动收敛。
自测与复习
- 测验第 3 题：1,000 位大型共同基金经理的问卷收回 100 份，有两层偏差。抽样框排除了养老金和捐赠基金的经理，回应的人又可能观点更强烈。
- 测验第 5 题：大数定律要求独立且同分布，不要求正态。
- 为什么样本再大也修不了幸存者偏差？
关联
疑问与待核实
- 测验第 4 题：题目的标准差是 25%，答案用 30%，算出 ±12%。按题目应为 ±10%。
- 测验第 2 题：答案写“d. None of the above”，题目里 d 是分行业抽样，“None of the above”是 e。
- 22:40 用样本均值的标准误 0.4 英寸说明个体身高的分布，这混淆了标准误和标准差。切比雪夫说的是标准差。100 人的标准误 0.4 英寸对应标准差约 4 英寸。
- 03:40 说美国人口普查基于抽样。印象中分配议席的十年普查是实际点数，抽样用于其他调查。这是我的记忆，待查。
- 21:02 和第 9 页对弱大数定律的说法，和我知道的标准定义不同，见“复算与实操”。
- 20:18 说肥尾时大数定律可能失效，讲义也是。严格说，均值存在时大数定律仍成立，只是收敛很慢；均值不存在才失效。
- 第 2 页是 1960–2021 年，口述是 1960–2020 年，不影响结论。