Session 5: Data Relationships
- 所属系列：统计基础 · 2021 系列
- 视频：YouTube · 时长 31:59 · 字幕
- 内容判断：概念笔记与算例｜画面依赖中：散点图、公式和残差图已看过｜相关、协方差、回归、多元回归、诊断和预测
- 处理方式与范围：全片梳理，附散点图回归的重算
- 讲义 / 资料：Session 5 讲义（16 页）· 课后测验 · 答案
- 素材依据：英文字幕，仓库存档，942 行；字幕类型未核实
- 核对范围：已读全片字幕 00:00–31:55，讲义全部 16 页（图片页已看），课后测验和答案；已用第 3 页的 10 个点重算回归；视频画面未核对
- 发布日期：2021-08-24
- 数据截至：不依赖数据
- 状态：已提炼
两个变量的关系，要一步步从描述走到预测：先画散点图，再算相关，再拟合直线，最后检查残差。Damodaran 的重点不在公式，而在哪里会出错：相关可能是巧合，相关不等于因果，过去的相关不代表未来，自变量可能彼此相关，能预测也要来得及行动。这是全课最重要的工具讲。
视频总结
时间戳取自 YouTube 英文字幕，标题中的时间区间可点击跳转；讲义页码指 PDF 页码。
00:23–06:29 散点图、相关和协方差
相关系数把共同变动标准化到 −1 和 1 之间，协方差的方向相同，但大小要看单位。
先问三件事：有没有先后关系，有没有因果，能不能预测（00:42）。第一步是散点图（01:47）。
皮尔逊相关系数（Pearson Correlation Coefficient）看每个观察值偏离均值的方向是否一致（03:27）：
协方差（Covariance）从同一处出发，只是不标准化（05:11）：
所以说 IBM 和市场的相关是 0.22，你立刻明白；说协方差是多少，你判断不了高低（05:44）。
06:39–10:12 相关的三个陷阱
相关可能是巧合，不代表因果，也不保证延续。
第一，巧合。数据够多，总会有毫无道理的相关，比如超级碗哪一方获胜和股市涨跌（07:33）。第二，相关不等于因果。富裕家庭买更多有机食品，但买有机食品不会让你变富（08:36）。第三，数据都来自过去，用它预测就假定未来和过去相似（09:37）。
10:14–13:36 最佳拟合线
OLS 让点到直线的平方距离之和最小，结果是截距、斜率和 R²。
普通最小二乘（Ordinary Least Squares，OLS）是最常用的方法（10:39）。第 7 页的结果：
斜率 −1.1 表示 x 每增加 1，y 下降 1.1（11:25）。截距 14 是 x 为零时的 y（11:57）。R² 度量拟合好坏，全部点在线上就是 100%，水平线就是 0（12:31，13:02）。
13:36–15:51 多个变量
相关只能两两看，回归可以有多个自变量。
三个变量要看三对相关，因为相关只针对两个变量（13:45）。多元回归（Multiple Regression）仍有一个因变量，但自变量可以有多个（14:29）。3D 散点图能画，他自己也看不太懂（15:05）。
15:51–18:42 虚拟变量和交互项
虚拟变量处理分组，交互项处理两个变量的联合效应。
虚拟变量（Dummy Variable）取 0 或 1。把公私公司放在一起时，用它判断私人公司是否不同（16:12）。连续变量也可以转换，比如按是否投资级分组（17:22）。
交互项（第 10 页）：
18:43–21:25 四项诊断
用回归之前要查线性、共线性、同方差和残差正态。
第 11 页的四项：线性（18:51）、多重共线性（19:45）、同方差（20:21）、残差正态（21:11）。
21:25–23:02 线性和非线性
非线性时可以跑非线性回归，但转换变量通常更简单。
他几乎从不跑非线性回归，宁可转换变量，因为非线性回归要试错，结果也更难读（22:07，22:47）。
23:02–26:20 多重共线性
共线性让单个系数不可靠，但整体预测通常还能用。
先看自变量的相关矩阵，理想情况是对角线为 1，其余为 0（23:07）。共线性时数据分不清哪个变量在起作用，所以系数不可靠，但整体预测不受影响（23:47，24:15）。方差膨胀因子（VIF）大于 5 算严重（24:25）。
三种处理办法：替换或删除一个变量（25:00）；改跑多个简单回归，但难得到综合预测（25:51）；什么都不做，只用来预测，不解读系数（26:05）。比如高增长公司风险高、派息少，PE 回归的自变量天生相关（25:24）。
26:20–29:09 异方差和回归变体
残差有模式时，先转换变量，再考虑 GLS 或加权回归。
把残差对预测值作图，好的回归看不出模式（26:28）。残差随预测值变大就是异方差（Heteroskedasticity）（26:50）。首选是转换变量（27:02）。还可以用广义最小二乘（GLS），把残差信息放回回归（27:22）；或者加权最小二乘，比如按市值加权。他发现这样能减轻统计问题，代价是放弃部分数据的力量（28:08，28:55）。
29:09–31:55 用回归预测
一个能用的回归要过四关：精度、平稳性、可观察、可行动。
| 条件 | 问题 | 例子 |
|---|---|---|
| 精度 | 预测是估计，R² 低时范围很大 | 系数下面要写标准误（29:30） |
| 平稳性 | 结构有没有变 | 他不太用 2008 年以前的美国数据（30:02） |
| 可观察 | 预测时拿得到 X 吗 | GDP 比盈利晚三四个月才公布（30:43） |
| 可行动 | 偏离能赚钱吗 | 投资里回归是要用来行动的（31:16） |
提炼
概念与公式
| 指标 | 范围 | 看什么 | 局限 |
|---|---|---|---|
| 相关系数 | −1 到 1 | 线性关系的方向和强度 | 看不出非线性 |
| 协方差 | 无界 | 方向 | 大小取决于单位 |
| R² | 0 到 1 | 解释了多少变异 | 不看方向，也不看因果 |
| 斜率 | 无界 | X 变 1，Y 变多少 | 依赖单位，要配标准误 |
简单回归中三者相连：
方法与判断依据
- 先画图。相关系数相同的数据，形状可以完全不同。
- 看到相关，先问机制，再问方向，最后问是否有第三个变量。
- 系数和预测分开看：共线性伤系数，不太伤预测。
- 每个回归都问四关：精度、平稳、可观察、可行动。
- 同一时期的回归不能用于预测，除非 X 比 Y 更早公布。
复算与实操
第 3 页的 10 个点：(1,14)、(2,10)、(4,12)、(5,8)、(6,9)、(6,6)、(8,3)、(9,4)、(11,3)、(12,1)。
| 指标 | 重算 | 讲义 |
|---|---|---|
| x 和 y 的均值 | 6.4、7.0 | 未写 |
| 协方差 | −14.56 | 未写 |
| 相关系数 | −0.934 | 未写 |
| R² | 87.3% | 12:53 说可能 60–75% |
| 斜率 | −1.106 | −1.1 |
| 截距 | 14.08 | 14.0 |
相关为零只说明没有线性关系。比如 y = x²，x 在 −1 到 1 之间对称取值，相关是 0，但 y 完全由 x 决定。
自测与复习
- 测验第 1 题：三者都度量共同变动。相关有界且无单位，协方差无界，R² 是相关的平方，不看方向。
- 测验第 3 题：先看自变量的相关，再看 t 值和 p 值。t 远低于 2 就换掉或删除。
- 测验第 4 题：把残差对预测值作图，看有没有模式，是否接近正态。
- 测验第 5 题：样本越大可容纳的自变量越多。样本极大时，R² 低也可能非常显著。
关联
疑问与待核实
- 第 12 页写“检测多重共线性最简单的办法是画因变量对各自变量的散点图”，这一页讲的是非线性，这里应为非线性。
- 第 16 页的可观察性写反了：说要观察因变量才能预测自变量。29:53 说对了用 X 预测 Y，但 31:07 又说要确保因变量可观察。要观察的是自变量。
- 24:43 说 VIF 小于 1 就不用担心，按定义 VIF 不会小于 1，1 就是完全不相关。
- 第 14 页同方差的图是错的：左图的残差随预测值向上走，这是有模式的。OLS 的残差和预测值不相关，这张图更像 y 对 x 的散点图。
- 第 15 页说 GLS 的估计“更无偏”。异方差时 OLS 仍然无偏，受影响的是效率和标准误。这是我按教科书的理解。
- 第 4 页和04:44 说相关为零就没有关系，只能说没有线性关系。第 7 页写完美拟合时相关为 1，也可能是 −1。
- 02:09 把第一个点说成 y = 1、x = 14，第 3 页是 (1, 14)，即 x = 1、y = 14。
- 06:06 说协方差 37%。协方差的单位是两个变量单位之积，不是百分比；相关 0.22 和这个数字配不上一般的回报数据。
- 13:53 列了四对，三个变量只有三对。
- 测验答案第 1 题说 R² 就是相关的平方，这只在简单回归中成立。
- 31:15 字幕是“postmodern”，上下文应为事后分析（post-mortem）。