Session 1: Introduction to statistics
- 所属系列:统计基础 · 2021 系列
- 视频:YouTube · 时长 16:50 · 字幕
- 内容判断:概念笔记|画面依赖低:讲义全是文字,已看过|统计的定义、为什么现在更需要它,以及全课六个模块
- 处理方式与范围:全片梳理
- 讲义 / 资料:Session 1 讲义(13 页)· 课后测验 · 答案
- 素材依据:英文字幕,仓库存档,446 行;字幕类型未核实
- 核对范围:已读全片字幕 00:01–16:46,讲义全部 13 页,课后测验和答案;视频画面未核对
- 发布日期:2021-08-24
- 数据截至:不依赖数据
- 状态:已提炼
统计是把数据变成信息的学科。Damodaran 的第一个论点有点反直觉:数据越多,我们越需要统计,因为过载的大脑会退回经验法则,带议程的人也更容易挑选数据。这一讲把课程分成六块:收集与抽样、描述统计、分布、数据关系、概率和概率工具。
视频总结
时间戳取自 YouTube 英文字幕,标题中的时间区间可点击跳转;讲义页码指 PDF 页码。
00:25–02:30 数据和统计
数据是原料,统计是把它变成信息的全过程。
数据几乎是你能得到的任何信息。它可以定量,也可以定性,疼痛量表就是把定性感受变成数字(00:37)。它可以离散,比如篮球得分不可能是 83.5 分;也可以连续,比如身高(01:00)。
统计是“数据的科学”,覆盖收集和记录、处理、分析、呈现四件事(02:18)。关键句是把数据变成信息:数据大多无用甚至互相矛盾(02:05)。
02:30–05:52 为什么现在更需要统计
数据过载让人退回经验法则,社交媒体又让坏数据赶走好数据。
第 4 页的链条:数据更容易获得,于是过载,于是大脑退回经验法则和心理捷径(02:38)。这正是数据丰富的讽刺之处,经验法则可能是 50 年前数据还不存在时留下的(03:14)。
统计看起来是定量的,人们就误以为它不能被武器化,这是错觉(04:29)。人们挑选怎样抽样、怎样度量,不算说谎,却能误导(04:40)。社交媒体放大了这一点,好比格雷欣法则(Gresham's Law)说的劣币驱逐良币,坏数据也在赶走好数据(05:01)。于是责任落到每个人身上,要自己判断该信什么(05:31)。
05:52–07:22 大数据和数据分析
大数据的关键不只是量大,还在于它记录了过去观察不到的个人行为。
他查自己的 iPhone,有 27 个应用在追踪位置(06:17)。数据分析听上去很新,其实所有统计都是数据分析,差别在于数据集非常大,并且把定量和定性结合起来(06:53)。
07:22–14:03 统计的前四块
先抽样,再描述,再找分布,再看变量之间的关系。
抽样:全世界的企业数不过来,所以只看上市公司,甚至只看美国的大型上市公司(08:08)。抽样有两宗罪,一是偏差,二是噪音(08:43)。
描述统计:把 100 个数压缩成几个指标,也就是位置、离散和偏度(09:30)。
分布:直方图只是数一数各区间有多少观察值(10:41)。如果能用标准分布代替它,就可以直接继承这个分布已有的性质(11:31)。
数据关系:从记录共同变动,到判断因果,再到预测(12:09)。第 11 页用利率和股价做例子:两者怎样一起动,谁影响谁,能否用其一预测另一个(13:12)。
14:03–16:46 概率和概率工具
概率度量事件的可能性,三种工具把它用到决策上。
事件可以是离散的,比如公司破产与否;也可以来自连续变量,比如利润是否超过 10 亿美元(14:07)。概率可以来自历史数据,也可以来自假定的分布(14:34)。
| 工具 | 用途 | 例子 |
|---|---|---|
| Probit / Logit | 用可观察变量估计事件概率 | 公司被收购、破产的概率(14:58) |
| 决策树 | 分析序列的离散风险 | 药物通过 FDA 三个阶段(15:19) |
| 蒙特卡洛模拟 | 用分布代替单点输入 | 公司估值(15:49) |
提炼
方法与判断依据
- 数据不等于信息。测验第 1 题的答案是:数据多而矛盾时,决策可能更差。
- 统计不能消除不确定性,只能让你意识到、度量并应对它(测验第 3 题)。
- 判断一份统计材料时先问四个环节:怎样收集,怎样处理,怎样分析,怎样呈现。每一环都可能被操纵。
- 从相关到因果再到预测,每一步都要多一层论证。
复算与实操
课程地图:
| 模块 | 讲义 | 金融应用 |
|---|---|---|
| 抽样 | 第 2 讲 | 第 2A 讲 |
| 描述统计 | 第 3 讲 | 第 3A 讲 |
| 分布 | 第 4 讲 | 第 4A 讲 |
| 数据关系 | 第 5 讲 | 第 5A、5B 讲 |
| 概率和工具 | 第 6 讲 | 第 6A、6B 讲 |
自测与复习
- 测验第 2 题:统计的最终目的是把原始数据变成可用于分析和决策的信息,不是计算均值,也不是追求精确。
- 测验第 5 题:大数据包括大量数据、定量和定性的混合、客户交互数据、竞争者和经济数据,答案是全选。
- 为什么说定性数据可以被量化,但要小心?