跳转到正文

Session 3: Descriptive Statistics ​

  • 所属系列:统计基础 · 2021 系列
  • 视频:YouTube · 时长 19:26 · 字幕
  • 内容判断:概念笔记|画面依赖低:讲义全是文字和公式|集中趋势、离散、不对称、有界和极端值的度量
  • 处理方式与范围:全片梳理
  • 讲义 / 资料:Session 3 讲义(11 页)· 课后测验 · 答案
  • 素材依据:英文字幕,仓库存档,539 行;字幕类型未核实
  • 核对范围:已读全片字幕 00:01–19:21,讲义全部 11 页,课后测验和答案;视频画面未核对
  • 发布日期:2021-08-23
  • 数据截至:不依赖数据
  • 状态:已提炼

100 个数字没人读得懂,所以要用少数指标概括它们。描述统计分四类:中心在哪、散得多开、是否对称、极端值多不多。这一讲要记住两组区别:均值和中位数何时分开,标准差和标准误各说什么。

视频总结 ​

时间戳取自 YouTube 英文字幕,标题中的时间区间可点击跳转;讲义页码指 PDF 页码。

00:03–01:19 四类描述统计 ​

描述统计用四类指标概括数据:集中、离散、对称和极端值。

01:19–04:49 集中趋势 ​

数据对称时用均值就够,不对称时中位数更有意义。

均值(Mean)把所有观察值相加再除以个数,也可以加权,比如近年权重更高(01:49)。中位数(Median)是第 50 百分位,101 个观察值排序后的第 51 个(02:27)。众数(Mode)是最常出现的值(03:04),在金融里用得少,通常要先把连续数据分桶(04:13)。

均值很重要,因为标准差等指标都建立在它上面(03:32)。但分布不对称时,均值会被离群值拉走(03:49)。

04:49–11:43 离散程度 ​

极差简单但浪费数据,标准差用上全部数据,变异系数用来跨单位比较。

指标算法特点
极差最大值 − 最小值101 个观察值只用了 2 个(08:05)
四分位距第 75 减第 25 百分位不受极端值影响(05:30)
方差、标准差离差平方和的平均及其平方根用全部数据,单位和数据相同(06:18)
变异系数标准差 ÷ 均值无单位,可比较(07:25)
s2=∑j=1n(Xj−X¯)2n−1

总体除以 n,样本除以 n−1。Damodaran 的记法是:均值本身是估计出来的,所以损失了一个自由度(09:16)。

他还偏爱十分位数:把数据切成十段,比只给最大最小值信息多得多(08:23)。

金融例子:Apple 股价的标准差以美元计,股价高的公司标准差自然更大,比较时要除以均值。回报率以百分比计,可以直接比(10:18,11:03)。

11:43–14:04 标准差和标准误 ​

标准差说个体散得多开,标准误说样本均值离真实均值可能有多远。

SE=sn

样本变大,标准差基本不变,标准误一定下降(第 8 页)。例子:100 年平均回报 10%,标准误 2%,67% 的把握在 8–12%,95% 的把握在 6–14%(13:00)。

14:06–17:29 不对称和有界 ​

单边有界的数据几乎总是不对称的,均值会被拉向长尾一侧。

正偏:高于均值的偏离更极端。负偏:低于均值的偏离更极端(15:05)。正偏时均值偏高,负偏时均值偏低(15:34)。

金融数据很少从负无穷到正无穷。股价下限是零,没有上限,所以几乎总是正偏(16:23)。利润率上限是 100%,没有下限(16:36)。

17:29–19:21 极端值 ​

峰度度量极端值的频率,它和方差是两回事。

比正态分布更频繁出现极端值的是肥尾(18:02)。峰度(Kurtosis)度量这一点。高方差可以配低峰度,三种组合都可能(18:28)。比正态更肥的叫尖峰(Leptokurtic),更瘦的叫低峰(Platykurtic)(18:52)。

提炼 ​

概念与公式 ​

选集中趋势指标的简单规则:

数据形状用什么关系
对称均值均值 ≈ 中位数
正偏中位数通常均值 > 中位数
负偏中位数通常均值 < 中位数
离散或分桶众数不一定接近前两者

方法与判断依据 ​

  • 先看均值和中位数是否分开,这是最快的偏态检验。
  • 比较离散度要先看单位和水平,水平不同就用变异系数。
  • 外推到总体用标准误,描述个体用标准差,这两个不能混。
  • 报告极差时要说有没有离群值,否则用四分位距或十分位。
  • 看到取值有下限或上限,就预期不对称。

复算与实操 ​

s 不变时,标准误随 n 下降:标准差 20%,n = 25 时标准误 4%,n = 100 时 2%,n = 400 时 1%。样本翻四倍,误差才减半。

n−1 的影响:n = 5 时除以 4 和除以 5 差 25%,n = 100 时只差约 1%,所以小样本才要在意。

变异系数只在有真正零点的数据上有意义,比如重量和价格。均值接近零时它也会失效。

自测与复习 ​

  • 测验第 1 题:负偏时均值小于中位数。
  • 测验第 2 题:极差在最高和最低值附近都有其他观察值时才好用,否则用十分位或四分位。
  • 测验第 3 题:分布对称且没有肥尾时,标准差最有信息量;不然可以取对数或开方,或者把偏度和峰度一起报告。
  • 测验第 4 题:有下限无上限的数据最可能正偏,但这不是保证。
  • 测验第 5 题:峰度高不一定方差高,判断为假。

关联 ​

疑问与待核实 ​

  • 07:43 说变异系数可以跨磅和千克、华氏和摄氏比较。磅和千克可以,温度不行:华氏和摄氏的零点是人为的,同一组温度的变异系数会不同。
  • 13:43 说 99% 对应三个标准误,按正态分布 3 个标准误约 99.7%,99% 约 2.58 个。第 8 页的 67% 也是取整,准确值约 68%。
  • 08:51 口述把离差平方和除以 n 说成标准差,那是方差,下一句才开方。
  • 10:31 说 Apple 股价 500–700 美元,这是 2020 年拆股前的水平,不影响论点。
  • 第 3 页均值一条以冒号结尾,后面没有公式。第 7 页的方差公式分母写 n,同一行说明样本要除以 n−1,本文写的是样本公式。