生物统计 · 企鹅形态单元 · 第 1 讲

从野外测量到数据表

研究设计、变量、缺测值与分组描述统计

数据:palmerpenguins v0.1.0 中的 penguins 表(Gorman、Williams 和 Fraser 2014;CC0)
结论与数字以课程论文初稿为准 · 按 ? 查看快捷键

单元导入

这个单元的四周

周主题统计内容论文对应
1从野外测量到数据表研究设计、缺测值、分组描述统计2.1–2.2 节,表 1,图 2
2两性体重差异Welch t、置信区间、Holm 校正3.4 节,图 1e
3回归与合并分析的陷阱OLS、R²、辛普森悖论3.3、4.2 节,图 1a、c
4研究局限与可重复报告混杂、非独立、图注、项目汇报4.5 节

每周:理论课 + 上机(练习 A、B、C 三部分)· 第 4 周交单元项目

单元导入

今天的目标

  1. 说出这份数据的观测单位、测量方法和抽样结构
  2. 判断每个变量的类型和测量精度
  3. 找出两类缺测值,说出每项分析该用哪些记录
  4. 按组报告均值 ± 标准差、中位数和四分位距
  5. 解释为什么三个物种不能混在一起概括
研究背景

南极帕尔默群岛的三种企鹅

阿德利企鹅

Pygoscelis adeliae · Adelie

152 只

三个岛都有采样

冬季与浮冰区相联系

帽带企鹅

P. antarcticus · Chinstrap

68 只

只来自 Dream 岛

在离岸的无冰水域越冬

巴布亚企鹅

P. papua · Gentoo

124 只

只来自 Biscoe 岛

在繁殖地附近的近岸开阔水域越冬

南极半岛西部,帕尔默站附近(64°46′S,64°03′W)· 同域繁殖 · 2007–2009 三个繁殖季

研究背景

原始研究:Gorman 等(2014)

本单元课程论文初稿用这份公开数据做了一次完整的再分析,四周要学的方法基本就是它用到的方法。

研究背景

数据是怎么测出来的

研究巢在产卵前选定并标记,巢中有一枚卵时捕获两只亲鸟测量

变量列名工具精度
喙长bill_length_mm表盘卡尺±0.1 mm
喙深bill_depth_mm表盘卡尺±0.1 mm
鳍长(右侧)flipper_length_mm直尺±1 mm
体重body_mass_g弹簧秤 + 称重袋5 kg 秤 ±25 g,10 kg 秤 ±50 g
性别sex血样 PCR—

活动 1 · 两人一组 · 5 分钟① 体重记作 3475 g,真实值大约在什么范围?② 只在“一枚卵”时期称重,对结论有什么限制?

研究问题 → 统计问题

论文的三个目标,对应三类方法

论文的目标统计问题方法周
量化三个物种的形态差异各组的中心和离散程度?分组描述统计、分布图1
检验各物种的两性体重差异两组均值差多少?Welch t、置信区间、多重比较2
物种内拟合形态关系,与合并拟合对比两个连续变量什么关系?
分组会不会改变结论?
简单线性回归、R²3

第 4 周回到整体:设计的局限、结论能推广多远、怎样写成可重算的报告

认识数据表

一行是什么?

species  island     bill_length_mm  bill_depth_mm  flipper_length_mm  body_mass_g  sex     year
Adelie   Torgersen  39.1            18.7           181                3750         male    2007
Adelie   Torgersen  39.5            17.4           186                3800         female  2007
Adelie   Torgersen  40.3            18.0           195                3250         female  2007
Adelie   Torgersen  NA              NA             NA                 NA           NA      2007
Adelie   Torgersen  36.7            19.3           193                3450         female  2007

344 行 × 8 列 · NA = 缺测

观测单位一行 = 一只被测量的繁殖成体企鹅,不是一个巢,也不是一个岛。后面所有的 n 数的都是企鹅的只数。

认识数据表

变量类型

变量类型说明
species、island、sex分类(名义)species 是主要的分组变量;sex 有缺测
喙长、喙深、鳍长、体重数值(连续)按测量精度记录;鳍长、体重“像整数”只是因为精度
year分类(可视为有序)文件里是整数,代表三个繁殖季,不宜当连续变量做算术

想一想:把 year 当连续变量放进回归,等于假设了什么?

抽样结构

这不是随机样本:物种与岛屿混杂

物种BiscoeDreamTorgersen
阿德利445652
帽带0680
巴布亚12400
合计16812452

论文图 1d · 共 344 只

这是观测研究:研究者选巢、测量,不施加处理。

帽带企鹅只在 Dream,巴布亚企鹅只在 Biscoe:两者的差异分不清是物种还是岛造成的,即混杂。

只有阿德利企鹅三个岛都有,岛屿比较只能在阿德利企鹅内做。

抽样结构

活动 2:Biscoe 岛的企鹅更重吗?

5 分钟有同学直接比较 Biscoe 岛和 Dream 岛所有企鹅的平均体重,发现 Biscoe 岛的重得多,于是得出“Biscoe 岛的企鹅更重”。这样做有什么问题?应该怎样改?

Biscoe = 44 阿德利 + 124 巴布亚;Dream = 56 阿德利 + 68 帽带

→ 比的主要是“巴布亚企鹅 vs 帽带企鹅”,是物种差异,不是岛屿差异。

→ 改法:只在阿德利企鹅内比较三个岛(单元项目题目 2)。

抽样结构

还要记住的两件事

个体不完全独立

每个巢的两只亲鸟都被测量,同巢的雌雄个体可能共享食物条件和繁殖时间。

数据表里没有巢编号,无法还原配对。

→ 第 2 周两性比较时回到这个问题

时间

三个繁殖季合并:110、114、120 只(2007、2008、2009)。

体重只在产卵期测量。

→ 年际差异论文没有检验(单元项目题目 1)

缺测值

缺测值:按行看,分两类

按列数:四项形态测量各缺 2 个,sex 缺 11 个。按行看:

四项形态全部缺失

2 条

阿德利 1、巴布亚 1;性别也没有

形态齐全、只缺性别

9 条

阿德利 5、巴布亚 4

没有只缺一部分形态测量的记录 · 论文不做插补

缺测值

每项分析用它需要的记录

样本流程图:344 条记录,去掉 2 条后 342 条用于图 1a–c,再去掉 9 条后 333 条用于两性比较。

论文图 2 · 岛屿分布 n = 344 · 形态比较和回归 n = 342 · 两性比较 n = 333 · 圆点颜色同物种

缺测值

不要一上来就 dropna()

df = df.dropna()        # 剩 333 行
# 体重对鳍长的回归用不到性别,
# 却也少了 9 只企鹅
morph = df.dropna(subset=MORPH)
sexed = df.dropna(subset=MORPH + ["sex"])
len(morph), len(sexed)  # (342, 333)

做法缺测值的处理放进每项分析里,按需要的变量删,并报告每一步的样本量。

缺测比例大,或缺测与测量值本身有关(比如某类个体更难称重)时,不能简单删除,要先分析缺测机制。

描述统计

报告时写清是哪一种

均值 ± 标准差

适合大致对称、没有极端值的分布。标准差描述个体离均值多远,不是均值的不确定性(那是标准误)。

中位数与四分位距

对偏态和极端值不敏感;四分位距是中间 50% 个体的范围。

ddof样本标准差分母为 n − 1:pandas .std() 默认 ddof=1,numpy np.std() 默认 ddof=0。
阿德利企鹅体重:ddof=1 得 459 g(表 1),ddof=0 得 457 g。

“38.8 ± 2.7 mm”不够,要写“(均值 ± 标准差)”。

描述统计

论文表 1:三个物种明显分开

物种性别n喙长/mm喙深/mm鳍长/mm体重/g
阿德利雌7337.3 ± 2.017.6 ± 0.9187.8 ± 5.63369 ± 269
雄7340.4 ± 2.319.1 ± 1.0192.4 ± 6.64043 ± 347
全部*15138.8 ± 2.718.3 ± 1.2190.0 ± 6.53701 ± 459
帽带雌3446.6 ± 3.117.6 ± 0.8191.7 ± 5.83527 ± 285
雄3451.1 ± 1.619.3 ± 0.8199.9 ± 6.03939 ± 362
全部6848.8 ± 3.318.4 ± 1.1195.8 ± 7.13733 ± 384
巴布亚雌5845.6 ± 2.114.2 ± 0.5212.7 ± 3.94680 ± 282
雄6149.5 ± 2.715.7 ± 0.7221.5 ± 5.75485 ± 313
全部*12347.5 ± 3.115.0 ± 1.0217.2 ± 6.55076 ± 504

均值 ± 标准差(ddof = 1)· * 含未记录性别的个体,所以 n 大于雌雄之和

描述统计

分位数不止一种算法

物种中位数/g四分位距/g
阿德利37003350–4000
帽带37003487.5–3950
巴布亚50004700–5500

帽带企鹅的 3487.5 g 不是任何一只企鹅的实测值。np.percentile(x, 25, method=…):

"linear"(默认)3487.5
"midpoint"3475
"weibull"3462.5
"lower"3450

做法报告分位数时说明软件或算法,别人才能重算出同样的数。

分组作图

先分组,再概括

左:不分物种的体重直方图,右偏、右侧有肩;右:三个物种分开的直方图。

合并 342 只的均值 ± 标准差为 4202 ± 802 g,它代表哪个物种?哪个都不代表。“右侧的肩”就是巴布亚企鹅。

分组作图

读论文图 1b:一个面板,三层信息

  • 小提琴:核密度估计,看整体形状
  • 散点:每一只企鹅
  • 黑条:四分位距
  • 白点:中位数

读图顺序先看图注:白点是中位数不是均值,黑条是四分位距不是标准差或置信区间。

论文图 1b:三个物种体重的小提琴图,叠加个体散点、四分位距黑条和中位数白点。
分组作图

活动 3:论文图 1 的五个面板在回答什么?

3 分钟每个面板用一句话说出它在回答的问题,并对应到本单元的某一周。

a 物种内喙深与喙长的关系 → 第 3 周
b 各物种体重分布 → 第 1 周
c 物种内体重与鳍长的关系 → 第 3 周
d 各岛各物种的采样只数 → 第 1 周
e 各物种的两性体重差异 → 第 2 周

论文图 1 的五个面板 a–e。
预告

喙越长,喙越浅?

342 只企鹅合在一起,拟合一条直线:

斜率 −0.085 mm/mm

P = 1.1 × 10⁻⁵

举手表决能不能说“喙越长的企鹅,喙越浅”?

喙深对喙长的灰色散点和一条向右下倾斜的合并回归虚线。
预告

按物种着色:方向反过来了

三个物种内,斜率都为正:

0.18–0.22 mm/mm

合并后为 −0.085

辛普森悖论分组内的关系与合并后的关系方向相反。为什么会这样、怎样避免,是第 3 周的主题。

同一散点图按物种着色,三条物种内回归线都向右上,合并回归虚线向右下。
小结

今天的要点

课后

下次课之前

  1. 上机:练习 A 部分(exercise.ipynb 的 A1–A6)
  2. 作业 1:提交练习 A;写一篇不超过 300 字的短文:“物种与岛屿的关系”会限制哪些比较?
  3. 阅读:论文第 1、2 节
  4. 思考:比较两性体重该用哪些记录?n 是多少?要注意哪些假设?

讲义:handout.html · 数据:data/penguins.csv