#!/usr/bin/env -S uv run --script
# /// script
# requires-python = ">=3.11"
# dependencies = [
#   "matplotlib==3.11.2",
#   "numpy==2.5.4",
#   "pandas==3.1.1",
#   "scipy==1.18.1",
# ]
# ///

# %% [markdown]
# # 课堂练习：帕尔默群岛三种企鹅的形态数据（参考答案）
#
# **仅供教师使用，课前不要发给学生。** 学生版是同一目录下的 `exercise.py` / `exercise.ipynb`，
# 题目文字与本文件逐字相同（`../tools/check_course.py` 会核对）。
#
# 数据：`../data/penguins.csv`，即 palmerpenguins v0.1.0 中的 penguins 表（CC0），
# 原始研究为 Gorman、Williams 和 Fraser（2014，PLoS ONE 9: e90081）。
# 练习的结论以本课程所依据的论文初稿为准：每一问的数值都应与论文正文、表 1 或图 1 图注一致。
#
# 练习分三部分，分别对应单元第 1–3 周的上机课，每部分约 80 分钟：
#
# | 部分 | 内容 | 对应周次 |
# |---|---|---|
# | A | 读数据、缺测值、样本构成、描述统计、分组作图 | 第 1 周 |
# | B | 两性体重差异：正态性检查、Welch t 检验、置信区间、Holm 校正、Mann–Whitney U | 第 2 周 |
# | C | 回归：物种内与合并拟合、辛普森悖论、把物种放进模型 | 第 3 周 |
#
# 运行方式（任选其一）：
#
# - `uv run solution.py`：按文件头里的版本自动装好依赖后运行；
# - `pip install pandas matplotlib scipy`，再 `python solution.py`；
# - 在 Jupyter 中打开 `solution.ipynb`，或在 VS Code / PyCharm / Spyder 中按 `# %%` 分块逐块运行。
#
# 作为脚本运行时，图保存在 `solution_output/`，所有答案数值写入 `solution_output/answers.csv`。
#
# 每题代码后面的“自查”格与学生版逐字相同，由 `../tools/build_exercise.py` 生成：正确答案只以哈希值写在格子里。
# 参考答案运行时会执行全部自查，有一项不通过就报错退出，所以参考答案能跑完就说明自查格与答案一致。

# %%
import sys
from pathlib import Path

import matplotlib

if "ipykernel" not in sys.modules:  # 作为脚本运行时不弹窗口，只存图
    matplotlib.use("Agg")

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from scipy import stats

try:
    HERE = Path(__file__).resolve().parent
except NameError:  # Jupyter 中没有 __file__
    HERE = Path.cwd()


def find_data(name="penguins.csv"):
    """依次在 ../data/、当前目录、./data/ 中找数据文件。"""
    for p in (HERE.parent / "data" / name, HERE / name, HERE / "data" / name):
        if p.exists():
            return p
    raise FileNotFoundError(f"找不到 {name}，请把它放在本文件旁边或 ../data/ 中")


OUT = HERE / "solution_output"
OUT.mkdir(exist_ok=True)

SPECIES = ["Adelie", "Chinstrap", "Gentoo"]
MORPH = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
COLORS = {"Adelie": "#D55E00", "Chinstrap": "#0072B2", "Gentoo": "#009E73"}  # 与论文图 1 相同
LABEL = {"Adelie": "Adélie", "Chinstrap": "Chinstrap", "Gentoo": "Gentoo"}

plt.rcParams.update({
    "figure.dpi": 110, "savefig.dpi": 200, "font.size": 10,
    "axes.spines.top": False, "axes.spines.right": False,
})

ANSWERS = {}  # 键 -> 数值（或数值列表）；最后写入 answers.csv，供 ../tools/check_course.py 与论文核对


def record(key, *values):
    ANSWERS[key] = [float(v) for v in values]


def finish(fig, name):
    """保存图；作为脚本运行时随即关闭，在 Jupyter 中留给 inline 后端显示。"""
    fig.savefig(OUT / f"{name}.png", bbox_inches="tight")
    if "ipykernel" not in sys.modules:
        plt.close(fig)

# %%
# 自查工具：运行这一格即可，不用读懂或修改。
# 每题代码后面的“自查”格调用这里的 check()：数值算对了打印 ✓ 通过，不对就打印一句提示。
# 正确答案只以哈希值保存在自查格里，看不到具体数字。
import hashlib

SELFCHECK_FAILED = []


def _flat(v):
    if hasattr(v, "to_numpy"):
        v = v.to_numpy()
    if isinstance(v, np.ndarray):
        v = v.ravel().tolist()
    if isinstance(v, (list, tuple)):
        return [x for item in v for x in _flat(item)]
    return [v]


def _key(v, digits):
    parts = []
    for x in _flat(v):
        if x is Ellipsis:
            raise ValueError("ellipsis")
        s = f"{float(x):.1e}" if digits == "e" else f"{float(x):.{digits}f}"
        parts.append(s[1:] if s.startswith("-") and float(s) == 0 else s)
    return hashlib.sha256("|".join(parts).encode()).hexdigest()[:10]


def check(qid, items):
    print(f"—— 自查 {qid} ——")
    for label, get, digits, good, hint, *known in items:
        try:
            k = _key(get(), digits)
        except NameError as e:
            msg = f"还没有定义 {getattr(e, 'name', '')}：先运行上面的代码格"
        except Exception as e:
            if "ellipsis" in str(e).lower():
                msg = "还没完成：上面的代码里还有 ... 没有填"
            else:
                msg = f"算不出来（{type(e).__name__}）：确认上面的代码已运行，变量名和结构与框架一致"
        else:
            if k == good:
                print(f"✓ 通过　{label}")
                continue
            msg = (known[0] if known else {}).get(k, hint)
        SELFCHECK_FAILED.append(f"{qid} {label}")
        print(f"✗ {label}：{msg}")


def reflect(qid, prompts):
    print(f"—— 自查 {qid} ——（讨论题不自动判分，交之前对照检查）")
    for p in prompts:
        print("□", p)


def _mf(sp):
    """B3、B4 自查用：sexed 中某个物种雄性、雌性的体重。"""
    d = sexed[sexed["species"] == sp]
    return d.loc[d["sex"] == "male", "body_mass_g"], d.loc[d["sex"] == "female", "body_mass_g"]


def _line_slopes(ax):
    """C3 自查用：图中每条直线的斜率，从小到大。"""
    out = []
    for ln in ax.get_lines():
        x, y = np.asarray(ln.get_xdata(), float), np.asarray(ln.get_ydata(), float)
        if len(x) >= 2 and x[-1] != x[0]:
            out.append((y[-1] - y[0]) / (x[-1] - x[0]))
    return sorted(out)

# %% [markdown]
# ## A 部分　认识数据（第 1 周）
#
# ### A1　读入数据
#
# 用 `pd.read_csv` 读入 `penguins.csv`（缺测值在文件里写作 `NA`），回答：
#
# 1. 数据有几行、几列？每一行代表什么？
# 2. 哪些变量是分类变量，哪些是数值变量？`year` 在文件里是整数，分析时应当把它当作哪一类？

# %%
df = pd.read_csv(find_data(), na_values=["NA"])
print(df.shape)
print(df.dtypes)
print(df.head())
record("n_total", len(df))

# %%
# 自查（A1）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A1', [
    ('行数和列数', lambda: df.shape, 0, '73e90472b8',
     '对照 penguins.csv 检查：是不是读错了文件，或者把表头当成了数据？'),
    ('四项形态测量是数值型', lambda: [df[c].dtype.kind == 'f' for c in MORPH], 0, 'bd85fe66f5',
     '形态测量列应当是浮点数；如果是文本（object），检查 na_values 有没有写对'),
])

# %% [markdown]
# **参考答案（A1）**
#
# - 344 行 × 8 列，每一行是一只被测量的繁殖成体企鹅（观测单位是“个体”，不是“巢”或“岛”）。
# - 分类变量：`species`、`island`、`sex`（名义变量）。数值变量：`bill_length_mm`、`bill_depth_mm`、
#   `flipper_length_mm`、`body_mass_g`，均为连续变量，只是按测量精度记录（喙 0.1 mm，鳍 1 mm，体重按弹簧秤读数）。
# - `year` 只有 2007、2008、2009 三个取值，代表三个繁殖季，应当作分类（或有序分类）变量，而不是做算术的连续变量。

# %% [markdown]
# ### A2　缺测值
#
# 1. 每一列各缺多少个值？
# 2. 有几条记录四项形态测量（喙长、喙深、鳍长、体重）全部缺失？分别是哪个物种？
# 3. 有几条记录四项形态测量齐全、只缺性别？分别是哪个物种？有没有只缺一部分形态测量的记录？
# 4. 如果一开始就写 `df = df.dropna()`，还剩几条记录？对“体重对鳍长的回归”来说，这样做有什么问题？

# %%
print(df.isna().sum())

no_morph = df[MORPH].isna().all(axis=1)
sex_only = df["sex"].isna() & df[MORPH].notna().all(axis=1)
partial = df[MORPH].isna().any(axis=1) & ~no_morph

print("四项全缺：", no_morph.sum(), df.loc[no_morph, "species"].value_counts().to_dict())
print("只缺性别：", sex_only.sum(), df.loc[sex_only, "species"].value_counts().to_dict())
print("只缺部分形态：", partial.sum())
print("dropna() 后：", len(df.dropna()))

morph = df.dropna(subset=MORPH)            # 形态比较、回归用（n = 342）
sexed = df.dropna(subset=MORPH + ["sex"])  # 两性比较用（n = 333）
print("形态齐全：", len(morph), " 形态与性别齐全：", len(sexed))

record("miss_nomorph", no_morph.sum())
record("miss_sex", sex_only.sum())
for sp in SPECIES:
    record(f"miss_nomorph_{sp}", (no_morph & (df["species"] == sp)).sum())
    record(f"miss_sex_{sp}", (sex_only & (df["species"] == sp)).sum())
    record(f"x_n_morph_{sp}", (morph["species"] == sp).sum())
    record(f"x_n_sexed_{sp}", (sexed["species"] == sp).sum())
record("x_partial", partial.sum())
record("n_morph", len(morph))
record("n_sexed", len(sexed))

# %%
# 自查（A2）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A2', [
    ('四项全缺的记录数', lambda: no_morph.sum(), 0, 'd4735e3a26',
     '四项要“全部”缺失才算：看看你对 df[MORPH].isna() 用的是 all 还是 any，axis 对不对',
     {'4fc82b26ae': '你数的是“任何一列有缺测”的记录；这里只看四项形态测量是否全部缺失'}),
    ('只缺性别的记录数', lambda: sex_only.sum(), 0, '19581e27de',
     '两个条件要同时满足：sex 缺失，并且四项形态测量都不缺',
     {'4fc82b26ae': '这是 sex 缺失的总数；其中有的记录连形态测量也没有，要排除'}),
    ('morph 的记录数', lambda: len(morph), 0, '023849c389',
     'morph 只要求四项形态测量齐全：看 dropna 的 subset',
     {'556d7dc3a1': '你把缺性别的记录也删了：morph 不要求有性别'}),
    ('sexed 的记录数', lambda: len(sexed), 0, '556d7dc3a1',
     'sexed 要求四项形态测量和性别都齐全：看 dropna 的 subset',
     {'023849c389': 'sexed 还要去掉没有性别的记录'}),
])

# %% [markdown]
# **参考答案（A2）**
#
# 1. 四项形态测量各缺 2 个，`sex` 缺 11 个，`species`、`island`、`year` 不缺。
# 2. 2 条记录四项全缺：阿德利企鹅 1 条、巴布亚企鹅 1 条（这两条也没有性别）。
# 3. 9 条记录只缺性别：阿德利企鹅 5 条、巴布亚企鹅 4 条。没有只缺一部分形态测量的记录。
# 4. `dropna()` 后剩 333 条。体重对鳍长的回归用不到性别，本可以用 342 条记录；
#    一刀切地删掉缺任何变量的记录，会无故丢掉 9 只企鹅。正确做法是每项分析只要求它用到的变量齐全，
#    并像论文图 2 那样报告每一步去掉了哪些记录。

# %% [markdown]
# ### A3　样本构成
#
# 1. 做出物种 × 岛屿的交叉表（带行列合计），以及各年份的记录数。
# 2. 能否用这批数据比较“岛屿”对体重的影响？如果能，只能在哪个物种内比较？

# %%
tab = pd.crosstab(df["species"], df["island"], margins=True, margins_name="Total")
print(tab)
years = df["year"].value_counts().sort_index()
print(years)

for sp in SPECIES:
    record(f"n_{sp}", (df["species"] == sp).sum())
    for isl in ["Biscoe", "Dream", "Torgersen"]:
        k = ((df["species"] == sp) & (df["island"] == isl)).sum()
        if k:
            record(f"isl_{sp}_{isl}", k)
for isl in ["Biscoe", "Dream", "Torgersen"]:
    record(f"isl_total_{isl}", (df["island"] == isl).sum())
for yr in [2007, 2008, 2009]:
    record(f"n_year_{yr}", (df["year"] == yr).sum())

# %%
# 自查（A3）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A3', [
    ('物种 × 岛屿交叉表', lambda: tab.loc[SPECIES, ['Biscoe', 'Dream', 'Torgersen']], 0, '642ae2c4cb',
     '行是物种、列是岛屿，用全部记录 df',
     {'4e1ed1c889': '这是用 morph 做的；样本构成要用全部记录 df'}),
    ('各年份记录数', lambda: years.loc[[2007, 2008, 2009]], 0, '7609773af2',
     '对 df 的 year 列计数',
     {'45d1bba5a2': '这是用 morph 数的；这里要用全部记录 df'}),
])

# %% [markdown]
# **参考答案（A3）**
#
# - 阿德利企鹅 152 只（Biscoe 44、Dream 56、Torgersen 52），帽带企鹅 68 只（全部来自 Dream），
#   巴布亚企鹅 124 只（全部来自 Biscoe）；岛屿合计 Biscoe 168、Dream 124、Torgersen 52。
#   2007、2008、2009 年分别为 110、114、120 只。
# - 除阿德利企鹅外，物种和岛屿完全重合：帽带企鹅与巴布亚企鹅之间的任何差异，都分不清是物种效应还是岛屿效应（混杂）。
#   岛屿之间的比较只能在阿德利企鹅内部进行。

# %% [markdown]
# ### A4　复现论文表 1
#
# 按物种和性别分组，计算四项形态测量的均值和标准差（保留与表 1 相同的小数位），以及每组的只数 n。
# 每个物种再加一行“全部”（含未记录性别的个体）。
#
# 提示：`groupby(...).agg(["mean", "std", "count"])`。思考：`pandas` 的 `.std()` 和 `numpy` 的 `np.std()`
# 默认结果为什么不一样？表 1 用的是哪一种？

# %%
by_sex = morph.dropna(subset=["sex"]).groupby(["species", "sex"])[MORPH].agg(["mean", "std", "count"])
by_species = morph.groupby("species")[MORPH].agg(["mean", "std", "count"])
print(by_sex.round(1))
print(by_species.round(1))

SHORT = {"bill_length_mm": "bl", "bill_depth_mm": "bd", "flipper_length_mm": "fl", "body_mass_g": "bm"}
for sp in SPECIES:
    record(f"t1_{sp}_all_n", by_species.loc[sp, (MORPH[0], "count")])
    for v in MORPH:
        record(f"t1_{sp}_all_{SHORT[v]}", by_species.loc[sp, (v, "mean")], by_species.loc[sp, (v, "std")])
    for sx in ["female", "male"]:
        record(f"t1_{sp}_{sx}_n", by_sex.loc[(sp, sx), (MORPH[0], "count")])
        for v in MORPH:
            record(f"t1_{sp}_{sx}_{SHORT[v]}", by_sex.loc[(sp, sx), (v, "mean")], by_sex.loc[(sp, sx), (v, "std")])

x = morph.loc[morph["species"] == "Adelie", "body_mass_g"]
print("pandas std:", round(x.std(), 1), " numpy std:", round(np.std(x.to_numpy()), 1),
      " numpy std ddof=1:", round(np.std(x.to_numpy(), ddof=1), 1))
record("x_adelie_bm_sd_ddof0", np.std(x.to_numpy()))

# %%
# 自查（A4）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A4', [
    ('雌雄各组的只数', lambda: [by_sex.loc[(sp, sx), ('body_mass_g', 'count')] for sp in SPECIES for sx in ('female', 'male')], 0, '17240ab62d',
     '按 (物种, 性别) 分组，数据用形态测量和性别都齐全的记录'),
    ('雌雄各组的均值', lambda: [by_sex.loc[(sp, sx), (v, 'mean')] for sp in SPECIES for sx in ('female', 'male') for v in MORPH], 1, '58b39d1444',
     '检查分组（物种, 性别）和数据子集；agg 里要有 "mean"'),
    ('雌雄各组的标准差', lambda: [by_sex.loc[(sp, sx), (v, 'std')] for sp in SPECIES for sx in ('female', 'male') for v in MORPH], 1, '779ea83633',
     '检查分组和数据子集；agg 里要有 "std"',
     {'937075dc48': '你算的是 ddof=0 的标准差（除以 n）；表 1 用的是样本标准差'}),
    ('“全部”一行的只数', lambda: [by_species.loc[sp, ('body_mass_g', 'count')] for sp in SPECIES], 0, '38ffdbc141',
     '“全部”按物种分组，用形态测量齐全的记录',
     {'5cf662e89b': '你用的是有性别的记录；“全部”应当包含未记录性别的个体'}),
    ('“全部”一行的均值和标准差', lambda: [by_species.loc[sp, (v, s)] for sp in SPECIES for v in MORPH for s in ('mean', 'std')], 1, 'd06d4e3cad',
     '“全部”按物种分组，用形态测量齐全的记录，agg 里要有 "mean" 和 "std"',
     {'1293a62d38': '你用的是有性别的记录；“全部”应当包含未记录性别的个体',
      '52c26a0dab': '标准差用的是 ddof=0（除以 n）；表 1 用的是样本标准差'}),
])

# %% [markdown]
# **参考答案（A4）**
#
# - 结果应与论文表 1 逐格一致，例如阿德利企鹅全部 151 只：喙长 38.8 ± 2.7 mm，喙深 18.3 ± 1.2 mm，
#   鳍长 190.0 ± 6.5 mm，体重 3701 ± 459 g；巴布亚企鹅雄性 61 只，体重 5485 ± 313 g。
# - `pandas` 的 `.std()` 默认 `ddof=1`（除以 n − 1，样本标准差），`np.std()` 默认 `ddof=0`（除以 n）。
#   表 1 用的是 `ddof=1`。n 较大时两者差别很小（阿德利企鹅体重 459 对 457），n 小时差别明显。
# - 注意“全部”一行的 n（阿德利企鹅 151、巴布亚企鹅 123）大于雌雄之和（146、119），因为它包含未记录性别的个体。

# %% [markdown]
# ### A5　体重的中位数与四分位距
#
# 1. 计算每个物种体重的中位数和四分位距（第 1、第 3 四分位数）。
# 2. 帽带企鹅的第 1 四分位数为什么不是一个实际测到的体重值？换一种分位数算法会不会得到不同的数？
# 3. 巴布亚企鹅的体重中位数比阿德利企鹅高多少克？相当于阿德利企鹅中位数的百分之几？

# %%
q = morph.groupby("species")["body_mass_g"].quantile([0.25, 0.5, 0.75]).unstack()
print(q)
for sp in SPECIES:
    record(f"b_med_{sp}", q.loc[sp, 0.5])
    record(f"b_iqr_{sp}", q.loc[sp, 0.25], q.loc[sp, 0.75])
gap = q.loc["Gentoo", 0.5] - q.loc["Adelie", 0.5]
gap_pct = gap / q.loc["Adelie", 0.5] * 100
record("b_gap", gap)
record("b_gap_pct", gap_pct)
print("差：", gap, "g，", round(gap_pct, 1), "%")

chin = morph.loc[morph["species"] == "Chinstrap", "body_mass_g"].to_numpy()
for method in ["linear", "lower", "midpoint", "weibull"]:
    print(method, np.percentile(chin, 25, method=method))
    record(f"x_q1_chin_{method}", np.percentile(chin, 25, method=method))

# %%
# 自查（A5）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A5', [
    ('各物种的三个四分位数', lambda: q.loc[SPECIES, [0.25, 0.5, 0.75]], 1, '6d6ba64981',
     '用 morph 按物种分组，对 body_mass_g 取 0.25、0.5、0.75 分位数（保持默认算法），再 unstack'),
    ('中位数之差', lambda: gap, 0, 'a037a7dfaf',
     '巴布亚企鹅的中位数减阿德利企鹅的中位数，都从 q 的 0.5 那一列取',
     {'d818f221cb': '你用的是均值；题目问的是中位数'}),
    ('差值占阿德利企鹅中位数的百分比', lambda: gap_pct, 1, '6cc32a9a06',
     '差值除以阿德利企鹅的中位数，再乘 100',
     {'80a753d4a4': '分母应当是阿德利企鹅的中位数'}),
])

# %% [markdown]
# **参考答案（A5）**
#
# 1. 中位数：阿德利企鹅 3700 g（四分位距 3350–4000 g），帽带企鹅 3700 g（3487.5–3950 g），巴布亚企鹅 5000 g（4700–5500 g）。
# 2. `pandas`/`numpy` 默认用线性插值（`method="linear"`），第 1 四分位数落在两个观测值之间时取插值。
#    换成其他算法（如 `lower`、`weibull`）会得到不同的数；报告分位数时应说明算法，或至少说明所用软件。
# 3. 高 1300 g，相当于阿德利企鹅中位数的 35.1%。

# %% [markdown]
# ### A6　分组作图
#
# 1. 画出不分物种的体重直方图。
# 2. 再按物种分开画（叠加直方图、分面直方图或箱线图加散点均可）。
# 3. 对比两张图：不分物种时的分布形状说明了什么？用“全部 342 只的均值 ± 标准差”来概括体重合适吗？

# %%
fig, axes = plt.subplots(4, 1, figsize=(6, 6.6), sharex=True, sharey=True)
bins = np.arange(2600, 6500, 100)
axes[0].hist(morph["body_mass_g"], bins=bins, color="#777777", edgecolor="white", linewidth=0.5)
axes[0].set_title(f"All species pooled (n = {len(morph)})", loc="left", fontsize=10)
for ax, sp in zip(axes[1:], SPECIES):
    d = morph.loc[morph["species"] == sp, "body_mass_g"]
    ax.hist(d, bins=bins, color=COLORS[sp], edgecolor="white", linewidth=0.5)
    ax.set_title(f"{LABEL[sp]} (n = {len(d)})", loc="left", fontsize=10)
axes[-1].set_xlabel("Body mass (g)")
fig.supylabel("Number of penguins")
fig.tight_layout()
finish(fig, "A6_body_mass_hist")
print("合并均值 ± SD：", round(morph["body_mass_g"].mean()), "±", round(morph["body_mass_g"].std()))
record("x_pooled_bm", morph["body_mass_g"].mean(), morph["body_mass_g"].std())

# %%
# 自查（A6）：运行后 ✓ 表示通过，✗ 后面是提示。
check('A6', [
    ('四张直方图各画了多少只', lambda: [sum(p.get_height() for p in a.patches) for a in fig.axes], 0, '3a7a05b339',
     '自上而下应分别是：形态齐全的全部企鹅、阿德利、帽带、巴布亚企鹅（顺序同 SPECIES）；数据用 morph 的 body_mass_g，bins 用框架里给的'),
])

# %% [markdown]
# **参考答案（A6）**
#
# - 不分物种的直方图右偏，右侧拖着一个“肩”：它是三个物种分布的混合，巴布亚企鹅的中位数比另两种高 1300 g，堆在右侧。
# - “全部 342 只的均值 ± 标准差”把三个物种混在一起，标准差主要反映物种间差异，不能代表任何一个物种。
#   应按物种（必要时再按性别）分别概括，即论文表 1 的做法。
# - 第 2 张图用分面（每个物种一行、共用横轴）比叠加半透明直方图清楚，叠加时重叠部分的颜色会混在一起。
# - 评分时看图是否有坐标轴标题和单位、分组是否可辨（图例或分面），不要求颜色与参考答案相同。

# %% [markdown]
# ## B 部分　两性体重差异（第 2 周）
#
# 本部分只用形态测量和性别都齐全的 333 只企鹅（A2 中的 `sexed`）。
#
# ### B1　描述两性差异
#
# 对每个物种，计算雌、雄体重的均值、标准差和只数，雄雌均值差（雄 − 雌），
# 以及雄性均值比雌性均值高出的百分比：（雄性均值 / 雌性均值 − 1）× 100%。
# 三个物种中，哪个物种体重的两性差异最大？哪个最小？

# %%
g = sexed.groupby(["species", "sex"])["body_mass_g"].agg(["mean", "std", "count"])
print(g.round(0))
diff, pct = {}, {}
for sp in SPECIES:
    f, m = g.loc[(sp, "female"), "mean"], g.loc[(sp, "male"), "mean"]
    diff[sp] = m - f
    pct[sp] = (m / f - 1) * 100
    record(f"e_diff_{sp}", diff[sp])
    record(f"e_pct_{sp}", pct[sp])
    print(f"{sp:10s} 差 {diff[sp]:6.0f} g   高出 {pct[sp]:5.1f} %")

# %%
# 自查（B1）：运行后 ✓ 表示通过，✗ 后面是提示。
check('B1', [
    ('雌雄体重的均值', lambda: [g.loc[(sp, sx), 'mean'] for sp in SPECIES for sx in ('female', 'male')], 0, 'e128bc7934',
     '用 sexed 按 (物种, 性别) 分组，对 body_mass_g 求均值'),
    ('雄雌均值差', lambda: [diff[sp] for sp in SPECIES], 0, '5a118a04d4',
     '每个物种的雄性均值减雌性均值',
     {'945f2ff772': '方向反了：题目要的是雄 − 雌'}),
    ('雄性高出的百分比', lambda: [pct[sp] for sp in SPECIES], 1, 'cb20d77874',
     '对照题目里的公式：雄性均值除以雌性均值，减 1，再乘 100',
     {'be6c918128': '分母应当是雌性均值',
      'e638c0f53f': '别忘了减 1：要的是“高出”的百分比'}),
])

# %% [markdown]
# **参考答案（B1）**
#
# 雄雌均值差：阿德利企鹅 675 g、帽带企鹅 412 g、巴布亚企鹅 805 g；
# 雄性比雌性重 20.0%、11.7%、17.2%。按百分比，阿德利企鹅最大、帽带企鹅最小。
# 注意按绝对差（克）排序时巴布亚企鹅最大，两种尺度的排序不同，所以要说明用的是哪种尺度；
# 论文用百分比，与原始研究的两性体型差异指数（SDI）排序一致。

# %% [markdown]
# ### B2　检查正态性
#
# 对 6 个物种 × 性别组分别做 Shapiro–Wilk 检验，并画出正态 Q–Q 图（`scipy.stats.probplot`）。
# Shapiro–Wilk 检验 P > 0.05 能不能说明“数据服从正态分布”？

# %%
fig, axes = plt.subplots(2, 3, figsize=(9, 5.4))
sw = []
for j, sp in enumerate(SPECIES):
    for i, sx in enumerate(["female", "male"]):
        y = sexed.loc[(sexed["species"] == sp) & (sexed["sex"] == sx), "body_mass_g"].to_numpy()
        p = stats.shapiro(y).pvalue
        sw.append(p)
        stats.probplot(y, dist="norm", plot=axes[i, j])
        axes[i, j].get_lines()[0].set(color=COLORS[sp], markersize=3)
        axes[i, j].get_lines()[1].set(color="#555555")
        axes[i, j].set(title=f"{LABEL[sp]} {sx} (Shapiro–Wilk P = {p:.2f})", xlabel="", ylabel="")
        axes[i, j].title.set_fontsize(9)
fig.supxlabel("Theoretical normal quantiles")
fig.supylabel("Body mass (g)")
fig.tight_layout()
finish(fig, "B2_qq")
record("e_sw_range", min(sw), max(sw))
print("Shapiro–Wilk P 范围：", round(min(sw), 2), "–", round(max(sw), 2))

# %%
# 自查（B2）：运行后 ✓ 表示通过，✗ 后面是提示。
check('B2', [
    ('6 组 Shapiro–Wilk 检验的 P 值', lambda: sorted(sw), 2, '79978914f0',
     '对 6 个物种 × 性别组的体重（来自 sexed）分别做 stats.shapiro，把 .pvalue 依次放进 sw'),
])

# %% [markdown]
# **参考答案（B2）**
#
# 6 组的 Shapiro–Wilk P 在 0.20–0.99 之间，Q–Q 图上的点大体沿直线排列。
# P > 0.05 只说明“没有检测到明显偏离正态”，不能证明服从正态；小样本时检验的功效低，大样本时又会对很小的偏离敏感。
# 所以论文把 Shapiro–Wilk 检验当作辅助检查，并用不依赖正态假设的 Mann–Whitney U 检验复核（B5）。

# %% [markdown]
# ### B3　Welch t 检验与均值差的置信区间
#
# 1. 对每个物种，用 `scipy.stats.ttest_ind(雄, 雌, equal_var=False)` 做双侧 Welch t 检验，记下 t、自由度和 P。
# 2. 不调用现成函数，按公式自己算出 t、Welch–Satterthwaite 自由度和雄雌均值差的 95% 置信区间：
#    SE = √(s₁²/n₁ + s₂²/n₂)，t = (x̄₁ − x̄₂)/SE，
#    df = (s₁²/n₁ + s₂²/n₂)² / [(s₁²/n₁)²/(n₁−1) + (s₂²/n₂)²/(n₂−1)]，
#    95% CI = (x̄₁ − x̄₂) ± t₀.₉₇₅,df × SE。和第 1 步的结果对一下。
# 3. 再用 `equal_var=True`（Student t 检验）算一遍。哪些物种的 t 值完全没变？为什么？

# %%
def welch(a, b, level=0.95):
    """a − b 的 Welch t 检验：返回 t、自由度、双侧 P、均值差及其置信区间的下限和上限。"""
    a, b = np.asarray(a, float), np.asarray(b, float)
    n1, n2 = len(a), len(b)
    va = a.var(ddof=1) / n1  # s₁²/n₁
    vb = b.var(ddof=1) / n2  # s₂²/n₂
    diff = a.mean() - b.mean()
    se = np.sqrt(va + vb)                                          # 填空 1
    df_w = (va + vb) ** 2 / (va**2 / (n1 - 1) + vb**2 / (n2 - 1))  # 填空 2
    t = diff / se
    p = 2 * stats.t.sf(abs(t), df_w)
    half = stats.t.ppf(0.5 + level / 2, df_w) * se                 # 填空 3
    return t, df_w, p, diff, diff - half, diff + half


rows = []
for sp in SPECIES:
    d = sexed[sexed["species"] == sp]
    m = d.loc[d["sex"] == "male", "body_mass_g"]
    f = d.loc[d["sex"] == "female", "body_mass_g"]
    t, df_w, p, diff, lo, hi = welch(m, f)
    sp_res = stats.ttest_ind(m, f, equal_var=False)
    st_res = stats.ttest_ind(m, f, equal_var=True)
    assert np.isclose(t, sp_res.statistic) and np.isclose(p, sp_res.pvalue)
    rows.append(dict(species=sp, n_f=len(f), n_m=len(m), t=t, df=df_w, p=p, diff=diff, lo=lo, hi=hi,
                     t_student=st_res.statistic, df_student=len(m) + len(f) - 2, p_student=st_res.pvalue))
    record(f"e_t_{sp}", t)
    record(f"e_df_{sp}", df_w)
    record(f"e_ci_{sp}", lo, hi)
    record(f"x_e_p_{sp}", p)
    record(f"x_e_tstudent_{sp}", st_res.statistic)
tests = pd.DataFrame(rows).set_index("species")
print(tests.round(3).to_string())

# %%
# 自查（B3）：运行后 ✓ 表示通过，✗ 后面是提示。
check('B3', [
    ('t 统计量', lambda: [welch(*_mf(sp))[0] for sp in SPECIES], 1, 'f84e3a44cf',
     't = diff / se，t 不对说明填空 1 的标准误不对：对照题目里 SE 的公式',
     {'f8477d58c6': '填空 1：标准误要开平方根',
      '8e2663caec': '填空 1：先把两项 s²/n 相加，再开平方根'}),
    ('自由度', lambda: [welch(*_mf(sp))[1] for sp in SPECIES], 1, '058e6b7330',
     '检查填空 2：对照题目里 df 的公式，分子、分母各是什么',
     {'d94c9f90e3': '这是 Student t 检验的自由度；Welch 检验要用题目里的 Welch–Satterthwaite 公式',
      '567085cd6f': '填空 2：分母两项各自除以 n − 1，不是 n'}),
    ('双侧 P 值', lambda: [welch(*_mf(sp))[2] for sp in SPECIES], 'e', '084cc6eb08',
     'P 由 t 和自由度算出（这一行框架已写好），先让上面两项通过'),
    ('均值差的 95% 置信区间', lambda: [welch(*_mf(sp))[4:6] for sp in SPECIES], 0, '8720a79fcc',
     '检查填空 3：用的是哪个分布、哪个分位数、哪个自由度',
     {'5c3f84de3a': '填空 3 用了正态分布的 1.96；这里要用 t 分布的分位数',
      'e2f8a893ac': '95% 双侧区间用的是 0.975 分位数，不是 0.95'}),
])

# %% [markdown]
# **参考答案（B3）**
#
# | 物种 | t | 自由度 | 雄雌均值差（95% CI） |
# |---|---|---|---|
# | 阿德利企鹅 | 13.1 | 135.7 | 675 g（573–776） |
# | 帽带企鹅 | 5.2 | 62.6 | 412 g（254–570） |
# | 巴布亚企鹅 | 14.8 | 116.6 | 805 g（697–913） |
#
# - 手算结果与 `scipy` 一致（代码里用 `assert` 做了核对）。
# - 阿德利企鹅（73/73）和帽带企鹅（34/34）的 Student t 值与 Welch t 值完全相同：两组 n 相等时，
#   两种检验的 t 统计量在代数上相等，只有自由度不同（Student 为 n₁ + n₂ − 2）。巴布亚企鹅 58/61，t 值略有差别。
#   n 不等且方差不等时两者差别才大；Welch 检验不要求方差相等，代价很小，所以论文默认用它。

# %% [markdown]
# ### B4　多重比较：Holm 校正
#
# 三个物种各做了一次检验。自己写一个函数实现 Holm 校正：把 m 个 P 值从小到大排序，
# 第 k 小的乘以 (m − k + 1)，再从小到大取累计最大值，超过 1 的记为 1。
# 校正后的 P 值是多少？和不校正、Bonferroni 校正（都乘以 m）相比有什么不同？

# %%
def holm(pvals):
    p = np.asarray(pvals, dtype=float)
    m = len(p)
    adj = np.empty(m)
    running = 0.0
    for k, idx in enumerate(np.argsort(p)):
        running = max(running, min(1.0, (m - k) * p[idx]))
        adj[idx] = running
    return adj


tests["p_holm"] = holm(tests["p"])
tests["p_bonf"] = np.minimum(1, tests["p"] * len(tests))
print(tests[["p", "p_holm", "p_bonf"]].to_string(float_format=lambda v: f"{v:.2g}"))
for sp in SPECIES:
    record(f"e_padj_{sp}", tests.loc[sp, "p_holm"])
    record(f"x_e_pbonf_{sp}", tests.loc[sp, "p_bonf"])
record("e_padj_max", tests["p_holm"].max())

# %%
# 自查（B4）：运行后 ✓ 表示通过，✗ 后面是提示。
check('B4', [
    ('holm() 处理示例 [0.04, 0.01, 0.03]', lambda: holm([0.04, 0.01, 0.03]), 2, '96119003e7',
     '对照题目里的步骤：排序、乘 (m − k)、取累计最大值、放回原来的位置',
     {'b1a004b3ab': '漏了“累计最大值”：排在后面的校正 P 值不能比前面的小',
      'ad999c02c7': '这是 Bonferroni（每个都乘 m）；Holm 的乘数随排名递减',
      'dcd39a3549': '结果要放回每个 P 值原来的位置，不是按大小排好输出'}),
    ('holm() 处理示例 [0.6, 0.7, 0.02]', lambda: holm([0.6, 0.7, 0.02]), 2, '6cb9a4c474',
     '对照题目里的步骤逐一检查：乘数、累计最大值、上限 1、放回原来的位置',
     {'567a478a2e': '校正后的 P 值不能超过 1'}),
    ('三个物种的 Holm 校正 P 值', lambda: holm([stats.ttest_ind(*_mf(sp), equal_var=False).pvalue for sp in SPECIES]), 'e', 'a8e50abee3',
     '上面两个示例通过后这一项应当也通过；不通过时检查 holm() 是否改动了传入的数组'),
])

# %% [markdown]
# **参考答案（B4）**
#
# Holm 校正后 P：阿德利企鹅 1.3 × 10⁻²⁵，帽带企鹅 2.3 × 10⁻⁶，巴布亚企鹅 5.6 × 10⁻²⁸，全部 < 0.001。
# 最小的 P（巴布亚企鹅）乘 3，第二小的（阿德利企鹅）乘 2，最大的（帽带企鹅）乘 1，所以帽带企鹅的 P 校正前后不变。
# Bonferroni 把三个都乘 3，结果不比 Holm 小；Holm 同样控制族错误率，但更不保守。
# 本例效应很大，校正与否都不改变结论；但养成“做了几次检验就要说明怎么校正”的习惯很重要。

# %% [markdown]
# ### B5　非参数复核：Mann–Whitney U 检验
#
# 对每个物种做双侧 Mann–Whitney U 检验，同样做 Holm 校正。结论和 Welch t 检验一样吗？

# %%
pu = [stats.mannwhitneyu(sexed.loc[(sexed["species"] == sp) & (sexed["sex"] == "male"), "body_mass_g"],
                         sexed.loc[(sexed["species"] == sp) & (sexed["sex"] == "female"), "body_mass_g"],
                         alternative="two-sided").pvalue for sp in SPECIES]
pu_holm = holm(pu)
print(dict(zip(SPECIES, [f"{v:.2g}" for v in pu_holm])))
record("e_pu_max", pu_holm.max())
for sp, v in zip(SPECIES, pu_holm):
    record(f"x_e_pu_holm_{sp}", v)

# %%
# 自查（B5）：运行后 ✓ 表示通过，✗ 后面是提示。
check('B5', [
    ('Mann–Whitney U 检验的 P 值（未校正）', lambda: pu, 'e', 'c3cbceebb4',
     '每个物种做 stats.mannwhitneyu(雄, 雌, alternative="two-sided")，按 SPECIES 的顺序放进 pu'),
    ('Holm 校正后的 P 值', lambda: pu_holm, 'e', 'a52be04055',
     '把 pu 交给 B4 的 holm()',
     {'c3cbceebb4': '还没做 Holm 校正'}),
])

# %% [markdown]
# **参考答案（B5）**
#
# 三个物种 Holm 校正后的 P 都 ≤ 5.3 × 10⁻⁶，结论与 Welch t 检验相同：三个物种的雄性都重于雌性。

# %% [markdown]
# ### B6　讨论题（写在答题区，每题 2–4 句）
#
# 1. 原始研究在每个巢中同时测量了两只亲鸟（通常一雌一雄）。这对 B3 的检验意味着什么？用这份数据能不能补救？
# 2. 阿德利企鹅两性体重差异的 P 值小到 10⁻²⁵ 量级。“P 值很小”和“差异很大”是一回事吗？你会怎样报告这个结果？

# %%
# 自查（B6）：讨论题不自动判分，运行后对照检查你的回答。
reflect('B6', [
    '第 1 题：说清楚了哪一条检验假设受影响吗？说明了这份数据能不能补救、为什么吗？',
    '第 2 题：改写后的结论里，除了 P 值，有没有效应大小和它的置信区间？数字带单位了吗？',
])

# %% [markdown]
# **参考答案（B6）**
#
# 1. 同一巢的雌雄个体可能共享食物条件和繁殖时间，雌雄样本并不完全独立，而 Welch t 检验和 Mann–Whitney U 检验都假定个体独立。
#    这份简化数据表没有巢编号，无法还原配对，所以补救不了；若能从原始数据包中还原巢的配对关系，可改用配对分析或混合模型。
#    由于效应量很大，配对结构不太可能改变差异的方向，但会影响 P 值的准确程度（论文 4.5 节）。
# 2. 不是。P 值同时取决于效应大小和样本量，只说明“差异不太可能是零”。应报告效应量及其置信区间，
#    例如“雄性平均重 675 g（95% CI 573–776 g），即重 20.0%；Welch t = 13.1，自由度 135.7，Holm 校正后 P = 1.3 × 10⁻²⁵”。

# %% [markdown]
# ## C 部分　回归与辛普森悖论（第 3 周）
#
# 本部分用四项形态测量齐全的 342 只企鹅（A2 中的 `morph`）。
#
# ### C1　喙深对喙长：不分物种
#
# 用 `scipy.stats.linregress` 拟合喙深（y）对喙长（x）的普通最小二乘回归，报告斜率、R² 和斜率的 P 值。
# 只看这个结果，你会怎样描述喙长和喙深的关系？

# %%
pool = stats.linregress(morph["bill_length_mm"], morph["bill_depth_mm"])
print(f"斜率 {pool.slope:.3f}  R² {pool.rvalue**2:.3f}  P {pool.pvalue:.2g}")
record("a_pool_slope", pool.slope)
record("a_pool_r2", pool.rvalue**2)
record("a_pool_p", pool.pvalue)

# %%
# 自查（C1）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C1', [
    ('斜率和 R²', lambda: [pool.slope, pool.rvalue ** 2], 3, '02defb4e38',
     'x 是喙长、y 是喙深，数据用 morph',
     {'f61cf7e808': 'x 和 y 放反了：y 是喙深',
      '254cffc076': '结果是 nan：数据里还有缺测值，要用 morph'}),
    ('斜率的 P 值', lambda: pool.pvalue, 'e', 'ddc7f3a16f',
     'P 值在 linregress 结果的 pvalue 里'),
])

# %% [markdown]
# **参考答案（C1）**
#
# 斜率 −0.085 mm/mm，R² = 0.055，P = 1.1 × 10⁻⁵。只看这一步，会得出“喙越长，喙越浅”的结论，
# 而且这个负相关“统计显著”。C2 会说明这个结论是错的。

# %% [markdown]
# ### C2　喙深对喙长：分物种
#
# 在每个物种内分别拟合，报告斜率、斜率的 95% 置信区间（t 分布，自由度 n − 2）、R² 和 P。
# 提示：`linregress` 的结果里有斜率的标准误 `stderr`。

# %%
def fit_table(data, x, y, by="species"):
    keys, out = [], []
    for key, d in data.groupby(by):
        r = stats.linregress(d[x], d[y])
        half = stats.t.ppf(0.975, len(d) - 2) * r.stderr
        keys.append(key)
        out.append(dict(n=len(d), slope=r.slope, intercept=r.intercept, lo=r.slope - half,
                        hi=r.slope + half, r2=r.rvalue**2, p=r.pvalue))
    return pd.DataFrame(out, index=pd.Index(keys))


bill = fit_table(morph, "bill_length_mm", "bill_depth_mm")
print(bill.round(3))
for sp in SPECIES:
    record(f"a_slope_{sp}", bill.loc[sp, "slope"])
    record(f"a_ci_{sp}", bill.loc[sp, "lo"], bill.loc[sp, "hi"])
    record(f"a_r2_{sp}", bill.loc[sp, "r2"])
record("a_slope_range", bill["slope"].min(), bill["slope"].max())

# %%
# 自查（C2）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C2', [
    ('三个物种的斜率', lambda: bill.loc[SPECIES, 'slope'], 2, 'fc536f32f6',
     'fit_table 的 x 是喙长、y 是喙深，数据用 morph'),
    ('斜率的 95% 置信区间', lambda: bill.loc[SPECIES, ['lo', 'hi']], 2, 'db6a3688ca',
     '检查 fit_table 里的 half：用的是哪个分布、哪个分位数、哪个自由度',
     {'8d00972235': '用了正态分布的 1.96；斜率的置信区间用 t 分布，自由度 n − 2',
      '52c73f9031': '95% 双侧区间用的是 0.975 分位数，不是 0.95'}),
    ('R²', lambda: bill.loc[SPECIES, 'r2'], 2, '90ee546298',
     'R² 是 r.rvalue 的平方'),
])

# %% [markdown]
# **参考答案（C2）**
#
# | 物种 | n | 斜率（95% CI），mm/mm | R² |
# |---|---|---|---|
# | 阿德利企鹅 | 151 | 0.18（0.11–0.25） | 0.15 |
# | 帽带企鹅 | 68 | 0.22（0.16–0.29） | 0.43 |
# | 巴布亚企鹅 | 123 | 0.20（0.16–0.25） | 0.41 |
#
# 三个斜率都为正（P 均 < 0.001），与 C1 的合并斜率方向相反。这就是辛普森悖论：
# 每个物种内喙越长喙越深，但巴布亚企鹅“喙长而浅”、阿德利企鹅“喙短而深”，物种间的差异把合并后的趋势拉成了负的。

# %% [markdown]
# ### C3　把悖论画出来
#
# 画喙深对喙长的散点图，点按物种着色；叠加三条物种内回归线（实线）和一条合并回归线（灰色虚线）。
# 图中要有坐标轴标题（带单位）和图例。

# %%
fig, ax = plt.subplots(figsize=(5.6, 4.2))
for sp in SPECIES:
    d = morph[morph["species"] == sp]
    ax.scatter(d["bill_length_mm"], d["bill_depth_mm"], s=12, color=COLORS[sp], alpha=0.7,
               edgecolors="white", linewidths=0.3, label=LABEL[sp])
    xs = np.linspace(d["bill_length_mm"].min(), d["bill_length_mm"].max(), 2)
    ax.plot(xs, bill.loc[sp, "intercept"] + bill.loc[sp, "slope"] * xs, color=COLORS[sp], lw=2)
xs = np.linspace(morph["bill_length_mm"].min(), morph["bill_length_mm"].max(), 2)
ax.plot(xs, pool.intercept + pool.slope * xs, color="#555555", lw=2, ls="--", label="All species pooled")
ax.set(xlabel="Bill length (mm)", ylabel="Bill depth (mm)")
ax.legend(frameon=False, fontsize=9)
fig.tight_layout()
finish(fig, "C3_simpson")

# %%
# 自查（C3）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C3', [
    ('图中直线的斜率', lambda: _line_slopes(ax), 2, '09be624873',
     '先让 C1、C2 的自查通过；图中应有 4 条直线：三个物种各一条（截距、斜率取自 bill），一条合并回归线（取自 C1 的 pool）'),
    ('散点的组数', lambda: len(ax.collections), 0, '4e07408562',
     '每个物种画一组散点，共 3 组'),
])

# %% [markdown]
# **参考答案（C3）**
#
# 见 `solution_output/C3_simpson.png`。三条彩色实线都向右上，灰色虚线向右下。
# 评分看三点：点按物种区分、物种内与合并两类直线都在且可区分、坐标轴有单位。

# %% [markdown]
# ### C4　体重对鳍长
#
# 1. 在每个物种内拟合体重对鳍长的回归，报告斜率（95% CI）和 R²。
# 2. 三个物种合并拟合，R² 是多少？合并后 R² 变高了，能不能说“合并分析时鳍长更能解释体重”？

# %%
mass = fit_table(morph, "flipper_length_mm", "body_mass_g")
print(mass.round(3))
pool_m = stats.linregress(morph["flipper_length_mm"], morph["body_mass_g"])
print(f"合并：斜率 {pool_m.slope:.1f}  R² {pool_m.rvalue**2:.2f}")
for sp in SPECIES:
    record(f"c_slope_{sp}", mass.loc[sp, "slope"])
    record(f"c_ci_{sp}", mass.loc[sp, "lo"], mass.loc[sp, "hi"])
    record(f"c_r2_{sp}", mass.loc[sp, "r2"])
record("c_r2_range", mass["r2"].min(), mass["r2"].max())
record("c_pool_r2", pool_m.rvalue**2)
record("c_pool_slope", pool_m.slope)

# %%
# 自查（C4）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C4', [
    ('物种内斜率及其 95% 置信区间', lambda: mass.loc[SPECIES, ['slope', 'lo', 'hi']], 1, 'efacc57b86',
     'fit_table 的 x 是鳍长、y 是体重，数据用 morph'),
    ('物种内 R²', lambda: mass.loc[SPECIES, 'r2'], 2, '2cc3a45b7d',
     'R² 来自 fit_table 的 r2 列'),
    ('合并拟合的斜率', lambda: pool_m.slope, 1, 'fab41ffb8b',
     '三个物种合并：对 morph 全体做 linregress，x 是鳍长、y 是体重'),
    ('合并拟合的 R²', lambda: pool_m.rvalue ** 2, 2, '342a441fd8',
     'R² 是 rvalue 的平方'),
])

# %% [markdown]
# **参考答案（C4）**
#
# 1. 斜率：阿德利企鹅 32.8 g/mm（22.8–42.9），帽带企鹅 34.6 g/mm（24.4–44.7），巴布亚企鹅 54.6 g/mm（44.7–64.6）；
#    R² 分别为 0.22、0.41、0.49。
# 2. 合并后 R² = 0.76（斜率 49.7 g/mm）。不能那样说：巴布亚企鹅鳍又长、体又重，物种之间的均值差异
#    贡献了大部分“被解释的变异”。高出的 R² 描述的是物种之间的差异，而不是同一物种内鳍长对体重的解释力。
#    （巴布亚企鹅的斜率点估计最大，但论文没有正式检验斜率之间的差异，这里也不要下“斜率不同”的结论。）

# %% [markdown]
# ### C5　把物种放进模型
#
# 论文建议“至少应把物种作为分组变量或模型中的固定效应”。拟合多元回归
# 喙深 = b₀ + b₁·喙长 + b₂·[帽带企鹅] + b₃·[巴布亚企鹅]（方括号为 0/1 指示变量，阿德利企鹅为参照），
# 可以用 `np.linalg.lstsq`。b₁ 是多少？与 C1、C2 的斜率比较。

# %%
X = np.column_stack([
    np.ones(len(morph)),
    morph["bill_length_mm"],
    (morph["species"] == "Chinstrap").astype(float),
    (morph["species"] == "Gentoo").astype(float),
])
beta, *_ = np.linalg.lstsq(X, morph["bill_depth_mm"].to_numpy(), rcond=None)
resid = morph["bill_depth_mm"].to_numpy() - X @ beta
s2 = resid @ resid / (len(morph) - X.shape[1])
se_b1 = np.sqrt(s2 * np.linalg.inv(X.T @ X)[1, 1])
half = stats.t.ppf(0.975, len(morph) - X.shape[1]) * se_b1
print(f"b1 = {beta[1]:.3f}  95% CI {beta[1] - half:.3f}–{beta[1] + half:.3f}")
print(f"b2（帽带 − 阿德利）= {beta[2]:.2f}  b3（巴布亚 − 阿德利）= {beta[3]:.2f}")
record("x_c5_b1", beta[1])
record("x_c5_ci", beta[1] - half, beta[1] + half)

# %%
# 自查（C5）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C5', [
    ('b₁（喙长的系数）', lambda: beta[1], 2, '0e1a3f9422',
     '设计矩阵应有 4 列：截距、喙长、两个物种指示变量；y 是喙深'),
    ('b₂、b₃（两个指示变量的系数）', lambda: beta[2:4], 2, '87d97d75cf',
     '第 3 列是帽带企鹅的指示变量，第 4 列是巴布亚企鹅；阿德利企鹅是参照组，不单独设列',
     {'8d10187c0e': '两个指示变量的顺序反了：先帽带企鹅，再巴布亚企鹅'}),
])

# %% [markdown]
# **参考答案（C5）**
#
# b₁ = 0.20 mm/mm（95% CI 0.17–0.23），为正，落在 C2 三个物种内斜率（0.18–0.22）之间，
# 与合并斜率（−0.085）方向相反。加入物种指示变量后，每个物种有自己的截距，
# b₁ 估计的是“同一物种内”喙长每增加 1 mm 喙深的平均变化（假定三个物种斜率相同）。
# 这正是把物种作为固定效应的含义。

# %% [markdown]
# ### C6　挑战题：再把性别分开
#
# 雄性在四个性状上都大于雌性，所以物种内的回归也混入了两性差异。在 6 个物种 × 性别组合内
# 分别拟合体重对鳍长、喙深对喙长，回答：
#
# 1. 体重对鳍长的斜率和 R² 落在什么范围？有几个组合的斜率和 R² 都低于该物种合并两性时的值？
# 2. 喙深对喙长的关系在几个组合中 P < 0.05？阿德利企鹅雄性的斜率是多少？

# %%
sx_mass = fit_table(sexed, "flipper_length_mm", "body_mass_g", by=["species", "sex"])
sx_bill = fit_table(sexed, "bill_length_mm", "bill_depth_mm", by=["species", "sex"])
print(sx_mass.round(3))
print(sx_bill.round(3))
lower = sum((sx_mass.loc[(sp, sx), "slope"] < mass.loc[sp, "slope"]) and (sx_mass.loc[(sp, sx), "r2"] < mass.loc[sp, "r2"])
            for sp, sx in sx_mass.index)
record("sx_c_slope_range", sx_mass["slope"].min(), sx_mass["slope"].max())
record("sx_c_r2_range", sx_mass["r2"].min(), sx_mass["r2"].max())
record("sx_c_lower", lower)
record("sx_a_sig", (sx_bill["p"] < 0.05).sum())
record("sx_a_adm_slope", sx_bill.loc[("Adelie", "male"), "slope"])
record("sx_a_adm_p", sx_bill.loc[("Adelie", "male"), "p"])

# %%
# 自查（C6）：运行后 ✓ 表示通过，✗ 后面是提示。
check('C6', [
    ('体重对鳍长：6 组斜率的最小值和最大值', lambda: [sx_mass['slope'].min(), sx_mass['slope'].max()], 1, '10e5686261',
     '用 sexed，by=["species", "sex"]，x 是鳍长、y 是体重'),
    ('体重对鳍长：6 组 R² 的最小值和最大值', lambda: [sx_mass['r2'].min(), sx_mass['r2'].max()], 2, '751fb6f8df',
     'R² 来自 sx_mass 的 r2 列'),
    ('喙深对喙长：P < 0.05 的组合数', lambda: (sx_bill['p'] < 0.05).sum(), 0, '4e07408562',
     'sx_bill 是喙深对喙长（x 是喙长）；数 p 列中小于 0.05 的行'),
    ('阿德利企鹅雄性的喙部斜率', lambda: sx_bill.loc[('Adelie', 'male'), 'slope'], 3, '95619a4916',
     '在 sx_bill 中找 (Adelie, male) 这一行'),
])

# %% [markdown]
# **参考答案（C6）**
#
# 1. 斜率 12.0–40.3 g/mm，R² 0.06–0.44；6 个组合中有 5 个的斜率和 R² 都低于该物种合并两性时的值。
# 2. 只有 3 个组合 P < 0.05；阿德利企鹅雄性的斜率为 −0.017 mm/mm（P = 0.75），接近于零。
#    所以第 3 周课上的物种内斜率不宜直接解释为个体水平的形态协变，模型中还应纳入性别（论文 4.3 节）。

# %%
if SELFCHECK_FAILED:
    raise SystemExit("参考答案没有通过这些自查：" + "；".join(SELFCHECK_FAILED))
pd.DataFrame(
    [(k, ";".join(repr(v) for v in vals)) for k, vals in ANSWERS.items()], columns=["key", "values"]
).to_csv(OUT / "answers.csv", index=False)
print(f"已写入 {len(ANSWERS)} 个答案数值和图到 {OUT}")
