Week 5 · 40 min · 9/28—10/4

Python 数据处理与可视化
拟合 · 插值 · 简单回归

用模拟赛 1《黑色星期五》的真实数据,把一张原始表变成论文里的一张图。

Bill · 数据与代码wjs · 数学方法与可视化gh · 图表与论文

BILL · 模拟赛复盘

0:00–0:01

你们下载的那张表,至少有三处陷阱

939 ≠ 875

939 行记录,合并跨国拆分的同一次地震后,只有 875 次。

30.8%

死亡人数有 289 行为空,而全列没有一个 0。空白里混着“没有死亡”和“没有统计”。

1,632 : 11

死亡人数的均值 1,632,中位数 11。少数大地震把均值拉高了一百多倍。

这三处都会直接改变“13 号星期五是否更危险”的结论。

BILL · 第四处陷阱

0:01–0:02

2000 年前的记录不全,题面第 1.3 条写过

1960 到 2025 年每年记录的地震灾害次数

数据:EM-DAT,亚洲与欧洲地震灾害,1960—2025,按事件计(875 次)。

1960—1999 年平均每年 10.1 次,2000—2025 年平均 18.2 次。

地壳没有变,变的是记录的范围。

按年份作比较之前,先决定用哪一段数据,并在论文里说明理由。

BILL · 本周目标

0:02–0:04

从原始表到论文里的一张图:一条可以重跑的流水线

raw→inspect→clean→summarize→model→figure→paper
原始数据

下载后只读保存,永远不在 raw 文件上直接改。

处理脚本

每一步都能从头重跑,不靠手工点 Excel。

结果文件

processed CSV、表和图片都由代码生成。

论文证据

每张图表都能追溯到数据和代码。

A · T1 读取与清洗A · T2 规范作图A · S1 缺失、异常、尺度A · F1 插值与拟合A · F2 最小二乘、R²、残差A · P5 图表服务结论B · T5 归档

BILL · 今天的安排

0:04–0:05

40 分钟,三个人,四段

时间讲者内容
0:05—0:15BillPandas:读取、检查、清洗、描述统计、尺度
0:15—0:27wjs插值、拟合、最小二乘回归、R² 与残差
0:27—0:35wjs → gh《黑色星期五》:从计数、比率到论文里的图
0:35—0:40Bill归档、模拟赛 2、本周产出
本周不讲:灵敏度与蒙特卡洛(第 9 周)、预测检验与误差指标(第 15 周)、LaTeX 图表与交叉引用(第 8 周)。

BILL · PANDAS · INPUT

0:05–0:06

读 Excel:先说清楚“文件怎么被解释”

import pandas as pd

df = pd.read_excel(
    "data/raw/emdat_2026-01-30.xlsx",
    sheet_name="EM-DAT Data",      # 另一张是说明页 EM-DAT Info
)

# 拿到的是 CSV 时,缺失标记要写全:
# pd.read_csv(path, na_values=["", "NA", "N/A", "-"])

为什么写 sheet_name

工作簿里有两张表,默认读第一张。表的顺序一变,代码就会静悄悄地读错。

为什么提 na_values

CSV 里的缺失常写成空串、NA 或短横线。先统一成缺失标记,后面才能一致处理。

BILL · PANDAS · FIRST LOOK

0:06–0:07

读进来先看五件事,再谈建模

df.shape df.head() df.info() df.dtypes df.describe()
检查在 EM-DAT 上看到说明什么
shape(939, 47)939 是记录数,未必是地震数
headDisNo. 形如 1979-0039-ALB编号里藏着“同一次事件”
infoTotal Deaths 只有 650 个非空289 行缺失
dtypesTotal Deaths 是 float64含缺失的整数列会被读成浮点
describeTotal Deaths 最小值为 1全列没有 0,空白的含义要追问

BILL · DATA TYPES

0:07–0:08

日期要自己拼;星期几是类别,不是数量

df["date"] = pd.to_datetime(dict(
    year=df["Start Year"], month=df["Start Month"], day=df["Start Day"]))
df["weekday"] = df["date"].dt.dayofweek      # 0 = Mon … 6 = Sun
数值型

死亡人数、震级。可以做差、求比值、取均值。

类别型

国家、星期几。0—6 只是编号,彼此没有距离。

有序类别

低 / 中 / 高。有先后,间距未必相等。

时间型

日期。按真实时间轴处理,注意周期与节假日。

类型决定后面三件事:能不能插值,能不能回归,该画哪种图。

BILL · MISSING DATA

0:08–0:09

缺失值:先问为什么缺,再决定怎么处理

EM-DAT 各列的缺失比例

df.isna().mean(),按原始 939 行计。日期三列没有缺失。

TOTAL DEATHS 的空白可能是

  • 没有死亡,所以没填
  • 有死亡,但没有统计到
  • 多来源合并时丢失

全列没有一个 0,所以“没有死亡”很可能也记成了空白。

BILL · MISSING DATA

0:09–0:10

四种处理,取决于你要回答哪个问题

方法什么时候可以考虑放到 EM-DAT 上
dropna 删除缺失少,且没有系统性只数地震次数时用不到死亡人数,不必删行
固定值这个值有明确的现实含义空白全当 0:其中“没统计到”的死亡会被抹掉
均值 / 中位数分布稳定,只需粗略补齐用均值 1,632 去补,会凭空造出上千名死者
插值自变量有自然顺序,局部变化平缓两次地震之间没有连续关系,不适用
写进方法部分:怎么处理、影响多少行、为什么不改变结论。拿不准时,两种口径各算一遍。

BILL · CLEANING

0:10–0:11

重复、名称、单位:最不起眼,最容易让结果错一倍

df["event"] = df["DisNo."].str[:9]            # 1979-0039-ALB → 1979-0039
events = df.groupby("event").agg(
    date=("date", "first"),
    deaths=("Total Deaths", lambda s: s.sum(min_count=1)),
)
len(df), len(events)                          # (939, 875)

另外两处:国家名新旧并存(Soviet Union 与 Russian Federation,Yugoslavia 与 Serbia Montenegro);损失列的单位是千美元,表头写着 ('000 US$),20000 表示两千万美元。

BILL · OUTLIERS

0:11–0:12

异常值:1.5·IQR 标出了 108 行,其中有唐山和汶川

Q₁ = 2.25 Q₃ = 73.25 IQR = 71
上界 = Q₃ + 1.5·IQR ≈ 180 人

数据错误:修正或剔除

  • 单位写错
  • 重复累计
  • 录入错位

真实极端值:保留,单独讨论

  • 1976 唐山 242,000
  • 2004 印度洋地震(印尼部分) 165,708
  • 2008 汶川 87,476

1.5·IQR 只负责标记。自动删掉这 108 行,删掉的正是最重要的地震。

BILL · DESCRIPTIVE STATISTICS

0:12–0:13

描述统计:均值 1,632,中位数 11,该报哪个?

死亡人数分布,对数横轴

650 行有死亡人数的记录,横轴为对数刻度。

量值回答的问题
count650有效观测有多少
mean1,632总量除以次数
median11一次典型地震
std12,880离散程度
min / max1 / 242,000范围是否合理

右偏的数据先取对数再画图。

BILL · SCALING

0:13–0:14

统一尺度:重尾数据上,两种缩放都会失灵

Min-Max: z = (x − min)/(max − min)
Z-score: z = (x − μ)/σ

一元回归不一定要缩放;多指标合成(第 3 周的熵权、TOPSIS)离不开它。

死亡人数11 人(中位数)242,000 人(唐山)
Min-Max,原始值0.000041
Z-score,原始值−0.1318.7
Min-Max,取 log₁₀ 后0.191
Z-score,取 log₁₀ 后−0.213.7

不取对数,中位数被压到 0 附近,唐山离均值 18.7 个标准差。

BILL · CLEAN PIPELINE

0:14–0:15

一段比赛够用的清洗骨架,外加一份清洗日志

df = pd.read_excel(RAW, sheet_name="EM-DAT Data")
print(df.shape); print(df.isna().sum())               # 1 检查

df["event"] = df["DisNo."].str[:9]                     # 2 清洗
df["date"] = pd.to_datetime(dict(year=df["Start Year"],
                 month=df["Start Month"], day=df["Start Day"]))
events = df.groupby("event").agg(date=("date", "first"),
                 deaths=("Total Deaths", lambda s: s.sum(min_count=1)))

events.to_csv("data/processed/eq_events.csv")          # 3 另存,raw 不动

清洗日志:原始 939 行 → 按事件编号合并跨国记录,得 875 次地震 → 死亡人数的空白保留为缺失(611 次有数)→ 1960—1999 年的记录标注报告偏差。

WJS · FROM DATA TO MODEL

0:15–0:16

66 个点:每年记录到多少次地震灾害?

每年记录的地震灾害次数散点图

x = 年份,y = 当年记录的地震灾害次数(按事件计)。

数据在计算机里是一个个离散的点。我们想知道,能不能用一个函数 y ≈ f(x) 概括它。

动手之前先分清:是补点与点之间的值,还是找整体的规律。

WJS · DEFINITION

0:16–0:17

插值与拟合:两个不同的问题

INTERPOLATION 插值

f(xᵢ) = yᵢ

要求穿过每一个已知点,用来估计点与点之间的值。

FITTING 拟合

yᵢ ≈ f(xᵢ)

允许残差,用来描述整体关系、估计参数。

每年的记录数带着偶然波动。硬让曲线穿过这 66 个点,拟合到的是噪声。

WJS · INTERPOLATION

0:17–0:18

线性插值与多项式插值

f(x) = y₀ + (y₁−y₀)/(x₁−x₀) · (x−x₀)
线性插值示意

示意:08:00 为 1.2 千人,10:00 为 1.8 千人,09:00 估计为 1.5 千人。

Pₙ(x) = a₀ + a₁x + ⋯ + aₙxⁿ
  • n+1 个横坐标互不相同的点,确定唯一一个次数 ≤ n 的插值多项式。
  • 它是全局的:改动一个点,整条曲线都会跟着动。

WJS · NUMERICAL ANALYSIS

0:18–0:19

Runge 现象:节点上误差为 0,节点之间可以错得很远

Runge 现象:十次插值多项式在两端振荡

f(x) = 1/(1+25x²),11 个等距节点上的 10 次插值多项式。

  • 穿过所有节点 ≠ 还原了真实函数
  • 次数越高 ≠ 越可靠
  • 误差要看整个区间,不能只看节点

WJS · INTERPOLATION · SPLINE

0:19–0:20

三次样条:每段低阶,拼起来光滑

分段线性与三次样条对比
S(x) = Sᵢ(x), x ∈ [xᵢ, xᵢ₊₁]
  • 每一段是三次多项式
  • 节点处 S、S′、S″ 都连续,整体 C² 光滑
  • 两端还要各补一个条件;SciPy 的 CubicSpline 默认用 not-a-knot

WJS · METHOD CHOICE

0:20–0:21

插值怎么选:先看数据结构,再看曲线

数据结构优先考虑原因
短区间,局部近似线性线性插值简单、稳定、透明
节点少,有低阶多项式的依据低阶多项式一个全局表达式
节点多,希望光滑三次样条局部低阶,C² 光滑
数据有噪声,目标是找规律不插值改用拟合或回归
某条记录只有年、月,缺了“几号”不插值日期之间没有光滑关系;删除或单列一类

WJS · REGRESSION

0:21–0:22

一元线性回归:允许点偏离直线

年度记录数的最小二乘直线与残差

红色竖线是残差 eᵢ = yᵢ − ŷᵢ。

ŷ = a x + b
eᵢ = yᵢ − ŷᵢ

拟合结果:ŷ = 0.250 · 年份 − 484.4

a ≈ 0.25:每过一年,记录数平均多 0.25 次,约每四年多一次。

WJS · LEAST SQUARES

0:22–0:23

最小二乘:把“整体最接近”写成优化问题

残差直接相加,+3 与 −3 会互相抵消,模型明明错了两次。所以先平方,再求和。

01
eᵢ = yᵢ − (a xᵢ + b)

定义每个点的残差

02
Q(a, b) = Σ eᵢ²

平方后求和,正负不再抵消

03
min Q(a, b)

在所有直线里找代价最小的

04
∂Q/∂a = 0, ∂Q/∂b = 0

极小值的一阶条件

WJS · DERIVATION / RESULT

0:23–0:24

闭式解,代入 66 年的数据

a = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)²  b = ȳ − a x̄
x̄1992.5
ȳ13.26 次 / 年
a0.2498
b13.26 − 0.2498 × 1992.5 ≈ −484.4

b 是“公元 0 年”的预测,远在样本之外,没有现实含义。

矩阵写法

Aθ ≈ y:66 个方程,2 个未知数,一般没有精确解。最小二乘解满足 AᵀAθ = Aᵀy,几何上是把 y 投影到 A 的列空间。

WJS · GOODNESS OF FIT

0:24–0:25

R² = 0.48:年份解释了一半的年际波动

SST = Σ(yᵢ − ȳ)²  SSE = Σ(yᵢ − ŷᵢ)²
R² = 1 − SSE / SST

在含截距的样本内最小二乘里,R² 衡量的是:比起“每年都猜均值 13.26 次”,直线把误差减少了多少。

R² 高 ≠ 机制对 | R² 高 ≠ 能外推 | R² 高 ≠ 因果

换成二次曲线,R² 升到 0.56。它是不是更好,看下面两页。

WJS · RESIDUAL DIAGNOSTICS

0:25–0:26

残差图:直线漏掉了一个“拱形”

残差随年份的分布与分段均值

红色横线为各时段残差的均值。

分段看残差的均值:

−2.1 +0.6 +2.7 +2.6 −2.7

两头为负、中间为正:直线没有抓住的结构还留在残差里。

残差图的用处是主动找模型漏掉的东西。图上干干净净,也只说明这张图没发现问题。

WJS · MECHANISM · EXTRAPOLATION

0:26–0:27

拟合得好,预测 2035 年仍然靠不住

线性与二次模型外推到 2035 年

2035 年:直线给 23.9 次,二次曲线给 15.3 次。两条线在样本内都拟合得不差。

只看 2000 年以后:斜率 −0.2 次 / 年,R² 仅 0.08。

这条上升趋势很可能主要来自记录范围的扩大。拿它去说“未来地震会更多”,站不住。

样本内拟合好 ≠ 样本外预测准。完整的检验方法在第 15 周。

WJS · VISUALIZATION

0:27–0:28

先问问题,再选图:同一张表,四种问题

同一张 EM-DAT 表画出的折线图、散点图、柱状图和直方图
  • 折线图:随时间怎么变(每年记录数)
  • 散点图:两个数值变量的关系(震级与死亡人数)
  • 柱状图:类别之间比较(星期几)
  • 直方图:一个变量的分布(死亡人数)
  • 箱线图:几组分布放在一起比

WJS · RATES, NOT COUNTS

0:28–0:29

数“几次”还是算“每天几次”:31 号的陷阱

每月几号的事件次数与每千日比率

左:事件次数;右:每千个这样的日子里的事件数。红色为 15 号与 31 号。

日期事件这样的日子每千日
15 号2579231.6
31 号1746236.8

只看次数,31 号最“安全”;按天数换算,它反而高于 15 号。

比较频率之前,先写清分母。

WJS · CATEGORICAL VARIABLE

0:29–0:30

星期几是类别:按组算比率,不做 y = a·weekday + b

按星期几的每千日地震灾害数

每组约 125 次地震,偶然波动约 ±9%(√125 ≈ 11)。最高的周六与最低的周三,都在这个量级之内。

把 Mon=0 … Sun=6 当成数值回归,等于假设“周日比周一多 6 个单位”,而且各天间距相等。这个假设,变量本身并不提供。

WJS · IMMC 2026 D · FRIDAY THE 13TH

0:30–0:31

13 号星期五:5 次地震,按平均水平应有 4.07 次

13 号星期五与三个参照组的每千日事件数
组事件天数每千日
13 号星期五511244.6
其他星期五1243,33237.2
其他 13 号2268032.4
全部日子87524,10736.3

比率高出 23%,换成次数只多了不到一次。完全随机时,出现 5 次及以上的概率约 38%。

这算不算“更危险”,第 9 周用区间来回答。

GH · SAME DATA, TWO FIGURES

0:31–0:32

同一组数,两张图:哪一张能放进论文?

左图纵轴从 105 开始,右图纵轴从 0 开始并换算为比率

A 图

纵轴从 105 开始,差 23% 看起来像差五倍;画的是次数,没有除以天数;星期五单独上色,先替读者下了结论。

B 图

纵轴从 0 开始;单位是每千日;虚线标出全部日子的平均水平。

柱状图的纵轴必须从 0 开始;折线图和散点图可以截断,但要让读者看得出来。

GH · FIGURE CHECKLIST

0:32–0:33

一张规范图,至少检查 6 件事

#元素要回答什么在 B 图上
1标题这张图讲什么写在图注第一句
2横纵轴名称变量到底是什么Weekday / Earthquake disasters
3单位量纲是否清楚per 1000 days
4图例或标注线和颜色分别代表什么虚线 = 全部日子的平均
5图注数据从哪来、样本多大EM-DAT,1960—2025,n = 875
6正文引用这张图支持哪句结论见下一页

GH · PAPER EVIDENCE CHAIN

0:33–0:34

图 → 图注 → 正文:写出来是这样

图注:画了什么

Figure 4. Earthquake disasters per 1000 days by weekday of the start date, Asia and Europe, 1960–2025 (EM-DAT, n = 875 events). Error bars show ±1 s.d. of a Poisson count; the dashed line is the rate over all days.

正文:因此得到什么

The weekday rates stay within the range expected from chance (Figure 4). The data give no evidence of a weekday effect on earthquake disasters.

正文要写出图支持的那句话,不写 “as shown below”。观察数据只支持关联,写 “no evidence of” 比 “proves that” 稳妥。

GH · MATPLOTLIB · EXPORT

0:34–0:35

作图与导出:最短可复用模板

import matplotlib.pyplot as plt

fig, ax = plt.subplots(figsize=(7, 4))
ax.bar(names, rate)                        # rate:每千日事件数
ax.axhline(overall, ls="--")               # 全部日子的平均
ax.set_ylim(0, None)                       # 柱状图从 0 开始
ax.set_xlabel("Weekday of start date")
ax.set_ylabel("Earthquake disasters per 1000 days")
fig.savefig("figures/weekday_rate.png", dpi=300, bbox_inches="tight")

dpi=300

栅格图在论文里的常用分辨率。Seaborn 画统计图更顺手,轴、尺寸和导出仍由 Matplotlib 控制。

bbox_inches="tight"

防止轴标签和图例被裁掉。导出后打开文件看一遍:字号、缺字、遮挡。

BILL · T5 · REPRODUCIBILITY

0:35–0:36

归档:让队友在另一台电脑上重跑出来

friday13/
├─ data/
│  ├─ raw/emdat_2026-01-30.xlsx     # 只读
│  └─ processed/eq_events.csv
├─ src/01_clean.py  02_rates.py  03_figures.py
├─ figures/weekday_rate.png
├─ results/rates_by_group.csv
└─ README.md     # 数据来源、下载日期、运行顺序
最低标准:说得出“哪份原始数据 → 哪段代码 → 哪个结果文件”。

BILL · MOCK PROBLEM 2

0:36–0:37

同一条链,换到模拟赛 2《地铁成绩单》

WorldPop / OSM / 官方数据→统一站名与口径→描述统计→散点图→回归→R² 与残差→论文图

任务 1.1 问:周边人口密度、到市中心的距离、换乘线路数,能否解释车站之间的差异?

题面数据说明 3.3 也提醒:不同来源的客流与造价数字可能不一致,要写明采用哪一个、为什么。几个解释变量同时进模型,是第 15 周的多元回归。

BILL · COMMON FAILURES

0:37–0:38

第五周最常见的 8 个错误

  • 空白直接填 0
  • 把行数当成事件数
  • IQR 标出来就删
  • 不除天数就比较频率
  • 星期几编码成数字后直接回归
  • 只报 R²,不看残差
  • 柱状图纵轴不从 0 开始
  • 手改 raw 文件,无法重跑

BILL · MINIMUM OUTPUT

0:38–0:39

本周唯一产出:清洗一个小型 CSV,导出一张规范图

01 数据 可以直接用模拟赛 1 下载的 EM-DAT 表;保留 raw,另存 processed CSV
02 说明 至少处理一种问题(缺失、重复、类型、单位、异常),写一句理由
03 图 标题或图注、轴名、单位齐全;只回答一个问题
04 导出 PNG 或 PDF,300 dpi,文件名对应得上代码

建议 30—40 分钟,不写论文。周末小课(wjs):代码命名、文件夹结构、数据保存与图片导出。

自助包numpy 常用操作标准化与归一化怎么选样条与多项式的过拟合对照300 dpi 导出与配色十个最常见的 Pandas 报错

BILL · SUMMARY

0:39–0:40

这一节课要留下的四句话

  1. 先保证数据的含义对,再谈模型的复杂度。
  2. 插值要穿过节点,拟合只求总体接近。
  3. R² 看拟合程度,残差图找漏掉的结构。
  4. 图是论文的证据:先写清分母和单位,一张图回答一个问题。

下周(第 6 周,lsh 主讲):文献检索与资料驱动建模。LaTeX 图表在第 8 周,灵敏度与蒙特卡洛在第 9 周,预测检验在第 15 周。

讲者