Week 5 · 40 min · 9/28—10/4
Python 数据处理与可视化
拟合 · 插值 · 简单回归
用模拟赛 1《黑色星期五》的真实数据,把一张原始表变成论文里的一张图。
BILL · 模拟赛复盘
0:00–0:01你们下载的那张表,至少有三处陷阱
939 行记录,合并跨国拆分的同一次地震后,只有 875 次。
死亡人数有 289 行为空,而全列没有一个 0。空白里混着“没有死亡”和“没有统计”。
死亡人数的均值 1,632,中位数 11。少数大地震把均值拉高了一百多倍。
BILL · 第四处陷阱
0:01–0:022000 年前的记录不全,题面第 1.3 条写过
数据:EM-DAT,亚洲与欧洲地震灾害,1960—2025,按事件计(875 次)。
1960—1999 年平均每年 10.1 次,2000—2025 年平均 18.2 次。
地壳没有变,变的是记录的范围。
按年份作比较之前,先决定用哪一段数据,并在论文里说明理由。
BILL · 本周目标
0:02–0:04从原始表到论文里的一张图:一条可以重跑的流水线
下载后只读保存,永远不在 raw 文件上直接改。
每一步都能从头重跑,不靠手工点 Excel。
processed CSV、表和图片都由代码生成。
每张图表都能追溯到数据和代码。
BILL · 今天的安排
0:04–0:0540 分钟,三个人,四段
| 时间 | 讲者 | 内容 |
|---|---|---|
| 0:05—0:15 | Bill | Pandas:读取、检查、清洗、描述统计、尺度 |
| 0:15—0:27 | wjs | 插值、拟合、最小二乘回归、R² 与残差 |
| 0:27—0:35 | wjs → gh | 《黑色星期五》:从计数、比率到论文里的图 |
| 0:35—0:40 | Bill | 归档、模拟赛 2、本周产出 |
BILL · PANDAS · INPUT
0:05–0:06读 Excel:先说清楚“文件怎么被解释”
import pandas as pd
df = pd.read_excel(
"data/raw/emdat_2026-01-30.xlsx",
sheet_name="EM-DAT Data", # 另一张是说明页 EM-DAT Info
)
# 拿到的是 CSV 时,缺失标记要写全:
# pd.read_csv(path, na_values=["", "NA", "N/A", "-"])为什么写 sheet_name
工作簿里有两张表,默认读第一张。表的顺序一变,代码就会静悄悄地读错。
为什么提 na_values
CSV 里的缺失常写成空串、NA 或短横线。先统一成缺失标记,后面才能一致处理。
BILL · PANDAS · FIRST LOOK
0:06–0:07读进来先看五件事,再谈建模
| 检查 | 在 EM-DAT 上看到 | 说明什么 |
|---|---|---|
| shape | (939, 47) | 939 是记录数,未必是地震数 |
| head | DisNo. 形如 1979-0039-ALB | 编号里藏着“同一次事件” |
| info | Total Deaths 只有 650 个非空 | 289 行缺失 |
| dtypes | Total Deaths 是 float64 | 含缺失的整数列会被读成浮点 |
| describe | Total Deaths 最小值为 1 | 全列没有 0,空白的含义要追问 |
BILL · DATA TYPES
0:07–0:08日期要自己拼;星期几是类别,不是数量
df["date"] = pd.to_datetime(dict(
year=df["Start Year"], month=df["Start Month"], day=df["Start Day"]))
df["weekday"] = df["date"].dt.dayofweek # 0 = Mon … 6 = Sun死亡人数、震级。可以做差、求比值、取均值。
国家、星期几。0—6 只是编号,彼此没有距离。
低 / 中 / 高。有先后,间距未必相等。
日期。按真实时间轴处理,注意周期与节假日。
BILL · MISSING DATA
0:08–0:09缺失值:先问为什么缺,再决定怎么处理
df.isna().mean(),按原始 939 行计。日期三列没有缺失。
TOTAL DEATHS 的空白可能是
- 没有死亡,所以没填
- 有死亡,但没有统计到
- 多来源合并时丢失
全列没有一个 0,所以“没有死亡”很可能也记成了空白。
BILL · MISSING DATA
0:09–0:10四种处理,取决于你要回答哪个问题
| 方法 | 什么时候可以考虑 | 放到 EM-DAT 上 |
|---|---|---|
| dropna 删除 | 缺失少,且没有系统性 | 只数地震次数时用不到死亡人数,不必删行 |
| 固定值 | 这个值有明确的现实含义 | 空白全当 0:其中“没统计到”的死亡会被抹掉 |
| 均值 / 中位数 | 分布稳定,只需粗略补齐 | 用均值 1,632 去补,会凭空造出上千名死者 |
| 插值 | 自变量有自然顺序,局部变化平缓 | 两次地震之间没有连续关系,不适用 |
BILL · CLEANING
0:10–0:11重复、名称、单位:最不起眼,最容易让结果错一倍
df["event"] = df["DisNo."].str[:9] # 1979-0039-ALB → 1979-0039
events = df.groupby("event").agg(
date=("date", "first"),
deaths=("Total Deaths", lambda s: s.sum(min_count=1)),
)
len(df), len(events) # (939, 875)另外两处:国家名新旧并存(Soviet Union 与 Russian Federation,Yugoslavia 与 Serbia Montenegro);损失列的单位是千美元,表头写着 ('000 US$),20000 表示两千万美元。
BILL · OUTLIERS
0:11–0:12异常值:1.5·IQR 标出了 108 行,其中有唐山和汶川
上界 = Q₃ + 1.5·IQR ≈ 180 人
数据错误:修正或剔除
- 单位写错
- 重复累计
- 录入错位
真实极端值:保留,单独讨论
- 1976 唐山 242,000
- 2004 印度洋地震(印尼部分) 165,708
- 2008 汶川 87,476
1.5·IQR 只负责标记。自动删掉这 108 行,删掉的正是最重要的地震。
BILL · DESCRIPTIVE STATISTICS
0:12–0:13描述统计:均值 1,632,中位数 11,该报哪个?
650 行有死亡人数的记录,横轴为对数刻度。
| 量 | 值 | 回答的问题 |
|---|---|---|
| count | 650 | 有效观测有多少 |
| mean | 1,632 | 总量除以次数 |
| median | 11 | 一次典型地震 |
| std | 12,880 | 离散程度 |
| min / max | 1 / 242,000 | 范围是否合理 |
右偏的数据先取对数再画图。
BILL · SCALING
0:13–0:14统一尺度:重尾数据上,两种缩放都会失灵
一元回归不一定要缩放;多指标合成(第 3 周的熵权、TOPSIS)离不开它。
| 死亡人数 | 11 人(中位数) | 242,000 人(唐山) |
|---|---|---|
| Min-Max,原始值 | 0.00004 | 1 |
| Z-score,原始值 | −0.13 | 18.7 |
| Min-Max,取 log₁₀ 后 | 0.19 | 1 |
| Z-score,取 log₁₀ 后 | −0.21 | 3.7 |
不取对数,中位数被压到 0 附近,唐山离均值 18.7 个标准差。
BILL · CLEAN PIPELINE
0:14–0:15一段比赛够用的清洗骨架,外加一份清洗日志
df = pd.read_excel(RAW, sheet_name="EM-DAT Data")
print(df.shape); print(df.isna().sum()) # 1 检查
df["event"] = df["DisNo."].str[:9] # 2 清洗
df["date"] = pd.to_datetime(dict(year=df["Start Year"],
month=df["Start Month"], day=df["Start Day"]))
events = df.groupby("event").agg(date=("date", "first"),
deaths=("Total Deaths", lambda s: s.sum(min_count=1)))
events.to_csv("data/processed/eq_events.csv") # 3 另存,raw 不动清洗日志:原始 939 行 → 按事件编号合并跨国记录,得 875 次地震 → 死亡人数的空白保留为缺失(611 次有数)→ 1960—1999 年的记录标注报告偏差。
WJS · FROM DATA TO MODEL
0:15–0:1666 个点:每年记录到多少次地震灾害?
x = 年份,y = 当年记录的地震灾害次数(按事件计)。
数据在计算机里是一个个离散的点。我们想知道,能不能用一个函数 y ≈ f(x) 概括它。
动手之前先分清:是补点与点之间的值,还是找整体的规律。
WJS · DEFINITION
0:16–0:17插值与拟合:两个不同的问题
INTERPOLATION 插值
要求穿过每一个已知点,用来估计点与点之间的值。
FITTING 拟合
允许残差,用来描述整体关系、估计参数。
WJS · INTERPOLATION
0:17–0:18线性插值与多项式插值
示意:08:00 为 1.2 千人,10:00 为 1.8 千人,09:00 估计为 1.5 千人。
- n+1 个横坐标互不相同的点,确定唯一一个次数 ≤ n 的插值多项式。
- 它是全局的:改动一个点,整条曲线都会跟着动。
WJS · NUMERICAL ANALYSIS
0:18–0:19Runge 现象:节点上误差为 0,节点之间可以错得很远
f(x) = 1/(1+25x²),11 个等距节点上的 10 次插值多项式。
- 穿过所有节点 ≠ 还原了真实函数
- 次数越高 ≠ 越可靠
- 误差要看整个区间,不能只看节点
WJS · INTERPOLATION · SPLINE
0:19–0:20三次样条:每段低阶,拼起来光滑
- 每一段是三次多项式
- 节点处 S、S′、S″ 都连续,整体 C² 光滑
- 两端还要各补一个条件;SciPy 的 CubicSpline 默认用 not-a-knot
WJS · METHOD CHOICE
0:20–0:21插值怎么选:先看数据结构,再看曲线
| 数据结构 | 优先考虑 | 原因 |
|---|---|---|
| 短区间,局部近似线性 | 线性插值 | 简单、稳定、透明 |
| 节点少,有低阶多项式的依据 | 低阶多项式 | 一个全局表达式 |
| 节点多,希望光滑 | 三次样条 | 局部低阶,C² 光滑 |
| 数据有噪声,目标是找规律 | 不插值 | 改用拟合或回归 |
| 某条记录只有年、月,缺了“几号” | 不插值 | 日期之间没有光滑关系;删除或单列一类 |
WJS · REGRESSION
0:21–0:22一元线性回归:允许点偏离直线
红色竖线是残差 eᵢ = yᵢ − ŷᵢ。
eᵢ = yᵢ − ŷᵢ
拟合结果:ŷ = 0.250 · 年份 − 484.4
a ≈ 0.25:每过一年,记录数平均多 0.25 次,约每四年多一次。
WJS · LEAST SQUARES
0:22–0:23最小二乘:把“整体最接近”写成优化问题
残差直接相加,+3 与 −3 会互相抵消,模型明明错了两次。所以先平方,再求和。
定义每个点的残差
平方后求和,正负不再抵消
在所有直线里找代价最小的
极小值的一阶条件
WJS · DERIVATION / RESULT
0:23–0:24闭式解,代入 66 年的数据
| x̄ | 1992.5 |
| ȳ | 13.26 次 / 年 |
| a | 0.2498 |
| b | 13.26 − 0.2498 × 1992.5 ≈ −484.4 |
b 是“公元 0 年”的预测,远在样本之外,没有现实含义。
矩阵写法
Aθ ≈ y:66 个方程,2 个未知数,一般没有精确解。最小二乘解满足 AᵀAθ = Aᵀy,几何上是把 y 投影到 A 的列空间。
WJS · GOODNESS OF FIT
0:24–0:25R² = 0.48:年份解释了一半的年际波动
R² = 1 − SSE / SST
在含截距的样本内最小二乘里,R² 衡量的是:比起“每年都猜均值 13.26 次”,直线把误差减少了多少。
R² 高 ≠ 机制对 | R² 高 ≠ 能外推 | R² 高 ≠ 因果
换成二次曲线,R² 升到 0.56。它是不是更好,看下面两页。
WJS · RESIDUAL DIAGNOSTICS
0:25–0:26残差图:直线漏掉了一个“拱形”
红色横线为各时段残差的均值。
分段看残差的均值:
两头为负、中间为正:直线没有抓住的结构还留在残差里。
残差图的用处是主动找模型漏掉的东西。图上干干净净,也只说明这张图没发现问题。
WJS · MECHANISM · EXTRAPOLATION
0:26–0:27拟合得好,预测 2035 年仍然靠不住
2035 年:直线给 23.9 次,二次曲线给 15.3 次。两条线在样本内都拟合得不差。
只看 2000 年以后:斜率 −0.2 次 / 年,R² 仅 0.08。
这条上升趋势很可能主要来自记录范围的扩大。拿它去说“未来地震会更多”,站不住。
样本内拟合好 ≠ 样本外预测准。完整的检验方法在第 15 周。
WJS · VISUALIZATION
0:27–0:28先问问题,再选图:同一张表,四种问题
- 折线图:随时间怎么变(每年记录数)
- 散点图:两个数值变量的关系(震级与死亡人数)
- 柱状图:类别之间比较(星期几)
- 直方图:一个变量的分布(死亡人数)
- 箱线图:几组分布放在一起比
WJS · RATES, NOT COUNTS
0:28–0:29数“几次”还是算“每天几次”:31 号的陷阱
左:事件次数;右:每千个这样的日子里的事件数。红色为 15 号与 31 号。
| 日期 | 事件 | 这样的日子 | 每千日 |
|---|---|---|---|
| 15 号 | 25 | 792 | 31.6 |
| 31 号 | 17 | 462 | 36.8 |
只看次数,31 号最“安全”;按天数换算,它反而高于 15 号。
比较频率之前,先写清分母。
WJS · CATEGORICAL VARIABLE
0:29–0:30星期几是类别:按组算比率,不做 y = a·weekday + b
每组约 125 次地震,偶然波动约 ±9%(√125 ≈ 11)。最高的周六与最低的周三,都在这个量级之内。
把 Mon=0 … Sun=6 当成数值回归,等于假设“周日比周一多 6 个单位”,而且各天间距相等。这个假设,变量本身并不提供。
WJS · IMMC 2026 D · FRIDAY THE 13TH
0:30–0:3113 号星期五:5 次地震,按平均水平应有 4.07 次
| 组 | 事件 | 天数 | 每千日 |
|---|---|---|---|
| 13 号星期五 | 5 | 112 | 44.6 |
| 其他星期五 | 124 | 3,332 | 37.2 |
| 其他 13 号 | 22 | 680 | 32.4 |
| 全部日子 | 875 | 24,107 | 36.3 |
比率高出 23%,换成次数只多了不到一次。完全随机时,出现 5 次及以上的概率约 38%。
这算不算“更危险”,第 9 周用区间来回答。
GH · SAME DATA, TWO FIGURES
0:31–0:32同一组数,两张图:哪一张能放进论文?
A 图
纵轴从 105 开始,差 23% 看起来像差五倍;画的是次数,没有除以天数;星期五单独上色,先替读者下了结论。
B 图
纵轴从 0 开始;单位是每千日;虚线标出全部日子的平均水平。
GH · FIGURE CHECKLIST
0:32–0:33一张规范图,至少检查 6 件事
| # | 元素 | 要回答什么 | 在 B 图上 |
|---|---|---|---|
| 1 | 标题 | 这张图讲什么 | 写在图注第一句 |
| 2 | 横纵轴名称 | 变量到底是什么 | Weekday / Earthquake disasters |
| 3 | 单位 | 量纲是否清楚 | per 1000 days |
| 4 | 图例或标注 | 线和颜色分别代表什么 | 虚线 = 全部日子的平均 |
| 5 | 图注 | 数据从哪来、样本多大 | EM-DAT,1960—2025,n = 875 |
| 6 | 正文引用 | 这张图支持哪句结论 | 见下一页 |
GH · PAPER EVIDENCE CHAIN
0:33–0:34图 → 图注 → 正文:写出来是这样
图注:画了什么
Figure 4. Earthquake disasters per 1000 days by weekday of the start date, Asia and Europe, 1960–2025 (EM-DAT, n = 875 events). Error bars show ±1 s.d. of a Poisson count; the dashed line is the rate over all days.
正文:因此得到什么
The weekday rates stay within the range expected from chance (Figure 4). The data give no evidence of a weekday effect on earthquake disasters.
正文要写出图支持的那句话,不写 “as shown below”。观察数据只支持关联,写 “no evidence of” 比 “proves that” 稳妥。
GH · MATPLOTLIB · EXPORT
0:34–0:35作图与导出:最短可复用模板
import matplotlib.pyplot as plt
fig, ax = plt.subplots(figsize=(7, 4))
ax.bar(names, rate) # rate:每千日事件数
ax.axhline(overall, ls="--") # 全部日子的平均
ax.set_ylim(0, None) # 柱状图从 0 开始
ax.set_xlabel("Weekday of start date")
ax.set_ylabel("Earthquake disasters per 1000 days")
fig.savefig("figures/weekday_rate.png", dpi=300, bbox_inches="tight")dpi=300
栅格图在论文里的常用分辨率。Seaborn 画统计图更顺手,轴、尺寸和导出仍由 Matplotlib 控制。
bbox_inches="tight"
防止轴标签和图例被裁掉。导出后打开文件看一遍:字号、缺字、遮挡。
BILL · T5 · REPRODUCIBILITY
0:35–0:36归档:让队友在另一台电脑上重跑出来
friday13/ ├─ data/ │ ├─ raw/emdat_2026-01-30.xlsx # 只读 │ └─ processed/eq_events.csv ├─ src/01_clean.py 02_rates.py 03_figures.py ├─ figures/weekday_rate.png ├─ results/rates_by_group.csv └─ README.md # 数据来源、下载日期、运行顺序
BILL · MOCK PROBLEM 2
0:36–0:37同一条链,换到模拟赛 2《地铁成绩单》
任务 1.1 问:周边人口密度、到市中心的距离、换乘线路数,能否解释车站之间的差异?
题面数据说明 3.3 也提醒:不同来源的客流与造价数字可能不一致,要写明采用哪一个、为什么。几个解释变量同时进模型,是第 15 周的多元回归。
BILL · COMMON FAILURES
0:37–0:38第五周最常见的 8 个错误
- 空白直接填 0
- 把行数当成事件数
- IQR 标出来就删
- 不除天数就比较频率
- 星期几编码成数字后直接回归
- 只报 R²,不看残差
- 柱状图纵轴不从 0 开始
- 手改 raw 文件,无法重跑
BILL · MINIMUM OUTPUT
0:38–0:39本周唯一产出:清洗一个小型 CSV,导出一张规范图
建议 30—40 分钟,不写论文。周末小课(wjs):代码命名、文件夹结构、数据保存与图片导出。
BILL · SUMMARY
0:39–0:40这一节课要留下的四句话
- 先保证数据的含义对,再谈模型的复杂度。
- 插值要穿过节点,拟合只求总体接近。
- R² 看拟合程度,残差图找漏掉的结构。
- 图是论文的证据:先写清分母和单位,一张图回答一个问题。
下周(第 6 周,lsh 主讲):文献检索与资料驱动建模。LaTeX 图表在第 8 周,灵敏度与蒙特卡洛在第 9 周,预测检验在第 15 周。