写库幂等与去重,别让重复请求扒你的皮
订单被创建了两遍、通知发了两次、一次 同步 因为没去重把同一批数据写了两遍……这些场景背后是同一个问题: 非幂等接口被重复执行了 。这篇讲什么是幂等、哪些操作天然幂等、哪些不是,又怎么通过 业务唯一键 + upsert / 防重 保证粗心的重复不搞脏数据。重点是 幂等键怎么选、怎么落地 ,还有 POST(不幂等)和 PUT(幂等)在这种问题上为什么差别巨大。
一、幂等是什么、为什么它这么重要
幂等(Idempotency) :同一操作重复执行多次,得到的结果与执行一次一致。
GET /user/1查一次、查十次,结果一样 → 幂等。DELETE /user/1删一次是删掉,再删还是删掉(目标不存在也算 达成目的 )→ 幂等。POST /order每调用一次就新增一单 → 不幂等 。
不幂等的后果很直观: 用户在网络抖动时多点了一下 提交 ,表单重复提交,库里就多出两条一模一样的记录。
幂等是写库安全的地基,少了它,任何 重试/重复点击/重复推送/脚本重跑 都可能把数据库变成 重复垃圾堆 。
二、哪些操作天然幂等,哪些不是
| 操作 | 幂等吗 | 解释 |
|---|---|---|
| 查(GET) | 是 | 无副作用 |
| 覆盖更新(PUT 全量 / 按唯一键 UPDATE) | 大致幂等 | 用同一套数据覆盖,重复执行结果相同 |
| 自增/累加 | 非幂等 | count++ 每跑一次加一次 |
| 默认 INSERT(POST) | 非幂等 | 每 POST 一次多一行 |
| DELETE | 通常幂等 | 目标不存在也视为 已达目的 |
最容易处理的 麻烦源头 就是 POST 新增。因为 加一条 这件事,天生重复多少次就多多少条。
三、怎么让 新增 也幂等:业务唯一键
新增要幂等,路子是 用一个 业务唯一键 去重:这行数据已经存在就别再插;相同业务的同一条 → 要么更新,要么直接忽略。
例如创建 用户报名记录 ,业务唯一键是 (user_id, activity_id) 。只要 同用户报同活动 视为同一条,就能去重:
-- 在 (user_id, activity_id) 上建立唯一索引
ALTER TABLE signup ADD UNIQUE KEY uk_user_activity (user_id, activity_id);有了唯一键,就可以用 存在则更新 / 不存在则插入 来保证即使重复 POST,也只会有一行(而不是多行)。ORM 里通常叫 upsert 或 findOrCreate :
await Signup.upsert({
userId, activityId, createdAt: new Date(),
});这里最要紧的设计选择:怎么定义 同一笔业务 ? 唯一键选得不合适,会把 两个本来不同的业务 误判成同一条;选小了,又挡不住重复。判断 同一笔 一般从这几个入手:
- 业务自然键(如订单号、交易流水号);
- 组合键(用户 + 商品 + 时间窗);
- 客户端生成的 UUID(前端在提交时生成一个稳定 ID,重复提交同一 UUID 视为同一条)。
不少系统出问题就出在 业务表上没加 唯一键 ,只能靠 先查再插 去重——可这个套路在并发下并不保险(两个请求同时查到「不存在」→ 同时插入 → 出两条)。
四、 先查再插 为什么扛不住并发,还是得靠唯一索引
很多人以为 先 SELECT 判断存在再 INSERT 就能去重 。单线程下确实可行,但在 并发/重复快速请求 面前,这个 先查后插 有严重的竞态(race condition):
请求 A:查,不存在 → 准备插入
请求 B:同时查,也不存在 → 准备插入
请求 A:INSERT 成功
请求 B:INSERT → 但唯一索引拒绝它,抛唯一键冲突看出差别了吗? 唯一索引能在数据库层面兜住 两个并发都以为不存在 的瞬间,纯应用层的 先查再插 会漏。所以:
- 把 防重的底牌交到数据库的唯一索引 上,而不是只靠应用层的 if;
- 应用层在插入时可以用
upsert/ON DUPLICATE KEY UPDATE,或捕获 唯一键冲突 异常,当 已存在 处理。
这才是 去重 真正的落地,而不是靠弱不禁风的 先查 。
五、在 批处理/后台任务 里怎么用
批量灌数据(比如把上游推来的列表落库)同样靠唯一键。常见有两种方式:
① insertMany + 唯一键冲突忽略
// 某些 ORM / raw SQL:ON DUPLICATE KEY UPDATE 当作 已存在就更新
INSERT INTO signup (user_id, activity_id, ...)
VALUES (...), (...)
ON DUPLICATE KEY UPDATE user_id = VALUES(user_id);② 命中唯一键就 UPDATE (upsert/bulkUpsert)
批量 upsert 之后,重复批次跑进来不会多出多余的行,只做原地更新, 重复拉取 / 定时重跑 都能安全兜底。
六、别忘了: 进度位 / 幂等标记 是后台任务的另一层通用解法
有时候 去重 不只是靠表唯一键,而是靠 记录上一次做到哪了 。比如同步任务,给目标行记录一个 last_synced_at 或 已计算到的时间点 ,重复执行时只处理 > 上次断点 的新数据,从根上避免重算旧数据。这本质是 增量断点 + 幂等 结合,防止后台任务重复生产重复结果。
七、自检清单
- [ ] 新增/写 场景,是否已经用 业务唯一键(db 唯一索引) 做幂等,而不只是应用层先查再插;
- [ ] 唯一键选得对(能区分 同一条业务 );
- [ ] 并发重复插入不会产生双份(靠唯一索引兜住);
- [ ] 重复同步任务有 增量断点 ,不会重复处理旧数据;
- [ ] 前端/客户端的 重复提交 能在服务端被拦截(不靠弱应用判真)。
八、小结
写库幂等,是防 重复请求搞脏数据 的根本解:
- 查/删天然幂等, POST 新增最不幂等 ;
- 让新增幂等的关键是 业务唯一键(唯一索引) ,而非应用层 先查再插 ;
- 并发重复时唯一索引会在数据库层把好最后一道关;
- 后台同步再用 增量断点 避免重复处理旧数据;
下一篇把 同一个事物拆两张表 / 合并两张表 讲清楚—— 一对多 vs 一对一,以及主表/从表怎么选。




