写库幂等与去重,别让重复请求扒你的皮

2026-10-15 180 浏览 0 评论 4055 字

订单被创建了两遍、通知发了两次、一次 同步 因为没去重把同一批数据写了两遍……这些场景背后是同一个问题: 非幂等接口被重复执行了 。这篇讲什么是幂等、哪些操作天然幂等、哪些不是,又怎么通过 业务唯一键 + upsert / 防重 保证粗心的重复不搞脏数据。重点是 幂等键怎么选、怎么落地 ,还有 POST(不幂等)和 PUT(幂等)在这种问题上为什么差别巨大。

一、幂等是什么、为什么它这么重要

幂等(Idempotency) :同一操作重复执行多次,得到的结果与执行一次一致。

  • GET /user/1 查一次、查十次,结果一样 → 幂等。
  • DELETE /user/1 删一次是删掉,再删还是删掉(目标不存在也算 达成目的 )→ 幂等。
  • POST /order 每调用一次就新增一单 → 不幂等 。

不幂等的后果很直观: 用户在网络抖动时多点了一下 提交 ,表单重复提交,库里就多出两条一模一样的记录。

幂等是写库安全的地基,少了它,任何 重试/重复点击/重复推送/脚本重跑 都可能把数据库变成 重复垃圾堆 。

二、哪些操作天然幂等,哪些不是

操作幂等吗解释
查(GET)是无副作用
覆盖更新(PUT 全量 / 按唯一键 UPDATE)大致幂等用同一套数据覆盖,重复执行结果相同
自增/累加非幂等count++ 每跑一次加一次
默认 INSERT(POST)非幂等每 POST 一次多一行
DELETE通常幂等目标不存在也视为 已达目的

最容易处理的 麻烦源头 就是 POST 新增。因为 加一条 这件事,天生重复多少次就多多少条。

三、怎么让 新增 也幂等:业务唯一键

新增要幂等,路子是 用一个 业务唯一键 去重:这行数据已经存在就别再插;相同业务的同一条 → 要么更新,要么直接忽略。

例如创建 用户报名记录 ,业务唯一键是 (user_id, activity_id) 。只要 同用户报同活动 视为同一条,就能去重:

-- 在 (user_id, activity_id) 上建立唯一索引
ALTER TABLE signup ADD UNIQUE KEY uk_user_activity (user_id, activity_id);

有了唯一键,就可以用 存在则更新 / 不存在则插入 来保证即使重复 POST,也只会有一行(而不是多行)。ORM 里通常叫 upsert 或 findOrCreate :

await Signup.upsert({
  userId, activityId, createdAt: new Date(),
});

这里最要紧的设计选择:怎么定义 同一笔业务 ? 唯一键选得不合适,会把 两个本来不同的业务 误判成同一条;选小了,又挡不住重复。判断 同一笔 一般从这几个入手:

  • 业务自然键(如订单号、交易流水号);
  • 组合键(用户 + 商品 + 时间窗);
  • 客户端生成的 UUID(前端在提交时生成一个稳定 ID,重复提交同一 UUID 视为同一条)。

不少系统出问题就出在 业务表上没加 唯一键 ,只能靠 先查再插 去重——可这个套路在并发下并不保险(两个请求同时查到「不存在」→ 同时插入 → 出两条)。

四、 先查再插 为什么扛不住并发,还是得靠唯一索引

很多人以为 先 SELECT 判断存在再 INSERT 就能去重 。单线程下确实可行,但在 并发/重复快速请求 面前,这个 先查后插 有严重的竞态(race condition):

请求 A:查,不存在 → 准备插入
请求 B:同时查,也不存在 → 准备插入
请求 A:INSERT 成功
请求 B:INSERT → 但唯一索引拒绝它,抛唯一键冲突

看出差别了吗? 唯一索引能在数据库层面兜住 两个并发都以为不存在 的瞬间,纯应用层的 先查再插 会漏。所以:

  • 把 防重的底牌交到数据库的唯一索引 上,而不是只靠应用层的 if;
  • 应用层在插入时可以用 upsert / ON DUPLICATE KEY UPDATE ,或捕获 唯一键冲突 异常,当 已存在 处理。

这才是 去重 真正的落地,而不是靠弱不禁风的 先查 。

五、在 批处理/后台任务 里怎么用

批量灌数据(比如把上游推来的列表落库)同样靠唯一键。常见有两种方式:

① insertMany + 唯一键冲突忽略

// 某些 ORM / raw SQL:ON DUPLICATE KEY UPDATE 当作 已存在就更新 
INSERT INTO signup (user_id, activity_id, ...)
VALUES (...), (...)
ON DUPLICATE KEY UPDATE user_id = VALUES(user_id);

② 命中唯一键就 UPDATE (upsert/bulkUpsert)

批量 upsert 之后,重复批次跑进来不会多出多余的行,只做原地更新, 重复拉取 / 定时重跑 都能安全兜底。

六、别忘了: 进度位 / 幂等标记 是后台任务的另一层通用解法

有时候 去重 不只是靠表唯一键,而是靠 记录上一次做到哪了 。比如同步任务,给目标行记录一个 last_synced_at 或 已计算到的时间点 ,重复执行时只处理 > 上次断点 的新数据,从根上避免重算旧数据。这本质是 增量断点 + 幂等 结合,防止后台任务重复生产重复结果。

七、自检清单

  • [ ] 新增/写 场景,是否已经用 业务唯一键(db 唯一索引) 做幂等,而不只是应用层先查再插;
  • [ ] 唯一键选得对(能区分 同一条业务 );
  • [ ] 并发重复插入不会产生双份(靠唯一索引兜住);
  • [ ] 重复同步任务有 增量断点 ,不会重复处理旧数据;
  • [ ] 前端/客户端的 重复提交 能在服务端被拦截(不靠弱应用判真)。

八、小结

写库幂等,是防 重复请求搞脏数据 的根本解:

  • 查/删天然幂等, POST 新增最不幂等 ;
  • 让新增幂等的关键是 业务唯一键(唯一索引) ,而非应用层 先查再插 ;
  • 并发重复时唯一索引会在数据库层把好最后一道关;
  • 后台同步再用 增量断点 避免重复处理旧数据;

下一篇把 同一个事物拆两张表 / 合并两张表 讲清楚—— 一对多 vs 一对一,以及主表/从表怎么选。


发布评论

发布评论前请先 登录。
0 评论
点赞
收藏

评论列表 0

暂无评论