perf(线上代发价格): 分页不再整表合并两个来源,修复页面打开超时 #844

Merged
limeng merged 1 commits from perf/online-daifa-price-pagination into main 2026-11-03 22:54:35 +08:00
Collaborator

问题

财务系统「线上代发价格」页面不加筛选直接打开,等 121 秒后 nginx 返回 504;只筛 3 天也要 7.4 秒(同时首页 0.36 秒,服务器本身正常)。

原因

DingOnlineDaifaPriceMirrorRepository::paginate() 把钉钉审批镜像和采购单镜像(Confirmed/Finished 全部明细 + 关联聚水潭订单)整表 UNION ALL 成派生表,再在上面执行三次:数总行数、算合计、按创建时间倒序取当前页。

  • 每次打开要把两张全表物化三遍;
  • 派生表带着 workflow/scheme/task 三个 JSON 大字段,临时表落盘后排序;
  • 合并后的排序用不上索引。

采购单逐月累积,页面越来越慢,现已超过网关超时。

改动(只改 DingOnlineDaifaPriceMirrorRepository.php)

  1. 筛选条件分别下推到两个来源(dingFiltered / purchaseFiltered);按商品ID筛选时直接跳过采购单,按状态筛选时跳过不符合的来源;只有按店铺/关键字筛选时采购单才关联订单表。
  2. 总数、合计按来源各算一次(钉钉一条聚合 SQL,采购单一条 COUNT)再相加。
  3. pageRows:两边各按同一排序只取前「页码×每页」条主键(只带 4 个轻量列),合并排序后截出当前页,再按主键回表取完整字段(含 JSON),只取当前页 25 行。
  4. 排序口径与原 UNION 一致:创建时间、单号(按文本)、明细序号均倒序。
  5. 成本核查(#841):auditIndex 改为直接查钉钉镜像(只取 5 个轻量列,每 500 行关联一次聚水潭订单),rowsForKeys 按流程ID回钉钉镜像取行,不再经过整表合并的派生表和逐对 OR 条件。核查口径、缓存不变。
  6. 导出 exportRows 保持原逻辑不变。

无数据库迁移。

验证

  • 新增 tests/Unit/EcommerceFinance/OnlineDaifaPricePaginationTest:钉钉 + 采购单混合数据(含同一时间、9001/10001 文本排序、空创建时间、作废单),9 组筛选,逐页拼接后与原整表合并口径(导出顺序)逐行一致,总数和各项合计一致;回表字段完整。
  • 原有 OnlineDaifaPurchaseMirrorRepositoryTest、OnlineDaifaShipSkuLabelsTest、OnlineDaifaPricePageTest 、OnlineDaifaCostAuditTest 全部通过(共 25 tests,198 assertions,基于 main 0dc4a5f5)。

上线后请不加筛选打开页面确认能在几秒内出来。

🤖 Generated with Claude Code

https://claude.ai/code/session_011cBxkFefW6vFavQ9orvrfw

## 问题 财务系统「线上代发价格」页面不加筛选直接打开,等 121 秒后 nginx 返回 **504**;只筛 3 天也要 7.4 秒(同时首页 0.36 秒,服务器本身正常)。 ## 原因 `DingOnlineDaifaPriceMirrorRepository::paginate()` 把钉钉审批镜像和采购单镜像(Confirmed/Finished 全部明细 + 关联聚水潭订单)**整表 UNION ALL 成派生表**,再在上面执行三次:数总行数、算合计、按创建时间倒序取当前页。 - 每次打开要把两张全表物化三遍; - 派生表带着 workflow/scheme/task 三个 JSON 大字段,临时表落盘后排序; - 合并后的排序用不上索引。 采购单逐月累积,页面越来越慢,现已超过网关超时。 ## 改动(只改 DingOnlineDaifaPriceMirrorRepository.php) 1. 筛选条件分别下推到两个来源(`dingFiltered` / `purchaseFiltered`);按商品ID筛选时直接跳过采购单,按状态筛选时跳过不符合的来源;只有按店铺/关键字筛选时采购单才关联订单表。 2. 总数、合计按来源各算一次(钉钉一条聚合 SQL,采购单一条 COUNT)再相加。 3. `pageRows`:两边各按同一排序只取前「页码×每页」条主键(只带 4 个轻量列),合并排序后截出当前页,再按主键回表取完整字段(含 JSON),只取当前页 25 行。 4. 排序口径与原 UNION 一致:创建时间、单号(按文本)、明细序号均倒序。 5. 成本核查(#841):`auditIndex` 改为直接查钉钉镜像(只取 5 个轻量列,每 500 行关联一次聚水潭订单),`rowsForKeys` 按流程ID回钉钉镜像取行,不再经过整表合并的派生表和逐对 OR 条件。核查口径、缓存不变。 6. 导出 `exportRows` 保持原逻辑不变。 无数据库迁移。 ## 验证 - 新增 `tests/Unit/EcommerceFinance/OnlineDaifaPricePaginationTest`:钉钉 + 采购单混合数据(含同一时间、9001/10001 文本排序、空创建时间、作废单),9 组筛选,逐页拼接后与原整表合并口径(导出顺序)逐行一致,总数和各项合计一致;回表字段完整。 - 原有 `OnlineDaifaPurchaseMirrorRepositoryTest`、`OnlineDaifaShipSkuLabelsTest`、`OnlineDaifaPricePageTest` 、`OnlineDaifaCostAuditTest` 全部通过(共 25 tests,198 assertions,基于 main 0dc4a5f5)。 上线后请不加筛选打开页面确认能在几秒内出来。 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_011cBxkFefW6vFavQ9orvrfw
limeng added 1 commit 2026-11-03 22:54:27 +08:00
页面每次打开都要把钉钉审批镜像和采购单镜像整表 UNION 成派生表,
再在上面数总数、算合计、排序取页,共物化三遍(连同审批 JSON 一起
落盘排序),不加筛选时超过 120 秒,nginx 返回 504。

改为筛选条件分别下推到两个来源;总数和合计按来源各算一次再相加;
两边各按同一排序只取前 页码×每页 条主键,合并后截出当前页;
只给当前页的行回表取完整字段。
成本核查索引和按核查结果筛选改为直接查钉钉镜像,不再经过整表合并。
排序、筛选、合计口径与原先一致(新增测试以导出顺序为对照逐页比对)。导出保持原逻辑。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_011cBxkFefW6vFavQ9orvrfw
limeng merged commit f62ce3fbc6 into main 2026-11-03 22:54:35 +08:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: WuYongJie/CaiWuXiTong#844
No description provided.