48 Commits

Author SHA1 Message Date
4c2c422c78 feat(普通商品资料): 聚水潭成本价记录改为镜像快照比对
- 副本库 rpt.jst_sku 一商品一行、无历史;开放平台操作日志接口暂无授权
- 新增 JushuitanCostPriceSnapshotDiffer:ops_jst_sku 当前成本价与快照比对,
  变化写入 jushuitan_cost_price_history_rows(变更前/后/差额,时间取聚水潭 modified)
- 新表 jushuitan_cost_price_snapshots(迁移 + 运行时幂等建表)
- business-mirror:sync-jushuitan-cost-price-history 默认走 snapshot,
  JUSHUITAN_COST_PRICE_HISTORY_SOURCE=open_api 可切回接口
- 生产 cron 由每日 00:00 改为每 10 分钟
- 页面“聚水潭成本价记录”列显示最近一次变价(前→后 · 时间)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_0192A1X1EDtdzpaAVMhBj2nh
2026-10-08 11:04:26 +08:00
f06380bcd0 fix(发货数据): 两种导出模式对齐工作平台取值逻辑
按工作平台 OmsDataDay 源码 + 9.1-9.16 逐单对比反推,合并/明细基础信息一致率均达 99.9% 以上。

取数范围
- 换单配对:快递明细旧单号在出库单查不到时,配同订单下未被占用的出库单新单号
- 作废重出:同单号/同订单多张出库单时优先有效单、再取最新 io_date
- 订单已取消/已拆分/已合并的快递明细不出行;订单标签含"线上发货"同样排除
- 合包/拼单:按 单号+订单号 定位出库单;同单号不同交易单号的出库单照常补出
- 发货明细无单号:出库单单号 -> 订单单号 -> 空,不再借运费表里其它包裹单号
- 自动发货仓虚拟/补差单:单号已被别的包裹输出则留空
- @ 去重只在同一交易单号、本次同步时间段内比对,剩余 @ 前缀统一去掉

字段取值
- 发货时间取出库单 io_date;平台取视图 shop_site(无则映射);省市区取视图
- 合并商品名称/供应商取包裹内最后一个商品(原为 MIN);名称 & 转 ^
- 明细体积:数量×长×宽×高,代发仓非标准承运商不乘数量,指定快递为 0(config detail_volume)
- 组合件合并值单独存 m_* 列(新迁移),合并导出优先使用
- 仓库 {未指定发货仓} 导出为空;明细 0 尺寸/体积导出为空

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014nvGZkg27YMEdhry6eiuwf
2026-10-07 09:14:31 +08:00
067102ab15 feat(发货数据): 商品来源改为出库实发(发货数据视图),对齐工作平台
- 商品来源从「下单商品 jst_OrderItem」改为「出库实发商品」:按出库单 io_id
  关联发货数据视图 Jst_SendData_View_extension 取实发条码/数量,jst_OrderItem/dws
  仅作兜底。消除组合/多规格包裹的多吐行与数量错误。
- 长宽高/体积/供应商/重量优先取自发货视图(体积=长×宽×高,整箱算一次)。
- 导出明细:多条码(逗号拼接)按条码拆条,数量/体积按条码数均摊,合并求和后与整行一致。
- 去除以 @ 开头、去@后已存在的重复单号(换单/重拉产生)。
- 发货单查询改为按主键翻页 + PHP 窗口过滤,避免 send_time 无索引全表扫。
- 逐天预载 dws,进度回调输出扫描/命中进度。

新增命令:jst:dump(导出对比CSV)、jst:row(抽查单号)、jst:dedup-at(去@重复)。

9.1-9.16 全量对比:共有 19.3 万包裹,数量/名称/条码/体积/供应商等字段一致率 99.9%;
导出明细件数结构 99.87% 一致。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014nvGZkg27YMEdhRy6EiUwf
2026-09-23 17:02:53 +08:00
2a1b663da2 feat(发货数据): 合并/明细双模式,还原工作平台 导出/导出明细
- 同步改为"一个发货单×每件商品一行"(明细底座);新增 pkg_count 列存"1/N"件数
- 体积=数量×长×宽×高;包裹级(实称重量/运费)仅落首件,合并求和不重复
- 仓储 paginate/exportRows 支持 mode:
  合并=按 source_id 归并(条码/商品ID逗号拼接、数量/重量/体积/金额/运费求和、长宽高取最大、其余取值);
  明细=每件一行
- 页面加"合并/明细"切换 + 两个导出(导出/导出明细) + 件数列
- 同步内存加固(1.5G、关本地查询日志、每批释放+gc),避免全量 OOM

实测:包裹199602/明细222311,多件包裹11667,补差0;
7件样例合并体积=各件求和、运费不重复、明细每行1/7。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014nvGZkg27YMEdhRy6EiUwf
2026-09-21 07:49:26 +00:00
8cae97df0d fix(发货数据): 对齐工作平台口径并补足两边差异
- 确认基表为发货明细 jst_order_express_details(聚水潭发货单dlv镜像)
- 快递单号回落: logistic_id -> jst_Orders.l_id -> 运费表 expressNo
- 发货时间 send_time 缺失时回落 jst_Orders.send_date(修滞后单)
- 并入自动发货仓(jst_Orders已发货但不在发货明细表), 约2179条
- 剔除补差虚拟单(商品名含 补收差价/差价专用)
- 窗口重跑先按发货时间删旧行再重建, 批量 insertOrIgnore 提速
- 每日 01:28 滚动同步 --days=3

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_014nvGZkg27YMEdhRy6EiUwf
2026-09-21 03:11:31 +00:00
41d80e4056 feat: add jushuitan cost price history 2026-09-15 09:21:09 +08:00
Codex
df14f627f3 feat: 接入提现管理及每日店铺余额 2026-09-14 11:38:56 +08:00
30ac6a39c0 修复抖音收款账户与胜算月度明细差异 (#178) 2026-09-14 11:02:29 +08:00
179b2cdbcc 接入并校准三方仓进销存 (#176)
新增三方仓进销存共享镜像、按日查询汇总导出、每日零点增量同步和权威历史锚点校准。
2026-09-12 20:29:43 +08:00
5e5ed83449 导入阿里巴巴账户余额快照 (#159) 2026-09-11 12:25:36 +08:00
b66f223ebb 修复账单冲减取数和工单加载,整合快递页面上线 (#141) 2026-09-09 14:04:43 +08:00
284ba38337 取消共享镜像接入与同步的重复人工审批 (#138) 2026-09-09 12:05:38 +08:00
46107e196f 发布小额打款索引修复与线上代发价格 (#134) 2026-09-09 10:46:17 +08:00
b5d87eae35 feat: add bill offset mirror page and export 2026-09-08 13:09:23 +08:00
a851bbe5a7 fix: spool parquet archives before upload (#106) 2026-09-07 12:56:31 +08:00
7c6bf6757d fix: flatten business data plan table stats (#105) 2026-09-07 12:50:09 +08:00
be670ad988 feat: stage tiered business data storage (#104) 2026-09-07 11:55:37 +08:00
59a984d32a feat: add callback-free eSign status polling 2026-09-02 16:07:16 +08:00
d95dc675a2 fix: materialize daily store report totals 2026-09-01 12:59:03 +08:00
d62ad27d0f fix: centralize shared business data and remove local sqlite path 2026-09-01 11:34:37 +08:00
eee227711d fix: share store report bill data through business mirror 2026-09-01 09:15:17 +08:00
298632003b 修复开发机共享连接不跟随团队服务器迁移 (#90) 2026-08-31 19:43:03 +08:00
c44d178799 统一多数据库接入、声明式镜像及接入配置修复 (#87) 2026-08-31 18:49:00 +08:00
8cbd1f21be 修正新人临时引导库与共享数据库接入状态的误判 (#86) 2026-08-31 17:50:42 +08:00
10ae05d2da 接入钉钉应付仓库车费流程 (#80) 2026-08-29 09:34:07 +08:00
ac708cb7a9 排除普通商品历史残留记录 (#78) 2026-08-25 15:34:39 +08:00
d87ca96593 普通商品增加1688代发采购单价来源 (#74)
保留并标注普通商品采购价,接入已完成1688代发采购单价的只读共享业务镜像。
2026-08-21 14:49:16 +08:00
1993996a96 普通商品与聚水潭同步一致性 (#64) 2026-08-15 19:10:52 +08:00
6b2b486ce1 建立全项目上游业务镜像框架 (#53)
## 任务占用与边界

- 任务名称:全项目上游业务镜像目录与通用同步框架
- 实际开发者:WuYongJie
- 目标结果:登记当前代码实际使用的上游原表,提供低压、可断点的首次全量、增量重叠和全量校准框架。
- 实际修改:13 个文件;新增通用数据集目录、动态镜像建表、同步状态、同步命令、生产低压轮询、测试和团队清单。
- 将写入的公共契约:`business_mirror_table_states`、`business-mirror:sync-tables`、`BusinessMirrorDatasetRegistry`、`BusinessMirrorSchemaManager`。
- 仅复用、明确不修改:`UpstreamReadOnlyQueryFactory`、`upstream_schema_columns`、既有 `product_price_mirror_rows`。
- 明确不包含:本 PR 不切换其余业务页面 Repository,不执行生产迁移或首次全量,不提交真实业务数据或凭据。

## 合并前自审

- [x] 已重新拉取最新 `origin/main`,分支仅领先 1 个提交
- [x] `git merge-tree --write-tree origin/main HEAD` 无冲突
- [x] 完整 diff 共 13 个文件,未发现越界文件或敏感内容
- [x] 生产共享数据字典核对 38 个数据集,缺失对象/字段为 0
- [x] 临时 MariaDB 空库迁移实测成功,验证库已删除
- [x] 上游异常空结果不会清空已有镜像
- [x] 定时任务只轮转已完成首次全量的数据集,不会自动扫描未初始化大表

## 测试

- `BusinessMirrorSynchronizerTest` 等相关测试:14 tests / 65 assertions 全通过
- 新同步器专项:5 tests / 25 assertions 全通过
- 新增 PHP 文件语法检查全部通过
- 两份生产激活脚本 `bash -n` 通过
- `git diff --check` 通过

## 风险与回滚

- 包含新增迁移,但发布脚本遇到迁移仍会要求独立高风险授权;合并本身不会执行生产迁移。
- 首次全量必须逐数据集显式执行并做数量/翻页/筛选验收,特别是约 280 万行的大表不得随发布自动全扫。
- 回滚代码可回退本合并提交;生产迁移执行前必须备份 `caiwu_system_config` 与 `caiwu_business_mirror`。

Reviewed-on: http://git.1080p.hk/WuYongJie/CaiWuXiTong/pulls/53
2026-08-14 16:38:33 +08:00
e08cfca1e9 feat: add shared product price business mirror 2026-08-14 15:21:49 +08:00
da9c3cbf88 fix: 容忍七牛对象删除传播延迟 (#42)
对象删除后进行有限重试确认,持续存在仍失败回滚,并覆盖最终一致性边界测试。
2026-08-13 12:35:06 +08:00
31ce9abd33 店铺收款账户账单淘系支付宝附件数据 (#36) 2026-08-13 00:42:08 +08:00
8f978d522c fix: 隔离单个上游快照刷新失败
单条查询失败时继续刷新同一来源的后续页面,并保留失败状态。
2026-08-03 19:15:19 +08:00
3317fda227 修复:系统数据库验证兼容生产上游隧道 2026-07-30 16:20:49 +08:00
85f3db56ce 合并:本地共享数据库验证与原材料数据页面 2026-07-30 16:11:38 +08:00
58528c16b9 fix: 分离程序资源与七牛业务文件存储 2026-07-27 13:39:15 +08:00
98c17ea36b 修复:自动更新本机引导库并隔离共享迁移 2026-07-24 20:45:09 +08:00
d9590ae28d 功能:增加共享上游数据字典和后台取数中转 2026-07-24 18:20:33 +08:00
d9e5b5246c 修复:移除系统数据库接入权限阻塞 2026-07-24 16:54:29 +08:00
49e507b7e2 修复:简化系统数据库接入并统一容器权限 2026-07-24 16:30:16 +08:00
387b44426d 功能:按需共享上游查询快照 2026-07-24 13:40:03 +08:00
9a65836e3f 修复:完善本地初始化与共享系统数据库切换 2026-07-24 12:18:01 +08:00
eabadc200f 简化:开发环境使用本机云数据库密码 2026-07-22 20:53:58 +08:00
a390d50b16 修复:共享系统库云数据库密码解密 2026-07-22 19:52:23 +08:00
274513598a 架构:支持多上游数据库安全接入 2026-07-22 12:24:58 +08:00
809d6c5975 优化:异步刷新上游财务数据快照 2026-07-22 10:25:52 +08:00
49f9770785 优化:限制上游数据库查询频率 2026-07-21 23:13:25 +08:00
9595267ee7 chore: 导入 Akaunting 初始源码与团队协作规则
Some checks failed
Tests / PHP 8.1 (push) Has been cancelled
Tests / PHP 8.2 (push) Has been cancelled
Tests / PHP 8.3 (push) Has been cancelled
2026-07-20 18:20:25 +08:00