取消共享镜像接入与同步的重复人工审批 (#138)
This commit is contained in:
parent
784e82b0a2
commit
284ba38337
@ -27,7 +27,7 @@
|
||||
- 提交前检查 `git status`、实际 diff 和暂存区，只提交当前任务文件；不得带入 `.env`、凭据、日志、构建产物或他人的改动。
|
||||
- PR 说明做了什么、修改文件、验证结果，以及是否涉及金额、权限、数据库或配置。小型低风险任务不要求冗长模板说明。
|
||||
- 任务 Codex 在需求满足、相关测试通过且完整 diff 自审无误后，可直接执行 Squash merge、验证远程 `main` 并清理已合并分支，不需要另一位开发者或负责人再次操作。
|
||||
- 普通代码发布在相关验证通过、完整 diff 自审并合并到最新 `main` 后，由任务 Codex 直接部署和验收，无需另行取得部署授权。生产迁移、数据修复、删除或覆盖配置仍需单独明确授权，不能因为代码已合并而自动执行。
|
||||
- 普通代码发布在相关验证通过、完整 diff 自审并合并到最新 `main` 后，由任务 Codex 直接部署和验收，无需另行取得部署授权。上游接入和共享镜像同步按第 6 节自主完成；除此之外的生产迁移、数据修复、删除或覆盖配置仍需单独明确授权。
|
||||
|
||||
## 4. 验证要求
|
||||
|
||||
@ -50,7 +50,7 @@
|
||||
|
||||
- 密码、Token、SSH 私钥、数据库连接串、真实财务数据和生产日志不得进入 Git、PR 或公开文档。
|
||||
- 需要长期保存的敏感信息写入被 Git 忽略的 `runtime/private/敏感信息.md`；写入前用 `git check-ignore` 确认。负责人明确要求时，可在当前一对一对话提供指定范围的敏感信息，但不得扩大传播。
|
||||
- 生产数据库写入、迁移、删除、批量导入和凭据轮换必须先说明影响，准备备份或回滚，并取得明确授权。普通本地只读排查和有限业务查询不需要额外审批。
|
||||
- 本任务所需的上游只读排查、数据字典刷新、数据集登记和启用、共享镜像建表及索引迁移、首次全量、增量、历史回补和镜像校准，由开发者的 Codex 自主完成，无需负责人逐次授权或代执行。Codex 自行核对来源与范围、备份受影响的配置/镜像及同步状态，使用生产同步节点和现有互斥锁分批执行，并核对源数据、完成状态与真实页面；不把这些工作转交给新人。可从上游重建的镜像修复属于此范围；上游写入、原始业务/财务数据修改、无关数据删除、凭据轮换和覆盖生产连接配置仍需单独授权。
|
||||
- `caiwu_system_config` 保存用户、权限、设置、连接资料、数据字典和同步状态；`caiwu_business_mirror` 保存项目已正式接入的上游业务数据。二者不是 SQL Server 网络代理。
|
||||
- 上游数据库统一按只读黑盒处理。业务查询使用固定、参数化的 Repository/查询执行器，禁止把用户输入拼成 SQL 或执行写操作。
|
||||
- 正式页面优先读取共享业务镜像；尚未迁移的旧页面可继续使用现有快照兼容层。接入新数据时沿用现有镜像数据集、稳定游标、断点同步和同步状态模式，不另造一套链路。
|
||||
@ -68,7 +68,7 @@
|
||||
- Windows 开发机统一使用 `scripts/deploy-from-workstation.ps1`。服务器只运行开发机已构建的 `caiwu_akaunting:<commit>` 镜像，禁止在服务器执行 Composer、npm 或 Docker 构建。
|
||||
- 新人只需表达部署需求；Codex 使用默认生产入口运行脚本。首次通过本机窗口提供一次服务器密码后，加密保存在本人电脑供后续自动使用，不要求新人准备私钥、执行命令或每次重输密码。已有私钥认证仍兼容。
|
||||
- 当前生产入口为 `https://caiwu.jiansuntuzhi.cn:8442`；公网仍只使用 `8442`，日常发布不得改成无端口地址。
|
||||
- 发布脚本检测到新增数据库迁移时必须停止，取得负责人明确授权并完成备份后才能使用迁移开关。
|
||||
- 发布脚本检测到新增数据库迁移时，由 Codex 核对全部待执行迁移。仅涉及本任务共享镜像建表、字段、索引和同步登记的迁移，完成备份后自主使用 `-AllowMigrations`；其他迁移仍按第 6 节确认授权。不能因需要迁移开关就把镜像接入停给负责人。
|
||||
- 容器内 Laravel 命令使用 `www-data`。发布后只需确认部署 SHA、应用容器健康、受影响的真实页面/接口、迁移是否执行，以及当前和上一版镜像可回滚。
|
||||
- 程序静态资源随应用镜像同源发布；七牛只存用户上传的业务图片、票据和附件。
|
||||
- 只有本地初始化、服务器维护、生产发布或数据库迁移任务需要读取 `docs/开发与部署SOP.md` 的对应章节；普通功能开发无需加载整份 SOP。
|
||||
|
||||
@ -15,10 +15,10 @@ class RegisterBusinessMirror extends Command
|
||||
{--keys= : 逗号分隔的稳定唯一键}
|
||||
{--columns= : 逗号分隔的明确同步字段，必须包含稳定键及增量字段}
|
||||
{--watermark= : 可靠更新时间字段；留空为仅按主键追加}
|
||||
{--enable-sync : 启用并批准可断点首次同步及后续增量}
|
||||
{--enable-sync : 启用可断点首次同步及后续增量}
|
||||
{--disable-sync : 停用此数据集的自动同步，保留镜像数据}';
|
||||
|
||||
protected $description = '登记声明式镜像数据集；生产启用前需获得同步范围授权';
|
||||
protected $description = '登记声明式镜像数据集；核对范围并备份后可直接启用同步';
|
||||
|
||||
public function handle(BusinessMirrorDatasetRegistry $datasets, UpstreamSourceRegistry $sources): int
|
||||
{
|
||||
|
||||
@ -58,7 +58,7 @@ class SyncProductCatalogMirror extends Command
|
||||
}
|
||||
|
||||
if ($result['status'] === 'requires_full_sync') {
|
||||
$this->warn('普通商品尚未完成首次全量同步，需经授权后显式使用 --full。');
|
||||
$this->warn('普通商品尚未完成首次全量同步，请完成备份后显式使用 --full。');
|
||||
|
||||
return self::SUCCESS;
|
||||
}
|
||||
|
||||
@ -42,7 +42,7 @@ class SyncProductPurchasePriceMirror extends Command
|
||||
}
|
||||
|
||||
if ($result['status'] === 'requires_full_sync') {
|
||||
$this->warn('采购单价尚未完成首次全量同步，需经授权后显式使用 --full。');
|
||||
$this->warn('采购单价尚未完成首次全量同步，请完成备份后显式使用 --full。');
|
||||
|
||||
return self::SUCCESS;
|
||||
}
|
||||
|
||||
@ -118,7 +118,7 @@ Codex 在合并前必须进入一次独立自审，不得直接沿用开发阶
|
||||
请进入独立的合并前自审，不要直接沿用开发阶段的完成结论。重新 fetch、读取原始需求和验收标准，并以 origin/main...当前任务分支的完整 diff 为准逐文件审核。检查工作区、WIP 状态、修改边界、公共契约、远程支线重叠、敏感内容、测试证据和目标 main。条件全部满足后，使用 Squash merge 合并到 main，核对远程 main 已包含目标改动，再验证实际页面或接口并删除已合并任务分支。禁止强推；如有冲突、测试失败、自审不通过或涉及尚未授权的生产迁移/数据操作，立即停止并报告。
|
||||
```
|
||||
|
||||
日常 PR 自审、合并、主线验证、普通代码部署与验收和分支清理由任务开发者的 Codex 完成，不需要另一位开发者或项目负责人参与，也无需另行取得普通部署授权。开发者不手工执行 Git 合并命令，也不能绕过 PR；用户明确要求暂不上线时遵循其范围。涉及生产迁移、数据修复、删除或覆盖配置时，继续执行仓库现有高风险授权规则。
|
||||
日常 PR 自审、合并、主线验证、普通代码部署与验收和分支清理由任务开发者的 Codex 完成，不需要另一位开发者或项目负责人参与，也无需另行取得普通部署授权。开发者不手工执行 Git 合并命令，也不能绕过 PR；用户明确要求暂不上线时遵循其范围。本任务上游接入、共享镜像迁移、首次全量、回补和校准由 Codex 自主完成备份、执行与验收，无需负责人重复授权或代操作；其他生产迁移、数据修复、删除或覆盖配置继续按 `AGENTS.md` 执行。
|
||||
|
||||
## PR 落后或发生冲突
|
||||
|
||||
|
||||
@ -70,13 +70,13 @@
|
||||
1. 首次全量只能通过 `business-mirror:sync-tables <dataset> --full` 显式启动；失败或中断后使用同一命令继续。
|
||||
2. 日常任务只处理已经完成首次全量的数据集。存在可靠更新时间的表使用 48 小时重叠窗口；没有可靠更新时间的表按稳定主键追加。`rpt.jst_sku` 由普通商品专用任务每分钟优先处理，每轮默认最多 5 批、每批 1000 行，不再参加通用数据集轮转。
|
||||
3. 全量校准使用新的同步代次，只有全部完成后才删除镜像中本轮未出现的旧行，因此中途失败不会清空当前可用数据。
|
||||
4. 普通商品在最近完整校准超过 168 小时后，于周日 02:00-08:00 低峰窗口启动全量校准；一旦启动，后续每分钟从稳定游标继续，直至完整结束。首次全量仍必须显式授权，不能由定时任务自行启动。
|
||||
4. 普通商品在最近完整校准超过 168 小时后，于周日 02:00-08:00 低峰窗口启动全量校准；一旦启动，后续每分钟从稳定游标继续，直至完整结束。首次全量由 Codex 备份后自主执行，定时任务保持既有初始化开关。
|
||||
5. 除专用数据集外，通用任务每轮默认只处理 1 个数据集、每个数据集 2 批，每批 500 行，避免同时压迫两个旧系统。
|
||||
6. 页面切换必须以“总记录数、第一页、第二页、末页、筛选、汇总、空数据和更新时间”作为验收，不能只看首页有数据。
|
||||
7. 普通商品的采购单价同步以采购主表 `updateTime` 加明细 `Id` 作为稳定游标；页面按商品编码选择最近完成的 1688 一键代发价格。同步保存全部状态，使完成单后续取消时也能撤回旧价格；首次全量前只显示普通商品自身采购价。
|
||||
8. 聚水潭官方接口尚未接入时，普通商品历史残留排除由负责人提供的最新完整 XLSX 导出刷新。只排除“导出生成前已创建、但导出中缺失”的镜像行，导出生成后的新增商品保持可见。导入使用新同步代次，只有完整解析成功才原子替换排除表；中断或错误保留上一版。后续接入聚水潭官方“普通商品资料查询”及删除/恢复记录后，由官方接口取代人工导出校准。
|
||||
9. 店铺维度报表是已批准的中央专用数据集：生产节点按 `Id` 断点推进并回看最近 50000 行；原始账单同步后增量维护按店铺/日期汇总的 `store_report_daily_rows`，页面不得现场扫描千万级原始账单。开发机不运行刷新 worker。
|
||||
10. `operations_replica.rpt.jst_originalBillInfo` 是供多个业务功能复用的原始账单镜像。首次同步必须单独授权并在低峰期分批续传；部署、页面请求和普通开发机均不得自动启动。同步完成后，开发者通过固定 Repository 查询 `ops_jst_original_bill_info`，不得各自创建整表快照。
|
||||
10. `operations_replica.rpt.jst_originalBillInfo` 是供多个业务功能复用的原始账单镜像。首次同步由 Codex 备份后自主安排在生产同步节点低峰期分批续传，无需另行授权；页面请求和普通开发机不启动刷新 worker。同步完成后，开发者通过固定 Repository 查询 `ops_jst_original_bill_info`，不得各自创建整表快照。
|
||||
|
||||
## 后续切换顺序
|
||||
|
||||
@ -102,7 +102,7 @@ php artisan business-mirror:sync-tables operations_replica.rpt.work_order_form_c
|
||||
php artisan business-mirror:sync-tables operations_replica.rpt.work_order_form_value --full
|
||||
```
|
||||
|
||||
聚工单“小额打款”两个数据集同样必须在备份和负责人首次写入授权后分别执行全量同步；页面不会在 HTTP 请求中回退直连 `jiansun`：
|
||||
聚工单“小额打款”两个数据集由 Codex 备份后自主分别执行全量同步；页面不会在 HTTP 请求中回退直连 `jiansun`：
|
||||
|
||||
```bash
|
||||
php artisan business-mirror:sync-tables jiansun.dbo.jst_workOrderInfo --full
|
||||
|
||||
@ -29,7 +29,7 @@
|
||||
|
||||
服务器永远不构建源码。
|
||||
|
||||
普通代码发布在相关验证通过、自审并合并到最新 `main` 后，由任务 Codex 按本 SOP 直接部署并验收，无需用户再次授权部署；用户明确要求暂不上线时遵循其范围。数据库迁移、数据修复、删除和覆盖配置仍按 `AGENTS.md` 的授权边界执行。
|
||||
普通代码发布在相关验证通过、自审并合并到最新 `main` 后，由任务 Codex 按本 SOP 直接部署并验收，无需用户再次授权部署；用户明确要求暂不上线时遵循其范围。本任务所需的共享镜像接入、迁移和同步由 Codex 按 `AGENTS.md` 自主完成；其他数据库迁移、数据修复、删除和覆盖配置仍按其授权边界执行。
|
||||
|
||||
## 2. 每台开发机只做一次的设置
|
||||
|
||||
@ -132,7 +132,7 @@ git pull --ff-only
|
||||
|
||||
默认禁止自动迁移。脚本发现上次部署后新增了 `database/migrations` 文件时会停止。
|
||||
|
||||
只有负责人明确批准、PR 已写清影响与回滚思路后，才允许：
|
||||
Codex 先核对全部待执行迁移，并准备受影响数据的备份与回滚。仅涉及本任务共享镜像建表、字段、索引和同步登记时，自主执行以下命令，无需负责人另行批准；其他迁移仍按 `AGENTS.md` 的授权边界执行：
|
||||
|
||||
```powershell
|
||||
.\scripts\deploy-from-workstation.ps1 `
|
||||
@ -140,7 +140,7 @@ git pull --ff-only
|
||||
-AllowMigrations
|
||||
```
|
||||
|
||||
镜像回滚不能自动撤销已经执行的数据库结构变更，因此迁移授权必须单独处理。
|
||||
应用镜像回滚不能自动撤销数据库结构变更；Codex 必须为本次迁移保留对应的数据备份和恢复路径。
|
||||
|
||||
## 7. 测试分支发布
|
||||
|
||||
@ -154,7 +154,7 @@ git pull --ff-only
|
||||
|
||||
## 8. 多上游财务数据库同步
|
||||
|
||||
新数据库和新数据集优先使用 [通用上游数据接入](通用上游数据接入.md)：来源由连接记录自动登记，已批准的声明式数据集由调度自动首次同步和增量同步。下面的固定来源、逐项 `--full` 和旧快照说明适用于既有兼容路径，不应当作为新增普通开发任务的重复审批要求。
|
||||
新数据库和新数据集优先使用 [通用上游数据接入](通用上游数据接入.md)：来源由连接记录自动登记，已启用的声明式数据集由调度自动首次同步和增量同步。下面的固定来源、逐项 `--full` 和旧快照说明适用于既有兼容路径，不应当作为新增普通开发任务的重复审批要求。
|
||||
|
||||
### 8.1 统一接入边界
|
||||
|
||||
@ -236,7 +236,7 @@ php artisan business-mirror:sync-tables
|
||||
|
||||
完整数据集、来源对象、镜像表和分阶段切换状态见 `docs/上游业务镜像清单.md`。不得把“已登记同步目录”误报成“页面已经切换完成”；每个业务域仍需在首份全量核对通过后，把对应 Repository 改为只读镜像。
|
||||
|
||||
首次 `--full` 属于生产数据写入，必须先备份 `caiwu_system_config` 和 `caiwu_business_mirror`，并由负责人明确授权。已经在发布说明中批准自动初始化的中央专用数据集，由生产节点在迁移授权后小批量续传；普通开发者不配置、不启动也不审批这些任务。后续无参数命令只执行或继续受控增量。
|
||||
首次全量、历史回补和镜像校准由任务 Codex 自主执行：先备份受影响的系统配置、镜像表及同步状态，再在生产同步节点内使用现有上游互斥锁，按稳定游标分批执行或续传 `--full`，直至完成并核对源表/镜像和实际页面。无需负责人另行授权或代跑命令；开发机驱动不支持时直接通过 SSH 使用生产容器，不以本机不能同步为由停止任务。后续无参数命令只执行或继续受控增量，不对无关数据集批量全量。
|
||||
|
||||
### 8.3 开发者需要尚未接入的上游数据时
|
||||
|
||||
@ -272,7 +272,7 @@ php artisan upstream:schema:sync operations_replica
|
||||
3. **登记同步契约**：定义稳定且可审查的数据集键、上游业务键、同步游标、重叠窗口和镜像表。参数必须有限制，批次必须有稳定排序和行数上限；
|
||||
4. **分支内完成自动测试**：使用脱敏 fixture 或测试替身验证正常、空数据和不可用状态；开发机能够直连时，通过通用只读入口或新 Repository 用少量真实只读数据验证，不得在测试、日志或截图中输出凭据和敏感业务行；
|
||||
5. **本地直接验证**：开发阶段可以直接执行固定只读查询确认数据；正式页面测试使用隔离镜像库 fixture，不依赖负责人环境；
|
||||
6. **生产首次同步**：代码审查和测试通过后合并到 `main`；经数据库写入授权后创建镜像表并执行可断点的首次全量；
|
||||
6. **生产首次同步**：代码审查和测试通过后合并到 `main`；由 Codex 完成受影响数据备份后自主创建镜像表并执行可断点的首次全量；
|
||||
7. **完成共享验收**：确认同步状态成功、镜像总数和筛选计数与上游限定查询一致，第二页或末页可读；随后从第二个应用实例读取相同镜像，并证明页面没有再次访问上游；
|
||||
8. **发现压力立即收口**：慢查询、返回量异常或上游告警时，先从共享记录移除该精确范围并保留证据，再缩小字段、时间窗或分页。禁止通过提高并发、扩大 `*` 或全表扫描解决。
|
||||
|
||||
|
||||
@ -22,7 +22,7 @@ php artisan business-mirror:register database_17 public example_orders \
|
||||
--keys=id --columns=id,updated_at,label --watermark=updated_at
|
||||
```
|
||||
|
||||
登记默认不启动同步。生产首次同步涉及系统库登记和业务镜像表创建/写入，应先说明精确字段、批次、影响及备份，再取得负责人授权。授权后对同一声明追加 `--enable-sync`，生产调度即可自动完成或续传首次全量，完成后转为增量；不再为每次部署、分页、筛选重新审批或生成快照。`--disable-sync` 停止后续自动执行，保留已有镜像。
|
||||
登记默认不启动同步。Codex 根据当前功能需求核对精确字段、批次和影响，备份受影响的配置、镜像与同步状态后，自主对同一声明追加 `--enable-sync`；生产调度即可自动完成或续传首次全量，完成后转为增量，无需负责人另行授权。登记和启用均由 Codex 执行，不让新人处理开关或命令。`--disable-sync` 停止后续自动执行，保留已有镜像。
|
||||
|
||||
声明式登记不能覆盖代码维护的数据集，也不能悄悄修改已有声明的稳定键、字段和增量口径；此类变化需评估历史数据/游标兼容性。来源表没有可靠更新时间时只按主键追加，不能承诺自动发现历史修改或删除，需另行声明校准策略。
|
||||
|
||||
@ -46,12 +46,12 @@ php artisan business-mirror:register database_17 public example_orders \
|
||||
|
||||
通用调度默认每轮最多8个数据集、30秒周期预算；未完成窗口与常规数据集交替处理，单数据集默认8秒软预算，积压任务默认最多6批。预算在批次之间检查，单条查询仍受驱动超时限制；不提高上游并发。失败任务至少冷却5分钟。专用商品/价格/钉钉调度保持既有路径。
|
||||
|
||||
只对明确批准的登记数据集自动首次同步；既有代码数据集仍保留原首次授权流程。未完成的旧页面切换不等于已经上线，必须逐页验收并与正在开发的 PR 协调。
|
||||
调度只对已启用的登记数据集自动首次同步；`initial_sync_approved` 是兼容保留的初始化开关，由 Codex 使用 `--enable-sync` 一并设置，不代表需要负责人审批。既有代码数据集由 Codex 自主在生产同步节点执行对应的 `--full`，沿用互斥锁、分批、断点和验收。未完成的旧页面切换不等于已经上线，必须逐页验收并与正在开发的 PR 协调。
|
||||
|
||||
## 类型及验收
|
||||
|
||||
- PostgreSQL 带时区时间戳在镜像中保存为 UTC；业务展示按自己的明确时区换算。无时区日期时间保留原值。`bytea` 使用十六进制文本表示；不自动解释 JSON、数组、枚举中的业务语义。
|
||||
- 验收包含：没有修改来源枚举也能发现新库；TLS/只读保护；字段目录；只复制明确字段；首次同步、第二页、末页、总数和筛选；增量插入与更新；源不可达时读旧镜像；失败和未授权状态。
|
||||
- 验收包含：没有修改来源枚举也能发现新库；TLS/只读保护；字段目录；只复制明确字段；首次同步、第二页、末页、总数和筛选；增量插入与更新；源不可达时读旧镜像；失败和未启用状态。
|
||||
- SQL Server 既有 Repository 与专用同步器需回归。不得把“新连接测试成功”当作全项目页面已迁移或所有业务表已同步。
|
||||
|
||||
## 系统连接保存后回滚的排查
|
||||
|
||||
@ -369,7 +369,7 @@ try {
|
||||
}
|
||||
|
||||
if ($previousSha -and -not $previousShaExists -and -not $AllowMigrations) {
|
||||
throw "本地缺少服务器当前提交 $previousSha，无法安全比较数据库迁移。请先 git fetch，或在负责人授权后使用 -AllowMigrations。"
|
||||
throw "本地缺少服务器当前提交 $previousSha，无法安全比较数据库迁移。请先 git fetch 并核对全部待执行迁移，按 AGENTS.md 完成备份后使用 -AllowMigrations。"
|
||||
}
|
||||
|
||||
if ($previousSha -and $previousShaExists) {
|
||||
@ -377,7 +377,7 @@ try {
|
||||
database/migrations `
|
||||
':(glob)modules/*/Database/Migrations/*.php'
|
||||
if ($migrationChanges -and -not $AllowMigrations) {
|
||||
throw "检测到数据库迁移：$($migrationChanges -join ', ')。需负责人确认后添加 -AllowMigrations。"
|
||||
throw "检测到数据库迁移：$($migrationChanges -join ', ')。由 Codex 核对全部待执行迁移；本任务镜像迁移完成备份后可直接添加 -AllowMigrations，其他迁移按 AGENTS.md 执行。"
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user