ai-chatbot/docs/多宫格分镜视频需求补充-2026-03-12.md

多宫格分镜视频需求补充（2026-03-12）

适用范围：RUXA 视频 / 画布分镜视频工作流 / Agent 自动规划
本文是对现有“九宫格视频 Agent 技能链”方案的补充，重点新增：

1. 支持 4宫格 / 6宫格 / 9宫格 标准化切片
2. 切片后先自动生成高清大图，并按顺序入库、回显到画布
3. 必须经过用户确认分镜文案后，才允许开始调用生视频模型

开发拆解清单见：docs/多宫格分镜视频开发清单-2026-03-12.md Agent 升级调研见：docs/DeerFlow调研与Agent升级建议-2026-03-12.md

---

1. 需求目标

我们不再只支持“识别九宫格再直接生视频”，而是升级为统一的 多宫格分镜图 -> 标准切片 -> 高清镜头图 -> 用户确认 -> 分镜视频 流程。

核心目标：

1. Agent 在前置生图阶段就强制加入“标准分割版式提示词”，提高后续切片识别成功率
2. 支持标准 2x2 / 3x2 / 3x3 三种宫格版式
3. 切片后每个分镜先生成一张大尺寸高清静帧图，作为“视频前置确认素材”
4. 高清静帧图必须按顺序写入数据库、同步显示到画布
5. Agent 必须和用户逐段确认分镜文案；未确认前，禁止调用视频模型

---

2. 标准宫格类型定义

2.1 标准版式

系统当前只认以下三种标准版式：

业务名称	标准版式	行列	顺序
4宫格	grid_2x2	2 行 2 列	从左到右、从上到下
6宫格	grid_3x2	2 行 3 列	从左到右、从上到下
9宫格	grid_3x3	3 行 3 列	从左到右、从上到下

约束：

• 6宫格 当前统一采用 3列 x 2行
• 不支持自由拼贴、不规则分栏、跨格大图、瀑布流拼图
• 如用户上传的是非标准拼图，Agent 需提示“当前只支持 2x2 / 3x2 / 3x3 标准版式”

2.2 推荐输出尺寸

版式	推荐画布比例	推荐最小边长
grid_2x2	1:1	2048
grid_3x2	3:2	2304
grid_3x3	1:1	2304

说明：

• 目标不是让用户记参数，而是 Agent 自动把这些结构要求注入到底层生图提示词
• 若底层模型不稳定，优先保证“分割清晰可识别”，其次再追求艺术表现

---

3. Agent 必须追加的结构化提示词

3.1 总体规则

当 Agent 需要让模型生成“可切片的多宫格分镜图”时，必须自动追加结构化约束，不允许只使用自然语言脚本直接出图。

必须追加的约束包括：

• 严格等分网格
• 固定外边距
• 固定分隔线宽度
• 所有主体必须完整落在单一格内
• 主体、光效、文字、特效都不得跨越分隔线
• 禁止倾斜透视、胶片边框、拼贴阴影、圆角相框、手撕纸边、重叠排版
• 禁止编号文字、水印、Logo、字幕条覆盖在格线附近

3.2 标准版式提示词模板

grid_2x2

Agent 需要在最终生图 prompt 末尾追加：

严格 2x2 分镜拼图，2行2列，所有格子等宽等高，纯净清晰的统一分隔线，固定外边距，画面按从左到右从上到下阅读。每个主体必须完整处于单独格内，不得跨格，不得遮挡边界，不得透视倾斜，不得拼贴重叠，不得出现文字编号、水印、胶片边框。

grid_3x2

Agent 需要在最终生图 prompt 末尾追加：

严格 3x2 分镜拼图，3列2行，所有格子等宽等高，纯净清晰的统一分隔线，固定外边距，画面按从左到右从上到下阅读。每个主体必须完整处于单独格内，不得跨格，不得遮挡边界，不得透视倾斜，不得拼贴重叠，不得出现文字编号、水印、胶片边框。

grid_3x3

Agent 需要在最终生图 prompt 末尾追加：

严格 3x3 分镜拼图，3行3列，所有格子等宽等高，纯净清晰的统一分隔线，固定外边距，画面按从左到右从上到下阅读。每个主体必须完整处于单独格内，不得跨格，不得遮挡边界，不得透视倾斜，不得拼贴重叠，不得出现文字编号、水印、胶片边框。

3.3 Agent 对用户的引导要求

如果用户说“帮我做九宫格/六宫格/四宫格分镜图”，Agent 需要主动补一句简短说明：

• 系统会按标准宫格版式生成，便于后续自动切片
• 如需继续做分镜视频，建议先确认每格对应一个镜头

如果用户只说“做一个分镜拼图”，Agent 默认策略：

1. 优先判断是否要做视频分镜
2. 若是视频分镜且镜头数未知，默认先建议 9宫格
3. 若用户明确说“只要 4 段 / 6 段”，分别切到 4宫格 / 6宫格

---

4. 多宫格识别与切片规则

4.1 检测输出结构

检测技能输出统一扩展为：

{
  "isStoryboardGrid": true,
  "gridType": "grid_3x3",
  "rows": 3,
  "cols": 3,
  "confidence": 0.93,
  "cropBoxes": [
    { "index": 1, "row": 1, "col": 1, "x": 0, "y": 0, "w": 640, "h": 640 }
  ],
  "qualityScore": 0.9
}

4.2 切片顺序

统一采用“阅读顺序”：

1. 先行后列
2. 每行从左到右
3. 再进入下一行

即：

• grid_2x2：1-2 / 3-4
• grid_3x2：1-2-3 / 4-5-6
• grid_3x3：1-2-3 / 4-5-6 / 7-8-9

4.3 识别失败时的退路

• 置信度不足：Agent 提示用户改用标准宫格版式重新生成
• 分隔线不清晰：Agent 提示用户“重新按标准宫格输出”
• 非标准布局：不进入后续高清图/视频链路

---

5. 切片后先生成高清镜头图

5.1 新增强制步骤

切片完成后，不能直接开始生视频，必须先进入 高清镜头图生成阶段：

1. 每个切片图作为一张独立输入图
2. 调用生图模型或图像增强模型，生成大尺寸高清镜头图
3. 高清图按切片顺序写入数据库
4. 高清图按切片顺序回显到画布
5. Agent 用这些高清图和对应文案向用户做分镜确认

5.2 目标能力

高清镜头图阶段要解决两个问题：

1. 原始切片图尺寸过小，不适合直接做视频首帧
2. 用户需要在正式生视频前先看到“每镜头的大图预览”

5.3 推荐技能命名

建议新增：

• tile-hd-redraw-skill

职责：

• 输入：tileImage + globalStyle + shotPrompt
• 输出：hdImageUrl + hdPrompt + seed/metadata
• 支持失败重试
• 支持只重生单个镜头

5.4 生成顺序

高清镜头图也要按顺序执行：

• 可串行，也可小并发（最多 2~3）
• 画布上按照镜头顺序落位
• 未完成的镜头显示占位卡

---

6. 数据库存储要求

6.1 主任务表新增字段建议

VideoStoryboardTask 建议增加：

• gridType：grid_2x2 | grid_3x2 | grid_3x3
• gridRows
• gridCols
• confirmationStatus：draft | awaiting_user_confirmation | confirmed | rejected
• confirmedAt
• confirmedByMessageId

6.2 子任务表新增字段建议

VideoStoryboardShotTask 建议增加：

• sourceTileAssetId
• hdImageUrl
• hdImageAssetId
• hdImageStatus：pending | running | completed | failed
• videoStatus：pending | waiting_confirmation | running | completed | failed
• userApproved：boolean
• userApprovedAt

6.3 资产类型建议

新增或明确以下资产类型：

• storyboard_tile：切片原图
• storyboard_hd_image：高清镜头图
• storyboard_video：最终视频结果

要求：

• 以上三类资产都必须可追溯到 parentTaskId + shotIndex
• 都要能在画布节点和历史记录里反查

---

7. 画布展示规则

7.1 画布先展示高清镜头图

切片完成后，画布不应直接只显示视频占位卡，而应分两阶段：

阶段 A：高清镜头图阶段

• 每个镜头创建一个 image 节点占位
• 高清图生成成功后替换占位图
• 节点标题显示：镜头 1 / 镜头 2 / 镜头 3 ...

阶段 B：视频阶段

• 用户确认后，再在对应镜头位置创建或替换为 video 节点
• 保留高清图与视频结果的关联关系

7.2 顺序展示要求

• 永远按切片顺序落位
• 不允许哪个镜头先完成就乱序插入
• 画布上应让用户一眼看出“镜头顺序”

---

8. 用户确认门机制（强制）

8.1 硬性规则

没有用户确认，不允许开始生视频。

这条规则必须在 Agent、后端任务状态机、调度器三层同时生效。

8.2 确认前流程

1. Agent 识别宫格类型
2. 切片
3. 为每个切片生成高清镜头图
4. 归一出镜头文案
5. 将“镜头图 + 镜头文案”同步给用户确认
6. 任务状态进入 awaiting_user_confirmation

8.3 用户确认文案格式

Agent 需要给用户清晰列出镜头草案，例如：

我已经按 9 段分镜整理好了，并生成了对应高清镜头预览。

镜头1：……
镜头2：……
镜头3：……

如果需要修改，你可以直接回复：
- 修改第3镜头：……
- 修改第5镜头动作：……

如果确认无误，请回复：
“确认开始生成视频”

8.4 确认后的唯一放行口令

系统只在识别到明确确认语义后放行，例如：

• 确认开始生成视频
• 开始生成
• 按这个分镜生成

如果用户说的是修改意见，则只能更新分镜草案，不得偷偷开始视频任务。

8.5 修改后的处理

如果用户修改第 N 镜头：

1. 只重算该镜头文案映射
2. 必要时只重生该镜头高清图
3. 更新画布对应静帧
4. 重新回到 awaiting_user_confirmation

---

9. Agent 的新增职责

Agent 在这条链路中的职责不再只是“识别意图 + 优化 prompt”，还必须承担：

1. 判断应该使用 4 / 6 / 9 宫格中的哪一种
2. 自动追加标准版式 prompt 约束
3. 将用户自然语言脚本归一成与宫格数量一致的镜头数
4. 在高清镜头图生成完成后，负责向用户解释和确认
5. 在用户未确认前，阻止视频模型调用

默认镜头数规则

建议默认规则：

• 4宫格 -> 4段分镜
• 6宫格 -> 6段分镜
• 9宫格 -> 9段分镜

如果业务强行要求“6宫格或4宫格也统一做成9段视频”，那不是当前默认流程，必须额外定义：

• 缺失镜头如何补齐
• 是否允许复用静帧
• 是否允许 Agent 自动脑补新镜头

当前阶段不建议自动补到 9 段后直接执行，必须先经用户明确确认。

---

10. 推荐状态机

建议任务主状态改为：

draft -> slicing -> hd_image_generating -> awaiting_user_confirmation -> approved -> video_generating -> completed

失败态：

• slice_failed
• hd_image_failed
• confirmation_timeout
• video_partial_failed
• video_failed

---

11. 验收标准（更新）

新增验收标准：

1. 4宫格 / 6宫格 / 9宫格 都能稳定识别并按标准顺序切片
2. 每个切片都能产出一张高清镜头图，并成功写库
3. 高清镜头图会按顺序显示到画布
4. 用户未确认前，系统不会触发任何视频模型调用
5. 用户只修改局部镜头时，系统支持单镜头重算、单镜头重生

---

12. 建议开发顺序

1. 先把 gridType 从“仅 9 宫格”扩成 2x2 / 3x2 / 3x3
2. 再加 Agent 结构化版式 prompt 注入
3. 再加 tile-hd-redraw-skill
4. 打通“高清镜头图入库 + 画布展示”
5. 最后再加“用户确认门 + 视频调度放行”

这样能把风险最大的一步放在最后，同时让用户尽早看到“可确认的高清镜头预览”。