ai-chatbot/docs/video-canvas-parity-2026-09-16.md

80 lines
9.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 视频画布模型匹配与逐项对照(2026-09-16)
参考:[LibTV 画布](https://www.liblib.tv/canvas)。以登录后的 1280×720 画布为界面对照基准。用户最新要求:模型接通即可,不继续真实生成测试。因此下表区分接口与参数核验、界面核验、实际生成,不能把未生成的功能标为产物验收通过,也不把局部对齐称为整站像素级复刻完成。
## 模型结论
初始生产登记 413 个模型,模型和服务商同时启用 23 个,真正的视频模型启用数为 0。前端菜单硬编码模型名称,后端把 Agnes 文字模型当成视频模型;无匹配模型时还会把图片、文字和 3D 模型全部列出。
本轮改为按真实模型 ID、适配器、输入模式筛选。管理员默认与节点覆盖都使用现有模型;用户手动指定不可用模型时明确报错。图片编辑按参考图能力筛选,分析节点只接受语言/视觉理解模型,专用图像工具沿用自己的服务接口,不提供无效的通用模型覆盖。
| 类型 | 匹配结果 | 参数 / 限制 |
|---|---|---|
| 文生、首帧、首尾帧、多参考视频 | VIP98K `veo-3.1-fast` | 当前目录为 8 秒、16:9、720P/1080P;首尾帧 2 图,多参考最多 3 图 |
| 图片生成与编辑 | 现有 GPT Image 2.5 默认,其他兼容已启用图片模型可选 | 依据模型返回能力,手动选择不静默换模型 |
| 脚本、视频分析、提示词优化翻译、元素识别 | 官方 Qwen3.8 Max 默认,其他兼容模型可选 | 阿里云百炼直连;排除图片、视频、3D、世界生成模型 |
| 音频驱动视频 | AtlasCloud 适配器已传递 `reference_audios`,当前无可用启用线路 | 普通 Veo 不冒充音频驱动能力 |
| 视频超清、字幕擦除、人声/背景音分离 | 当前目录没有确认可用的专用线路 | 明确提示未接通,已移除计时后返回原素材的模拟成功 |
| 视频画面裁剪、音轨提取与静音视频 | 48 服务器本地 FFmpeg | 无需模型;125 MiB、10 分钟处理上限,与生成结果下载上限无关 |
用户要求停止真实测试之前已获得的证据:AtlasCloud Seedance Mini 返回 402;旧 VIP98K Seedance 路由返回 404;当前 VIP98K Veo task 接口完成过一个任务。此后没有再提交真实模型生成。其他模式按当前公开 schema、请求契约和界面检查,不宣称分别生成成功。
## 逐项记录
| 功能 | 完成的改动 / 核验 | 验证状态 |
|---|---|---|
| 节点模型菜单 | 删除固定 Seedance 等名称;显示真实模型及模式;无匹配项不混入其他类型 | 单测、浏览器菜单通过 |
| 参数联动 | 根据模型与模式限定比例、清晰度、离散时长;Veo 无虚构 4K 或 5 秒选项 | 浏览器确认只有 16:9、720P/1080P、8 秒 |
| 文生视频 | 统一现有服务商选择与任务调用;自动选择也能正确进入 VIP98K 适配器 | 既有接通证据;不再新生成 |
| 首帧 / 首尾帧 / 多参考 | 按 schema 补入可选 `file_urls`;区分 frame/ingredient;校验数量与模式 | 契约单测通过,不做效果验收 |
| 音频生视频 | 音频实际进入请求;筛选支持音频参考的适配器,无兼容模型明确拒绝 | 单测通过,线路未接通 |
| 全能参考入口 | 由旧首帧专用编辑器改为统一视频节点编辑器,支持模式和模型切换 | 浏览器确认参考图与 8 秒参数 |
| 脚本 / 角色场景提取 | 语言/视觉模型严格筛选,指定模型错误不静默替换;鉴权先于视频帧提取 | 类型检查与选择单测通过 |
| 视频分析 / 提示词优化翻译 | 同上;替换生产配置中的失效文字模型引用 | 不发起真实分析 |
| 三视图、四宫格、九宫格、25 宫格 | 参考图编辑链路与独立提示词核对,模型覆盖传入生成请求 | 接线核验,不做效果验收 |
| 角色脸部三视图、角色设定图、场景设定图、产品设定图 | 按当前参考站补入四项预设,支持管理员提示词及模型配置 | 代码与类型检查;不点击生成 |
| 九宫格菜单 | 核对 11 项内容,采用 14px 文案、39.25px 行高与可滚动浮层,避免旧缩放导致菜单过小 | 参考 DOM 尺寸已记录 |
| 光影校正、画面推演、打光、重绘、擦除 | 保留现有图片编辑入口;复用兼容模型,显式选择不切换 | 请求链路核对,不发起生成 |
| 多角度 | 现有 fal Qwen Multiple Angles 专用路由 | 接线核对,不额外调用 |
| 图片高清、扩图、抠图、图层分离 | 沿用对应专用接口;管理员不再显示无效通用模型选择 | 接线核对,不额外调用 |
| 图片裁剪、宫格切分 | 本地图片处理,无需分配生成模型 | 既有处理逻辑保留 |
| 视频画面裁剪 | 拖动框选,按真实源视频像素编码新文件,返回新 URL | 本地合成短片裁成 160×120,通过 |
| 音视频分离 | 从原视频提取 AAC 音轨及静音视频,移除示例音频替代分支 | 本地合成短片验证通过 |
| 视频超清、字幕擦除、人声分离 | 移除虚假成功;保留明确未接通提示 | 当前模型目录不足,未标为可用 |
| 空画布入口 | 四卡片每项 240×56、984px 行宽、8px 间隔、42px 图标;保留本站品牌 | 本地 1280×720 截图核对 |
| 底部工具栏 | 补拖动画布按钮、空格临时拖动;48px 高度与参考对齐 | 浏览器显示确认 |
| 新增节点 / 工作流定位 | 避免新节点互相覆盖;工作流按当前窗口居中缩放 | 代码和本地界面核对 |
| 视频编辑器 | 保持固定可读尺寸,模型参数随节点保存,位置限制在窗口内 | 本地界面核对 |
| 积分显示 | 删除固定积分文案,修复缺少会员配置时误显示“免费” | 会员状态读取核对 |
| 素材、角色、特效、运镜、历史 | 保留现有持久化与引用链路,参数进入统一视频生成入口 | 未逐项实测完整业务闭环 |
## 尚未达到像素级一致的部分
参考站当前新增的人像质感、工具箱模板、分享与 Agent 顶栏等与本站仍有差异。本次没有把这些差异记为完成,也没有复制参考站最新模型名称充当本站已接入模型。专用视频能力缺少可用供应商线路,不能靠改菜单补齐。
## 检查与发布
- 模型匹配、VIP98K 参考图与恢复相关测试:48 项通过,无真实外部生成请求。
- TypeScript 检查通过;本地 FFmpeg 合成短片完成画面裁剪、音轨提取、静音视频三项验证。
- 旧 `model-classification.test.ts` 两项测试在未修改基线同样失败,未混入本轮修复。
- 2026-09-16 16:34(北京时间)已发布至 48 服务器。开发代码提交 `60b7900b`、`50d78285`;生产分支对应提交 `924c8065`、`741fe366`,均已推送 Git。生产构建 ID:`K0n2G6mHmGeLX5FZ2HsUc`。
- 生产构建、类型检查通过。备用端口页面、18 项静态资源及视频处理接口未登录返回 401 检查通过;旧服务连接排空后切换正式 3125 端口,正式页面与同批静态资源检查通过。
- 生产默认模型已更新为上表三项,Veo 已启用且可见;元素识别、视频提示词优化/翻译的失效模型引用已替换为 Qwen3 VL Plus。修改前的模型与设置已保存到服务器 `backups/video-parity-0916-1789547429368.json`,Nginx 配置备份为 `backups/nginx-video-parity-0916.conf`。
- 上线验收没有提交真实模型生成任务;登录后的节点菜单与参数交互使用本地测试配置验证,生产模型状态与默认值使用数据库只读复核。
### 官方千问 3.8 配置更新
- 按用户后续要求,将默认分析模型由 Qwen3 VL Plus 改为阿里云官方 `qwen3.8-max`。参考[阿里云模型说明](https://help.aliyun.com/zh/model-studio/qwen3-8-max),支持文字、图片及视频理解。
- 复用现有阿里云官方线路 `https://dashscope.aliyuncs.com/compatible-mode/v1`;只读查询 `/models` 返回 200,目录包含 `qwen3.8-max`,未调用推理或生成接口。
- 新增并启用模型 `4b412065-fa6c-475c-a3d9-2bc4239b9601`;更新 `defaultMultimodalModel` 及 `element-mark`、`video-prompt-optimize`、`video-prompt-translate` 三项覆盖。数据库回读一致,配置直接生效,无需重建或重启服务。
- 原配置已备份到服务器 `backups/video-canvas-qwen38-1789553368137.json`。已打开的画布需要重新打开才能读取新配置;节点手动指定的模型保留用户选择。
开发分支补充记录:
> 2026-09-17 深层复核更新:请以 [231 项逐层对照记录](video-canvas-deep-parity-2026-09-17.md) 为当前差异基线。本文的“完成”只限当时列出的子范围;音频、脚本资产、历史管理等仍有活动占位交互,不能据此认定整套功能已复刻。
> 后续第三轮进展见 [脚本、参考图与视频转存回归](video-canvas-followup-2026-09-16.md)。
> 后续进展见 [继续完善与复测记录](video-canvas-completion-2026-09-16.md):官方千问 3.8 提示词处理、Veo 文生视频、完整媒体处理 API 已出现真实成功结果。下文保留上一轮当时的测试状态。
参考:[LibTV 画布](https://www.liblib.tv/canvas)。以登录后的 1280×720 画布为界面对照基准。本记录对应此前“模型接通即可,不继续真实生成测试”的阶段;用户随后已要求恢复真实测试,最新结果见 [真实测试与参考站对照](video-canvas-real-test-2026-09-16.md)。因此下表区分接口与参数核验、界面核验、实际生成,不能把未生成的功能标为产物验收通过,也不把局部对齐称为整站像素级复刻完成。
| 视频分析 / 提示词优化翻译 | 分析模型配置已替换;后续实测发现视频提示词优化/翻译按钮仍仅提示待接入,不能视为功能已接通 | 见最新真实测试记录 |