ai-chatbot/docs/video-canvas-parity-2026-09-16.md

9.0 KiB
Raw Blame History

视频画布模型匹配与逐项对照(2026-09-16)

后续第三轮进展见 脚本、参考图与视频转存回归。

后续进展见 继续完善与复测记录:官方千问 3.8 提示词处理、Veo 文生视频、完整媒体处理 API 已出现真实成功结果。下文保留上一轮当时的测试状态。

参考:LibTV 画布。以登录后的 1280×720 画布为界面对照基准。本记录对应此前“模型接通即可,不继续真实生成测试”的阶段;用户随后已要求恢复真实测试,最新结果见 真实测试与参考站对照。因此下表区分接口与参数核验、界面核验、实际生成,不能把未生成的功能标为产物验收通过,也不把局部对齐称为整站像素级复刻完成。

模型结论

初始生产登记 413 个模型,模型和服务商同时启用 23 个,真正的视频模型启用数为 0。前端菜单硬编码模型名称,后端把 Agnes 文字模型当成视频模型;无匹配模型时还会把图片、文字和 3D 模型全部列出。

本轮改为按真实模型 ID、适配器、输入模式筛选。管理员默认与节点覆盖都使用现有模型;用户手动指定不可用模型时明确报错。图片编辑按参考图能力筛选,分析节点只接受语言/视觉理解模型,专用图像工具沿用自己的服务接口,不提供无效的通用模型覆盖。

类型 匹配结果 参数 / 限制
文生、首帧、首尾帧、多参考视频 VIP98K veo-3.1-fast 当前目录为 8 秒、16:9、720P/1080P;首尾帧 2 图,多参考最多 3 图
图片生成与编辑 现有 GPT Image 2.5 默认,其他兼容已启用图片模型可选 依据模型返回能力,手动选择不静默换模型
脚本、视频分析、提示词优化翻译、元素识别 官方 Qwen3.8 Max 默认,其他兼容模型可选 阿里云百炼直连;排除图片、视频、3D、世界生成模型
音频驱动视频 AtlasCloud 适配器已传递 reference_audios,当前无可用启用线路 普通 Veo 不冒充音频驱动能力
视频超清、字幕擦除、人声/背景音分离 当前目录没有确认可用的专用线路 明确提示未接通,已移除计时后返回原素材的模拟成功
视频画面裁剪、音轨提取与静音视频 48 服务器本地 FFmpeg 无需模型;125 MiB、10 分钟处理上限,与生成结果下载上限无关

用户要求停止真实测试之前已获得的证据:AtlasCloud Seedance Mini 返回 402;旧 VIP98K Seedance 路由返回 404;当前 VIP98K Veo task 接口完成过一个任务。此后没有再提交真实模型生成。其他模式按当前公开 schema、请求契约和界面检查,不宣称分别生成成功。

逐项记录

功能 完成的改动 / 核验 验证状态
节点模型菜单 删除固定 Seedance 等名称;显示真实模型及模式;无匹配项不混入其他类型 单测、浏览器菜单通过
参数联动 根据模型与模式限定比例、清晰度、离散时长;Veo 无虚构 4K 或 5 秒选项 浏览器确认只有 16:9、720P/1080P、8 秒
文生视频 统一现有服务商选择与任务调用;自动选择也能正确进入 VIP98K 适配器 既有接通证据;不再新生成
首帧 / 首尾帧 / 多参考 按 schema 补入可选 file_urls;区分 frame/ingredient;校验数量与模式 契约单测通过,不做效果验收
音频生视频 音频实际进入请求;筛选支持音频参考的适配器,无兼容模型明确拒绝 单测通过,线路未接通
全能参考入口 由旧首帧专用编辑器改为统一视频节点编辑器,支持模式和模型切换 浏览器确认参考图与 8 秒参数
脚本 / 角色场景提取 语言/视觉模型严格筛选,指定模型错误不静默替换;鉴权先于视频帧提取 类型检查与选择单测通过
视频分析 / 提示词优化翻译 分析模型配置已替换;后续实测发现视频提示词优化/翻译按钮仍仅提示待接入,不能视为功能已接通 见最新真实测试记录
三视图、四宫格、九宫格、25 宫格 参考图编辑链路与独立提示词核对,模型覆盖传入生成请求 接线核验,不做效果验收
角色脸部三视图、角色设定图、场景设定图、产品设定图 按当前参考站补入四项预设,支持管理员提示词及模型配置 代码与类型检查;不点击生成
九宫格菜单 核对 11 项内容,采用 14px 文案、39.25px 行高与可滚动浮层,避免旧缩放导致菜单过小 参考 DOM 尺寸已记录
光影校正、画面推演、打光、重绘、擦除 保留现有图片编辑入口;复用兼容模型,显式选择不切换 请求链路核对,不发起生成
多角度 现有 fal Qwen Multiple Angles 专用路由 接线核对,不额外调用
图片高清、扩图、抠图、图层分离 沿用对应专用接口;管理员不再显示无效通用模型选择 接线核对,不额外调用
图片裁剪、宫格切分 本地图片处理,无需分配生成模型 既有处理逻辑保留
视频画面裁剪 拖动框选,按真实源视频像素编码新文件,返回新 URL 本地合成短片裁成 160×120,通过
音视频分离 从原视频提取 AAC 音轨及静音视频,移除示例音频替代分支 本地合成短片验证通过
视频超清、字幕擦除、人声分离 移除虚假成功;保留明确未接通提示 当前模型目录不足,未标为可用
空画布入口 四卡片每项 240×56、984px 行宽、8px 间隔、42px 图标;保留本站品牌 本地 1280×720 截图核对
底部工具栏 补拖动画布按钮、空格临时拖动;48px 高度与参考对齐 浏览器显示确认
新增节点 / 工作流定位 避免新节点互相覆盖;工作流按当前窗口居中缩放 代码和本地界面核对
视频编辑器 保持固定可读尺寸,模型参数随节点保存,位置限制在窗口内 本地界面核对
积分显示 删除固定积分文案,修复缺少会员配置时误显示“免费” 会员状态读取核对
素材、角色、特效、运镜、历史 保留现有持久化与引用链路,参数进入统一视频生成入口 未逐项实测完整业务闭环

尚未达到像素级一致的部分

参考站当前新增的人像质感、工具箱模板、分享与 Agent 顶栏等与本站仍有差异。本次没有把这些差异记为完成,也没有复制参考站最新模型名称充当本站已接入模型。专用视频能力缺少可用供应商线路,不能靠改菜单补齐。

检查与发布

  • 模型匹配、VIP98K 参考图与恢复相关测试:48 项通过,无真实外部生成请求。
  • TypeScript 检查通过;本地 FFmpeg 合成短片完成画面裁剪、音轨提取、静音视频三项验证。
  • 旧 model-classification.test.ts 两项测试在未修改基线同样失败,未混入本轮修复。
  • 2026-09-16 16:34(北京时间)已发布至 48 服务器。开发代码提交 60b7900b、50d78285;生产分支对应提交 924c8065、741fe366,均已推送 Git。生产构建 ID:K0n2G6mHmGeLX5FZ2HsUc。
  • 生产构建、类型检查通过。备用端口页面、18 项静态资源及视频处理接口未登录返回 401 检查通过;旧服务连接排空后切换正式 3125 端口,正式页面与同批静态资源检查通过。
  • 生产默认模型已更新为上表三项,Veo 已启用且可见;元素识别、视频提示词优化/翻译的失效模型引用已替换为 Qwen3 VL Plus。修改前的模型与设置已保存到服务器 backups/video-parity-0916-1789547429368.json,Nginx 配置备份为 backups/nginx-video-parity-0916.conf。
  • 上线验收没有提交真实模型生成任务;登录后的节点菜单与参数交互使用本地测试配置验证,生产模型状态与默认值使用数据库只读复核。

官方千问 3.8 配置更新

  • 按用户后续要求,将默认分析模型由 Qwen3 VL Plus 改为阿里云官方 qwen3.8-max。参考阿里云模型说明,支持文字、图片及视频理解。
  • 复用现有阿里云官方线路 https://dashscope.aliyuncs.com/compatible-mode/v1;只读查询 /models 返回 200,目录包含 qwen3.8-max,未调用推理或生成接口。
  • 新增并启用模型 4b412065-fa6c-475c-a3d9-2bc4239b9601;更新 defaultMultimodalModel 及 element-mark、video-prompt-optimize、video-prompt-translate 三项覆盖。数据库回读一致,配置直接生效,无需重建或重启服务。
  • 原配置已备份到服务器 backups/video-canvas-qwen38-1789553368137.json。已打开的画布需要重新打开才能读取新配置;节点手动指定的模型保留用户选择。