ai-chatbot/docs/video-canvas-aliyun-analysis-2026-09-24.md

# 阿里云视频画布模型核对与本地验收（2026-09-24）

## 官方能力与对应节点

| 节点/需求 | 官方模型与实际边界 | 本站处理 |
| --- | --- | --- |
| 逐帧拉片的画面、分镜和动作 | [Qwen3.8 Max](https://help.aliyun.com/zh/model-studio/vision-model) 支持直接输入最长 2 小时、2GB 的视频；[视频输入示例](https://help.aliyun.com/zh/model-studio/vision) 使用 `video_url`。该视觉模型不理解原声。 | 官方阿里云线路改为把**完整视频**送入模型；本机抽取的 4 帧仅供界面预览。默认优先选已有 `qwen3.8-max`。非官方适配模型仍走关键帧回退，抽帧失败会显式报错。 |
| 拉片音乐、人声、音效 | [Qwen3.8 Omni Flash](https://help.aliyun.com/zh/model-studio/qwen-omni) 可同时理解视频画面与声音。 | 选择“音乐”维度时只使用已启用的 Omni；未配置则明确禁用提交。仅用视觉模型时，结果音频字段强制清空，防止虚构听觉内容。 |
| 音频生成 | [Qwen3 TTS](https://help.aliyun.com/zh/model-studio/non-realtime-tts-user-guide) 已有两条生产模型配置；[Fun-Music](https://help.aliyun.com/zh/model-studio/fun-music) 仍处于邀测。 | TTS 继续沿用本站阿里云音频链路；音乐生成不能仅凭现有 Key 认定已开通。音频面板布局与参考站的差异不由换模型解决。 |
| 五分钟成片 | [万相 3.0](https://help.aliyun.com/zh/model-studio/video-generate-edit-model) 单次最多 30 秒，官方建议用首尾帧串联；Wan 2.7 单次最多 15 秒。 | 无官方一次输出 300 秒的模型契约。需至少 10 段 Wan 3.0 加镜头连续性、失败续跑、成本展示和现有合成服务拼接；当前**不开放伪 5 分钟直生入口**。 |
| 智能剪辑、3D 导演台 | 视频理解模型可给出语义和镜头建议，Wan 可生成短片；两者均不提供本站时间轴编辑、场景对象变换、镜头轨迹和 UI。 | 继续按功能与参考站单独验收；配置阿里云 Key 不能自动补齐交互或像素差异。 |

## 实际验证

- 48 主服务器的官方 `alibaba` 提供商已启用且有 Key，模型表已有 `qwen3.8-max`、`qwen3-vl-plus`。服务器只读检查未输出 Key；为本地端到端验收，Key 曾短时写入隔离测试库的临时提供商行，测试结束后该行已删除。数据库备份或 WAL 是否保留旧页需按测试库策略核对。`qwen3.8-omni-flash` 生产模型行尚不存在。
- 使用服务器 Key 向阿里云官方示例视频分别调用 `qwen3.8-max`、`qwen3.8-omni-flash`，均返回 200。前者识别画面中人物、服装、表情及单镜头；后者识别画面与背景音乐。Omni 模型可调用不等于生产画布已配置。
- 本地临时测试库插入两条模型及临时提供商后，通过登录态 `/api/canvas/workflow/analyze` 真实调用：Max 返回 1 行结构化镜头；Omni 返回 1 行并含真实音乐、人声信息。随后通过画布生成任务 API 提交 Omni 拉片，任务为 `succeeded`，结果含 1 行镜头及音乐、人声字段，画布打开时能看到结果节点。临时项目、提供商和模型已删除。
- 最终复验发现并修复预览帧问题：四个并发 HTTP seek 曾使同一视频返回 0 张图；120 秒以内的视频现单路解码抽帧，最新登录态接口返回 1 行镜头、4 张预览帧，视觉模型的音乐/人声字段均为空。该次端到端请求约 79 秒，仍需对不同素材和长度做性能验收。
- 新增 4 项阿里云适配器契约测试；与画布任务回归合计 39 项通过。TypeScript 与相关文件静态检查通过。生产模型配置脚本默认仅 dry-run，尚未执行 `--apply`。

这只解除“找不到适用视频理解模型”和“4 张静帧冒充完整视频拉片”的技术问题。上传素材经本站对象存储到阿里云模型的真实路径、不同长度和格式的视频、五分钟生成/合成、音频面板、智能剪辑模板、导演台及像素级对照仍需继续验收，不能据此判定可以发布。