ai-chatbot/docs/video-canvas-official-function-map.md
Your Name 37b7e58f2a
Some checks failed
Lint / build (20) (push) Has been cancelled
Playwright Tests / test (push) Has been cancelled
Refine video canvas function replica
2026-04-19 08:52:38 +08:00

3.7 KiB
Raw Blame History

视频画布复刻功能映射

本文档记录 LibTV 目标画布的功能分类、官方接口线索,以及当前项目的前后端串联策略。目标优先级是“复刻前端和工作流逻辑优先,后端缺口留空可配置”。

官方接口线索

  • 工具定义:GET /api/tool_spec/list
  • 工作流预设:GET /api/canvas/workflow/list
  • 创建生成任务:POST /api/task/generation/create
  • 生成进度:POST /api/task/generation/progress/batch
  • 打光专项:POST /api/task/generation/lighting
  • 视频优化:POST /api/task/generation/video/opt
  • 扣点估算:POST /api/task/generation/power/calculator 和 /batch
  • 画布保存:POST /api/canvas/project/draft/update

抓取到的官方工具规格里,工具大类约为:图片 22、视频 38、音频 3、文本 3、合成 1。模式大类包括 image2image、image2video、singleImage2video、frames2video、audio2video、image2text、video2text、videoEdit2video、video2video。

功能分类

功能 官方逻辑判断 当前串联
角色三视图 图片编辑/图生图模型,参考图保持角色一致性 /api/canvas/generate/image,提示词在系统设置配置
多机位九宫格 图片编辑/图生图模型生成带黑色分割线的 3x3 分镜图 /api/canvas/generate/image,生成结果再支持宫格切分
宫格切分 图像识别/本地分割线检测,按黑线切 4/9/16/25 张 当前前端本地检测黑线并生成切片节点
多角度编辑器 图片编辑模型,参数含水平环绕、垂直俯仰、景别缩放 /api/angle-edit
高清 图像增强/超分接口 /api/enhance
扩图/720 全景 图片拓展或图片编辑模型 /api/extend
重绘/擦除 图片编辑生图模型,擦除后续可替换蒙版接口 /api/canvas/generate/image
抠图 图像分割/抠图接口 /api/rmbg
图片反推提示词 多模态模型 image2text /api/canvas/workflow/analyze
故事/分镜脚本 文本模型或多模态模型,输出表格化镜号 /api/canvas/workflow/analyze
文生视频 视频生成模型 text2video /api/canvas/generate/video
首帧图生视频 视频生成模型 image2video /api/canvas/generate/video
首尾帧生视频 视频生成模型 frames2video /api/canvas/generate/video,最多传 4 张图
音频生视频 audio2video,官方会结合音频节拍/情绪和参考图 当前先用提示词+参考图走 /api/canvas/generate/video,音频节拍解析后端后续补
工具箱工作流模板 预设画布工作流,点击后在当前画布展开节点 前端已按官方工作流思路展开,后续模板内容可配置化扩充

配置入口

新增系统设置键:video_canvas_function_config

新增页面:/settings/video-canvas

可配置内容:

  • 总开关
  • 默认图片/视频/多模态模型
  • 每个功能的启用状态
  • 每个功能的模型覆盖
  • 每个功能的扣点
  • 每个功能的预设提示词/规则

当前已接入的前端触发点

  • 选中图片后的九宫格、高清、扩图、打光、全景、重绘、擦除、抠图
  • 九宫格切分,识别黑色分割线拆为单独镜头图
  • 多角度编辑器提交
  • 角色三视图提示词框提交
  • 故事脚本、首帧视频、音频生视频预设 Composer 提交
  • 右键“立即生成”按节点类型执行图片/视频/多模态分析

后续后端缺口

  • 真正的 audio2video 音频节拍/情绪解析输入
  • 视频编辑到视频、视频参考生成分镜脚本的专用接口
  • 擦除/局部重绘的蒙版编辑接口
  • 官方扣点估算等价接口
  • 官方 67 个工具规格的完整后台模型路由表