3.7 KiB
3.7 KiB
视频画布复刻功能映射
本文档记录 LibTV 目标画布的功能分类、官方接口线索,以及当前项目的前后端串联策略。目标优先级是“复刻前端和工作流逻辑优先,后端缺口留空可配置”。
官方接口线索
- 工具定义:
GET /api/tool_spec/list - 工作流预设:
GET /api/canvas/workflow/list - 创建生成任务:
POST /api/task/generation/create - 生成进度:
POST /api/task/generation/progress/batch - 打光专项:
POST /api/task/generation/lighting - 视频优化:
POST /api/task/generation/video/opt - 扣点估算:
POST /api/task/generation/power/calculator和/batch - 画布保存:
POST /api/canvas/project/draft/update
抓取到的官方工具规格里,工具大类约为:图片 22、视频 38、音频 3、文本 3、合成 1。模式大类包括 image2image、image2video、singleImage2video、frames2video、audio2video、image2text、video2text、videoEdit2video、video2video。
功能分类
| 功能 | 官方逻辑判断 | 当前串联 |
|---|---|---|
| 角色三视图 | 图片编辑/图生图模型,参考图保持角色一致性 | /api/canvas/generate/image,提示词在系统设置配置 |
| 多机位九宫格 | 图片编辑/图生图模型生成带黑色分割线的 3x3 分镜图 | /api/canvas/generate/image,生成结果再支持宫格切分 |
| 宫格切分 | 图像识别/本地分割线检测,按黑线切 4/9/16/25 张 | 当前前端本地检测黑线并生成切片节点 |
| 多角度编辑器 | 图片编辑模型,参数含水平环绕、垂直俯仰、景别缩放 | /api/angle-edit |
| 高清 | 图像增强/超分接口 | /api/enhance |
| 扩图/720 全景 | 图片拓展或图片编辑模型 | /api/extend |
| 重绘/擦除 | 图片编辑生图模型,擦除后续可替换蒙版接口 | /api/canvas/generate/image |
| 抠图 | 图像分割/抠图接口 | /api/rmbg |
| 图片反推提示词 | 多模态模型 image2text | /api/canvas/workflow/analyze |
| 故事/分镜脚本 | 文本模型或多模态模型,输出表格化镜号 | /api/canvas/workflow/analyze |
| 文生视频 | 视频生成模型 text2video | /api/canvas/generate/video |
| 首帧图生视频 | 视频生成模型 image2video | /api/canvas/generate/video |
| 首尾帧生视频 | 视频生成模型 frames2video | /api/canvas/generate/video,最多传 4 张图 |
| 音频生视频 | audio2video,官方会结合音频节拍/情绪和参考图 | 当前先用提示词+参考图走 /api/canvas/generate/video,音频节拍解析后端后续补 |
| 工具箱工作流模板 | 预设画布工作流,点击后在当前画布展开节点 | 前端已按官方工作流思路展开,后续模板内容可配置化扩充 |
配置入口
新增系统设置键:video_canvas_function_config
新增页面:/settings/video-canvas
可配置内容:
- 总开关
- 默认图片/视频/多模态模型
- 每个功能的启用状态
- 每个功能的模型覆盖
- 每个功能的扣点
- 每个功能的预设提示词/规则
当前已接入的前端触发点
- 选中图片后的九宫格、高清、扩图、打光、全景、重绘、擦除、抠图
- 九宫格切分,识别黑色分割线拆为单独镜头图
- 多角度编辑器提交
- 角色三视图提示词框提交
- 故事脚本、首帧视频、音频生视频预设 Composer 提交
- 右键“立即生成”按节点类型执行图片/视频/多模态分析
后续后端缺口
- 真正的 audio2video 音频节拍/情绪解析输入
- 视频编辑到视频、视频参考生成分镜脚本的专用接口
- 擦除/局部重绘的蒙版编辑接口
- 官方扣点估算等价接口
- 官方 67 个工具规格的完整后台模型路由表