69 lines
3.7 KiB
Markdown
69 lines
3.7 KiB
Markdown
# 视频画布复刻功能映射
|
||
|
||
本文档记录 LibTV 目标画布的功能分类、官方接口线索，以及当前项目的前后端串联策略。目标优先级是“复刻前端和工作流逻辑优先，后端缺口留空可配置”。
|
||
|
||
## 官方接口线索
|
||
|
||
- 工具定义：`GET /api/tool_spec/list`
|
||
- 工作流预设：`GET /api/canvas/workflow/list`
|
||
- 创建生成任务：`POST /api/task/generation/create`
|
||
- 生成进度：`POST /api/task/generation/progress/batch`
|
||
- 打光专项：`POST /api/task/generation/lighting`
|
||
- 视频优化：`POST /api/task/generation/video/opt`
|
||
- 扣点估算：`POST /api/task/generation/power/calculator` 和 `/batch`
|
||
- 画布保存：`POST /api/canvas/project/draft/update`
|
||
|
||
抓取到的官方工具规格里，工具大类约为：图片 22、视频 38、音频 3、文本 3、合成 1。模式大类包括 image2image、image2video、singleImage2video、frames2video、audio2video、image2text、video2text、videoEdit2video、video2video。
|
||
|
||
## 功能分类
|
||
|
||
| 功能 | 官方逻辑判断 | 当前串联 |
|
||
| --- | --- | --- |
|
||
| 角色三视图 | 图片编辑/图生图模型，参考图保持角色一致性 | `/api/canvas/generate/image`，提示词在系统设置配置 |
|
||
| 多机位九宫格 | 图片编辑/图生图模型生成带黑色分割线的 3x3 分镜图 | `/api/canvas/generate/image`，生成结果再支持宫格切分 |
|
||
| 宫格切分 | 图像识别/本地分割线检测，按黑线切 4/9/16/25 张 | 当前前端本地检测黑线并生成切片节点 |
|
||
| 多角度编辑器 | 图片编辑模型，参数含水平环绕、垂直俯仰、景别缩放 | `/api/angle-edit` |
|
||
| 高清 | 图像增强/超分接口 | `/api/enhance` |
|
||
| 扩图/720 全景 | 图片拓展或图片编辑模型 | `/api/extend` |
|
||
| 重绘/擦除 | 图片编辑生图模型，擦除后续可替换蒙版接口 | `/api/canvas/generate/image` |
|
||
| 抠图 | 图像分割/抠图接口 | `/api/rmbg` |
|
||
| 图片反推提示词 | 多模态模型 image2text | `/api/canvas/workflow/analyze` |
|
||
| 故事/分镜脚本 | 文本模型或多模态模型，输出表格化镜号 | `/api/canvas/workflow/analyze` |
|
||
| 文生视频 | 视频生成模型 text2video | `/api/canvas/generate/video` |
|
||
| 首帧图生视频 | 视频生成模型 image2video | `/api/canvas/generate/video` |
|
||
| 首尾帧生视频 | 视频生成模型 frames2video | `/api/canvas/generate/video`，最多传 4 张图 |
|
||
| 音频生视频 | audio2video，官方会结合音频节拍/情绪和参考图 | 当前先用提示词+参考图走 `/api/canvas/generate/video`，音频节拍解析后端后续补 |
|
||
| 工具箱工作流模板 | 预设画布工作流，点击后在当前画布展开节点 | 前端已按官方工作流思路展开，后续模板内容可配置化扩充 |
|
||
|
||
## 配置入口
|
||
|
||
新增系统设置键：`video_canvas_function_config`
|
||
|
||
新增页面：`/settings/video-canvas`
|
||
|
||
可配置内容：
|
||
|
||
- 总开关
|
||
- 默认图片/视频/多模态模型
|
||
- 每个功能的启用状态
|
||
- 每个功能的模型覆盖
|
||
- 每个功能的扣点
|
||
- 每个功能的预设提示词/规则
|
||
|
||
## 当前已接入的前端触发点
|
||
|
||
- 选中图片后的九宫格、高清、扩图、打光、全景、重绘、擦除、抠图
|
||
- 九宫格切分，识别黑色分割线拆为单独镜头图
|
||
- 多角度编辑器提交
|
||
- 角色三视图提示词框提交
|
||
- 故事脚本、首帧视频、音频生视频预设 Composer 提交
|
||
- 右键“立即生成”按节点类型执行图片/视频/多模态分析
|
||
|
||
## 后续后端缺口
|
||
|
||
- 真正的 audio2video 音频节拍/情绪解析输入
|
||
- 视频编辑到视频、视频参考生成分镜脚本的专用接口
|
||
- 擦除/局部重绘的蒙版编辑接口
|
||
- 官方扣点估算等价接口
|
||
- 官方 67 个工具规格的完整后台模型路由表
|