智能剪辑：参考站实测与开源算法选型

检查日期：2026-09-17。本文区分实际观察、开源代码事实、建议方案与尚未实现的功能。

参考站已观察

LibTV 画布的智能剪辑入口有讲解视频、批量广告、口播视频、素材混剪四种预设。素材混剪预设连接七个素材节点，提示词包含卡点和突出产品，参数显示 16:9、1080P、20 秒。打开编辑器后，示例时间轴约 14 秒，含七个片段；这只是预设示例，不能当成自动生成成功的结果。没有点击收费生成。

编辑器可见分割、向左/右裁剪、字幕轨道、转场、吸附、缩放、原声静音、全屏预览，导出到本地或画布。分割/裁剪会检查播放头位置与最短片段长度。界面没有公开它实际使用的后台选片或卡点算法，不能推断它使用了以下任何项目。

已阅读的开源项目

项目	可复用能力及实现	适用场景	许可证/接入边界
FunClip	FunASR 生成转写与时间戳；把选定文字、说话人或 LLM 给出的区间映射回视频；裁剪后重排字幕时间	中文口播、讲解、访谈精选	源码 MIT，模型权重单独授权。Python/ASR 服务不能直接放进 Next 请求进程
Auto-Editor	按音量或运动量标记保留区间，可组合条件，前后 margin 保留呼吸和语句边界	去停顿、去静音粗剪	Unlicense；低音量不是无价值内容，不能直接当产品亮点评分
PySceneDetect	ContentDetector 计算相邻帧变化；AdaptiveDetector 将目标帧分数与周围帧均值比较，同时检查最小内容变化和最短镜头	多素材拆镜头、混剪候选片段	BSD-3-Clause；负责边界检测，不负责语义或商品识别
librosa	onset strength → 节奏估计 → 动态规划选节拍；综合局部强度与节拍间隔一致性	背景音乐卡点	ISC；弱节奏/静音可能无有效节拍，必须显式回退
FFmpeg	trim/atrim、setpts/asetpts、concat、xfade/acrossfade、字幕渲染、响度处理	最终确定性合成	使用部署环境既有构建；具体许可依构建组件，不把所有构建概括成同一许可

阅读位置：FunClip funclip/videoclipper.py 的 recog、clip、video_clip；PySceneDetect scenedetect/detectors/adaptive_detector.py 的 process_frame；librosa librosa/beat.py 的 __beat_tracker、__beat_track_dp。这些代码已下载到本地研究目录查看，没有安装来源不明的脚本或启动重模型服务。

FunClip 的关键点是可靠的时间戳映射，而不是让语言模型随意猜视频秒数。它既接收文字匹配，也接收显式时间区间，再重算片段字幕。不能把“ASR 文字剪辑”直接等同于“无对白产品素材混剪”。

PySceneDetect 的自适应比值为目标变化分数除以邻域平均变化分数，另加内容阈值和最短镜头限制。这能减轻连续快速运镜带来的误切，但闪光和缓慢转场仍需结合素材调阈值。算法实现

librosa 的节拍跟踪先形成起音强度曲线，估计速度，再用动态规划寻找与速度相容的强起音序列，不是简单按固定秒数平均切。低置信度时保留普通剪辑并标明未检测到稳定节拍。算法文档

与现有系统的接入方案（尚未上线）

优先组合 FunClip 的时间戳选片思路、PySceneDetect、librosa 和现有 FFmpeg；千问3.8继续负责素材语义、脚本要求和候选镜头排序。无需为了剪辑更换现有生图/视频模型。

预处理：现有受限下载器取得素材；ffprobe 读真实时长/FPS/音轨；以素材 hash 缓存低清代理、镜头边界、ASR 和节拍，避免反复解析。
候选分段：有对白时按 ASR 句子和说话人形成候选；无对白时按场景边界形成候选。去静音只作可选粗剪，保留前后余量，不切断语词。
语义选片：把候选 ID、真实开始/结束、抽帧与转写传给现有千问3.8，只允许模型返回候选 ID、用途和排序。服务端校验所有 ID 和区间；无素材时不能虚构成片。
卡点：分析用户选定/生成的音乐，输出真实 beat 秒数。根据最低镜头时长与素材余量，选每 2/4 拍换镜头，平衡节奏、语义连续性和目标总时长。口播优先语句边界，音乐卡点不能强行截断对白。
形成可编辑 EDL：记录素材 ID、sourceIn/sourceOut、timelineStart、speed、音量、字幕、转场。前端预览、时间轴修改和后台导出使用同一份 EDL。用整数微秒或有理数时间避免浮点累计漂移，显示时转换为帧。
合成：统一尺寸/FPS/像素格式/采样率；每段 trim 后时间归零。转场重叠计入总时长；无音轨片段补静音以保持 A/V 对齐；FFmpeg 执行显式参数数组，进程限时限并发，上传归档。
持久任务：分为解析、选片、编辑计划、渲染、转存，各步保存结果和输入版本。刷新或断线恢复同一任务，编辑后旧任务不能覆盖新版本；失败显示具体阶段。

示例 EDL 合同：

{
  "version": 1,
  "timebase": "microseconds",
  "canvas": {"width": 1920, "height": 1080, "fps": 30},
  "clips": [{"id":"clip-1","assetId":"asset-a","sourceIn":1000000,"sourceOut":3000000,"timelineStart":0,"speed":1,"volume":1}],
  "music": {"assetId":"music-a","start":0,"gain":0.2},
  "subtitles": [],
  "transitions": []
}

对照记录与剩余工作

能力	当前项目状态	后续验收条件
单视频裁剪、抽帧、音轨提取、慢放	现有真实 FFmpeg 功能	已有测试继续保持
四类智能剪辑预设的自动成片	本次完成参考站与开源源码研究，未接入完整剪辑服务	上传不同素材后产生可编辑 EDL 与真实成片
去静音/ASR 语义选片	选定开源候选，尚未部署	验证中文、低音量、无音轨、多人语音
音乐卡点	已明确 librosa 算法与回退策略，尚未接入	合成脉冲音乐和真实音乐的切点误差可量化
多素材时间轴、字幕、转场	仍需 EDL 编辑器和合成执行器；不把单片裁剪宣称为智能混剪	预览/导出逐片一致，跨转场音画同步

48 服务器此前反馈过内存高。部署 ASR 时应先核对实际可用资源，再使用独立受限 worker；不要在每个 Web 请求内加载一份模型。此处是实施建议，本次没有启动新的常驻模型服务。

实施更新

以上是最初调研时点。已实现的开源分析与剪辑链路、实际验证和独立合成部署状态见视频合成服务实施记录。FunASR仍未完成真实权重验收，不把适配代码等同于转写已可用。

7.4 KiB Raw Permalink Blame History Unescape Escape