25 lines
2.7 KiB
Markdown
25 lines
2.7 KiB
Markdown
# 自动转写与人声分离独立服务 — 2026-09-18
|
||
|
||
本轮完成线上模型安装、算力服务器私有音频 API、主项目接入。服务部署说明见 `services/audio-processing/README.md`。
|
||
|
||
## 架构
|
||
|
||
- FunASR Paraformer + FSMN VAD + CT-Transformer 自动转写，HTDemucs 人声分离；全部使用已校验本地权重，推理不下载模型或执行远程模型代码。
|
||
- 模型运行在算力服务器的独立 CPU 单队列；systemd 4 核 / 12GiB 限额，Torch 2线程。千问 GPU 0/1 和视频高清 GPU 3 配置未改。
|
||
- 48 只负责轻量素材准备、持久化主任务和结果归档。既有智能剪辑准备锁保留，避免并发抽取素材压垮主站；推理不在48运行。
|
||
- 私有 API 18342，独立随机 Bearer 密钥，经专用受限 SSH 隧道连接48，未开放公网端口。
|
||
- 上传流校验长度及 SHA-256；服务端记录和结果持久化，刷新重试复用任务编号。输入未上传完不执行；服务重启可恢复；主站下载结果再次校验。
|
||
- 功能能力取算力服务器真实 health；配置了远程服务后遇到网络错误不回退主机推理。错误保留原字幕/原音轨。
|
||
|
||
## 已验证
|
||
|
||
- 70 项定向回归通过，含原有剪辑/任务/编组和新增音频断线、身份隔离、损坏音轨拦截。
|
||
- TypeScript 检查通过。
|
||
- 真实音频 API：缺少认证401、参数冲突409、损坏上传400、相同任务复用、实际中文识别、实际两轨分离、分离中重启恢复。
|
||
- 8.3935秒中文语音识别三句：0–1.349秒“欢迎使用智能剪辑，”；1.349–4.710秒“我们正在测试人声分离和自动字幕，”；4.710–8.205秒“请保留原始视频的画面和声音。” ASR单次实测14.03秒。
|
||
- 人声与背景声合成重构原样例的最大误差 `7.45e-9`；波形确实发生分离，非原音轨复制。含重启恢复的分离验证24.20秒，attempts=2。这是短样例，不是任意素材的质量/性能承诺。
|
||
- 在48执行实际主项目处理函数，经真实私有API调用算力服务器：转写保留手动字幕并新增3句；both/vocals/background三个分支分别生成2/1/1条独立音轨，保留原裁剪、时长、增益并关闭视频原声。测试隔离素材缓存与回传文件，不触碰用户画布；上传回调验证文件交付，不将此宣称为真实用户对象存储端到端验收。
|
||
- 算力服务器及48的认证 health 均返回 asr=true、separation=true；服务 bundle SHA-256 为 `22c20736634cbed32c3a3b227e71ce773f5da5763d52c021cd6a162130b54d22`。
|
||
|
||
测试输入为合成语音/背景音，无付费生成调用。主站发布版本与构建结果在上线后补记。私有配置、模型权重、测试凭据、输入输出不提交 Git。
|