gongxiangp2/yedir/docs/video-generator-guide.md
chenpei d0dc94e36d feat: 将弹幕功能替换为AI聊天助手
新功能:
- 创建AI聊天助手组件(AIChatWidget)
- 支持文字+图片多模态对话
- 集成Gemini AI API
- 支持图片编辑和内容生成
- 实时对话历史管理
- 优雅的UI设计,支持黑夜模式

技术实现:
- 后端API代理Gemini API(/api/ai-chat)
- 支持最多5张图片上传
- 流式响应处理
- 对话历史管理
- Base64图片处理

配置:
- 在.env中添加Gemini API配置
- GEMINI_API_KEY
- GEMINI_API_BASE_URL
- GEMINI_MODEL

替换原弹幕功能,提供更强大的AI助手体验!
2025-10-27 17:45:37 +08:00

5.7 KiB
Raw Blame History

AI视频生成器使用指南

功能概述

AI视频生成器是一个强大的工具,可以帮助你快速创建产品推广视频。你只需要上传5张产品图片并提供产品信息,AI就会自动生成包含视频和语音旁白的完整视频。

使用流程

步骤1:上传图片和输入产品信息

  1. 访问 /video-generator.html
  2. 上传5张产品图片(支持JPG、PNG格式)
  3. 填写以下信息:
    • 产品名称:如"时尚运动T恤"
    • 目标人群:如"18-35岁运动爱好者"
    • 产品核心卖点:如"透气排汗、弹性舒适、时尚百搭"

步骤2:生成并确认脚本

  1. 点击"生成脚本"按钮
  2. AI会分析你的5张图片,并为每个镜头生成:
    • 视频提示词(用于生成视频)
    • 旁白文案(用于语音合成)
  3. 预览生成的脚本
  4. 如果不满意,可以点击"重新生成脚本"
  5. 满意后,点击"确认并生成视频"

步骤3:等待视频生成

系统会自动完成以下步骤:

  1. 生成视频片段:将5张图片转换为视频片段
  2. 生成语音旁白:根据脚本合成语音
  3. 合并视频和音频:生成最终视频

步骤4:下载视频

  1. 预览生成的视频
  2. 点击"下载视频"保存到本地
  3. 或点击"重新生成"开始新的创作

API配置

环境变量

⚠️ 安全提醒:API密钥必须配置在 .env 文件中,不要硬编码在代码中,避免泄露风险。

确保 .env 文件中包含以下配置:

# 幻度科技API配置(用于图生视频和多模态)
HUANDU_API_KEY=你的幻度API密钥
HUANDU_BASE_URL=https://api.huandutech.com/v1

# 阿里云DashScope API配置(用于语音合成)
DASHSCOPE_API_KEY=你的阿里云API密钥

查看当前配置:

cat .env | grep -E "(HUANDU|DASHSCOPE)"

使用的AI模型

所有模型均通过幻度科技API和阿里云API调用:

  1. 多模态分析:qwen-vl-max-latest(幻度科技API)

    • 用于分析图片并生成脚本
    • 支持图文混合输入
  2. 图生视频:sora_video2-landscape-hd(幻度科技API)

    • 将静态图片转换为动态视频
    • 支持横屏高清输出
  3. 语音合成:qwen3-tts-flash(阿里云API)

    • 阿里云通义千问语音合成
    • 音色:Cherry(女声)

系统要求

后端依赖

  • Node.js 14+
  • FFmpeg:用于视频合并(必须安装)

安装FFmpeg

macOS:

brew install ffmpeg

Ubuntu/Debian:

sudo apt-get install ffmpeg

CentOS/RHEL:

sudo yum install ffmpeg

目录结构

uploads/
  ├── temp/          # 临时文件(自动清理)
  └── videos/        # 最终生成的视频

API接口说明

1. 生成脚本

接口: POST /api/video-generator/generate-script

请求:

  • Content-Type: multipart/form-data
  • 参数:
    • images: 5张图片文件
    • productName: 产品名称
    • targetAudience: 目标人群
    • productHighlights: 产品卖点

响应:

{
  "success": true,
  "script": [
    {
      "prompt": "Product showcase...",
      "voiceover": "展示产品的精彩瞬间..."
    },
    // ... 5个镜头
  ]
}

2. 生成视频

接口: POST /api/video-generator/generate-videos

请求:

  • Content-Type: multipart/form-data
  • 参数:
    • images: 5张图片文件
    • script: JSON字符串格式的脚本

响应:

{
  "success": true,
  "videoUrls": [
    "https://...",
    // ... 5个视频URL
  ]
}

3. 生成音频

接口: POST /api/video-generator/generate-audio

请求:

  • Content-Type: application/json
  • Body:
{
  "script": [
    {
      "prompt": "...",
      "voiceover": "旁白文案"
    }
  ]
}

响应:

{
  "success": true,
  "audioUrl": "https://..."
}

4. 合并视频和音频

接口: POST /api/video-generator/merge

请求:

  • Content-Type: application/json
  • Body:
{
  "videoUrls": ["url1", "url2", ...],
  "audioUrl": "audio_url"
}

响应:

{
  "success": true,
  "videoUrl": "/uploads/videos/final_xxx.mp4"
}

常见问题

Q: 视频生成需要多长时间?

A: 通常需要5-10分钟,具体取决于API响应速度和网络状况。

Q: 支持哪些图片格式?

A: 支持JPG、PNG等常见图片格式。

Q: 生成的视频是什么格式?

A: MP4格式,H.264编码,横屏高清(Landscape HD)。

Q: 如果生成失败怎么办?

A: 检查以下内容:

  1. 确认API密钥正确
  2. 确认网络连接正常
  3. 确认FFmpeg已安装
  4. 查看服务器日志获取详细错误信息

Q: 可以修改生成的脚本吗?

A: 目前版本中,你可以重新生成脚本。后续版本将支持手动编辑。

技术架构

用户上传图片 → 多模态分析 → 生成脚本 → 用户确认
                                    ↓
                            并行处理:
                            1. 图生视频(5个片段)
                            2. 语音合成
                                    ↓
                            FFmpeg合并 → 最终视频

最佳实践

  1. 图片选择:

    • 选择高质量的产品图片
    • 确保图片清晰、光线充足
    • 建议图片尺寸至少1920x1080
  2. 产品信息:

    • 产品名称要简洁明了
    • 目标人群要具体
    • 核心卖点要突出重点
  3. 脚本优化:

    • 第一张图片最好是产品全景
    • 中间图片展示细节和特点
    • 最后一张图片展示使用场景

更新日志

v1.0.0 (2025-10-09)

  • 初始版本
  • 支持5张图片上传
  • 自动生成视频和语音
  • 支持视频下载