新功能: - 创建AI聊天助手组件(AIChatWidget) - 支持文字+图片多模态对话 - 集成Gemini AI API - 支持图片编辑和内容生成 - 实时对话历史管理 - 优雅的UI设计,支持黑夜模式 技术实现: - 后端API代理Gemini API(/api/ai-chat) - 支持最多5张图片上传 - 流式响应处理 - 对话历史管理 - Base64图片处理 配置: - 在.env中添加Gemini API配置 - GEMINI_API_KEY - GEMINI_API_BASE_URL - GEMINI_MODEL 替换原弹幕功能,提供更强大的AI助手体验!
5.7 KiB
5.7 KiB
AI视频生成器使用指南
功能概述
AI视频生成器是一个强大的工具,可以帮助你快速创建产品推广视频。你只需要上传5张产品图片并提供产品信息,AI就会自动生成包含视频和语音旁白的完整视频。
使用流程
步骤1:上传图片和输入产品信息
- 访问
/video-generator.html - 上传5张产品图片(支持JPG、PNG格式)
- 填写以下信息:
- 产品名称:如"时尚运动T恤"
- 目标人群:如"18-35岁运动爱好者"
- 产品核心卖点:如"透气排汗、弹性舒适、时尚百搭"
步骤2:生成并确认脚本
- 点击"生成脚本"按钮
- AI会分析你的5张图片,并为每个镜头生成:
- 视频提示词(用于生成视频)
- 旁白文案(用于语音合成)
- 预览生成的脚本
- 如果不满意,可以点击"重新生成脚本"
- 满意后,点击"确认并生成视频"
步骤3:等待视频生成
系统会自动完成以下步骤:
- 生成视频片段:将5张图片转换为视频片段
- 生成语音旁白:根据脚本合成语音
- 合并视频和音频:生成最终视频
步骤4:下载视频
- 预览生成的视频
- 点击"下载视频"保存到本地
- 或点击"重新生成"开始新的创作
API配置
环境变量
⚠️ 安全提醒:API密钥必须配置在 .env 文件中,不要硬编码在代码中,避免泄露风险。
确保 .env 文件中包含以下配置:
# 幻度科技API配置(用于图生视频和多模态)
HUANDU_API_KEY=你的幻度API密钥
HUANDU_BASE_URL=https://api.huandutech.com/v1
# 阿里云DashScope API配置(用于语音合成)
DASHSCOPE_API_KEY=你的阿里云API密钥
查看当前配置:
cat .env | grep -E "(HUANDU|DASHSCOPE)"
使用的AI模型
所有模型均通过幻度科技API和阿里云API调用:
-
多模态分析:qwen-vl-max-latest(幻度科技API)
- 用于分析图片并生成脚本
- 支持图文混合输入
-
图生视频:sora_video2-landscape-hd(幻度科技API)
- 将静态图片转换为动态视频
- 支持横屏高清输出
-
语音合成:qwen3-tts-flash(阿里云API)
- 阿里云通义千问语音合成
- 音色:Cherry(女声)
系统要求
后端依赖
- Node.js 14+
- FFmpeg:用于视频合并(必须安装)
安装FFmpeg
macOS:
brew install ffmpeg
Ubuntu/Debian:
sudo apt-get install ffmpeg
CentOS/RHEL:
sudo yum install ffmpeg
目录结构
uploads/
├── temp/ # 临时文件(自动清理)
└── videos/ # 最终生成的视频
API接口说明
1. 生成脚本
接口: POST /api/video-generator/generate-script
请求:
- Content-Type:
multipart/form-data - 参数:
images: 5张图片文件productName: 产品名称targetAudience: 目标人群productHighlights: 产品卖点
响应:
{
"success": true,
"script": [
{
"prompt": "Product showcase...",
"voiceover": "展示产品的精彩瞬间..."
},
// ... 5个镜头
]
}
2. 生成视频
接口: POST /api/video-generator/generate-videos
请求:
- Content-Type:
multipart/form-data - 参数:
images: 5张图片文件script: JSON字符串格式的脚本
响应:
{
"success": true,
"videoUrls": [
"https://...",
// ... 5个视频URL
]
}
3. 生成音频
接口: POST /api/video-generator/generate-audio
请求:
- Content-Type:
application/json - Body:
{
"script": [
{
"prompt": "...",
"voiceover": "旁白文案"
}
]
}
响应:
{
"success": true,
"audioUrl": "https://..."
}
4. 合并视频和音频
接口: POST /api/video-generator/merge
请求:
- Content-Type:
application/json - Body:
{
"videoUrls": ["url1", "url2", ...],
"audioUrl": "audio_url"
}
响应:
{
"success": true,
"videoUrl": "/uploads/videos/final_xxx.mp4"
}
常见问题
Q: 视频生成需要多长时间?
A: 通常需要5-10分钟,具体取决于API响应速度和网络状况。
Q: 支持哪些图片格式?
A: 支持JPG、PNG等常见图片格式。
Q: 生成的视频是什么格式?
A: MP4格式,H.264编码,横屏高清(Landscape HD)。
Q: 如果生成失败怎么办?
A: 检查以下内容:
- 确认API密钥正确
- 确认网络连接正常
- 确认FFmpeg已安装
- 查看服务器日志获取详细错误信息
Q: 可以修改生成的脚本吗?
A: 目前版本中,你可以重新生成脚本。后续版本将支持手动编辑。
技术架构
用户上传图片 → 多模态分析 → 生成脚本 → 用户确认
↓
并行处理:
1. 图生视频(5个片段)
2. 语音合成
↓
FFmpeg合并 → 最终视频
最佳实践
-
图片选择:
- 选择高质量的产品图片
- 确保图片清晰、光线充足
- 建议图片尺寸至少1920x1080
-
产品信息:
- 产品名称要简洁明了
- 目标人群要具体
- 核心卖点要突出重点
-
脚本优化:
- 第一张图片最好是产品全景
- 中间图片展示细节和特点
- 最后一张图片展示使用场景
更新日志
v1.0.0 (2025-10-09)
- 初始版本
- 支持5张图片上传
- 自动生成视频和语音
- 支持视频下载