bowen31337-ai-media

基于 GPU 服务器（RTX 3090/3080/2070S）的全栈 AI 媒体生成技能，支持 ComfyUI 图像/视频、SadTalker 数字人及 Voxtral 语音合成，通过 SSH 远程调用脚本。

## 概述（中文）

基于 GPU 服务器（RTX 3090/3080/2070S）的全栈 AI 媒体生成技能，支持 ComfyUI 图像/视频、SadTalker 数字人及 Voxtral 语音合成，通过 SSH 远程调用脚本。

## 技能正文

# ai-media - AI 媒体生成

基于 GPU 服务器（RTX 3090/3080/2070S）的全栈 AI 媒体生成。

## 能力

1. **图像生成** — 通过 ComfyUI 生成逼真图像（z-image、Juggernaut XL）
2. **视频生成** — 通过 ComfyUI 合成视频（AnimateDiff、LTX-2）
3. **数字人** — 通过 SadTalker 生成会说话的人脸动画
4. **语音合成** — 通过 Voxtral（whisper.cpp）实现自然 TTS

## GPU 服务器

- **主机：** `${GPU_USER}@${GPU_HOST}`
- **SSH 密钥：** `~/.ssh/id_ed25519_gpu`
- **ComfyUI：** `/data/ai-stack/comfyui/ComfyUI/`（端口 8188）
- **SadTalker：** `/data/ai-stack/sadtalker/`
- **Voxtral：** `/data/ai-stack/whisper/`
- **输出：** `/data/ai-stack/output/`

## 用法

### 生成图像

```bash
./scripts/image.sh "lady on beach at sunset" realistic
./scripts/image.sh "cyberpunk cityscape" artistic
```

**参数：**
- `$1`：提示词文本
- `$2`：风格（realistic|artistic）— 可选，默认 realistic

**输出：** 生成图像路径（如 `/data/ai-stack/output/image_001.png`）

### 生成视频

```bash
./scripts/video.sh "waves crashing on shore" animatediff 4
./scripts/video.sh "city traffic timelapse" ltx2 8
```

**参数：**
- `$1`：提示词文本
- `$2`：模型（animatediff|ltx2）— 可选，默认 animatediff
- `$3`：时长（秒）— 可选，默认 4

**输出：** 生成视频路径（如 `/data/ai-stack/output/video_001.mp4`）

### 生成数字人

```bash
./scripts/talking-head.sh "Hello, I'm Agent" gentle input.jpg
./scripts/talking-head.sh "Welcome to the future" neutral photo.png
```

**参数：**
- `$1`：语音文本
- `$2`：语音风格（gentle|neutral|energetic）— 可选，默认 gentle
- `$3`：头像图片路径 — 可选，未提供则生成默认头像

**输出：** 数字人视频路径（如 `/data/ai-stack/output/talking_001.mp4`）

### 生成音频

```bash
./scripts/audio.sh "This is a test message" en male
./scripts/audio.sh "Bonjour le monde" fr female
```

**参数：**
- `$1`：待朗读文本
- `$2`：语言代码（en|fr|es 等）— 可选，默认 en
- `$3`：语音性别（male|female）— 可选，默认 male

**输出：** 音频文件路径（如 `/data/ai-stack/output/audio_001.wav`）

## 可用模型

### 图像模型
- **z-image** — 60 亿参数，S3-DiT，逼真风格（下载中，已完成 43%）
- **Juggernaut XL v9** — 基于 SDXL，通用型（7.1GB，就绪）

### 视频模型
- **AnimateDiff** — SD 1.5 运动模块（512x512，可用 ✅）
- **LTX-2** — 190 亿参数，高质量（14GB 检查点就绪，Gemma 编码器就绪）

### 数字人模型
- **SadTalker** — 音频驱动头部动画（可用 ✅）

### 语音模型
- **Voxtral** — 基于 whisper.cpp 的 TTS（已安装）

## 依赖

GPU 服务器上已预装所有依赖：
- ComfyUI 及自定义节点（AnimateDiff-Evolved、VideoHelperSuite）
- SadTalker 及面部增强器
- Voxtral 与 whisper.cpp
- FFmpeg 用于视频编码

## 错误处理

脚本将：
- 执行前检查 SSH 连通性
- 验证 GPU 服务器是否运行
- 返回有意义的错误信息
- 自动清理失败的生成任务

## 性能

- **图像：** 1024x1024 约 10-20 秒
- **视频（AnimateDiff）：** 512x512、16 帧约 20-30 秒
- **视频（LTX-2）：** 768x512、4 秒 @ 24fps 约 60-90 秒
- **数字人：** 10 秒视频约 30-40 秒
- **音频：** 30 秒语音约 2-5 秒

## 未来增强

- [ ] 批量生成支持
- [ ] 风格迁移能力
- [ ] 视频超分辨率（空间 + 时间）
- [ ] 多语言语音克隆
- [ ] 实时预览流

---

**状态：** 积极开发中
**维护者：** Agent
**GPU 服务器：** ${GPU_USER}@${GPU_HOST}