ai/docs/system_b/09_AI生成流水线_Provider抽象设计.md

# 09_AI生成流水线_Provider抽象设计

## 1. 文档目标

本文档定义系统 B 的 AI 核心流水线、Provider 抽象、任务输入输出、质量控制和模型可替换策略。

## 2. 核心原则

1. 不把任何模型写死到业务代码。
2. 所有 AI 能力通过 Provider 调用。
3. 高成本任务必须检查订单/额度。
4. 所有 AI 调用必须记录日志和成本。
5. 任务失败可重试，可切换备用 Provider。
6. 预览和正式生成分离。

## 3. Provider 类型

```text
TextProvider：文案、创作方案、Prompt 生成
ImageProvider：预览图、正式图、局部重绘
VideoProvider：图生视频、关键动态镜头
VoiceProvider：旁白、誓言、祝福语 TTS
ModerationProvider：文本/图片审核
FaceCheckProvider：人脸检测、角色归属、清晰度
QualityCheckProvider：图片质量、人像一致性、视频质检
```

V3 真人动态视频新增 Provider：

```text
FaceIdentityProvider：真人身份档案、身份特征摘要、身份锚点建议
FaceConsistencyProvider：本人相似度、人脸一致性、男女混脸检测
MotionPortraitProvider：动态写真，眨眼、微笑、头发衣服轻微动
LipSyncProvider：口型同步、誓言口播、祝福语口播
```

VideoProvider 在 V3 中不只用于“关键动态镜头”，还要支持：

```text
image_to_video：首帧图生视频
reference_to_video：多参考图保持人物一致性
start_end_to_video：首尾帧视频
speech_to_video / lipsync：带音频或口型的视频任务，可选
```

## 4. Provider 通用配置

字段：

```text
provider_type
provider_name
model_name
api_base
api_key_ref
priority
quality_level
rate_limit
cost_rule
fallback_provider_id
status
```

## 5. AI 流水线总览

```text
用户上传照片
→ 原图去 EXIF
→ 照片质检
→ 人物档案生成
→ 用户填写定制信息
→ 创作方案生成
→ 镜头计划生成
→ Prompt 分层组装
→ 预览图生成
→ 用户确认预览
→ 正式图生成
→ 图片质检
→ 旁白/字幕生成
→ 视频合成
→ 最终质检
→ 人工审核
→ 交付
```

## 5.1 V3 真人动态视频流水线

```text
用户上传照片
→ 授权确认
→ 原图去 EXIF / 私有存储
→ 照片质检
→ FaceIdentityProvider 生成人物身份档案
→ 身份锚点图生成
→ FaceConsistencyProvider 评分
→ 用户确认像不像
→ 创作方案 / 镜头计划
→ 关键帧生成
→ 成本预估和额度冻结
→ VideoProvider 生成真人动态片段
→ 视频片段质检
→ VoiceProvider 生成旁白 / 誓言
→ LipSyncProvider 口型同步，可选
→ FFmpeg 合成成片
→ 最终质检
→ 人工审核
→ 用户确认
→ 交付
```

关键规则：

- 未完成授权，不允许照片处理和生成。
- 未确认身份锚点，不允许正式动态视频生成。
- 真实视频 Provider 默认关闭，必须运营启用、用户确认和成本通过后才调用。
- 真实 Provider 失败不能回落 mock 假成功。
- 每个视频片段必须可单独预览、重试、替换、质检和计费。

## 6. 照片处理流程

### 6.1 输入

- 用户原始照片
- 人物角色：person_a/person_b/self/child/family_member
- 项目主题

### 6.2 处理

```text
保存原图
去除 EXIF
生成缩略图
检测人脸数量
检测清晰度
检测遮挡
检测角度
检测重复图片
检测是否多人混入
检测过度美颜风险
```

### 6.3 输出

```json
{
  "asset_id": 1001,
  "quality_status": "pass",
  "quality_score": 86.5,
  "face_count": 1,
  "issues": []
}
```

## 7. 人物档案生成

### 7.1 目标

将多张参考照片整理成人物档案，供后续 Prompt 和一致性控制使用。

### 7.2 输出字段

```text
role
name
gender_label
age_group
appearance_summary
face_features
hair_features
temperament
reference_asset_ids
anchor_asset_id
avoid_changes
quality_score
```

### 7.3 示例

```text
person_a：30岁左右男性，短黑发，脸型偏长，五官清晰，气质沉稳。生成时保持发型、脸型和年龄感，不要变成欧美脸，不要明显年轻化或老化。
```

## 8. 创作方案生成

### 8.1 输入

```text
人生主题
套餐
视觉风格
世界观列表
场景列表
人物档案
用户定制信息
输出类型
```

### 8.2 输出

```text
作品标题
作品简介
世界顺序
场景顺序
镜头计划
旁白草稿
字幕草稿
片头文案
片尾文案
总时长
预计图片数
预计视频片段数
```

### 8.3 生成约束

- 不要生成用户未选择的世界。
- 不要改变人物关系。
- 文案不要过长。
- 如果是父母银婚金婚，语气要庄重温馨。
- 如果是情侣写真，可以更浪漫轻盈。

## 9. Prompt 分层组装

Prompt 由以下层组成：

```text
人物层
关系层
人生主题层
世界观层
场景层
镜头层
视觉风格层
质量层
限制层
```

### 9.1 人物层

来自 person_profile。

### 9.2 世界观层

来自 world_template。

### 9.3 场景层

来自 scene_template。

### 9.4 镜头层

来自 shot_template。

### 9.5 质量层

根据套餐决定：

- high quality
- commercial portrait quality
- detailed lighting
- clean composition

### 9.6 限制层

必须包含：

```text
不要多出无关人物
不要文字乱入
不要明显畸形手
不要改变人物年龄
不要男女混脸
不要改变人物核心五官
```

## 10. 预览图生成

### 10.1 目标

让用户低成本确认：

- 人物像不像
- 风格是否满意
- 世界方向是否正确

### 10.2 规则

- 数量少
- 加水印
- 低清或中清
- 只生成关键场景
- 预览重生次数受限

## 11. 正式图生成

### 11.1 输入

- 确认后的镜头计划
- 人物档案
- 场景模板
- 风格模板
- 预览锚点图，可选

### 11.2 规则

- 使用高质量 Provider 配置
- 每张图记录 Prompt
- 每张图记录 Provider
- 每张图记录版本
- 失败可重试
- 多次失败转人工

## 12. 图片质检

自动检查：

```text
人脸是否崩坏
人物是否不像本人
男女是否混脸
是否多出第三人
手部是否异常
服装是否跑偏
场景是否错误
是否有乱码文字
是否违规
```

输出：

```text
pass
warning
fail
```

处理：

- pass：进入视频合成
- warning：人工复核
- fail：自动重生

## 13. TTS 和字幕生成

### 13.1 文案来源

- 片头
- 旁白
- 誓言
- 祝福语
- 片尾

### 13.2 字幕规则

- 每屏字数控制
- 不遮挡人物脸部
- 字幕和旁白时间对齐
- 支持有字幕/无字幕版本

## 14. 视频合成

### 14.1 输入

```text
final_images
shot_plans
subtitle_srt
voice_audio
bgm_audio
video_template
```

### 14.2 FFmpeg 处理

- 图片转视频片段
- 推拉运镜
- 转场
- 字幕烧录
- 音频混合
- 片头片尾
- 封面生成

### 14.3 视频等级

```text
L1：静态图片 + 推拉运镜
L2：图片 + 简单光效/花瓣/粒子
L3：关键镜头图生视频
L4：高级动态视频
```

第一阶段建议：L1 + L2 为主。

## 15. 最终质检

检查：

- 视频可播放
- 音画同步
- 字幕不出框
- BGM 音量合适
- 旁白清晰
- 分辨率正确
- 文件大小合理
- 无违规内容

## 16. Provider 失败切换

策略：

```text
主 Provider 失败
→ 记录错误
→ 判断是否可重试
→ 重试 N 次
→ 切换 fallback Provider
→ 仍失败则 manual_required
```

## 17. 成本记录

每次 AI 调用记录：

```text
project_id
task_id
provider_id
model_name
input_size
output_size
estimated_cost
actual_cost
latency_ms
status
```

## 18. 需要人工介入的场景

- 人像连续不像
- 多次生成崩坏
- 视频合成失败
- 用户申请中改/大改
- 审核警告
- 高端定制项目

## 19. V3 VideoProvider 策略

系统 B V3 优先测试图生视频、参考图生视频和人物动作视频，不建议直接依赖文生视频。

推荐 Provider 预设：

| Provider | 适合用途 | 默认状态 |
|---|---|---|
| MiniMax Hailuo 2.3 Fast | 低成本快速小样、真人动效验证 | 禁用 |
| MiniMax Hailuo 2.3 | 质量更高的小样 / 正式片段 | 禁用 |
| Alibaba Wan2.6 I2V Flash | 快速对比稳定性和成本 | 禁用 |
| Alibaba Wan2.6 I2V | 标准质量图生视频 | 禁用 |
| Vidu Q3 Turbo Reference | 多参考图人物一致性、音画能力 | 禁用 |
| Vidu Q3 Pro | 高质量参考图生视频 | 禁用 |
| Jimeng / Seedance | 中文短剧感、真人镜头语言 | 禁用 |
| Kling / Runway | 备用对比和部分高质量场景 | 禁用 |
| MockVideoProvider | 流程演练和不扣费测试 | 启用 |

每个 Provider 配置至少包含：

```text
provider_name
model_name
mode: image2video / reference2video / start_end2video / lipsync
resolution
max_duration_per_clip
cost_per_second 或 cost_per_clip
supports_reference_image
supports_start_end_frame
supports_audio
supports_lipsync
supports_character_reference
retry_limit
priority
fallback_provider
status
```

## 20. V3 视频片段质检

每个真实视频片段必须检查：

- 是否像本人。
- 是否男女混脸。
- 是否年龄变化过大。
- 是否多出第三人。
- 动作是否自然。
- 表情是否怪异。
- 手部和身体是否畸形。
- 是否有不合适姿势。
- 是否有水印、乱码、logo。
- 是否适合公开案例。

质检结果：

```text
passed：可进入合成
needs_retry：建议重试
manual_review：转人工
rejected：不可用
```

## 21. V3 口型策略

口型属于高级能力，不作为基础交付强依赖。

规则：

- 只有高端真人纪念片或用户选择口型套餐时启用。
- 口型失败时允许回退为旁白字幕版本。
- 口型任务必须单独记录 Provider、成本、状态和错误。
- 涉及未成年人时，口型内容必须更严格审核。