ai/AI_VIDEO_TEST_LESSONS.md

AI 真人/漫剧视频流水线测试踩坑记录 V1

更新时间：2026-06-12

用途：

• 记录测试阶段已经遇到的问题、原因判断、系统优化点。
• 后续接入 Kling、Seedance、Wan、Vidu、Runway、Veo 等平台时，按同一套准入标准测试，避免重复烧钱。
• 本文件是运营/开发测试手册，不替代 docs/ 里的系统需求文档。

当前阶段定位

当前仍是测试磨合阶段，不追求一次性自动发布。

目标顺序：

1. 跑通自动化流水线。
2. 找到各 Provider 的能力边界。
3. 把失败原因转成系统规则。
4. 形成可恢复、可路由、可统计成本的生产流程。
5. 最后再逐步提高自动化比例。

已验证结论

Hailuo 适合做什么

Hailuo / MiniMax Hailuo 2.3 Fast 当前更适合：

• 都市真人短剧普通镜头。
• 中景、远景、走路、转身、递物、沉默、反应镜头。
• 咖啡厅、街道、办公室、豪车、酒店、家庭等现实场景。
• 旁白 + 字幕 + BGM 推动剧情的短剧。
• 成本敏感的批量生产。

当前实测成本：

• minimax_hailuo_23_fast：约 $0.317 / 10秒
• minimax_hailuo_23：约 $0.467 / 10秒

Hailuo 不适合硬扛什么

Hailuo 对以下镜头可控性不足：

• 凌空翻滚、复杂武打、连续打斗。
• 精准手诀、结印、舞蹈式手部动作。
• 法相天地、千臂法身、巨型神像复杂动作。
• 一镜中塞太多高复杂动作。
• 正脸强台词口型同步。

处理原则：

• 不要在同一失败动作上无脑重跑 Hailuo。
• 如果同类复杂动作 1-2 次失败，优先切换 Provider 或补动作参考/姿势关键帧。
• 修仙、法相、打斗、次元壁穿越等镜头默认标记为高价值/高复杂度，不按普通都市镜头处理。

分镜时长经验

Hailuo 时长设计规则

Hailuo 当前按真实可用规格优先设计：

• 常规可用镜头时长：6 秒 / 10 秒。
• 真人短剧主流程优先按 10 秒长镜头设计。
• 只有非常简单的过渡镜头、环境镜头、无台词动作镜头，才考虑 6 秒。
• 不再设计 7 秒、8 秒这种无法直接匹配 Hailuo 输出规格的镜头。

系统规则：

• 导演分镜上限必须允许 10 秒。
• 如果原分镜明确是 10 秒，prepare 阶段不得自动压缩成 5 秒或 8 秒。
• 负面约束里的“避免嘴部特写”不能导致镜头被误判成 insert 特写。
• “手里的道具”不能被误判成“手部特写”，只有手部/手指/手掌/手腕/手势等明确关键词才算 insert。

3 秒碎片问题

法相天地三段式测试暴露问题：

• 镜头切太碎，像图片拼接。
• Hailuo 实际输出常按 6 秒返回，系统再裁成 3/3/4 秒时，动作容易被截断。
• 复杂动作被拆太短，会失去电影感和动作连贯性。

结论：

• 普通反应镜头：3-5 秒可以。
• 都市剧情镜头：5-6 秒更稳。
• 复杂动作/爆点镜头：优先 8-10 秒一镜到底。
• 不能把 6 秒 Provider 输出硬裁成 3 秒作为长期策略。

10 秒一镜到底结论

法相天地 10 秒 Hailuo 测试已验证：

• Hailuo API 可以返回 10 秒。
• 10 秒一镜到底比 3 段裁切更连贯。
• 人物、服装、场景稳定性明显提升。
• 但复杂动作本身仍受 Provider 能力限制。

系统规则：

• action_score >= 8 且 importance >= 8 的镜头，优先生成 8-10 秒单镜头。
• 如果 Provider 不支持目标时长，再由系统拆分，不要随意裁切关键动作。

Prompt Engine 经验

直接把剧情发给视频模型，质量不稳定。

必须通过 Prompt Engine 组装：

• 角色。
• 场景。
• 主动作。
• 镜头大小。
• 运镜。
• 动作时间轴。
• 情绪表演。
• 灯光。
• 特效时机。
• 声音卡点。
• 负面约束。

已落地：

• Motion Director Prompt。
• 10 秒仙侠一镜到底时间轴。
• Hailuo 长镜头 prompt 上限提升。

仍需注意：

• Prompt 只能提高概率，不能保证复杂动作精确执行。
• 复杂动作需要动作参考图、姿势关键帧或更强 Provider。
• 如果同一个 Prompt 多次失败，继续加形容词意义不大。

角色一致性经验

当前测试发现：

• 没有固定角色定妆图/锚点图时，人物容易漂移。
• 修仙/奇幻镜头更容易因为特效导致人物脸和服装变化。
• 都市短剧也需要固定林凡、陈雪、王伯这类角色锚点。

系统规则：

• 真人短剧正式验收前必须先做角色锚点图。
• 新剧首轮至少固定主角、女主、关键配角。
• Provider 小样要使用同一角色锚点和同一关键帧，避免测试结果不可比。

声音与字幕经验

没有声音、没有字幕、没有 BGM 的视频判定为失败。

已经遇到的问题：

• 屏幕女孩测试：无声音、无字幕，发布感不足。
• 口型镜头：语音先到，嘴型后动。
• 部分合成音量偏低，视觉还可以但情绪不够。

系统规则：

• 每条可发布视频必须包含字幕。
• 每条可发布视频必须包含 BGM 或环境底噪。
• 情绪镜头必须有 SFX：雨声、脚步、门声、心跳、低频冲击、sting 等。
• 合成后必须跑音量检测。
• 音量偏低时重新后期合成，不一定重跑视频。

台词与 lip-sync 经验

没有稳定 lip-sync Provider 前，不要把关键台词做成正脸大嘴型特写。

当前策略：

• lip_sync_required=true 但没有真实 lip-sync Provider 时：
  • 改成旁白。
  • 改成字幕。
  • 改成中景/侧脸/轻口型。
  • 避免正脸嘴部特写。

未来接入 lip-sync Provider 后：

• 只给关键正脸台词使用。
• 不全片 lip-sync，避免成本翻倍。
• lip-sync 放在视频片段生成后、FFmpeg 合成前。

成本控制经验

默认策略：

• 每个镜头默认只生成 1 条。
• 不默认生成 2-3 条候选。
• 只有封面级、爆点、最后反转、人工验收阶段才允许候选 2 条。
• 任何候选数增加都必须进入成本预估和审计日志。

当前后台已支持：

• AI 接入列表展示每 10 秒成本。
• Provider cost_summary。
• 单次成本上限。
• 当日成本上限。
• price_per_second=0 不当成免费，而是提示需账单回填。

Provider 路由经验

推荐基础路由：

普通都市镜头
=> Hailuo

都市高价值镜头
=> Hailuo 优先，必要时 Kling / Vidu / Wan 对比

修仙 / 法相 / 打斗 / 次元壁 / 复杂动作
=> Premium Provider 候选

正脸台词
=> 有 lip-sync Provider 才允许正脸特写，否则中景/旁白/字幕

成本超预算
=> Premium -> Hailuo -> Seedance/Mock

不要把“平台选择”写死在业务代码里，必须走 Router。

Provider 准入测试标准

每接入一个新视频 Provider，都按固定小样测试：

1. 同一项目。
2. 同一角色锚点图。
3. 同一关键帧。
4. 同一镜头文本。
5. 同一目标时长。
6. 同一分辨率/比例。
7. 记录真实成本。
8. 记录失败原因。
9. 记录生成耗时。
10. 记录人工观感评分。

必须记录：

• provider_code
• model_name
• clip_id
• asset_id
• duration
• cost_actual
• quality_score
• human_acceptance
• failure_reason
• prompt_version
• keyframe_asset_id

人工验收标准

当前 mock-qc 分数只能说明流程没坏，不能代表可发布。

真人视频上线前必须人工看：

• 人物是否稳定。
• 动作是否连贯。
• 镜头是否像真实拍摄。
• 字幕是否准确。
• 声音是否完整。
• BGM/SFX 是否有情绪。
• 口型是否明显穿帮。
• 是否有明显 AI 手、脸、身体变形。
• 成本是否在预算内。

不要重复踩的坑

• 不要把 mock-qc 通过当成真实质量通过。
• 不要无音频/无字幕就判断视频流程合格。
• 不要用 3 秒碎切测试复杂动作。
• 不要在 Hailuo 上反复烧复杂修仙动作。
• 不要把 price_per_second=0 当成免费。
• 不要默认生成 2-3 条候选。
• 不要让正脸台词在没有 lip-sync 时直出。
• 不要只看最终成片，要保留脚本、分镜、prompt、关键帧、音频、视频片段、合成记录。
• 不要默认认为 mock-video 就是全链路零成本；如果 TTS Provider 已启用真实平台，Mock 视频合成仍可能调用真实 TTS。零成本压测要显式指定 mock-voice 或关闭音频。
• 真实 Hailuo / Kling / Wan 等图生视频前必须先跑 preflight，确认关键帧是 PNG/JPG/WebP；Mock SVG 只能测流程，不能直接发给真实视频 Provider。
• Hailuo Fast 跑都市真人 10 秒镜头可用，5 条 10 秒顺序生成约 9 分钟，总成本记录 $1.585；后续应进入队列并在后台显示耗时。
• 只用单张临时关键帧会改善画面质感，但不能彻底解决同脸一致性；要上架必须补“角色锚点图 / 定妆图 / 同脸参考图”流程。
• 都市短剧 Hailuo 长镜头比 3-6 秒碎切更像真人短剧，但部分镜头仍会像关键帧慢推；Prompt 里要继续强化明确动作、人物走位、视线、反应和镜头结束动作。
• 角色锚点图 V1 对关键帧生成有效：同一角色的脸、服装、气质会比临时起图更稳；但 Hailuo Fast 当前按单首帧图生视频跑，不能直接吃多角色参考图，所以运动中仍可能轻微改脸。
• 锚点重跑应优先挑第 1 镜、第 3 镜、第 5 镜这类“角色出场 / 冲突 / 反转”镜头；默认候选仍为 1 条，避免成本翻倍。
• 真人短剧对白不能一镜一段 TTS 直接读完；只要 dialogue_text 里出现 角色名：台词，必须拆成多段 TTS，每段记录 speaker_name / character_id / voice_id / voice_style。
• 角色声线是发布级基础配置：顾辰、林雨薇、周浩、管家这类核心角色必须先在 Character 表绑定声音；否则即使画面像真人，声音也会变成解说感。
• 主持人、旁白也要当作独立声线处理；如果没有角色记录，至少要走固定 narration / host voice，不能复用男主或女主声音。
• 多声线 TTS 只解决“谁在说话”的问题，不解决“嘴型同步”；正脸台词仍要继续走 lip-sync 或中景轻口型策略。
• TTS 声音 ID 不能只看名字想当然：Chinese (Mandarin)_Gentle_Senior 在老管家场景听感偏女，不适合作为中老年男管家默认声线；当前老管家默认改为 Chinese (Mandarin)_Gentleman，但仍需人工听感确认。
• 核心角色上线前要做“角色声线小样验收”：每个角色先生成 1-2 句固定台词试听，确认性别、年龄、气质，再进入整集成片，避免整集重合成。
• Hailuo 2.3 标准版 1080P 比 Fast 768P 清晰度和雨夜质感略好，但第 5 镜 A/B 证明它不能单独解决“像图片动”的问题；高价值反转镜头更需要三关键帧/动作参考/更强 Provider，而不是只把 Fast 换成标准版。
• Provider A/B 测试必须保护当前成片：生成候选后要恢复 storyboard_shots.video_clip_asset_id，避免实验 clip 自动替换正式整集。
• 动作节拍链式生成 V1 对高价值反转镜头有效：第 5 镜用 2 段 Fast 生成，第二段用第一段结尾帧作为首帧，比单首帧慢推更能呈现“递卡 -> 看卡震惊”的动作链。
• action beat 不能默认全片开启：成本、耗时都会增加，适合反转/封面/爆点/高价值动作镜头；普通对话镜头仍用单条生成。
• preflight 必须按 action beat 的真实分段估算成本，否则后台会低估费用；第 5 镜 action beat 从单条 $0.317 变为 2 段 $0.3804。
• action beat 只解决“动作链更连续”，不解决“同一角色像同一个演员”；整集样片必须单独检查人物脸、年龄感、发型、服装是否跨镜稳定。
• 真实视频生成不能只传角色名字；必须把本镜出现角色的 ActorProfile 注入 provider prompt，并在 task input 记录 actor_lock，否则后台无法审计“这条视频到底有没有走锁脸策略”。
• prepare 阶段不要把全项目角色描述混进单镜 prompt；单镜只允许注入本镜出现的人物，否则多人项目会增加串脸概率。
• Hailuo 当前配置不是强角色参考模型，supports_character_reference=false；它可以做低成本图生视频，但发布级真人短剧要靠“角色锚点图生成首帧 + 强一致性 prompt + 人工抽检”，必要时横测支持角色参考的 Provider。
• 如果整集都换脸，不要继续盲目重跑全片；应先重跑第 1 / 3 / 5 镜这种出场、冲突、反转镜头，对比抽帧确认角色锁定是否有效，再决定是否整集重跑。
• 多角色音频不能把跨平台 voice_id 混用：coral 属于 OpenAI TTS，不能直接发给 MiniMax；Provider 层必须做 voice_id 适配或降级到当前 Provider 默认声线。
• MiniMax TTS 返回 JSON 时必须先检查 base_resp.status_code；否则账号权限、voice_id、group_id 等真实错误会被误报成 EMPTY_AUDIO。
• 小说上传走 encrypted JSON/base64 时，实际 HTTP body 会比原文件大约 33%；后端 body limit 必须高于文件限制，否则会先被 request entity too large 拦截。

下一步建议

短期优先：

1. 继续围绕都市真人短剧做 Hailuo 量产质量优化。
2. 做角色锚点图/定妆图 V1。
3. 做动作参考/姿势关键帧 V1。
4. 用同一固定镜头横测 Kling / Seedance / Wan / Vidu。
5. 建 Provider 准入表：质量、成本、失败率、耗时。
6. 做 BGM/SFX 发布级音量标准。
7. lip-sync 只做关键台词小样，不先全片接入。

长期原则：

• Hailuo 做低成本量产。
• 高价值镜头交给高质 Provider。
• Router 负责自动选模型。
• QA + 人工抽检负责质量闭环。
• 成本、失败、重试、降级全部进入审计。