Files
ai/docs/chatgpt/novel/12.md
T

12 KiB
Raw Blame History

我目前的系统是拆了分镜,每个分镜单独给模型发api 这样应该不会乱把,每个分镜都市独立的,等于现实的导演一集一集的擦hi开取景安排好了完整流程,不管谁接手,只需要按每个分镜定好的流程内容去拍摄就可以了

对,你这个理解大方向是对的

每个分镜单独发 API,不会像长篇小说那样严重依赖前后 100 章全文。 因为分镜本身就是“拍摄执行单”,模型只需要按当前镜头要求生成画面。

这和现实剧组很像:

总导演 / 编剧先定全剧
↓
分集导演拆场
↓
分镜导演定镜头
↓
摄影、美术、演员按分镜执行
↓
剪辑统一成片

所以你的系统按“分镜独立生成”是正确路线。

但是要注意一句:

分镜可以独立生成,但不能完全孤立。

如果每个分镜只给当前镜头内容,而不带角色、服装、场景、前后镜头连续性,就可能出现:

第一镜女主短发; 第二镜女主长发; 第三镜衣服颜色变了; 第四镜场景灯光变了; 第五镜动作方向反了; 第六镜人物情绪接不上。

所以最稳的做法是:

每个分镜独立发 API,但每个分镜都必须携带统一的“拍摄资产包”。


一、你的分镜 API 模式是对的

你现在这种:

第1镜 → 单独调用视频模型
第2镜 → 单独调用视频模型
第3镜 → 单独调用视频模型
……
最后 FFmpeg 合成

是目前 AI 短剧最现实、最可控的方式。

因为如果你让模型一次生成 1 分钟、3 分钟、5 分钟完整短剧,问题会更多:

画面漂移; 人物换脸; 动作断裂; 台词不稳; 剧情遗漏; 生成失败成本高; 不好返修; 单个镜头坏了要整段重来。

所以拆分镜是对的。

一个镜头坏了,只重做一个镜头,不影响整集。


二、但每个分镜不能只传“当前动作”

错误示例:

女主走进房间,看见桌上的门禁卡。

这样模型可能不知道:

女主是谁; 她长什么样; 她穿什么; 现在是什么情绪; 房间是什么风格; 上一镜她从哪个方向进来; 门禁卡是什么样; 整体画风是什么; 镜头比例和时长是多少。

正确应该传:

角色固定信息
+ 当前角色状态
+ 场景固定信息
+ 道具固定信息
+ 本镜头动作
+ 镜头语言
+ 情绪状态
+ 前后连续性
+ 负面词
+ Provider 参数

这就是我说的“拍摄资产包”。


三、每个分镜 API 应该包含 8 类信息

1. 项目级风格

每个镜头都要统一。

例如:

写实真人短剧风格,9:16竖屏,720p,电影感低饱和,真实自然光,克制表演,不夸张,不网红滤镜。

这保证整集质感统一。


2. 角色固定资产

每个出现的角色都要引用同一个角色档案。

例如:

{
  "character_id": "cen_qing",
  "name": "岑青",
  "visual_identity": "31岁中国女性,短黑发,清瘦脸型,眼神冷静,素色衬衫,深色外套",
  "anchor_image_id": "asset_xxx",
  "current_state": "刚发现门禁卡身份异常,情绪克制但警觉",
  "must_keep": [
    "短黑发",
    "清瘦脸",
    "深色外套",
    "冷静克制表情"
  ]
}

如果 Provider 支持参考图,就传锚点图。 如果不支持,就把视觉描述写进 Prompt。


3. 角色状态变体

同一角色在不同剧情阶段可能服装、伤势、妆容不同。

比如:

normal_state
rainy_state
injured_state
fire_scene_state
office_state

不能每个镜头临时改。

你当前系统已经有 CharacterStateCharacterDesignVersion,这个就应该用起来。


4. 场景固定资产

例如:

{
  "scene_id": "old_investigation_room",
  "location": "临时调查室",
  "visual_identity": "简陋办公室,白板贴着火灾楼层图,桌上有证物袋和电脑,冷白灯,窗外下雨",
  "lighting": "冷白室内光 + 电脑屏幕冷光",
  "color_palette": "灰蓝、旧白、暗黄"
}

这样第 1 镜和第 2 镜不会变成两个完全不同的房间。


5. 道具资产

重要道具必须固定。

比如:

{
  "prop_id": "burned_access_card",
  "name": "烧焦门禁卡",
  "visual_identity": "一张边缘烧焦起泡的塑料门禁卡,卡面残留两个汉字:林照,磁条断裂"
}

短剧里道具是线索,不能乱变。


6. 本镜头执行内容

这才是当前分镜本身:

{
  "shot_no": 3,
  "duration_sec": 5,
  "shot_size": "close-up",
  "camera_movement": "slow push-in",
  "main_action": "岑青把烧焦门禁卡放到电脑旁,盯着屏幕等待系统检索",
  "emotion": "安静、不安、警觉",
  "dialogue": ""
}

7. 前后镜头连续性

这是防止剪辑不连贯的关键。

例如:

{
  "previous_shot": {
    "ending_state": "裴让把证物袋推到岑青面前",
    "character_position": "岑青坐在桌子左侧,裴让站在右侧",
    "prop_position": "证物袋在桌子中央"
  },
  "current_shot_start": "从桌面证物袋特写开始",
  "next_shot_expectation": "电脑屏幕出现身份匹配失败"
}

不是每个镜头都需要很多,但关键镜头要带。


8. 负面约束

比如:

不要换脸,不要改变发型,不要改变服装颜色,不要夸张表演,不要卡通风,不要多余人物,不要出现错误文字,不要手指畸形,不要突然切换场景。

视频模型很容易自作主张,负面词必须有。


四、最稳的分镜任务结构

你的视频 API 任务最好不是只保存一个 prompt,而是保存结构化 JSON。

建议这样:

{
  "project_id": "p001",
  "episode_id": "e001",
  "shot_no": 3,
  "duration_sec": 5,
  "aspect_ratio": "9:16",
  "resolution": "720p",
  "provider": "volcengine_seedance_20",
  "route_tier": "premium",

  "style_pack": {
    "visual_style": "写实真人短剧,电影感,低饱和,真实光影",
    "tone": "克制、悬疑、现实主义",
    "negative_style": "不要网红滤镜,不要动漫风,不要夸张表演"
  },

  "characters": [
    {
      "character_id": "cen_qing",
      "name": "岑青",
      "anchor_image_id": "asset_cenqing_anchor_v1",
      "state_code": "investigation_dark_coat",
      "visual_prompt": "31岁中国女性,短黑发,清瘦脸型,冷静眼神,素色衬衫,深色外套",
      "continuity_rules": [
        "保持同一张脸",
        "保持短黑发",
        "保持深色外套",
        "表情克制"
      ]
    }
  ],

  "location": {
    "scene_id": "investigation_room",
    "prompt": "简陋临时调查室,白板上贴火灾楼层图,桌上有证物袋、电脑,冷白灯,窗外下雨"
  },

  "props": [
    {
      "prop_id": "burned_access_card",
      "prompt": "烧焦起泡的门禁卡,边缘发黑,磁条断裂,卡面残留两个汉字"
    }
  ],

  "shot": {
    "shot_size": "close-up",
    "camera_movement": "slow push-in",
    "main_action": "岑青把烧焦门禁卡放在电脑旁,盯着屏幕等待系统检索",
    "emotion": "安静、不安、警觉",
    "dialogue": "",
    "sfx": "轻微雨声、电脑风扇声"
  },

  "continuity": {
    "previous_shot_end": "裴让把证物袋推到岑青面前",
    "current_start": "桌面证物袋特写",
    "next_shot_need": "电脑屏幕出现身份匹配失败"
  },

  "final_prompt": "",
  "negative_prompt": ""
}

然后由你的 PromptBuilderService 把这个结构转成不同 Provider 的最终 Prompt。


五、你的“导演比喻”是正确的,但还差一个“场记”

你说:

不管谁接手,只需要按每个分镜定好的流程内容去拍摄。

这句话对。

但现实剧组还有一个非常重要的岗位:场记

场记负责记录:

上一镜演员站哪; 手里拿什么; 衣服有没有扣上; 杯子在桌子哪边; 上一句台词是什么情绪; 下一镜怎么接。

AI 视频里也需要“场记系统”。

对应到你的系统就是:

ShotContinuityService

它负责每个镜头之间的连续性。

比如:

{
  "episode_id": "e001",
  "shot_no": 5,
  "ending_state": {
    "cen_qing_position": "桌子左侧",
    "peirang_position": "门口右侧",
    "prop_access_card": "电脑键盘左边",
    "emotion": "岑青第一次产生怀疑"
  }
}

生成第 6 镜时,就把第 5 镜 ending_state 带进去。

这样剪辑会更顺。


六、什么时候分镜可以完全独立?

这些镜头可以高度独立:

空镜;
环境镜头;
道具特写;
转场镜头;
梦境片段;
监控画面;
回忆碎片;
单人特写;
无连续动作的对白镜头。

比如:

烧焦门禁卡特写
旧楼外墙空镜
雨水落在警戒线上
电脑屏幕显示查无此人

这些镜头前后依赖很弱,单独生成没问题。


七、什么时候不能完全独立?

这些镜头要带连续性:

同一场戏里的连续对话;
同一动作拆成多个镜头;
角色从 A 点走到 B 点;
打斗;
追逐;
拥抱;
递东西;
开门进房间;
人物情绪逐渐变化;
同一空间内连续切镜。

比如:

第3镜:裴让把证物袋推给岑青
第4镜:岑青打开证物袋
第5镜:岑青拿出门禁卡
第6镜:电脑显示查无此人

这几个镜头必须共享:

桌子位置; 人物站位; 门禁卡样子; 灯光; 动作承接。

否则合成后会跳。


八、你的系统现在应该补的核心模块

基于你当前已拆分镜的流程,我建议补这几个:

1. ShotContextBuilder

给每个分镜拼上下文:

项目风格
角色资产
场景资产
道具资产
当前分镜
前后镜连续性
Provider 参数

2. ShotContinuityService

保存每个镜头的开始状态和结束状态。

字段包括:

人物位置
人物情绪
服装状态
手持道具
场景状态
动作完成情况
下一镜承接点

3. ShotAssetLock

锁定角色、服装、场景、道具。

比如:

第1集第1-12镜,岑青统一使用 character_state = investigation_dark_coat
海风大厦楼梯间统一使用 scene_asset = haifeng_stairwell_v1
门禁卡统一使用 prop_asset = burned_access_card_v1

4. ShotQualityCheck

生成后检查:

人物是否一致;
服装是否一致;
动作是否完成;
场景是否错误;
有没有多余人物;
有没有崩脸;
是否符合时长;
是否能接上前后镜。

5. ShotRetryPolicy

根据失败类型自动重试。

比如:

换脸 → 加强角色描述 / 使用锚点图 / 换图生视频
动作失败 → 简化动作
场景乱 → 加首帧图
手部崩 → 避免复杂手部动作 / 改景别
文字错 → 不让模型生成可读文字,后期字幕加

九、你现在的路线和小说流水线怎么接?

小说流水线生成短剧时,应该先生成:

Episode
EpisodeScript
StoryboardShot
ShotAssetLock
ShotContinuityPlan

然后你现有视频系统按每个 StoryboardShot 单独生成。

也就是:

小说章节
↓
短剧剧本
↓
分镜
↓
分镜资产锁定
↓
每镜单独 API
↓
候选片段
↓
连续性检查
↓
合成

这样就不会乱。


十、最终判断

你目前的做法:

分镜拆开,每个分镜单独发 API。

这是正确的,而且是 AI 短剧自动化的主流可控方案。

但要加一句:

分镜独立生成,不等于分镜没有上下文。

最稳结构是:

每个分镜独立调用 API
但每个分镜都带:
角色锁定
场景锁定
道具锁定
本镜头动作
前后连续性
统一风格
负面词
Provider 适配参数

一句话总结:

你现在像导演把戏拆成了镜头,这是对的;下一步要补“场记”和“资产锁定”,保证每个接手拍摄的 AI 模型拍出来能剪成同一部戏。