feat: expand novel IP and production workflows

2026-09-18 08:14:05 +02:00
parent b2ae4600b4
commit d9c81a3ac0
235 changed files with 117971 additions and 2721 deletions
@@ -0,0 +1,608 @@
+我目前的系统是拆了分镜，每个分镜单独给模型发api 这样应该不会乱把，每个分镜都市独立的，等于现实的导演一集一集的擦hi开取景安排好了完整流程，不管谁接手，只需要按每个分镜定好的流程内容去拍摄就可以了
+
+对，你这个理解**大方向是对的**：
+
+> **每个分镜单独发 API，不会像长篇小说那样严重依赖前后 100 章全文。**
+> 因为分镜本身就是“拍摄执行单”，模型只需要按当前镜头要求生成画面。
+
+这和现实剧组很像：
+
+```text
+总导演 / 编剧先定全剧
+↓
+分集导演拆场
+↓
+分镜导演定镜头
+↓
+摄影、美术、演员按分镜执行
+↓
+剪辑统一成片
+```
+
+所以你的系统按“分镜独立生成”是正确路线。
+
+但是要注意一句：
+
+> **分镜可以独立生成，但不能完全孤立。**
+
+如果每个分镜只给当前镜头内容，而不带角色、服装、场景、前后镜头连续性，就可能出现：
+
+第一镜女主短发；
+第二镜女主长发；
+第三镜衣服颜色变了；
+第四镜场景灯光变了；
+第五镜动作方向反了；
+第六镜人物情绪接不上。
+
+所以最稳的做法是：
+
+> **每个分镜独立发 API，但每个分镜都必须携带统一的“拍摄资产包”。**
+
+---
+
+# 一、你的分镜 API 模式是对的
+
+你现在这种：
+
+```text
+第1镜 → 单独调用视频模型
+第2镜 → 单独调用视频模型
+第3镜 → 单独调用视频模型
+……
+最后 FFmpeg 合成
+```
+
+是目前 AI 短剧最现实、最可控的方式。
+
+因为如果你让模型一次生成 1 分钟、3 分钟、5 分钟完整短剧，问题会更多：
+
+画面漂移；
+人物换脸；
+动作断裂；
+台词不稳；
+剧情遗漏；
+生成失败成本高；
+不好返修；
+单个镜头坏了要整段重来。
+
+所以拆分镜是对的。
+
+一个镜头坏了，只重做一个镜头，不影响整集。
+
+---
+
+# 二、但每个分镜不能只传“当前动作”
+
+错误示例：
+
+```text
+女主走进房间，看见桌上的门禁卡。
+```
+
+这样模型可能不知道：
+
+女主是谁；
+她长什么样；
+她穿什么；
+现在是什么情绪；
+房间是什么风格；
+上一镜她从哪个方向进来；
+门禁卡是什么样；
+整体画风是什么；
+镜头比例和时长是多少。
+
+正确应该传：
+
+```text
+角色固定信息
+ 当前角色状态
+ 场景固定信息
+ 道具固定信息
+ 本镜头动作
+ 镜头语言
+ 情绪状态
+ 前后连续性
+ 负面词
+ Provider 参数
+```
+
+这就是我说的“拍摄资产包”。
+
+---
+
+# 三、每个分镜 API 应该包含 8 类信息
+
+## 1. 项目级风格
+
+每个镜头都要统一。
+
+例如：
+
+```text
+写实真人短剧风格，9:16竖屏，720p，电影感低饱和，真实自然光，克制表演，不夸张，不网红滤镜。
+```
+
+这保证整集质感统一。
+
+---
+
+## 2. 角色固定资产
+
+每个出现的角色都要引用同一个角色档案。
+
+例如：
+
+```json
+{
+  "character_id": "cen_qing",
+  "name": "岑青",
+  "visual_identity": "31岁中国女性，短黑发，清瘦脸型，眼神冷静，素色衬衫，深色外套",
+  "anchor_image_id": "asset_xxx",
+  "current_state": "刚发现门禁卡身份异常，情绪克制但警觉",
+  "must_keep": [
+    "短黑发",
+    "清瘦脸",
+    "深色外套",
+    "冷静克制表情"
+  ]
+}
+```
+
+如果 Provider 支持参考图，就传锚点图。
+如果不支持，就把视觉描述写进 Prompt。
+
+---
+
+## 3. 角色状态变体
+
+同一角色在不同剧情阶段可能服装、伤势、妆容不同。
+
+比如：
+
+```text
+normal_state
+rainy_state
+injured_state
+fire_scene_state
+office_state
+```
+
+不能每个镜头临时改。
+
+你当前系统已经有 `CharacterState` 和 `CharacterDesignVersion`，这个就应该用起来。
+
+---
+
+## 4. 场景固定资产
+
+例如：
+
+```json
+{
+  "scene_id": "old_investigation_room",
+  "location": "临时调查室",
+  "visual_identity": "简陋办公室，白板贴着火灾楼层图，桌上有证物袋和电脑，冷白灯，窗外下雨",
+  "lighting": "冷白室内光 + 电脑屏幕冷光",
+  "color_palette": "灰蓝、旧白、暗黄"
+}
+```
+
+这样第 1 镜和第 2 镜不会变成两个完全不同的房间。
+
+---
+
+## 5. 道具资产
+
+重要道具必须固定。
+
+比如：
+
+```json
+{
+  "prop_id": "burned_access_card",
+  "name": "烧焦门禁卡",
+  "visual_identity": "一张边缘烧焦起泡的塑料门禁卡，卡面残留两个汉字：林照，磁条断裂"
+}
+```
+
+短剧里道具是线索，不能乱变。
+
+---
+
+## 6. 本镜头执行内容
+
+这才是当前分镜本身：
+
+```json
+{
+  "shot_no": 3,
+  "duration_sec": 5,
+  "shot_size": "close-up",
+  "camera_movement": "slow push-in",
+  "main_action": "岑青把烧焦门禁卡放到电脑旁，盯着屏幕等待系统检索",
+  "emotion": "安静、不安、警觉",
+  "dialogue": ""
+}
+```
+
+---
+
+## 7. 前后镜头连续性
+
+这是防止剪辑不连贯的关键。
+
+例如：
+
+```json
+{
+  "previous_shot": {
+    "ending_state": "裴让把证物袋推到岑青面前",
+    "character_position": "岑青坐在桌子左侧，裴让站在右侧",
+    "prop_position": "证物袋在桌子中央"
+  },
+  "current_shot_start": "从桌面证物袋特写开始",
+  "next_shot_expectation": "电脑屏幕出现身份匹配失败"
+}
+```
+
+不是每个镜头都需要很多，但关键镜头要带。
+
+---
+
+## 8. 负面约束
+
+比如：
+
+```text
+不要换脸，不要改变发型，不要改变服装颜色，不要夸张表演，不要卡通风，不要多余人物，不要出现错误文字，不要手指畸形，不要突然切换场景。
+```
+
+视频模型很容易自作主张，负面词必须有。
+
+---
+
+# 四、最稳的分镜任务结构
+
+你的视频 API 任务最好不是只保存一个 prompt，而是保存结构化 JSON。
+
+建议这样：
+
+```json
+{
+  "project_id": "p001",
+  "episode_id": "e001",
+  "shot_no": 3,
+  "duration_sec": 5,
+  "aspect_ratio": "9:16",
+  "resolution": "720p",
+  "provider": "volcengine_seedance_20",
+  "route_tier": "premium",
+
+  "style_pack": {
+    "visual_style": "写实真人短剧，电影感，低饱和，真实光影",
+    "tone": "克制、悬疑、现实主义",
+    "negative_style": "不要网红滤镜，不要动漫风，不要夸张表演"
+  },
+
+  "characters": [
+    {
+      "character_id": "cen_qing",
+      "name": "岑青",
+      "anchor_image_id": "asset_cenqing_anchor_v1",
+      "state_code": "investigation_dark_coat",
+      "visual_prompt": "31岁中国女性，短黑发，清瘦脸型，冷静眼神，素色衬衫，深色外套",
+      "continuity_rules": [
+        "保持同一张脸",
+        "保持短黑发",
+        "保持深色外套",
+        "表情克制"
+      ]
+    }
+  ],
+
+  "location": {
+    "scene_id": "investigation_room",
+    "prompt": "简陋临时调查室，白板上贴火灾楼层图，桌上有证物袋、电脑，冷白灯，窗外下雨"
+  },
+
+  "props": [
+    {
+      "prop_id": "burned_access_card",
+      "prompt": "烧焦起泡的门禁卡，边缘发黑，磁条断裂，卡面残留两个汉字"
+    }
+  ],
+
+  "shot": {
+    "shot_size": "close-up",
+    "camera_movement": "slow push-in",
+    "main_action": "岑青把烧焦门禁卡放在电脑旁，盯着屏幕等待系统检索",
+    "emotion": "安静、不安、警觉",
+    "dialogue": "",
+    "sfx": "轻微雨声、电脑风扇声"
+  },
+
+  "continuity": {
+    "previous_shot_end": "裴让把证物袋推到岑青面前",
+    "current_start": "桌面证物袋特写",
+    "next_shot_need": "电脑屏幕出现身份匹配失败"
+  },
+
+  "final_prompt": "",
+  "negative_prompt": ""
+}
+```
+
+然后由你的 `PromptBuilderService` 把这个结构转成不同 Provider 的最终 Prompt。
+
+---
+
+# 五、你的“导演比喻”是正确的，但还差一个“场记”
+
+你说：
+
+> 不管谁接手，只需要按每个分镜定好的流程内容去拍摄。
+
+这句话对。
+
+但现实剧组还有一个非常重要的岗位：**场记**。
+
+场记负责记录：
+
+上一镜演员站哪；
+手里拿什么；
+衣服有没有扣上；
+杯子在桌子哪边；
+上一句台词是什么情绪；
+下一镜怎么接。
+
+AI 视频里也需要“场记系统”。
+
+对应到你的系统就是：
+
+```text
+ShotContinuityService
+```
+
+它负责每个镜头之间的连续性。
+
+比如：
+
+```json
+{
+  "episode_id": "e001",
+  "shot_no": 5,
+  "ending_state": {
+    "cen_qing_position": "桌子左侧",
+    "peirang_position": "门口右侧",
+    "prop_access_card": "电脑键盘左边",
+    "emotion": "岑青第一次产生怀疑"
+  }
+}
+```
+
+生成第 6 镜时，就把第 5 镜 ending_state 带进去。
+
+这样剪辑会更顺。
+
+---
+
+# 六、什么时候分镜可以完全独立？
+
+这些镜头可以高度独立：
+
+```text
+空镜；
+环境镜头；
+道具特写；
+转场镜头；
+梦境片段；
+监控画面；
+回忆碎片；
+单人特写；
+无连续动作的对白镜头。
+```
+
+比如：
+
+```text
+烧焦门禁卡特写
+旧楼外墙空镜
+雨水落在警戒线上
+电脑屏幕显示查无此人
+```
+
+这些镜头前后依赖很弱，单独生成没问题。
+
+---
+
+# 七、什么时候不能完全独立？
+
+这些镜头要带连续性：
+
+```text
+同一场戏里的连续对话；
+同一动作拆成多个镜头；
+角色从 A 点走到 B 点；
+打斗；
+追逐；
+拥抱；
+递东西；
+开门进房间；
+人物情绪逐渐变化；
+同一空间内连续切镜。
+```
+
+比如：
+
+```text
+第3镜：裴让把证物袋推给岑青
+第4镜：岑青打开证物袋
+第5镜：岑青拿出门禁卡
+第6镜：电脑显示查无此人
+```
+
+这几个镜头必须共享：
+
+桌子位置；
+人物站位；
+门禁卡样子；
+灯光；
+动作承接。
+
+否则合成后会跳。
+
+---
+
+# 八、你的系统现在应该补的核心模块
+
+基于你当前已拆分镜的流程，我建议补这几个：
+
+## 1. ShotContextBuilder
+
+给每个分镜拼上下文：
+
+```text
+项目风格
+角色资产
+场景资产
+道具资产
+当前分镜
+前后镜连续性
+Provider 参数
+```
+
+---
+
+## 2. ShotContinuityService
+
+保存每个镜头的开始状态和结束状态。
+
+字段包括：
+
+```text
+人物位置
+人物情绪
+服装状态
+手持道具
+场景状态
+动作完成情况
+下一镜承接点
+```
+
+---
+
+## 3. ShotAssetLock
+
+锁定角色、服装、场景、道具。
+
+比如：
+
+```text
+第1集第1-12镜，岑青统一使用 character_state = investigation_dark_coat
+海风大厦楼梯间统一使用 scene_asset = haifeng_stairwell_v1
+门禁卡统一使用 prop_asset = burned_access_card_v1
+```
+
+---
+
+## 4. ShotQualityCheck
+
+生成后检查：
+
+```text
+人物是否一致；
+服装是否一致；
+动作是否完成；
+场景是否错误；
+有没有多余人物；
+有没有崩脸；
+是否符合时长；
+是否能接上前后镜。
+```
+
+---
+
+## 5. ShotRetryPolicy
+
+根据失败类型自动重试。
+
+比如：
+
+```text
+换脸 → 加强角色描述 / 使用锚点图 / 换图生视频
+动作失败 → 简化动作
+场景乱 → 加首帧图
+手部崩 → 避免复杂手部动作 / 改景别
+文字错 → 不让模型生成可读文字，后期字幕加
+```
+
+---
+
+# 九、你现在的路线和小说流水线怎么接？
+
+小说流水线生成短剧时，应该先生成：
+
+```text
+Episode
+EpisodeScript
+StoryboardShot
+ShotAssetLock
+ShotContinuityPlan
+```
+
+然后你现有视频系统按每个 `StoryboardShot` 单独生成。
+
+也就是：
+
+```text
+小说章节
+↓
+短剧剧本
+↓
+分镜
+↓
+分镜资产锁定
+↓
+每镜单独 API
+↓
+候选片段
+↓
+连续性检查
+↓
+合成
+```
+
+这样就不会乱。
+
+---
+
+# 十、最终判断
+
+你目前的做法：
+
+> **分镜拆开，每个分镜单独发 API。**
+
+这是正确的，而且是 AI 短剧自动化的主流可控方案。
+
+但要加一句：
+
+> **分镜独立生成，不等于分镜没有上下文。**
+
+最稳结构是：
+
+```text
+每个分镜独立调用 API
+但每个分镜都带：
+角色锁定
+场景锁定
+道具锁定
+本镜头动作
+前后连续性
+统一风格
+负面词
+Provider 适配参数
+```
+
+一句话总结：
+
+> **你现在像导演把戏拆成了镜头，这是对的；下一步要补“场记”和“资产锁定”，保证每个接手拍摄的 AI 模型拍出来能剪成同一部戏。**