14 个 可审计、可重跑的生产 step
4 类 可插拔 provider:文本 / 图像 / 视频 / 训练
3 道 多模态 QA:关键帧 / 一致性 / 成片抽帧
2 个 集成的 Agent CLI:Claude Code + Codex
- 要解决的问题
- 商品广告片生产链路长(调研、策略、人设、分镜、关键帧、视频、后期),每一步都依赖不同的模型;命令行流水线能跑通,但不可视、难协作,任何一步出错都要从头排查。
- 约束条件
- AI 视频最大的难点是跨镜头的人物与产品漂移;各家模型接口、价格和稳定性不同,随时可能要换;付费调用必须可追溯、可控制。
- 我的职责边界
- 负责平台架构与全栈实现:工作台与编排器设计、provider 抽象与双 Agent CLI 集成、一致性链路、多模态 QA 与媒体后期、校验脚本。
- 结果
- 广告片生产变成 14 个可审计、可重跑的 step;换 provider 只改配置,任一步可单独重跑,项目状态与日志全程可追溯。
xc_auto_sys「中央厨房」是一个商品广告视频的自动化生产工作台:把「选题调研 → 品牌锚定 → 广告策略 → 人物设定 → LoRA 训练 → 分镜 → FLUX.2 多参考关键帧 → 关键帧 / 一致性 QA → Seedance 视频片段 → 视频 QC → 拼接 → 导出」拆成 14 个可审计、可重跑的 step。
它和 Ad-Factory 的关系
Ad-Factory 是它的前身:一条 Python 命令行流水线,已经跑出过 藤编托特包 · Smooth Summer Orbit 这样的成片。中央厨房保留了 step 化的思想,在三个方向上往前走了一步:
- 可视化:React 工作台让每一步的输入、输出和 QA 结果都看得见;
- 可替换:每个 step 都可以插拔 provider,并集成 Claude Code 与 Codex 两个 Agent CLI;
- 可追溯:state.yaml 作为单一事实源,jsonl 日志记录每一次调用。
技术栈
| 层 | 选型 |
|---|
| 工作台 | React 18 + Vite 5(npm workspaces monorepo) |
| 编排器 | Hono + tsx:REST API + step runner |
| 文本 / Agent | Claude / OpenAI / DeepSeek;Claude Code + Codex |
| 图像 | FLUX.2 Pro 多参考关键帧与编辑 |
| 视频 | Seedance 2.0(reference / image-to-video + fast 档)、Runway、LibTV、Pexels |
| 训练 | fal-lora-train / 本地 kohya_ss |
| 后期 | Python + ffmpeg / ffprobe;rembg / PIL / Kontext / Ken Burns |
| 工程 | state.yaml + jsonl、smoke / verify / E2E 脚本、Playwright MCP UI 实测 |
配图说明:本项目为内部生产工具,页面中的流程图与架构图按项目实际结构绘制。
- TypeScript
- React 18 + Vite 5
- Hono + tsx
- npm workspaces monorepo
- state.yaml + jsonl
- FLUX.2 Pro 多参考
- Seedance 2.0
- Runway / LibTV / Pexels
- Claude / OpenAI / DeepSeek
- fal-lora-train / kohya_ss
- Python + ffmpeg / ffprobe
- rembg / PIL / Kontext
- Playwright MCP
Build
实现过程
按实现顺序拆开关键模块:每一步解决什么问题、为什么这样做。
-
01
三层架构:工作台只负责呈现,编排全在 orchestrator
React 18 + Vite 工作台负责项目、step、资产与 QA 面板的呈现和操作;Hono orchestrator(tsx)提供 REST API 与 step runner,所有编排、状态与模型调用都在这里。step 列表由后端动态下发,新增或调整 step 不需要改前端。
三层架构图:React 工作台、Hono 编排器与六类 provider -
02
可插拔 provider + 双 Agent CLI
为文本、图像、视频、训练四类能力抽象统一接口,每个 step 声明自己需要的能力,具体用哪家由配置决定;配套 verify:providers 冒烟校验。另把 Claude Code 与 Codex 两个 Agent CLI 集成为可调用的 provider,承担需要多步推理的环节。
-
03
角色一致性链路(核心难点)
人物设定先落成可复用资产,再用 fal-lora-train 或本地 kohya_ss 自动训练 LoRA;关键帧用 FLUX.2 多参考生成与编辑;视频段用首尾帧约束 + 微段链式生成,让相邻片段共享边界帧。每一环后面都挂一道 QA,而不是等成片再返工。
-
04
三道多模态 QA 与 reference 硬门禁
Claude 分别检查关键帧、视觉一致性和成片抽帧。参考图约束是硬门禁:不通过时不硬跑,而是自动降级为纯 prompt 修复并只重跑该 step;内容合规问题按分类定位根因处理,保证素材可用、可交付。
-
05
媒体后期与动态提示词模板
Python + ffmpeg / ffprobe 负责拼接、字幕与配乐,rembg / PIL / Kontext / Ken Burns 负责合成;动态提示词模板系统统一各 step 的提示词结构。工程侧配套 smoke / verify / E2E 校验脚本,并用 Playwright MCP 对工作台做 UI 实测。
Decisions
关键决策
说明为什么这样做,而不只是列出做了哪些动作。
Q1 为什么从 CLI 演进为工作台
Ad-Factory 证明了流水线能跑通,但它只对写它的人友好。把 step 显式化、状态外置到 state.yaml、日志写成 jsonl 之后,生产过程第一次变得「别人也看得懂、能接手」。
Q2 一致性问题要在资产阶段解决,而不是在视频阶段
视频模型对参考图的利用有上限,漂移一旦出现在视频里就很难修。所以先把人物和产品锁成 LoRA 与多参考关键帧,再进入视频生成——越往前固定,越便宜。
Q3 provider 可插拔,是对「上游不可控」的承认
模型会下架、会涨价、会变慢。把 provider 做成配置项并配冒烟校验,换供应商就从「改代码」变成「改一行配置」。
交付内容
- 「中央厨房」全栈架构:React 工作台 + Hono orchestrator(REST API + step runner),前端 step 列表由后端
/api/projects/:id/steps 动态下发,消除硬编码 - 统一 provider 接口:文本(Claude / OpenAI / DeepSeek)、图像(FLUX.2)、视频(Seedance 2.0 / Runway / LibTV / Pexels)、训练(fal-lora-train / 本地 kohya)四类,支持一键切换与冒烟校验
- 角色一致性链路:人物设定 → LoRA 自动训练 → FLUX.2 多参考关键帧 → 关键帧 QA → 视觉一致性 QA → 视频 QC
- 多模态质量门禁:Claude 做关键帧、视觉一致性、成片抽帧三道 QA,reference 硬门禁失败自动降级为纯 prompt 修复
- 媒体后期与工程化:Python + ffmpeg 拼接 / 字幕 / 配乐,rembg / PIL / Kontext / Ken Burns 合成;smoke / verify:providers / E2E 校验脚本 + Playwright MCP UI 实测
项目结果
- 生产流程可视化、可审计:state.yaml 单一事实源 + jsonl 日志,任何一张图、一段视频都能追溯到对应 step 与参数
- 任一 step 可单独重跑,不必整条链路从头来过
- provider 可插拔:上游模型下架或涨价时,改配置即可切换,并有冒烟校验兜底
- 用 LoRA + 多参考 + 首尾帧 + 微段链式生成,把跨镜头人物 / 产品漂移控制在可交付范围
做完这个平台,我更确定 AIGC 生产的核心不是某个模型,而是把每一步变成可观察、可重跑、可替换的单元。模型每几个月就换一代,而这套 step 结构可以一直沿用。
References
方法与参考
本案例用到的工程模式与模型能力,附权威出处,方便核对。