中央厨房流程总览图:四个阶段的主干 step 与质检回退路径
14 个 可审计、可重跑的生产 step
4 类 可插拔 provider:文本 / 图像 / 视频 / 训练
3 道 多模态 QA:关键帧 / 一致性 / 成片抽帧
2 个 集成的 Agent CLI:Claude Code + Codex

At a glance

案例速览

要解决的问题
商品广告片生产链路长(调研、策略、人设、分镜、关键帧、视频、后期),每一步都依赖不同的模型;命令行流水线能跑通,但不可视、难协作,任何一步出错都要从头排查。
约束条件
AI 视频最大的难点是跨镜头的人物与产品漂移;各家模型接口、价格和稳定性不同,随时可能要换;付费调用必须可追溯、可控制。
我的职责边界
负责平台架构与全栈实现:工作台与编排器设计、provider 抽象与双 Agent CLI 集成、一致性链路、多模态 QA 与媒体后期、校验脚本。
结果
广告片生产变成 14 个可审计、可重跑的 step;换 provider 只改配置,任一步可单独重跑,项目状态与日志全程可追溯。

Overview

项目说明

xc_auto_sys「中央厨房」是一个商品广告视频的自动化生产工作台:把「选题调研 → 品牌锚定 → 广告策略 → 人物设定 → LoRA 训练 → 分镜 → FLUX.2 多参考关键帧 → 关键帧 / 一致性 QA → Seedance 视频片段 → 视频 QC → 拼接 → 导出」拆成 14 个可审计、可重跑的 step。

它和 Ad-Factory 的关系

Ad-Factory 是它的前身:一条 Python 命令行流水线,已经跑出过 藤编托特包 · Smooth Summer Orbit 这样的成片。中央厨房保留了 step 化的思想,在三个方向上往前走了一步:

  • 可视化:React 工作台让每一步的输入、输出和 QA 结果都看得见;
  • 可替换:每个 step 都可以插拔 provider,并集成 Claude Code 与 Codex 两个 Agent CLI;
  • 可追溯:state.yaml 作为单一事实源,jsonl 日志记录每一次调用。

技术栈

层选型
工作台React 18 + Vite 5(npm workspaces monorepo)
编排器Hono + tsx:REST API + step runner
文本 / AgentClaude / OpenAI / DeepSeek;Claude Code + Codex
图像FLUX.2 Pro 多参考关键帧与编辑
视频Seedance 2.0(reference / image-to-video + fast 档)、Runway、LibTV、Pexels
训练fal-lora-train / 本地 kohya_ss
后期Python + ffmpeg / ffprobe;rembg / PIL / Kontext / Ken Burns
工程state.yaml + jsonl、smoke / verify / E2E 脚本、Playwright MCP UI 实测

配图说明:本项目为内部生产工具,页面中的流程图与架构图按项目实际结构绘制。

Stack

技术栈与工具

  • TypeScript
  • React 18 + Vite 5
  • Hono + tsx
  • npm workspaces monorepo
  • state.yaml + jsonl
  • FLUX.2 Pro 多参考
  • Seedance 2.0
  • Runway / LibTV / Pexels
  • Claude / OpenAI / DeepSeek
  • fal-lora-train / kohya_ss
  • Python + ffmpeg / ffprobe
  • rembg / PIL / Kontext
  • Playwright MCP

Build

实现过程

按实现顺序拆开关键模块:每一步解决什么问题、为什么这样做。

  1. 三层架构:工作台只负责呈现,编排全在 orchestrator

    React 18 + Vite 工作台负责项目、step、资产与 QA 面板的呈现和操作;Hono orchestrator(tsx)提供 REST API 与 step runner,所有编排、状态与模型调用都在这里。step 列表由后端动态下发,新增或调整 step 不需要改前端。

    三层架构图:React 工作台、Hono 编排器与六类 provider
    三层架构图:React 工作台、Hono 编排器与六类 provider
  2. 可插拔 provider + 双 Agent CLI

    为文本、图像、视频、训练四类能力抽象统一接口,每个 step 声明自己需要的能力,具体用哪家由配置决定;配套 verify:providers 冒烟校验。另把 Claude Code 与 Codex 两个 Agent CLI 集成为可调用的 provider,承担需要多步推理的环节。

  3. 角色一致性链路(核心难点)

    人物设定先落成可复用资产,再用 fal-lora-train 或本地 kohya_ss 自动训练 LoRA;关键帧用 FLUX.2 多参考生成与编辑;视频段用首尾帧约束 + 微段链式生成,让相邻片段共享边界帧。每一环后面都挂一道 QA,而不是等成片再返工。

  4. 三道多模态 QA 与 reference 硬门禁

    Claude 分别检查关键帧、视觉一致性和成片抽帧。参考图约束是硬门禁:不通过时不硬跑,而是自动降级为纯 prompt 修复并只重跑该 step;内容合规问题按分类定位根因处理,保证素材可用、可交付。

  5. 媒体后期与动态提示词模板

    Python + ffmpeg / ffprobe 负责拼接、字幕与配乐,rembg / PIL / Kontext / Ken Burns 负责合成;动态提示词模板系统统一各 step 的提示词结构。工程侧配套 smoke / verify / E2E 校验脚本,并用 Playwright MCP 对工作台做 UI 实测。

Decisions

关键决策

说明为什么这样做,而不只是列出做了哪些动作。

Q1

为什么从 CLI 演进为工作台

Ad-Factory 证明了流水线能跑通,但它只对写它的人友好。把 step 显式化、状态外置到 state.yaml、日志写成 jsonl 之后,生产过程第一次变得「别人也看得懂、能接手」。

Q2

一致性问题要在资产阶段解决,而不是在视频阶段

视频模型对参考图的利用有上限,漂移一旦出现在视频里就很难修。所以先把人物和产品锁成 LoRA 与多参考关键帧,再进入视频生成——越往前固定,越便宜。

Q3

provider 可插拔,是对「上游不可控」的承认

模型会下架、会涨价、会变慢。把 provider 做成配置项并配冒烟校验,换供应商就从「改代码」变成「改一行配置」。

Result

交付与结果

交付内容

  • 「中央厨房」全栈架构:React 工作台 + Hono orchestrator(REST API + step runner),前端 step 列表由后端 /api/projects/:id/steps 动态下发,消除硬编码
  • 统一 provider 接口:文本(Claude / OpenAI / DeepSeek)、图像(FLUX.2)、视频(Seedance 2.0 / Runway / LibTV / Pexels)、训练(fal-lora-train / 本地 kohya)四类,支持一键切换与冒烟校验
  • 角色一致性链路:人物设定 → LoRA 自动训练 → FLUX.2 多参考关键帧 → 关键帧 QA → 视觉一致性 QA → 视频 QC
  • 多模态质量门禁:Claude 做关键帧、视觉一致性、成片抽帧三道 QA,reference 硬门禁失败自动降级为纯 prompt 修复
  • 媒体后期与工程化:Python + ffmpeg 拼接 / 字幕 / 配乐,rembg / PIL / Kontext / Ken Burns 合成;smoke / verify:providers / E2E 校验脚本 + Playwright MCP UI 实测

项目结果

  • 生产流程可视化、可审计:state.yaml 单一事实源 + jsonl 日志,任何一张图、一段视频都能追溯到对应 step 与参数
  • 任一 step 可单独重跑,不必整条链路从头来过
  • provider 可插拔:上游模型下架或涨价时,改配置即可切换,并有冒烟校验兜底
  • 用 LoRA + 多参考 + 首尾帧 + 微段链式生成,把跨镜头人物 / 产品漂移控制在可交付范围

Retrospective

复盘

做完这个平台,我更确定 AIGC 生产的核心不是某个模型,而是把每一步变成可观察、可重跑、可替换的单元。模型每几个月就换一代,而这套 step 结构可以一直沿用。

References

方法与参考

本案例用到的工程模式与模型能力,附权威出处,方便核对。