数字人口播 Skill：一张照片生成口播成片的流程、成本与边界

本文依据 andyhuo520/digital-human-koubo 的公开 README、SKILL.md、目录结构与许可说明整理，整理时间为 2026 年 10 月 26 日。项目代码与文档采用 MIT 许可。文中的积分、价格、耗时、音质改善和样片效果均为仓库作者的自述或示例记录，会随模型、账号、素材和版本变化；本文没有对成片质量做独立评测。数字人涉及肖像与声音授权，使用时必须遵守项目列出的红线以及所在地法律和平台规则。

数字人口播常见的做法是：先找一张照片，再单独处理台词、配音、对口型、字幕和包装，最后在剪辑软件里拼起来。每一步都能用不同工具完成，但流程长、参数多，而且很容易在同一个人物的脸、声音和风格上出现不一致。

digital-human-koubo 试图把这些步骤收进一个 Agent Skill：把形象、声音描述和提示词模板固定在 persona.json，让 Agent 按内容选择剪辑风格，分段调用 Renoise MCP 生成口播，再做回听、抽帧、声音统一和 Remotion 包装。它不是一个新的视频模型，而是一套围绕数字人口播的组织方式。

它解决的核心问题：把“同一个人”固定下来

数字人视频最怕两件事：同一个角色在不同片段里变脸、变声，以及每个片段都要重新解释一遍人设和画面要求。这个项目把角色信息写进 persona.json，包括脸、服装、声音描述和提示词模板；每条片子复用同一个形象，需要进入直播间、门店、教室或街景时，先生成场景画面，再让它开口。

这种“人设文件 + 固定模板”的做法有两个直接好处：

• 一致性可检查。 参考图、声音描述和提示词都有明确来源，换片段时不需要靠记忆复述。
• 流程可交接。 新会话或另一个 Agent 接手时，读取同一份配置就能继续，而不是重新问一遍“主播长什么样、用什么声音”。

它也有明确前提：persona.json 里的 material: ID 属于作者自己的 Renoise 账号，别人的账号无法直接使用。要做自己的数字人，需要按仓库提供的步骤上传自己的参考图，生成新的素材 ID，并只用本人或已获明确授权的照片和声音。

整体流程：从内容诊断到成片渲染

仓库把工作拆成八个阶段，每个阶段都留下中间产物，便于定位问题：

0. 环境检查（Renoise MCP / ffmpeg / whisper）
1. 诊断内容 → 推荐 2 种风格 → 确认 brief.json
2. 写稿 script.json（每段 ≤15 秒）
3. 报价 → 用户确认 → 先拍第 1 段 → 确认后批量
4. 分片下载 → whisper 回听 → 抽帧检查
5. 声音统一（频谱匹配、去齿音、混响、响度）
6. 逐字时间轴 tl.json
7. Remotion 剪辑（风格模板 + 默认包装）
8. 渲染 → 检查过渡帧 → 响度标准化

这里面最值得借鉴的不是某个命令，而是几个强制检查点：

阶段	强制动作	解决的问题
风格选择	先诊断内容，再给 2 个方案和预览图	避免一上来就套模板，风格与内容不匹配
生成前	报段数、秒数、预估积分和余额	防止 Agent 自行消耗账号积分
首段生成	先做第 1 段给用户确认	发现音色、口型或画面问题，避免整批返工
下载后	whisper 回听并与原稿比对	发现漏念、错念和截断
抽帧	每段抽 4 帧检查	发现模型自己烧进画面的字幕
剪辑后	检查过渡中间帧和衔接处	避免上一条尾巴盖住下一条

生成与成本：先报价，再花钱

口播片段按不超过 15 秒切分，通过 Renoise MCP 调用 Grok Video 1.5 生成。脚本会先根据 full（全屏）和 pip（画中画）两种镜头类型计算段数、秒数和预估积分，再由 Agent 向用户报价，确认后才开始生成。重拍同样要先报价。

README 给出的成本记录如下：

成片	生成内容	积分
9:16 直播间广告，27 秒	1 张场景图 + 5 段 Grok 口播（720p）	482
16:9 教程第二期，4 分 36 秒	32 段口播（全屏 720p / 画中画 480p）+ 演示素材	约 3250
16:9 数字人升级版，5 分 55 秒	30 段新片段 + 7 张场景图，复用 17 段	约 3409

文档写作时的价格为：Grok Video 1.5 720p 每秒 17 积分、480p 每秒 10 积分，GPT Image 2.5 2k 每张 23 积分。这些数字只代表作者当时的账号和模型价格，不能直接用于预算；实际费用要以 Agent 的实时报价、当前模型价格和失败重试次数为准。

一个实用的成本控制顺序是：

1. 先用一句话脚本和最短片段验证音色与口型。
2. 确认首段后，再批量生成同一场景的剩余段落。
3. 复用旧片段时保留原文件，避免“只改一句”却重生成整段。
4. 记录每次生成的段数、秒数、积分和重拍原因，按成片而不是按调用次数核算成本。

两道质检：回听和抽帧都不能省

数字人视频的问题往往不在“生成失败”，而在“看起来成功但内容错了”。仓库设置了两种质检：

回听比对。 用 whisper 逐段转写，再与原始稿子比较。这里有两个实际注意点：中文数字可能被转写成阿拉伯数字（例如“九百九十九”变成“999”），看起来像错误，其实只是转写差异；外语片段要按目标语言转写，日、韩、阿拉伯语不要随意加 -ml 1，否则可能把多字节字符截断成乱码。

抽帧检查。 Grok 横屏口播偶尔会把字幕烧进画面，提示词里写了也未必能完全避免。每段抽 4 帧检查，发现烧字就重拍该段。相比整片渲染后才发现，单段重拍的代价更低。

这也说明了一个边界：Agent 生成的视频不能只凭“任务状态完成”验收。至少要有人或独立检查流程确认台词、画面、字幕和声音都符合要求。

声音统一：把分开生成的段落听成一次录制

分段生成会带来音色、频谱、齿音和空间感上的差异。项目在剪辑前做一层声音处理：1/3 倍频程频谱匹配、去齿音、统一的小房间混响和响度归一。README 称实测齿音段间差从 13.2 dB 降到 5.9 dB；这是作者自己的测量结果，没有提供完整测试方法和样本，适合作为思路参考，而不是普适指标。

声音处理还有两个容易忽略的工程细节：

• 数字人视频轨要静音，人声单独铺一条。两条几乎相同的声音叠加几毫秒的偏移，会产生梳状滤波，听起来发闷或刺耳。
• 如果事后换成别的声音，口型会与声音产生约 100 毫秒的偏差。画中画不明显，全屏特写容易看出来。想用自己的录音并保持口型准确，应改用音频驱动口型的模型，而不是先让模型生成声音再替换。

五种剪辑风格与包装组件

项目把成片分成五种风格，Agent 先诊断内容，再推荐两种并附预览图：

风格	比例	时长	适合内容
A 小林式解说	16:9	3–20 分钟	财经、科技事件、数据解释
B 网红花字口播	9:16	30–120 秒	安利、带货、种草、吐槽
C 发布解读	16:9	30–90 秒	新品、新模型发布
D 保姆级教程	16:9	3–8 分钟	工具上手、步骤教学
E 多主播多语言	16:9	3–7 分钟	能力展示、出海内容

包装层从 25 支头部创作者视频中提炼，README 列出的规则包括：前 30 秒每 3–5 秒出现一个新视觉事件；前 3 秒直接给命题或动作；BGM 全程铺底，音效只给事件；揭晓前刻意静音 0.6–1.0 秒；按句子边界做跳切推近。这些是作者整理出的方法论，不是所有题材都适用的定律，实际使用仍要按内容和平台调整。

关于组件数量，仓库内的口径并不完全一致：README 称为 48 个，SKILL.md 的参考说明写 47 个，assets/packaging/each/ 目录可见 43 张组件预览图。写 pack 配置时，应以模板实际支持的组件名称为准，而不是只按宣传数字判断。

其中比较有辨识度的是“景深字”：用 macOS Vision 做人像分割，把大字放在背景和人之间。它适合中景、头顶留白的画面；自拍特写里人物占比过高时，文字会被挡住，脚本在超过 60% 时会提醒，并把这类段落标成 shot: depth 以生成中景。

安装与运行条件

要跑通完整流程，Agent 需要同时具备三种能力：安装 Agent Skill、连接远程 MCP 服务器、在本机执行命令。缺任何一项，流程都会在对应环节停下。

1. 下载并安装 Skill

git clone https://github.com/andyhuo520/digital-human-koubo.git
cd digital-human-koubo
mkdir -p ~/.claude/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/

Codex 把目标目录换成 ~/.codex/skills/；WorkBuddy、OpenClaw 等产品可以导入文件夹或压缩包。仓库包含两个 Skill：主 Skill 和风格 A 使用的 finance-explainer。

2. 接入 Renoise MCP

Renoise 使用浏览器登录授权，不需要手动复制 API Key。不同客户端的接入方式不同：

# Codex
codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise

# Claude Code
/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official

其他支持远程 MCP 的客户端，可以添加地址 https://renoise.ai/api/public/mcp。装好后先让 Agent 查询一次余额，确认连接和授权状态，再开始生成。

3. 安装本机工具

工具	用途
ffmpeg	下载校验、拼接、抽帧和转码
Python 3 + numpy + Pillow	切段、报价、音画处理和脚本
Node.js 18+	Remotion 渲染
whisper.cpp（whisper-cli）与模型	逐段回听和转写比对

仓库提供 scripts/doctor.sh 做环境检查：已安装的项跳过，缺失的会按系统列出安装方式。景深字依赖 Apple Vision，需要 macOS；其余功能跨平台。可选的 MiMo TTS 用于设计音色或克隆声音，默认仍建议使用 Grok 自带声音，因为口型与其声音最匹配。

做自己的数字人：先解决授权，再谈效果

如果不想用示例里的角色，仓库给出了一个四步流程：

1. 选一张正脸、光线均匀、头发不挡脸、闭嘴的照片。
2. 用 GPT Image 2.5 生成正面、两个侧面和背面四视图，减少换角度后变脸。
3. 用同一张图和同一句台词，对比 Grok Video 1.5 与 Wan 3.0 等模型，选出口型和稳定性更好的一个。
4. 把参考图上传到 Renoise，将新的 material:<id> 写进 persona.json。

第 3 步的多模型对比是有价值的工程习惯：不要只根据单条样片决定生产模型，而要在相同图片、台词、分辨率和时长下比较。切换角度、场景和语速后仍保持一致，才说明这个数字人真的可以复用。

更重要的是授权。仓库明确要求只用本人或获得明确授权的脸和声音，不冒充真人；成片要标注“内容由 AI 数字人演绎”，场景和动物片段要标“AI 生成”。这些不是可选的礼貌性说明，而是数字人内容能否公开发布的前提。

已知问题与处理方式

仓库把一些踩过的坑直接写进了脚本和文档，这些细节比功能列表更有参考价值：

问题	处理方式
Grok 横屏口播自行烧字幕	每段抽 4 帧检查，发现后重拍该段
whisper 把中文数字转成阿拉伯数字	先回听确认是否真的念错，不要盲目重拍
Renoise CDN 并行下载被截断	6 段 Range 并发下载、断点续传并做解码校验
9:16 720p 实际为 720×1280	不要强行拉成其他比例
计数动画缓动到不了终点	动画结束时强制落在精确数值
两条人声轨叠加产生梳状滤波	数字人视频轨静音，人声单独铺设

这些处理方式也适用于其他 AI 视频流程：把模型的不确定性变成具体的检查项，而不是反复重试整条视频。

使用红线与许可

项目把使用边界写在 README 和 NOTICE.md 中，值得在开始制作前逐条确认：

• 只用本人或明确授权的脸和声音，不冒充真人或创作者。
• 每条成片标注“内容由 AI 数字人演绎”，场景和动物片段标注“AI 生成”。
• 不编造数字、价格、优惠和评价；画面中的示意数据要标注“示意”。
• 不使用网络梗图、影视截图和明星照片；梗图类组件用自己生成的原创贴纸。
• 积分只在用户确认报价后消耗。
• 示例视频、主播形象图、风格预览图和包装图鉴仅用于演示，不要当自己的作品二次上传，也不要在自己的内容里使用示例主播的形象。

许可方面，代码和文档采用 MIT；但 Remotion 有自己的商业许可规则，仓库说明个人和 3 人以内的公司可免费使用，更大的公司需要购买公司授权。动态表情来自 Google Noto Emoji Animation（CC BY 4.0），发布时需要署名；地图数据涉及 world-atlas、Natural Earth、d3-geo 等组件，正式发布前仍要按各自许可和国内规范核对。使用前建议直接阅读仓库的 LICENSE、NOTICE.md 和 THIRD_PARTY.md，不要只依据二手整理。

适合与不适合的场景

适合：

• 需要固定角色形象的系列口播、产品讲解和教程；
• 希望把写稿、生成、质检、包装串成可重复流程的团队；
• 已经有 Renoise 账号和本机剪辑环境，愿意按段验收而不是一键出片；
• 需要 9:16 短视频或 16:9 长视频，并希望包装风格统一的内容。

需要谨慎：

• 希望完全无人审核、自动批量发布。数字人内容涉及肖像、声音和事实准确性，仍需要人工确认。
• 需要复杂表演、真实手持镜头或强叙事演技。代码化包装和分段生成不能替代实拍表演。
• 团队规模超过 Remotion 免费许可范围，或需要商用第三方素材。先解决授权，再开始生产。
• 只想做一条临时视频。安装 MCP、检查环境和调试模板的成本，可能高于直接用现成工具。

上手前的验收清单

• 参考照片和声音属于本人或已获得明确授权。
• persona.json 使用了自己的 material: ID，没有沿用作者的素材。
• Renoise MCP 已连接，余额可查，报价确认流程已跑通。
• 首段已人工确认音色、口型、画面和字幕。
• 每段都做过回听和抽帧检查，烧字幕或漏念的段落已处理。
• 数字人视频轨已静音，人声轨、BGM 和音效的响度关系正常。
• 成片标注了 AI 数字人演绎，示意数据标注了“示意”。
• 包装组件、字体、表情、地图和音乐的使用符合各自许可。
• 导出文件在目标平台和手机尺寸下完整播放，过渡处没有残影或盖字。

来源

• andyhuo520/digital-human-koubo（README、SKILL.md、目录结构）
• 中文 README
• NOTICE.md 与 THIRD_PARTY.md
• Renoise MCP（生成服务与账号积分）
• Remotion 许可说明