ব্লগে ফিরে যান

sweety-handdraw-video 2.0:用编程 Agent 制作手绘讲解视频

AI 视频2026-11-039 মিনিট পড়ুনAI 视频Agent SkillsCodexClaude Code手绘动画开源项目

来源:leo_xiaolei 的 X 帖及其长文,原文发布于 2026 年 10 月 28 日。项目:threerocks/sweety-handdraw-video。本文按原帖介绍整理 v2.0 的变化;文中性能数字是作者使用自己的素材和设备做的对比,不代表独立基准或普遍结果。项目 README 在 2026 年 11 月 3 日已更新至 v3.0.1,安装和兼容性信息以仓库当前文档为准。

sweety-handdraw-video 2.0 更新介绍封面

手绘讲解视频的难点不只是让图“动起来”,还包括镜头如何带领观看、文字怎样出现在画面里、旁白和字幕能否对齐,以及转场和声音会不会打断理解。sweety-handdraw-video 把这些任务包装为面向编程 Agent 的 Skill:用户给出主题或资料,Agent 规划内容与镜头,再调用本地脚本完成手绘绘制、上色、配音、字幕和视频合成。

从主题到视频的制作链

这类工具更像一条带有中间产物的视频生产流水线,而不是单次文本提示直接生成成片:

主题与资料 → 口播稿和分镜 → 插画与镜头动作
                                  ↓
                         逐步绘制、上色
                                  ↓
                   配音、字幕、音效与合成
                                  ↓
                         检查并导出视频

编程 Agent 负责组织步骤和操作工具;真正的视频画面仍由项目的本地渲染流程生成。这样可以把“讲什么”“画什么”“怎样出现”拆开检查。若事实有误,可以先改稿;若画面超出安全区域,则可以先调整布局或镜头,而不是把整条片子重新抽卡。

v2.0 的重点升级

原帖发布于 2.0 阶段,主要把镜头、动画、字幕和音频控制补成更完整的工具集。

部分原帖介绍的变化对成片的作用
运镜10 种镜头运动,包括推进、拉远、横移、跟随、视差和 Hitchcock zoom 等让静态插画具有观看路径,也需要控制运动幅度,避免镜头动作压过讲解
转场从早期少量转场扩展到 22 种擦除、翻页、撕纸、刷出等动作可用于表达章节切换,但转场数量不等于应该频繁使用
动效层14 类可组合的表现方式可用文字标题、图表、地图、公式、物理或 3D 视觉解释抽象概念
字幕按词组断行,默认单行,并调整到避开常见平台界面遮挡的位置减少长句压住画面重点的情况,最终仍应按目标平台的播放器界面复查
绘制与上色改进分块绘制和上色速度,增加笔触、橡皮擦等表现让绘制过程更接近手作展示;速度提升需要结合素材复杂度看
音频增加笔触和转场音效,并处理口播结束后的声音尾部让声音落点更完整,减少突然截断的听感

镜头运动尤其值得当成叙事工具,而不是装饰。比如讲地图上的路线时,可以让镜头跟随路线;讲局部结构时,先展示整体再推进细节;比较两组数据时,让视线沿着关键差异移动。反过来,如果旁白已经很密集,稳定画面往往更利于观众理解。

怎样看待原帖中的测试数字

作者用同一项目做了更新前后的对比,并在长文中报告了几组结果:约 11 分钟成片的渲染时间从约 12 分钟降到 3 分 42 秒;六张插画的平均最低渲染时间由 16.9 秒降到 8.2 秒。字幕方面,作者检查了 407 行字幕,统计被画面遮挡的行数从 247 降到 0,单行字幕比例从 62% 提高到 100%。

这些数据来自作者自己的机器、样片和检查方法,可说明这次迭代对其项目有帮助,但不能直接推导出所有用户都能获得相同速度或字幕结果。渲染时间还会受图片尺寸、图层数量、机器性能和模型工具链影响;字幕是否遮挡也依赖画幅、安全区与平台 UI。实际使用时,最好用自己的代表性素材做一次小样测试,并检查导出视频,而不只看脚本或预览图。

适合什么场景

  • 教程或知识讲解:用逐步绘制的图形解释原理、流程、地图和公式。
  • 系列化内容:把分镜、字幕和镜头动作沉淀成可复用模板,降低每期重新搭建流程的成本。
  • 需要修改的短片:当口播、画面和字幕都可能反复调整时,分阶段生成比一次性生成整段视频更容易定位问题。

它不意味着视频制作完全自动化。Agent 给出的脚本需要核实事实,生成的插画要检查结构和文字,渲染后的画面仍需逐段观看。配音质量、字体覆盖、字幕节奏和转场选择也会决定最终观感。

当前仓库状态与安装

截至 2026 年 11 月 3 日,GitHub 仓库 README 标示当前版本为 v3.0.1,主项目代码与文档采用 MIT 许可证,当前说明支持 macOS、Linux,以及 Codex 和 Claude Code。README 将 v2.0 的各项能力保留在对应版本发布记录中;现在安装到的是持续迭代后的版本,不应把原帖发布时的 v2 命令或能力列表直接当作当前说明。

仓库当前 README 给出的安装命令是:

npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video --agent claude-code codex --global --copy --yes

安装后依 README 运行 setup.sh 检查或安装本地依赖。完整制作流程依赖 Agent 能读取 Skill、执行本地命令,并具备插画生成能力;README 说明其完整成片实测主要来自 Apple Silicon Mac,Linux 有 CI 和 Ubuntu 容器验证,Windows 暂不承诺。选择本地 TTS 或额外模型时还会引入对应的运行环境和下载体积,开始完整项目之前应先看当前 README 的依赖说明。

项目中可能涉及第三方字体、素材、音频和图片。MIT 许可证覆盖项目主代码与文档,并不自动授予所有生成素材或外部内容的版权;发布前仍要确认素材来源和目标平台要求。

一个更稳妥的试用顺序

  1. 先选一段 30 至 60 秒、资料来源清楚的讲解内容,整理口播稿和需要解释的核心图形。
  2. 让 Agent 先产出分镜和字幕,再人工检查事实、画幅、安全区和图文关系。
  3. 用少量镜头试跑绘制、转场、配音和字幕,检查本地依赖是否齐全、耗时是否可接受。
  4. 导出短片并按正常速度观看,重点检查错字、画面裁切、口播尾音和过多的镜头动作。
  5. 验收后再扩展到完整视频,并记录素材、设置和机器信息,方便复测与复用。

这条路径的价值在于让视频制作可以分阶段审阅和修正。镜头与特效增加了表达选项,最终质量仍取决于内容判断、素材质量和成片验收。